Los investigadores de Nvidia sostienen que las ventanas de contexto grandes a menudo son innecesarias, ya que son lentas…
…costosas y propensas a errores. En las pruebas, los resúmenes periódicos y la búsqueda dirigida por palabras clave normalmente igualaban los resultados del contexto completo a una fracción del costo, y el equipo propone una nueva clase de modelos que trabaja con notas breves en lugar de contexto largo.
Generado por IA: resúmenes redactados por IA a partir de las fuentes enlazadas. Cómo usamos la IA
Resumen fuente
Los investigadores de Nvidia sostienen que las ventanas de contexto grandes a menudo son innecesarias, ya que son lentas, costosas y propensas a errores. En las pruebas, los resúmenes periódicos y la búsqueda dirigida por palabras clave normalmente igualaban los resultados del contexto completo a una fracción del costo, y el equipo propone una nueva clase de modelos que trabaja con notas breves en lugar de contexto largo.