Les chercheurs de Nvidia soutiennent que les fenêtres de contexte larges sont souvent inutiles, étant lentes, coûteuses et sujettes aux erreurs.
Lors de tests, des résumés périodiques et une recherche ciblée par mots-clés ont généralement donné des résultats équivalents à ceux du contexte complet, mais à une fraction du coût, et l'équipe propose une nouvelle classe de modèles fonctionnant avec des notes courtes plutôt qu'avec un long contexte.
Généré par IA : résumés rédigés par une IA à partir des sources citées. Notre usage de l'IA
Brief source
Les chercheurs de Nvidia soutiennent que les fenêtres de contexte larges sont souvent inutiles, étant lentes, coûteuses et sujettes aux erreurs. Lors de tests, des résumés périodiques et une recherche ciblée par mots-clés ont généralement donné des résultats équivalents à ceux du contexte complet, mais à une fraction du coût, et l'équipe propose une nouvelle classe de modèles fonctionnant avec des notes courtes plutôt qu'avec un long contexte.