Une nouvelle approche architecturale démontre que le filtrage des requêtes ambiguës avant qu'elles n'atteignent le modèle de...

Brief source

Une nouvelle approche architecturale démontre que le filtrage des requêtes ambiguës avant qu'elles n'atteignent le modèle de langage peut réduire les coûts d'inférence de la génération augmentée par récupération (RAG) jusqu'à six fois. Acheminer le trafic non essentiel via des classifieurs légers évite des appels LLM coûteux tout en maintenant la préparation à l'audit pour les industries réglementées.