새로운 아키텍처 접근 방식은 모호한 쿼리를 언어 모델에 도달하기 전에 필터링하면 검색 증강 생성(RAG) 추론 비용을 최대 6배까지 줄일 수 있음을 보여줍니다.

출처 브리프

새로운 아키텍처 접근 방식은 모호한 쿼리를 언어 모델에 도달하기 전에 필터링하면 검색 증강 생성(RAG) 추론 비용을 최대 6배까지 줄일 수 있음을 보여줍니다. 경량 분류기를 통해 필수적이지 않은 트래픽을 라우팅하면 값비싼 LLM 호출을 방지하면서 규제 산업을 위한 감사 대비 상태를 유지합니다.