Nvidia 연구진은 모델 간에 키-값 캐시를 매핑하는 교차 모델 KV 캐시 전송 기술을 도입하여 에이전트형 AI 시스템이 전체 대화를 다시 계산하지 않고 작업을 넘길 수 있게 했습니다.

출처 브리프

Nvidia 연구진은 모델 간에 키-값 캐시를 매핑하는 교차 모델 KV 캐시 전송 기술을 도입하여 에이전트형 AI 시스템이 전체 대화를 다시 계산하지 않고 작업을 넘길 수 있게 했습니다. 이 접근 방식은 다중 LLM 워크플로우에서 컴퓨팅 비용과 지연 시간을 줄입니다.