AMD GPU에서의 vLLM 추측 디코딩은 한 번의 패스로 여러 개의 초안 토큰을 검증하여 출력 토큰 처리량을 향상시킬 수 있습니다.

결과는 초안 작성 방법, 모델 계열 및 워크로드에 따라 달라집니다.

AI 생성: 요약은 링크된 출처를 바탕으로 AI가 작성했습니다. AI 활용 방식