vLLMのAMD GPU向けスペキュラティブ・ディコーディングでは、単一のパスで複数のドラフトトークンを検証でき、出力トークンのスループットが向上します。

結果はドラフティング手法、モデルファミリー、ワークロードによって異なります。

AI生成：要約はリンク先の情報源をもとにAIが作成しています。 AIの利用について