トランスクリプトの抜粋に基づく

Sam Witteveen氏は、Artificial Analysisの新しい5.0 Intelligence Indexベンチマークにより、オープンモデルがクローズドモデルを12ポイント下回っていることが示されており、これは3ポイントからの拡大である。新しいテストでは60%のプライベートホールドアウトセットとよりエージェント的なタスクを使用しているため、従来のリーダーボードはローカルモデルに過大な評価を与えていた可能性がある—視聴者には独自の評価を実行するようアドバイスされている。

AI生成：要約はリンク先の情報源をもとにAIが作成しています。 AIの利用について