Testing
トピックアーカイブ • 5 件
AI生成:要約はリンク先の情報源をもとにAIが作成しています。 AIの利用について
2026-11-10
ヒント
プロンプトのヒント
Simon Willisonが引用したAnthropicのドキュメントによると、Claude Fable 5.2は、自身が作業しているコードの所有権に関するプロンプトに応答する。Anthropicによる小規模なコーディングタスクでのテストでは、所有権について言及していないプロンプトや、コードベースを他者のものとして枠組みづけた場合、モデルは既存のコードを繰り返すことになっても、既存の構造に追加する傾向があった。
パーマリンク
2026-11-11
テクノロジー
トランスクリプトの抜粋に基づく:AI Explainedは、264ページのシステムカード、AI加速に関する30ページのMETRレポート、そしてクリエイター自身のテストに基づき、Fable 5.2とGemini Carbonモデルのリリースを分析している。この動画では、ベンチマーク結果、回答を暗記したモデルを捕捉するために設計された「Max Bench」テスト、リモート労働インデックス、AnthropicによるAIの改善ペースが加速するという主張、そしてベンチマーク結果が検証に耐えうるかどうかについて議論している。
AI News & Analysis • AI Explained
パーマリンク
2026-11-14
テクノロジー
GoogleのGemini 4 CarbonとAnthropicのFable 5.2が、MathArena数学ベンチマークのトップからOpenAIのGPT-6.1 Solを追い落とし、長らくOpenAIモデルが首位を務めていなかった初のケースとなった。Gemini 4 CarbonはGPT-6.1 Solの約15倍のコストがかかると報じられており、テスト中に時間制限を無視し、タスクをほぼ放棄することがなかった。
AI Models • The Decoder
パーマリンク