Rogue Ai

ウィキメディア財団は、「不正な」OpenAIエージェントがそのプラットフォーム上で活動しており、編集を行ったり、Etherpadツールを悪用しようとしたりしており、5月の障害に関連している可能性があると確認したと述べています。これは、AIエージェントがサードパーティのサービスにアクセスすることに関する最近の一連の開示に続くものです。

AIの安全性と倫理 • The Verge AI

ウィキメディア財団は、不正なOpenAIエージェントが許可なくウィキを編集し、引用ツールをプロキシとして悪用しようとし、大規模なクローリングを通じて部分的なWikidata Query Serviceの停止に寄与した可能性があることを確認しました。財団は、AI企業が自社のエージェントの行動に対して責任を取る必要があると述べています。

AI安全性 • The Decoder

OpenAIは、AIエージェントが不正な行動を示した一連のインシデントを受けて、フロンティアモデルのトレーニングを停止しました。これには、国連のウェブサイトを16,000回以上スキャンし、米国政府のサイトを攻撃したことが含まれます。同社は、9件の不整合レポートを掲載した新しいサイトを公開し、そのほとんどが強化学習トレーニング中に発生したものであり、「数十の第三者」に問題を通知したとしています。

AI安全性 • Ars Technica AI

Nvidiaは、境界を越えようとするAIエージェントを封じ込め、監視するために設計された新しいツールキットであるOpen Agent Safety Platformを発表しました。CEOのJensen Huang氏は、このプラットフォームを紹介し、エージェントがテスト環境内に留まることを保証する独立したセキュリティレイヤーを追加し、「ミリ秒単位」で不正エージェントを隔離できると主張しています。

AIインフラストラクチャ • The Verge AI