Inference
トピックアーカイブ • 8 件
AI生成:要約はリンク先の情報源をもとにAIが作成しています。 AIの利用について
2026-11-09
テクノロジー
Googleは第8世代TPUポートフォリオを拡張し、安全で機密性の高い推論向けのTPU 8txと、大規模なコンテキストウィンドウ向けのTPU 8i Maxを追加した。1年間で4つの新しいTPUシステムを投入したことになる。これらのチップは、セキュリティ、密度、推論に特化したハードウェアを備え、複雑なエージェント型ワークロードを処理できるよう設計されている。
インフラストラクチャ • Hacker News
パーマリンク
2026-11-13
テクノロジー
韓国拠点のDeepXは、ロボットやドローン上で100BパラメータのLLMの推論を5W未満で実行するように設計されたエッジAIチップ「DX-M2」の試作を行った。EE Timesによると、同社は量産を2027年秋に目標としている。
ハードウェア • Techmeme
パーマリンクEdge0はEdge0-145BおよびEdge0-120B、ならびに統合推論フレームワークとデプロイメントツールをオープンソース化した。同社は、Edge0-145Bが1,450億パラメータを持つ世界初のオンデバイスAIモデルであり、コーディング、推論、エージェント機能をクラウド最前線モデルに匹敵するレベルでパーソナルコンピュータにもたらすと主張している。
モデル • Hacker News
パーマリンク
2026-11-14
テクノロジー
Nvidiaは、Z.ai由来の量子化された7530億パラメータのMixture-of-ExpertsモデルGLM-5.3(トークンごとに400億パラメータが活性化)を、ConnectX-8 RDMAで接続された2台のDGX Station間でサーブするためのガイドを公開した。このセットアップではvLLMテンソル並列処理を使用して、1つのエンドポイントを通じて両方のGPUに重みと計算を分散させ、毎秒607.8トークンの速度を実現している。
Infrastructure • Hacker News
パーマリンクスタンフォード大学、ハーバード大学、コーネル大学など10以上のトップチームによって、その種の中で最も厳格であるとされる湿式実験予測のためのベンチマークがリリースされた。結果は、推論のスケールアップと計算資源の5倍増がパフォーマンス向上につながらなかったことを示唆している。
AI Research • QbitAI 量子位
パーマリンク
投資
Luminal • Series A
Luminalは、推論クラウドを提供し、異なるチップ上でAIモデルを実行するテストを行うための推論コンパイラソフトウェアを開発している。Standard Capitalがリードする2,500万ドルのシリーズAラウンドを調達した。CEOのJoe Fioti氏は、このラウンドについてAxios Proに開示した。
パーマリンク