Inference
Archive thématique • 8 résultats
Généré par IA : résumés rédigés par une IA à partir des sources citées. Notre usage de l'IA
2026-11-09
Technologie
Google a élargi son portefeuille de TPUs de huitième génération avec le TPU 8tx pour l'inférence confidentielle et sécurisée, et le TPU 8i Max pour des fenêtres de contexte massives, marquant quatre nouveaux systèmes TPU en un an. Les puces sont conçues pour gérer des charges de travail agentic complexes grâce à du matériel spécialisé pour la sécurité, la densité et le raisonnement.
Infrastructure • Hacker News
Lien permanent
2026-11-13
Technologie
DeepX, basée en Corée du Sud, a finalisé la conception du DX-M2, une puce d'IA en périphérie conçue pour exécuter l'inférence de LLM de 100 milliards de paramètres sur des robots et des drones en moins de 5 W. L'entreprise vise l'automne 2027 pour la production de masse, selon EE Times.
Matériel • Techmeme
Lien permanentEdge0 a open-sourcé Edge0-145B et Edge0-120B, ainsi qu'un cadre d'inférence unifié et des outils de déploiement. L'entreprise affirme qu'Edge0-145B est le premier modèle d'IA open source embarqué au monde comptant 145 milliards de paramètres, apportant à un ordinateur personnel des capacités de codage, de raisonnement et d'agent comparables aux modèles cloud de pointe.
Modèles • Hacker News
Lien permanent
2026-11-14
Technologie
Nvidia a publié un guide pour servir GLM-5.3, un modèle mixture-of-experts quantifié de 753 milliards de paramètres de Z.ai avec 40 milliards de paramètres activés par token, sur deux DGX Stations connectées via ConnectX-8 RDMA. La configuration utilise le parallélisme tensoriel de vLLM pour répartir les poids et le calcul sur les deux GPU via un point de terminaison unique, atteignant 607,8 tokens par seconde.
Infrastructure • Hacker News
Lien permanentUn benchmark pour la prédiction d'expériences en laboratoire humide, décrit comme le plus strict de son genre, a été publié par plus de dix équipes de premier plan, dont Stanford, Harvard et Cornell. Les résultats indiquent que l'augmentation de l'inférence et le quintuplement de la puissance de calcul n'ont pas amélioré les performances.
Recherche en IA • QbitAI 量子位
Lien permanent
Investissement
Luminal • Series A
Luminal, qui fournit un cloud d'inférence et développe des logiciels de compilation d'inférence pour tester l'exécution de modèles IA sur différentes puces, a levé 25 millions de dollars lors d'une série A dirigée par Standard Capital. Le PDG Joe Fioti a annoncé ce tour de table à Axios Pro.
Lien permanent