Skip to content

Inference

Archive thématique • 8 résultats

Généré par IA : résumés rédigés par une IA à partir des sources citées. Notre usage de l'IA

Retour à l'accueil • GEO summary endpoint

2026-11-09

Technologie

  • Google a élargi son portefeuille de TPUs de huitième génération avec le TPU 8tx pour l'inférence confidentielle et sécurisée, et le TPU 8i Max pour des fenêtres de contexte massives, marquant quatre nouveaux systèmes TPU en un an. Les puces sont conçues pour gérer des charges de travail agentic complexes grâce à du matériel spécialisé pour la sécurité, la densité et le raisonnement.

    Infrastructure • Hacker News

    Lien permanent

2026-11-13

Technologie

  • DeepX, basée en Corée du Sud, a finalisé la conception du DX-M2, une puce d'IA en périphérie conçue pour exécuter l'inférence de LLM de 100 milliards de paramètres sur des robots et des drones en moins de 5 W. L'entreprise vise l'automne 2027 pour la production de masse, selon EE Times.

    Matériel • Techmeme

    Lien permanent
  • Edge0 a open-sourcé Edge0-145B et Edge0-120B, ainsi qu'un cadre d'inférence unifié et des outils de déploiement. L'entreprise affirme qu'Edge0-145B est le premier modèle d'IA open source embarqué au monde comptant 145 milliards de paramètres, apportant à un ordinateur personnel des capacités de codage, de raisonnement et d'agent comparables aux modèles cloud de pointe.

    Modèles • Hacker News

    Lien permanent

2026-11-14

Technologie

  • Nvidia a publié un guide pour servir GLM-5.3, un modèle mixture-of-experts quantifié de 753 milliards de paramètres de Z.ai avec 40 milliards de paramètres activés par token, sur deux DGX Stations connectées via ConnectX-8 RDMA. La configuration utilise le parallélisme tensoriel de vLLM pour répartir les poids et le calcul sur les deux GPU via un point de terminaison unique, atteignant 607,8 tokens par seconde.

    Infrastructure • Hacker News

    Lien permanent
  • Un benchmark pour la prédiction d'expériences en laboratoire humide, décrit comme le plus strict de son genre, a été publié par plus de dix équipes de premier plan, dont Stanford, Harvard et Cornell. Les résultats indiquent que l'augmentation de l'inférence et le quintuplement de la puissance de calcul n'ont pas amélioré les performances.

    Recherche en IA • QbitAI 量子位

    Lien permanent

Investissement

  • Luminal • Series A

    Luminal, qui fournit un cloud d'inférence et développe des logiciels de compilation d'inférence pour tester l'exécution de modèles IA sur différentes puces, a levé 25 millions de dollars lors d'une série A dirigée par Standard Capital. Le PDG Joe Fioti a annoncé ce tour de table à Axios Pro.

    Lien permanent