Inference
Themen-Archiv • 8 Treffer
KI-generiert: Die Zusammenfassungen schreibt eine KI auf Grundlage der verlinkten Quellen. So nutzen wir KI
2026-11-09
Technologie
Google hat sein TPU-Portfolio der achten Generation um TPU 8tx für sichere, vertrauliche Inferenz und TPU 8i Max für riesige Kontextfenster erweitert, was vier neue TPU-Systeme in einem einzigen Jahr bedeutet. Die Chips sind darauf ausgelegt, komplexe agentische Arbeitslasten mit spezialisierter Hardware für Sicherheit, Dichte und Reasoning zu bewältigen.
Infrastruktur • Hacker News
Direktlink
2026-11-13
Technologie
Das in Südkorea ansässige Unternehmen DeepX hat den DX-M2 getaped out, einen Edge-KI-Chip, der dafür ausgelegt ist, die Inferenz von LLMs mit 100 Mrd. Parametern auf Robotern und Drohnen mit unter 5 W auszuführen. Das Unternehmen peilt den Herbst 2027 für die Massenproduktion an, so EE Times.
Hardware • Techmeme
DirektlinkEdge0 hat Edge0-145B und Edge0-120B als Open Source veröffentlicht, zusammen mit einem einheitlichen Inferenz-Framework und Deployment-Tools. Das Unternehmen behauptet, Edge0-145B sei das weltweit erste quelloffene On-Device-KI-Modell mit 145 Milliarden Parametern, das Programmier-, Reasoning- und Agenten-Fähigkeiten, die mit Frontier-Cloud-Modellen konkurrieren, auf einen Personal Computer bringt.
Modelle • Hacker News
Direktlink
2026-11-14
Technologie
Nvidia veröffentlichte einen Leitfaden zum Serving von GLM-5.3, einem quantisierten Mixture-of-Experts-Modell mit 753 Milliarden Parametern von Z.ai, bei dem pro Token 40 Milliarden Parameter aktiviert werden, über zwei DGX Stations, die über ConnectX-8 RDMA verbunden sind. Die Konfiguration nutzt vLLM-Tensor-Parallelismus, um Gewichte und Berechnungen über beide GPUs durch einen einzigen Endpunkt zu verteilen, was 607,8 Tokens pro Sekunde erreicht.
Infrastruktur • Hacker News
DirektlinkEin Benchmark für die Vorhersage von Nasslabor-Experimenten, beschrieben als der strengste seiner Art, wurde von mehr als zehn Top-Teams einschließlich Stanford, Harvard und Cornell veröffentlicht. Die Ergebnisse deuten darauf hin, dass das Skalieren der Inferenz und das Ver fünffachen der Rechenleistung die Leistung nicht verbessert haben.
KI-Forschung • QbitAI 量子位
Direktlink
Investitionen
Luminal • Series A
Luminal, das eine Inference-Cloud bereitstellt und Inference-Compiler-Software entwickelt, um laufende KI-Modelle auf verschiedenen Chips zu testen, hat eine Series-A-Runde über 25 Millionen US-Dollar eingesammelt, angeführt von Standard Capital. CEO Joe Fioti gab die Runde Axios Pro bekannt.
Direktlink