Gpus

Meta는 오하이오에 있는 기가와트 규모의 슈퍼클러스터 Prometheus를 상세히 설명했으며, 완전 규모에서 약 100만 개의 GPU를 수용할 것입니다. 이 슈퍼클러스터는 Meta의 Muse 기반 모델을 훈련하는 데 사용되었습니다.

인프라 • Techmeme

DeepSeek은 대규모 모델 서비스의 기반이 되는 추론 프레임워크 DeepInfer를 오픈소스로 공개했다. 이 프레임워크는 Nvidia GPU와 Huawei Ascend 프로세서를 지원하며 분산 추론 및 추측 디코딩과 같은 기능을 포함한다.

인프라 • TechNode

Google은 Amazon에 이어 PyTorch 사용자가 Nvidia GPU에서 애플리케이션을 쉽게 옮길 수 있게 하는 개발자 도구를 출시하여 AI 개발에서 Nvidia의 지배력에 도전하고 있다.

인프라 • TechCrunch AI

Microsoft는 제품과 서비스의 '주요 AI 추론 시스템'이 되도록 설계된 3세대 Maia 자체 AI 칩을 발표하고 있습니다. Maia 300은 AI 워크로드 실행 비용과 효율성을 개선하여 Nvidia GPU에 대한 의존도를 줄이는 것을 목표로 합니다.

인프라 • The Verge AI