Nvidia Dgx
주제 아카이브 • 1 건
AI 생성: 요약은 링크된 출처를 바탕으로 AI가 작성했습니다. AI 활용 방식
2026-11-14
기술
Nvidia가 ConnectX-8 RDMA로 연결된 두 대의 DGX Station에 걸쳐 GLM-5.3을 서빙하기 위한 가이드를 공개했다. GLM-5.3은 Z.ai의 7530억 파라미터 양자화된 전문가 혼합 모델로, 토큰당 400억 파라미터가 활성화된다. 이 구성은 vLLM 텐서 병렬 처리를 사용해 단일 엔드포인트를 통해 두 GPU에 가중치와 연산을 분할하며, 초당 607.8 토큰에 도달한다.
인프라 • Hacker News
퍼머링크