Skip to content

Mixture Of Experts

주제 아카이브 • 2 건

AI 생성: 요약은 링크된 출처를 바탕으로 AI가 작성했습니다. AI 활용 방식

홈으로 돌아가기 • GEO summary endpoint

2026-11-11

기술

  • Huawei는 자사의 Kirin 9050 칩이 인터넷 연결 없이 휴대폰에서 300억 파라미터 규모의 전문가 혼합(mixture-of-experts) 모델을 구동하며, 한 번에 약 20억 개의 파라미터를 활성화하는 방식을 상세히 설명했습니다. 이 칩의 Da Vinci NPU는 저비트 양자화를 사용하고 메모리와 연산을 조정하여 모델을 로컬에서 실행합니다.

    하드웨어 • TechNode

    퍼머링크

2026-11-14

기술

  • Nvidia가 ConnectX-8 RDMA로 연결된 두 대의 DGX Station에 걸쳐 GLM-5.3을 서빙하기 위한 가이드를 공개했다. GLM-5.3은 Z.ai의 7530억 파라미터 양자화된 전문가 혼합 모델로, 토큰당 400억 파라미터가 활성화된다. 이 구성은 vLLM 텐서 병렬 처리를 사용해 단일 엔드포인트를 통해 두 GPU에 가중치와 연산을 분할하며, 초당 607.8 토큰에 도달한다.

    인프라 • Hacker News

    퍼머링크