Inference
주제 아카이브 • 8 건
AI 생성: 요약은 링크된 출처를 바탕으로 AI가 작성했습니다. AI 활용 방식
2026-11-09
기술
Google은 안전하고 기밀성이 보장되는 추론을 위한 TPU 8tx와 대규모 컨텍스트 윈도우를 위한 TPU 8i Max로 8세대 TPU 포트폴리오를 확장했으며, 이는 1년 만에 네 가지 새로운 TPU 시스템을 선보인 것이다. 이 칩들은 보안, 밀도, 추론을 위한 특화 하드웨어로 복잡한 에이전틱 워크로드를 처리하도록 설계되었다.
인프라 • Hacker News
퍼머링크
2026-11-13
기술
한국 기업 DeepX가 DX-M2를 테이프아웃했다. 이 엣지 AI 칩은 로봇과 드론에서 100B 파라미터 LLM의 추론을 5W 미만으로 실행하도록 설계되었다. EE Times에 따르면 이 회사는 2027년 가을 양산을 목표로 하고 있다.
Hardware • Techmeme
퍼머링크Edge0가 Edge0-145B와 Edge0-120B를 통합 추론 프레임워크 및 배포 도구와 함께 오픈소스로 공개했다. 이 회사는 Edge0-145B가 1,450억 파라미터를 갖춘 세계 최초의 오픈소스 온디바이스 AI 모델로서, 최전선 클라우드 모델에 필적하는 코딩, 추론, 에이전트 기능을 개인용 컴퓨터에 제공한다고 주장한다.
Models • Hacker News
퍼머링크
2026-11-14
기술
Nvidia가 ConnectX-8 RDMA로 연결된 두 대의 DGX Station에 걸쳐 GLM-5.3을 서빙하기 위한 가이드를 공개했다. GLM-5.3은 Z.ai의 7530억 파라미터 양자화된 전문가 혼합 모델로, 토큰당 400억 파라미터가 활성화된다. 이 구성은 vLLM 텐서 병렬 처리를 사용해 단일 엔드포인트를 통해 두 GPU에 가중치와 연산을 분할하며, 초당 607.8 토큰에 도달한다.
인프라 • Hacker News
퍼머링크스탠퍼드, 하버드, 코넬을 포함한 10개 이상의 최상위 팀이 습식 실험실 실험 예측을 위한 벤치마크를 공개했으며, 이는 동종 벤치마크 중 가장 엄격한 것으로 설명된다. 결과는 추론을 확장하고 연산량을 5배로 늘려도 성능이 향상되지 않았음을 보여준다.
AI 연구 • QbitAI 量子位
퍼머링크
투자
Luminal • Series A
추론 클라우드를 제공하고 서로 다른 칩에서 AI 모델 실행을 테스트하기 위한 추론 컴파일러 소프트웨어를 개발하는 Luminal이 Standard Capital이 주도한 2,500만 달러의 시리즈 A 라운드를 조달했다. CEO Joe Fioti가 Axios Pro에 이번 라운드를 공개했다.
퍼머링크