Skip to content

Inference

主题归档 • 8 条结果

AI 生成:摘要由 AI 根据所链接的来源撰写。 我们如何使用 AI

返回首页 • GEO summary endpoint

2026-11-09

科技

  • Google 扩展了其第八代 TPU 产品组合,推出用于安全、机密推理的 TPU 8tx 和用于超大规模上下文窗口的 TPU 8i Max,标志着一年内推出四款新的 TPU 系统。这些芯片旨在通过针对安全性、密度和推理的专用硬件来处理复杂的智能体工作负载。

    基础设施 • Hacker News

    永久链接

2026-11-13

科技

  • 总部位于韩国的DeepX完成了DX-M2的流片,这是一款边缘AI芯片,设计用于在5瓦以下在机器人和无人机上运行1000亿参数LLM的推理。据EE Times报道,该公司目标是在2027年秋季实现量产。

    硬件 • Techmeme

    永久链接
  • Edge0开源了Edge0-145B和Edge0-120B,以及一个统一的推理框架和部署工具。该公司声称Edge0-145B是全球首个拥有1450亿参数的开源端侧AI模型,将可与前沿云模型媲美的编程、推理和智能体能力带到个人电脑上。

    模型 • Hacker News

    永久链接

2026-11-14

科技

  • Nvidia发布了一份指南,用于通过ConnectX-8 RDMA连接的两台DGX Station上部署GLM-5.3,这是Z.ai推出的量化7530亿参数混合专家模型,每个token激活400亿参数。该设置使用vLLM张量并行性,通过单个端点在两个GPU之间分割权重和计算,达到每秒607.8个token的速度。

    Infrastructure • Hacker News

    永久链接
  • 由包括斯坦福大学、哈佛大学和康奈尔大学在内的十多个顶级团队发布了一个湿实验预测基准,被称为同类中最严格的基准。结果表明,扩大推理规模和增加五倍计算量并未提升性能。

    AI Research • QbitAI 量子位

    永久链接

投资

  • Luminal • Series A

    Luminal提供推理云并开发推理编译器软件,用于在不同芯片上测试运行AI模型,由Standard Capital领投的A轮融资筹集了2500万美元。首席执行官Joe Fioti向Axios Pro披露了此轮融资。

    永久链接