科技
StepFun发布了Step 5 Preview的开放权重,这是一个总参数600B、激活参数27B、上下文长度1M-token的模型,并附有一篇技术博客,详细介绍了其92层稀疏GQA架构和长时程智能体训练。
AI模型 • Pandaily
永久链接蚂蚁集团的inclusionAI在Hugging Face上以MIT许可证开源了Ling-3.1-flash权重。该总参数560B的混合线性MoE模型每个token有25B激活参数,上下文窗口为1M-token。
AI模型 • Pandaily
永久链接