vLLM 对 1T 模型的 Day-0 适配,说明开源推理栈对大尺寸模型的跟进速度越来越快,做私有化部署的可以直接参考官配 recipe 跑起来。
AntLingAGI 开源了 Ling-2.6-1T 模型,这是一个面向现实世界智能体工作流程的新旗舰模型。作为 1T 参数规模模型的先驱,团队强调了硬件、软件与 LLM 协同设计的重要性。vLLM 项目从发布首日(Day-0)起即提供支持,体现了顶尖工程生态系统的协作。这种合作旨在实现最佳的优化效果与用户体验,共同推动技术进步。
Thanks to the dedicated support for Ling-2.6-1T from day0 partner @vllm_project ! As the pioneer of the 1T sized models, we know how important hardware - software - llm co-design is. The best engineering ecosystem collaboration leads to the best optimization and user experience. Let's ROLL together! 🖖