HuggingFace Daily Papers(社区热门论文)
56
网络中的大语言模型:资源约束下的协同智能
AI 摘要
大语言模型(LLMs)驱动各类应用,但云服务难以满足低延迟、间歇连接等需求,端侧部署又受算力与内存限制。协同智能作为一种新范式,通过分布在设备与云端的多个LLMs以自然语言协作,在计算、内存、通信和成本等多维约束下优化响应质量。该框架涵盖垂直设备-云协作和水平多智能体协作,并可结合为混合拓扑。研究还探讨协作学习,包括路由策略训练与LLMs合作能力开发,并指出资源异构下的扩展性及可信协同智能等开放挑战。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org