HuggingFace Daily Papers(社区热门论文)
49
可查询的LoRA:基于共享低秩更新原子与指令正则化的路由方法
AI 摘要
本文提出一种数据自适应的参数高效微调方法,以改进静态低秩适应(LoRA)的局限性。该方法用一组可查询的共享低秩更新原子取代每层独立的适配器,允许模型根据当前层状态和前面层的运行摘要,通过注意力机制动态检索并组合这些更新组件,从而在保持低秩瓶颈效率的同时,实现跨输入和跨层的动态、上下文感知的参数更新。此外,方法引入指令正则化,通过语言引导的先验偏置路由逻辑,使低秩变换更倾向于语义相关方向。实验表明,该方法在使用相近可训练参数量的情况下,相比标准LoRA能提升最终测试性能和训练稳定性。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org