HuggingFace Daily Papers(社区热门论文)
53
MatryoshkaLoRA:一种用于大语言模型微调的学习精确层次化低秩表示的通用框架
AI 摘要
针对低秩适应(LoRA)微调方法中静态秩选择效率低、现有动态方法在高秩时性能欠佳的问题,研究团队提出MatryoshkaLoRA。该框架通过在现有LoRA适配器间插入一个固定的对角矩阵P,来相应地缩放其子秩,从而学习精确的层次化低秩表示。这一简单修改确保了所有子秩都能高效利用梯度信息,支持动态秩选择且精度损失最小。团队同时提出了“秩精度曲线下面积”(AURAC)评估指标。实验表明,该方法相比现有秩自适应方法能学习到更精确的表示,并在多个数据集上实现了更优的精度与性能权衡。代码已开源。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org