HuggingFace Daily Papers(社区热门论文)
50
AdaPreLoRA:基于Adafactor预条件的低秩适应优化方法
AI 摘要
现有LoRA优化器面临因雅可比矩阵秩缺失导致的因子空间更新求解不唯一问题。本研究提出AdaPreLoRA方法,通过采用Adafactor对角Kronecker预条件器处理权重空间,并在因子空间进行闭式求解,以O((m+n)r)内存开销生成更新。该方法在H_t加权范数下,构造出最接近预条件权重空间方向的LoRA近似。在GPT-2、Mistral-7B、Qwen2-7B及扩散模型个性化任务上的实验表明,AdaPreLoRA在保持与LoRA优化器相当峰值GPU内存的同时,取得了与代表性LoRA优化器相当或更优的性能。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org