HuggingFace Daily Papers(社区热门论文)
51
SigmaScale:基于SVD低秩分解与学习缩放矩阵的LLM压缩方法
AI 摘要
SigmaScale通过学习辅助缩放矩阵S改进基于截断SVD的大语言模型压缩。该方法在激活感知压缩损失下优化两组向量,定义对角行和列缩放变换。学习缩放降低了权重矩阵的有效内在秩(有效秩熵减少),且降低幅度与压缩损失强相关。在Llama 3.1 8B Instruct和Qwen3-8B上的实验表明,SigmaScale在困惑度和零样本基准上与当前最先进SVD压缩方法竞争力相当,在特定任务上表现出优势,成为降低LLM推理计算成本的有效选项。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org