HuggingFace Daily Papers(社区热门论文)
45
LLiMba:在单张消费级GPU上为濒危罗曼语撒丁语适配30亿参数模型
AI 摘要
研究团队基于Qwen2.5-3B-Instruct模型,在单张24GB消费级GPU上通过持续预训练与监督微调,开发出支持撒丁语的30亿参数模型LLiMba。训练语料包含1150万撒丁语词元及240万相关罗曼语文本。实验发现,持续预训练后模型在撒丁语困惑度降至6.76,并在所有FLORES-200翻译方向上超越基础模型。在五种微调配置中,rsLoRA r256在英译撒丁语任务中以28.5 BLEU值表现最佳。研究表明,适配器容量对低资源罗曼语适配的影响大于具体变体选择,且翻译指标虽能排序配置,但无法完全反映其定性行为的本质差异。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org