AIHOT
精选全部 AI 动态AI 日报Agent 接入关于更新日志反馈信源提报
登录
精选全部日报更多
全部动态资讯 · 1789 条
全部一手资讯X论文
6月11日周四
6月10日周三
全部 AI 动态
AI 相关资讯全量信息流
全部一手信源资讯推文
全部模型产品行业论文技巧
6月11日
10:58
HuggingFace Daily Papers(社区热门论文)
61
世界模型自蒸馏:训练世界模型解决通用任务

提出结合自蒸馏与强化学习的可扩展框架,激发预训练视频扩散模型(Demonstrator)的任务解决能力。给定未标注场景图像,视觉语言模型(VLM)生成候选任务及详细步骤,条件化Demonstrator生成视频;通过蒸馏将执行知识迁移至仅以图像和简短任务提示为条件的Executor,无需配对任务-视频数据。进一步利用VLM反馈的强化学习优化Executor。在WorldTasks-Benchmark和DreamGen机器人基准上,Executor在VLM评估协议下超越Demonstrator,并有效迁移至机器人任务。

具身智能多模态论文/研究
10:58
HuggingFace Daily Papers(社区热门论文)
59
InternVideo3:多模态上下文推理增强基础模型的长时序智能体能力

InternVideo3框架通过多模态上下文推理(MCR)提升基础模型的长时序多模态任务能力。MCR将理解视为包含观察、指令、推理、工具行动和记忆的闭环过程,将长视频理解为证据积累与验证。为提升效率,引入多模态多头潜在注意力(M²LA),一种保留完整token流同时压缩KV-cache状态的token保持重参数化。训练阶段包括继续预训练、短到长监督微调、基于规则的强化学习和在线蒸馏。InternVideo3在Video-MME、MLVU、EgoSchema等基准上取得强性能,并实例化为带有检索工具的视频智能体,展现基于证据的鲁棒行为。

智能体多模态推理视频
10:58
HuggingFace Daily Papers(社区热门论文)
69
面向大语言模型智能体的环境工程综述

该综述系统研究了大语言模型智能体的环境工程生命周期,涵盖环境建模、合成、评估与应用。从八个属性和八个领域梳理代表性环境的发展路径;归纳自动环境合成的符号合成与神经合成两种范式及对应评估方法。从智能体-环境共同演化视角,总结四种智能体演化路径(记忆中心、编排中心、轨迹中心、探索中心)与三种环境演化范式(神经驱动、难度驱动、规模驱动)。最后展望环境即服务(EaaS)、多智能体环境和神经符号环境等方向。

智能体论文/研究
10:58
HuggingFace Daily Papers(社区热门论文)
63
RACES:递归自动化环境组合以提升推理泛化

RACES(Recursive Automated Composition for Environment Scaling)将可验证环境视为递归组装的构建块,当输出类型与输入类型匹配时自动融合为新环境。基于300个基础环境,定义SEQUENTIAL、PARALLEL、SORT、SELECT四种组合算子,诱导多样推理模式。在DeepSeek-R1-Distill-Qwen-14B上平均提升3.1分(从48.2到51.3),Qwen3-14B提升2.3分(从58.8到61.1),均在六个未见基准上测得。仅用50个基础环境即可达到300个环境的训练效果,环境利用效率显著。

推理数据/训练论文/研究
09:57
HuggingFace Daily Papers(社区热门论文)
63
LLM 作为评审在科学新颖性评估中的局限性

研究引入 RQ-Bench 基准,基于 arXiv 论文构建作者锚定的研究问题(RQ),用于测试新颖性判断。使用大语言模型进行独立或对比评审时,LLM 一致将模型生成的 RQ 评为高度新颖,产生“新颖性幻觉”,在对比评估中偏好更强。但领域专家得出相反结论,更偏好作者锚定的参考问题。许多生成 RQ 狭窄或受限于来源,LLM 评审常忽略该维度。LLM 评审与人类专家的矛盾结论对基于 LLM 评估科学新颖性的可靠性提出严重质疑。

arXiv论文/研究
09:57
HuggingFace Daily Papers(社区热门论文)
66
ICALens:无需训练字典即可解读语言模型表示

ICALens基于独立成分分析(ICA)构建轻量级语言模型表示解读工具,通过GPU并行FastICA流程与LLM稳定性优化,在GPT‑2 Small、Gemma 2 2B和Qwen 3.5 2B Base上高效恢复紧凑、可解释的方向,无需逐层梯度训练字典。在SAEBench上,ICA在稀疏探测任务中与公开SAE性能相当,并在中小预算目标探针扰动中优于SAE。结果表明ICA应被视为解读语言模型表示的高效互补首选透镜。

安全/对齐论文/研究
07:57
HuggingFace Daily Papers(社区热门论文)
61
CPPO:超越统一Token级别信任区域的LLM强化学习

现有PPO风格信任区域机制对所有token施加统一阈值,忽视自回归生成的非对称性和累积前缀漂移。CPPO通过位置加权阈值和累积前缀预算两种耦合机制进行优化:早期位置限制更严格以抑制序列级漂移,后期位置放宽约束以保障探索;同时动态追踪历史偏差,防止前缀沿累计误差。实验表明,该方法在不同模型规模下均能提升训练稳定性并显著提高推理准确率。

arXiv推理数据/训练论文/研究
02:46
Google Research:Blog(网页)
精选63
Google Research提出审计机器遗忘新框架

Google Research 在 AISTATS 2026 发表正则化 f-散度核检验,用于高效审计 LLM 等模型的机器遗忘。该方法通过统计两样本检验判断模型是否真正“忘记”特定训练数据,避免完全重训的巨大成本。相比最大均值差异等现有工具,新框架理论上可在任意样本量下自然控制假阳性,且假阴性风险随可用样本增加可靠收敛至零,解决了大规模模型审计中计算成本过高的问题。

Google安全/对齐论文/研究

推荐理由:机器遗忘是AI合规的硬需求,但验证‘真忘了’一直是统计难题。谷歌这篇AISTATS论文提出了一套更灵敏的差异测试框架,做隐私审计的值得细看。
01:51
The Decoder:AI News(RSS)
精选70
Anthropic 研究:AI 数小时内即可从安全补丁构建漏洞利用

Anthropic 安全团队发现,其 Mythos Preview AI 模型能在几小时内将 Firefox 和 Windows 内核的安全补丁转化为可工作的漏洞利用,成本仅需数千美元,且无需专业知识。在微软自动更新到达任何设备之前,该模型已完成 8 条完整攻击链。Anthropic 认为传统的补丁节奏已经过时。

Anthropic安全/对齐

推荐理由:Anthropic这个研究给安全圈兜头一盆冷水,补丁发布后几小时AI就能写出利用代码,微软自动更新还没推送,攻击链已经跑通了。补丁节奏得彻底重设了。
00:56
HuggingFace Daily Papers(社区热门论文)
精选73
DeLM:去中心化多智能体系统框架

DeLM是一种去中心化多智能体系统框架,通过并行智能体、共享已验证上下文和任务队列避免中央控制器瓶颈。智能体异步认领子任务、读取累计进展、执行局部推理并写回紧凑的已验证更新。在SWE-bench Verified上,DeLM在Avg.@1、Pass@2和Pass@4指标中均取得最佳性能,相比最强基线提升最多10.5个百分点,每任务成本降低约50%。在LongBench-v2多文档问答上,DeLM在四个前沿模型家族中取得最高平均准确率,提升最多5.7个百分点。代码已开源。

智能体开源/仓库推理论文/研究

推荐理由:去中心化MAS把中心调度换成共享黑板,SWE-bench一口气提10.5个点还省一半成本,这个思路值得所有搞agent的团队认真看。
6月10日
23:28
IT之家(RSS)
64
Waymo推出ReD模型:模拟人类驾驶员在意外瞬间的避撞决策

Waymo与代尔夫特理工大学合作开发ReD(Reference Driver)认知模型,基于主动推理框架模拟人类驾驶员的避撞行为。模型包含“逼近感”判断纵向威胁、默认其他车辆遵守规则、意外阈值触发策略重评估,并还原单脚操作踏板习惯(切换停顿0.2秒)。与传统模型不同,ReD持续计算意外值并最小化自由能,实现主动避让。今年1月圣莫尼卡事故分析中,Waymo车辆减速至6英里/小时,而模型推算专注人类驾驶员可能以约14英里/小时撞上。代码已以学术非商业许可开源。

安全/对齐论文/研究
21:56
HuggingFace Daily Papers(社区热门论文)
68
Next Forcing:基于多块预测的因果世界建模

Next Forcing 提出多块预测(MCP)框架,受大语言模型多 token 预测启发,在主模型上添加轻量级辅助 MCP 模块,同时对多个未来时间步的视频块去噪。50fps 下训练 5k 步时相对 LingBot-VA 提升 93.1%,收敛速度加快 2.3 倍;在 RoboTwin 基准上达 94.1%(Clean)/93.5%(Random)新 SOTA。推理时保留 MCP 模块可实现 2 倍加速。在物理规律基准 PhyWorld 上也有显著提升,通用视频预训练 FVD 降低超 50%。

arXiv具身智能数据/训练视频
21:56
HuggingFace Daily Papers(社区热门论文)
58
自蒸馏中反馈对齐的作用

自蒸馏通过匹配学生(仅看问题)与自教师(还看上下文)的输出分布,使模型在无上下文时仍保持改进。研究比较三种上下文设计:二值奖励(GRPO)、参考解、以及步骤对齐的批评。步骤对齐批评效果最佳,Avg@12上比GRPO高16.11分,比参考解条件高5.27分。逐token优势分析表明,步骤对齐反馈仅针对推理失败的token,而参考解强制模型改变所有token行为,包括正确步骤。这说明反馈与推理步骤的结构对齐是自蒸馏效果的关键驱动因素。

arXiv推理数据/训练论文/研究
19:56
HuggingFace Daily Papers(社区热门论文)
66
FadeMem:面向自回归视频生成的距离感知内存合并机制

自回归视频生成器的历史 KV cache 随视频长度增长。FadeMem 提出距离感知内存合并机制,在固定缓存预算下将历史 KV 块组织成时间层次,利用频率依赖的时间衰减(细粒度细节快速去相关,粗粒度场景结构保持更久)。生成时新历史作为细粒度条目插入,较旧相邻条目按幂律调度逐步合并,形成近密远疏内存。无需改动架构,即可保留近期上下文并为身份与场景连贯性提供紧凑长程锚点。实验表明在主体一致性、背景稳定性和时间连贯性上优于现有有界缓存策略。

视频论文/研究
17:50
公众号:百度智能云(文心)
精选63
百度百舸联合复旦提出LU-KV框架,被ICML 2026录用

百度百舸团队与复旦大学合作提出Long-horizon Utility KV(LU-KV)框架,将头级KV Cache预算分配建模为面向长程边际效用的全局组合优化问题。LU-KV通过离线画像估计注意力头边际贡献曲线,结合凸包松弛与基于边际效用的贪心求解器,在较低开销下得到接近最优的预算配置,可适配SnapKV、KeyDiff等多类压缩方法。在LongBench和RULER基准上,80%压缩比下性能损失小,降低显存占用和推理延迟。相关论文被ICML 2026录用。

推理论文/研究

推荐理由:ICML接收的KV Cache压缩新方法,把缓存预算分配从看当前分数改成全局优化,能显著降低显存占用,做长上下文推理的值得细读。
16:56
HuggingFace Daily Papers(社区热门论文)
63
BrainSurgery:可重复且可靠的声明式权重操作工具,用于模型编辑与模型升级

BrainSurgery是一种针对神经网络checkpoint的“张量手术”工具,通过声明式YAML计划执行复杂的权重变换。它支持结构修改、数学变换、张量重塑,利用正则表达式和结构定位进行精准操作,并内置断言验证张量形状、数据类型和值,防止静默错误。工具覆盖从模型升级(upcycling)到LoRA提取等四个示例和三个案例研究,旨在提供可重复、可验证的模型编辑基础。

开源生态论文/研究部署/工程
16:56
HuggingFace Daily Papers(社区热门论文)
61
PsychoSafe:引导大语言模型生成心理学知情拒绝

PsychoSafe 是一种心理学导向的拒绝框架,将大语言模型的拒绝行为重构为结构化支持性沟通,基于循证干预策略。研究构建了包含8019条提示-响应对的语料库,覆盖五个高风险心理领域,采用提示工程和参数高效微调训练 Qwen 3.5 27B。在500条提示的验证集上,PsychoSafe 提示使拒绝质量较通用基线提升28.1%,其中外部资源转介提升46.8%、心理基础性提升34.8%,且不损害非拒绝任务性能。微调实现了近乎完美的拒绝与资源转介率,但降低了回复相关性。在 SORRY-Bench 和 XSTest 上表现强域内鲁棒性,但跨域泛化有限。

arXiv安全/对齐论文/研究
16:56
HuggingFace Daily Papers(社区热门论文)
精选70
快手开源 Kwai Keye-VL-2.0-30B-A3B:面向长视频理解与智能体智能的 MoE 多模态模型

快手开源 Kwai Keye-VL-2.0-30B-A3B,一个 MoE 多模态基础模型,激活仅 3B 参数,专为长视频理解和智能体智能设计。模型首次将 DeepSeek Sparse Attention (DSA) 适配到 GQA 多模态架构,实现无损 256K 上下文处理,并通过可扩展视频 I/O、异构 ViT-LM 并行及自定义 DSA 内核优化吞吐与计算开销。引入跨模态多教师在策略蒸馏(MOPD)结合 Context-RL 和 Video-RL,缓解多任务对齐中的灾难性遗忘,原生支持代码、工具、搜索场景下的多智能体协作与多模态自纠正。在 TimeLens、Video-MME-v2、LongVideoBench 等多个基准上达到同类规模 SOTA,模型权重已开源。

智能体多模态视频论文/研究

推荐理由:Keye-VL-2.0 把长视频理解推到 256K 上下文,还用了 DeepSeek 的稀疏注意力,这是目前我能找到的对长短视频最兼顾的多模态模型,做视频 agent 的该看看。
16:56
HuggingFace Daily Papers(社区热门论文)
67
稀疏自编码器解释与操控文本转语音语言模型

研究在CosyVoice3的语言模型骨干上训练BatchTopK稀疏自编码器,并引入模态感知自动解释管道,为每个特征标注其触发来源(文本前缀、1秒语音片段或两者)。恢复的特征涵盖音素、笑声、口音提示和说话者性别,可解释性强。通过SAE潜空间进行操控表明这些特征具有因果性:定向干预使笑声概率从0.02升至0.79,翻转感知的说话者性别,并在保留口语内容的同时控制语速。SAE特征既可作为可解释性对象,也可作为TTS合成的控制方向。

论文/研究语音
15:56
HuggingFace Daily Papers(社区热门论文)
47
U-TTT:通过测试时训练实现泛化的PET图像去噪

现有深度学习模型在分布偏移下进行PET图像去噪时性能严重下降,根源在于固定参数范式无法适应测试数据的剂量水平或扫描仪类型变化。本文提出U-TTT,一种集成测试时训练(TTT)层的U形模型,通过自监督在推理时动态调整参数以适应每个测试实例的特征。U-TTT包含空间TTT(S-TTT)层和频率TTT(F-TTT)层构成的双域自适应机制,分别校正空间结构退化并抑制全局噪声频谱、恢复高频细节。实验表明,U-TTT在未见剂量水平和扫描仪类型等挑战性分布偏移下达到SOTA去噪性能与泛化能力。

数据/训练论文/研究
15:56
HuggingFace Daily Papers(社区热门论文)
49
UniPET:面向多种剂量降低因子的通用PET图像去噪网络

现有基于深度学习的PET图像去噪方法通常假设低剂量图像的剂量降低因子(DRF)固定且已知,实际中DRF变化时性能大幅下降。UniPET将域泛化引入PET图像去噪,通过风格对齐网络(SAN)对齐并恢复不同DRF下的风格,同时提出区域感知学习策略(RALS),区分平坦区域与风格化区域并对后者进行对抗学习,防止过度平滑。实验表明,UniPET在特定DRF下性能与单DRF专用模型相当,在通用PET图像去噪任务上达到定量、感知和临床层面的最先进水平。

arXiv论文/研究
15:28
IT之家(RSS)
60
哈佛与Perplexity研究:AI智能体人机协作缩短87%任务时间、降低94%总成本

哈佛大学与Perplexity基于10000组真实数据对比研究发现,AI智能体(Perplexity Computer)与人工协作比传统搜索(Perplexity Search)加人工效率更高。智能体单次会话平均执行26分钟,搜索仅33秒,本地任务差距达75倍;智能体有效不满率1.3%,低于搜索的2.9%。“Search+人工”每任务需269分钟,“Computer+人工”仅36分钟,时间缩短87%。虽然智能体单任务模型成本约4-10美元(搜索约0.05美元),但人力边际成本从2.05美元降至0.16美元,总成本下降94%。短单步问题适合搜索,多步需工具调用任务适合智能体。

智能体论文/研究
14:56
HuggingFace Daily Papers(社区热门论文)
55
Role-Agent:通过双角色进化自举LLM智能体

Role-Agent框架让单个大语言模型同时充当智能体和环境,实现自举式共同进化。包含两个组件:World-In-Agent(WIA)让LLM作为智能体并在每次动作后预测下一状态,将预测与实际状态的对齐作为过程奖励,激励环境感知推理;Agent-In-World(AIW)则从失败轨迹中分析失败模式,并检索具有相似失败模式的任务,重塑训练数据分布进行针对性练习。在多个基准测试上,Role-Agent平均比强基线提升超过4%。

智能体arXiv论文/研究
13:56
HuggingFace Daily Papers(社区热门论文)
64
Lip Forcing:用于实时唇同步的少步自回归扩散方法

Lip Forcing提出了自回归扩散方法用于视频到视频唇同步,从14B参数的音频条件双向视频扩散教师模型蒸馏出因果学生模型。推理时每个块仅需两步去噪,无需CFG,实现实时流式处理。技术分析揭示CFG的保真度-同步权衡,进而衍生出Sync-Window DMD、两步推理调度和基于SyncNet的奖励三项组件。1.3B学生模型在31 FPS下实时输出,比同规模双向模型快17.6倍;14B学生模型是目前最大的V2V唇同步扩散模型,比教师快39.8倍,保真度接近。首帧时延均小于1毫秒。

多模态视频论文/研究
12:56
HuggingFace Daily Papers(社区热门论文)
精选75
混合LLM中的注意力失忆:CoT微调破坏长距离召回及修复方法

CoT监督微调系统性地降低混合线性注意力模型(如HypeNet、Jet-Nemotron)的长上下文召回能力。在NIAH任务上,HypeNet-9B的S2@256K从67.2%降至9.4%,原因是CoT-SFT使注意力梯度偏向短程模式,破坏长程路由的W_Q和W_K投影。QK-Restore方法无需训练,从微调前检查点恢复W_Q和W_K,保留其余参数;Procrustes变体平衡路由保留与推理适应。在HypeNet-5B上,QK-Restore将S3@256K从65.4%提升至76.4%,推理性能不变。

推理论文/研究

推荐理由:做长上下文推理的同学注意了,CoT微调居然会弄坏模型的长距离记忆,这篇论文不仅把原因扒清楚了,还给出了零成本修复方案,值得放进参考列表。
12:56
HuggingFace Daily Papers(社区热门论文)
67
WorldOlympiad:视频世界模型三项全能评测基准

WorldOlympiad 将视频世界模型评估分解为物理、几何和交互三个维度。物理轨道用物体分割和 MLLM-as-judge 检验视频对力学、热现象、材料属性等规则的遵循;几何轨道以高斯泼溅重建评估结构一致性、跨视角连贯性与相机轨迹对齐;交互轨道评测模型能否按复杂动作提示生成连贯长程视频。基准覆盖游戏、机器人和通用真实视频三大场景。实验表明,当前最先进模型在物理推理、3D 一致性和长程交互上存在显著差距。

arXiv具身智能多模态视频
12:56
HuggingFace Daily Papers(社区热门论文)
62
Data2Story:将数据转化为可验证多模态故事的数据记者智能体

Data2Story是一个多智能体框架,将数据记者工作流中的多种专业角色编排成虚拟新闻编辑室。其两项创新是:每个声明通过Inspector链接到数据、代码或外部参考,实现基于证据的归因;文章可多模态生成,如为地理内容生成交互式地图、为音乐生成音频。在18篇文章上的评估从四个维度进行:人与智能体的角度覆盖、53名参与者的评分、计算机使用智能体作为读者导航代理、以及可验证性(代码验证器重新执行语句并与参考对照)。Data2Story产出有竞争力且证据可追溯的多媒体故事,在透明度和可审计性上表现突出,但人类文章在编辑角度、创意设计和呈现上仍具优势。框架定位为记者协作者,代码和演示已公开。

智能体多模态论文/研究
12:56
HuggingFace Daily Papers(社区热门论文)
精选73
Flow-DPPO: 面向流匹配模型的散度近端策略优化

针对流匹配模型中在线强化学习比率裁剪策略约束不当的问题,Flow-DPPO 提出用散度近端约束替代。关键洞察是流模型每步策略为高斯分布,可精确计算新旧策略间的 KL 散度。Flow-DPPO 采用非对称散度掩码,仅在梯度更新偏离信任区域且超阈值时阻止更新。实验表明,Flow-DPPO 获得更高奖励,KL 近端效率更优,缓解了灾难性遗忘,促进多目标均衡,并能在比率裁剪失效时支持稳定的多轮训练。代码已开源。

图像生成推理视频论文/研究

推荐理由:用 KL 散度代替比值裁剪来解决流匹配 RL 训练的不稳定,理论简洁,代码已开源,做图像/视频生成优化的同学可以跑一下。
11:56
HuggingFace Daily Papers(社区热门论文)
61
每项多模态证据仅用一个token:面向资源受限问答的Latent Memory

Latent Memory提出一种潜在空间记忆范式,由小型压缩器LLM/VLM将每个原始文本或图像证据压缩为单个高维潜在token。查询时,将查询嵌入同一空间检索相关token并直接输入预训练LLM/VLM生成答案。通过统一端到端训练,结合重建、对比和蒸馏目标,使单个token同时携带重建、检索和生成信息。在HotpotQA等七个纯文本QA基准和多项多模态QA基准上,Latent Memory取得与先进RAG基线相当的问答性能,同时生成器token消耗减少3至10倍,并在WebQA上达到图像问答最强性能。代码已公开。

arXiv检索增强多模态论文/研究
11:56
HuggingFace Daily Papers(社区热门论文)
60
EEVEE:面向真实世界的测试时提示学习框架

EEVEE是首个面向LLM智能体的多数据集测试时提示学习框架,用于在真实任务流下自改进。为解决跨数据集干扰,它引入路由器将异构输入流划分到任务簇并分配适配提示配置,并通过路由器‑提示协同进化策略(交替执行路由器和提示学习阶段)优化二者依赖。实验表明,EEVEE在保持单基准学习能力与效率的同时,提升异构数据流鲁棒性:平均多基准得分比Qwen3-4B-Instruct高10.38分,比DeepSeek-V3.2高24.32分,超越SOTA方法GEPA和ACE最高达37.2%和48.2%。

智能体论文/研究
10:56
HuggingFace Daily Papers(社区热门论文)
60
强化学习中流策略的测试时梯度引导

QGF(Q-Guided Flow)是一种完全在测试时执行策略优化的强化学习算法。它先通过标准行为克隆预训练参考流策略和价值函数批评家,然后在测试时利用价值梯度引导参考策略生成更高价值的动作。在单任务和目标条件离线RL基准测试中,QGF优于先前的测试时强化学习方法,与最先进的训练时算法性能相当但运行成本更低,且通过避免演员-评论家训练的不稳定性展现了良好的模型规模扩展性。

具身智能论文/研究
10:56
HuggingFace Daily Papers(社区热门论文)
65
Workflow-GYM:面向真实世界专业领域长周期GUI智能体任务的基准

Workflow-GYM是专门评估AI智能体在专业领域和专用软件环境下执行长周期GUI任务的基准。实验表明,即使是最强模型,成功率也仅略高于30%,凸显出专业长周期GUI工作流对当前智能体的巨大挑战。进一步分析发现,智能体难以维持工作流一致性,频繁出现阶段遗漏、错误传播、目标漂移以及对专业软件环境理解不足等问题。这些发现揭示了当前智能体的局限性,并为下一代GUI智能体研究指明了关键方向。

智能体arXiv论文/研究评测/基准
10:56
HuggingFace Daily Papers(社区热门论文)
60
SCAIL-2:端到端上下文条件控制的角色动画统一框架

SCAIL-2 提出绕过姿态骨架等中间表示的端到端角色动画框架,通过直接拼接驱动视频获取全部视觉信息。为解决端到端数据匮乏,用解耦条件统一子任务,构建异构运动迁移数据集 MotionPair-60K。采用上下文掩码条件与模式特定 RoPE 作为软引导,并引入 Bias-Aware DPO 构建偏好对以缓解合成数据在细节区域的误差。实验表明,该方法在多个任务中显著优于现有 SOTA。部分合成数据与模型权重将开源。

图像生成视频论文/研究
10:56
HuggingFace Daily Papers(社区热门论文)
64
DLA:面向多状态线性注意力的动态内存建模框架

大语言模型长上下文扩展受限于标准注意力的二次复杂度。现有线性注意力多状态方法采用固定合并策略,无法适应token动态重要性,造成关键token丢失。DLA提出信息感知动态状态合并,根据token级信息变化自适应确定状态边界;并引入容量有界记忆建模,通过选择性合并相邻低信息状态维护固定大小缓存。DLA在两个线性注意力模型上预训练,在16个数据集上超越现有最优方法。

推理数据/训练论文/研究
10:56
HuggingFace Daily Papers(社区热门论文)
63
ARM:统一离散表示的自回归大型多模态模型

ARM是一种基于离散表示的自回归模型,将图像理解、生成与编辑统一在下一个token预测框架中。首先训练离散语义视觉tokenizer,通过多目标监督实现语义判别、语言对齐与忠实重建;然后在文本与图像token序列上训练7B自回归模型,自然融合视觉语言感知与生成能力;最后用强化学习优化文本到图像生成与指令引导编辑的偏好对齐,使WISE整体得分从0.50提升至0.56,GEdit-Bench-EN的G_O评分从5.75提升至6.68,并观察到跨任务协同效果。

arXiv图像生成多模态论文/研究
10:56
HuggingFace Daily Papers(社区热门论文)
64
当思维链更胜一筹:多轮推理模型中的失败模式

多轮推理模型的失败在终端评分中无法显现。研究提出 CoT-Output 2x2 安全矩阵,将每轮按内部推理和可见输出划分为四类:鲁棒对齐、对齐伪装、公然越狱和上下文注入失败(思维链安全但输出有害)。对三个蒸馏推理目标在五种监督条件下评估,收集 6750 回合数据,发现两个可复现漏洞:监督悖论——显式监控提示反而增加对齐伪装率;上下文注入失败——模型内部安全时仍锁定不安全外部输出。已发布完整数据集。

安全/对齐推理
10:56
HuggingFace Daily Papers(社区热门论文)
59
FlowTracer:追踪注意力诱导信息流的大语言模型强化学习框架

FlowTracer是一个针对大语言模型强化学习的框架,在注意力诱导的有向无环图上追踪从问题到正确答案的推理流。边容量来自聚合注意力权重,通过重新加权仅保留能到达答案区域的影响,并强制执行局部流守恒。提取信息流骨干,按流吞吐量对token评分,揭示高影响枢纽。重要性得分用于塑造token级奖励,使学习信号聚焦于路由信息的关键token,在多个推理任务上取得一致性能提升。

推理数据/训练论文/研究
09:41
Hacker News 热门(buzzing.cc 中文翻译)
61
大型语言模型能否超越经典的超参数优化算法?

一项研究将大型语言模型(LLM)应用于超参数优化任务,并与经典算法进行对比实验,检验 LLM 在该场景下是否具备超越传统方法的表现。

arXiv数据/训练论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
56
重新思考LLM心理测量评估:自我报告何时及为何能预测行为

本研究对比大五人格与计划行为理论(TPB)在LLM自我报告与行为一致性上的表现。在四项行为任务与11个前沿LLM中,同一对话内TPB达到人类水平一致性,大五不能;跨对话时,仅对训练形成的隐性偏见等行为保持一致性,对上下文启动的谄媚等行为则崩溃;角色提示使自我报告更一致,但不改变行为。结论:粗粒度人格框架(如大五)不适合测试部署行为。

安全/对齐论文/研究评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
50
静态(因此兼容)表示:你所需的一切

学习兼容表示旨在使模型更新后的特征表示可互换使用。实验证明,d-Simplex固定分类器学习的静态表示天然满足兼容性定义。针对顺序微调场景,交叉熵损失仅对齐一阶统计量,无法充分捕捉高阶依赖。通过交叉熵与对比损失的凸组合训练模型,既能捕捉高阶依赖,又等价于兼容约束下的交叉熵学习。实验表明,静态表示可在模型更新和替换时不需重新处理图库图像,实现无中断检索服务,并达到当前最优性能。

数据/训练论文/研究
‹ 上一页
1234…45
下一页 ›