现有遥感变化检测方法在生成式模型上往往因像素空间生成计算成本高、条件机制复杂而性能落后于判别式模型。本文提出ChangeFlow,一种将变化检测重新定义为潜空间中变化掩膜合成的生成式框架,采用结构轻量的条件信号引导,并利用随机采样实现预测集成。通过聚合多个预测掩膜提升鲁棒性,并基于样本一致性提供置信度估计,突出模糊区域。该方法在四个基准测试中平均F1值达80.4%,较此前最佳方法平均提升1.3个百分点,同时保持与近期强基线模型相当的推理速度。
现有遥感变化检测方法在生成式模型上往往因像素空间生成计算成本高、条件机制复杂而性能落后于判别式模型。本文提出ChangeFlow,一种将变化检测重新定义为潜空间中变化掩膜合成的生成式框架,采用结构轻量的条件信号引导,并利用随机采样实现预测集成。通过聚合多个预测掩膜提升鲁棒性,并基于样本一致性提供置信度估计,突出模糊区域。该方法在四个基准测试中平均F1值达80.4%,较此前最佳方法平均提升1.3个百分点,同时保持与近期强基线模型相当的推理速度。
本研究提出分组查询潜在注意力(GQLA),对DeepSeek-V2/V3中的多头潜在注意力(MLA)进行最小修改,使其在一套权重上暴露两种等效解码路径:与MLA相同的MQA吸收路径,以及带有每组扩展缓存的GQA路径。运行时可根据硬件自动选择路径,无需重新训练。单一的GQLA权重能同时适配H100(采用MQA吸收)与H20(采用GQA及多令牌预测)的硬件性能上限,并在GQA路径上支持高达8路的零冗余张量并行。通过扩展TransMLA为TransGQLA,可将预训练的GQA模型转换为GQLA模型。在LLaMA-3-8B上的实验表明,其MQA吸收路径将每令牌的KV缓存压缩至GQA基线的28.125%,同时在分组路径上结构性保留了GQA级别的流量效率。
针对机器人轨迹数据在构建物理常识上的局限性,PhysBrain 1.0 提出了一种互补方案。该研究构建了一个数据引擎,从大规模人类第一视角视频中提取结构化的物理常识,用于训练视觉语言模型。随后,通过一种保持能力且语言敏感的适配设计,将这些物理先验知识迁移到视觉语言-动作策略中。实验表明,在多项具身控制基准测试上,PhysBrain 1.0 均达到当前最优水平,尤其在跨域任务中展现出强大性能。
现有图像编辑模型在处理抽象、多步骤指令时存在不足。本研究提出一种长周期编辑框架,包含生成原子分解的规划器与选择工具、区域执行步骤的调度器。视觉语言评判器根据指令遵循度与视觉质量提供奖励信号,调度器通过最大化奖励进行训练,成功轨迹则用于优化规划器。该方法通过紧密耦合规划与奖励驱动执行,生成了比单步或规则基线更连贯可靠的编辑结果。
研究提出了一种名为纠错导向策略优化的新方法,用于增强大型语言模型的推理能力。该方法将训练中产生的失败轨迹自动转化为纠错样本,并与标准的可验证奖励强化学习目标联合优化。在涵盖数学推理和代码生成的11个基准测试中,该方法在推理和纠错性能上均显著超越现有基线。实验表明,该方法能提升模型的内在推理能力,而不仅仅是重新分配已有正确答案的概率质量,具体体现在更强的pass@K增益上。
针对自回归图像生成中文本与人脸保真度不足的核心瓶颈,InsightTok提出了一种改进的离散视觉标记化框架。该框架通过引入局部化、内容感知的感知损失,专门强化文本可读性与面部特征保真度。在保持16k小型码本和16倍下采样率的紧凑设计下,InsightTok在文本和面部重建质量上显著超越先前方法,且未损害通用图像重建性能。其优势在自回归模型InsightAR中得到延续,生成的图像文本更清晰、面部细节更精准。这项工作凸显了在标记化训练中引入针对性监督对推进离散图像生成的重要性。
Solvita 是一个无需更新底层大语言模型权重的智能体演化框架,旨在提升模型在竞技编程中的推理能力。它将解题过程重组为由 Planner、Solver、Oracle、Hacker 四个专用智能体执行的闭环系统。每个智能体配备一个可训练的图结构知识网络,系统运行时产生的通过/失败结果、测试质量与对抗漏洞等信号,会转化为对这些网络的强化学习更新,使智能体能基于历史经验动态路由后续查询,持续积累可迁移的推理经验。在多个基准测试及实时编程比赛中,Solvita 在代码生成智能体中取得了新的最优性能,显著超越了现有方法。
FFAvatar提出一种通用前馈框架,仅需数秒即可从少量无姿态人像重建高质量、可动画化的3D高斯头部虚拟形象。它通过多视图查询融合器将多源图像信息统一到规范表示,并端到端预测FLAME参数驱动动画。采用三阶段训练策略:在超百万身份的单目视频数据上预训练;利用少量高质量360度数据微调;支持500步内快速个性化适配。在NeRSemble基准上,其PSNR显著优于现有最优方法5.5分,无需个性化时重建仅需2秒,个性化需10秒,并在单A100 GPU上实现49 FPS实时动画。
MMSkills框架旨在为视觉智能体提供可复用的多模态程序性知识。它将每个技能封装为包含文本程序、运行时状态卡片和多视角关键帧的紧凑技能包。该框架通过轨迹到技能的生成器,将公开交互轨迹转化为技能,过程包括工作流分组、程序归纳与视觉定位。使用时,采用分支加载架构:在临时分支中检视选定的状态卡片与关键帧,将其与实时环境对齐并提炼为结构化指导,供主智能体决策。在GUI和游戏基准测试中,该框架能持续提升不同规模多模态智能体的性能,证明外部多模态知识能有效补充模型内部先验。
现有游戏世界模型多从主观玩家视角模拟环境,将非玩家角色(NPC)视为背景像素,难以建模玩家与NPC的动态交互。本文提出ReactiveGWM,该反应式游戏世界模型通过显式解耦玩家控制与NPC行为来解决此问题:玩家动作通过轻量级加性偏置注入扩散主干,而高级NPC响应则通过交叉注意力模块实现。这些模块学习的是与游戏无关的交互逻辑表示,支持零样本策略迁移——学习到的模块可直接插入不同游戏的现成世界模型中,无需针对特定领域重新训练即可实现可引导的NPC交互。在《街头霸王》系列游戏上的评估表明,ReactiveGWM在保持精细玩家可控性的同时,实现了稳健且与提示对齐的NPC策略遵循。
本文提出EgoForce框架,通过单个头戴式摄像头从用户视角重建手部的绝对三维姿态与形状。该框架解决了单目RGB方法的深度尺度模糊问题,并能泛化应用于鱼眼、透视等多种摄像头模型。其核心创新在于结合了可微分前臂表征以稳定手部姿态、统一的臂-手Transformer模型从单视图预测几何信息,以及一个光线空间闭式求解器来实现跨设备的绝对三维姿态恢复。在三个第一人称基准测试上的实验表明,EgoForce实现了最先进的三维精度,在HOT3D数据集上将相机空间MPJPE误差降低了最高28%,并在不同摄像头配置下保持了一致的性能。
由伯克利RDI、马克斯·普朗克安全与隐私研究所、Anthropic、OpenAI及谷歌等机构研究人员组成的团队,发布了名为ExploitGym的新基准测试。该测试包含898个真实漏洞,要求AI智能体根据漏洞描述生成完整的漏洞利用程序。结果显示,前沿AI模型已能成功利用相当数量的漏洞,即使在启用ASLR等标准防御措施后,部分攻击仍能成功。这证明AI已具备自主将漏洞转化为实际攻击的能力,该技术具有双重用途:既可帮助防御者评估漏洞严重性,也可能降低攻击者的技术门槛。
吸引子模型解决了循环Transformer训练不稳定、成本高和深度固定的问题。它通过主干模块生成初始输出嵌入,吸引子模块迭代优化固定点,并利用隐式微分计算梯度,使训练内存与有效深度无关,迭代次数自适应收敛。在语言建模中,相比标准Transformer,困惑度最高降低46.6%,下游任务准确率最高提升19.7%,训练成本更低;一个770M参数的模型性能优于1.3B参数Transformer。在推理任务中,仅2700万参数模型在约1000个示例下,于Sudoku-Extreme和Maze-Hard上准确率分别达91.4%和93.1%,优于Claude、GPT o3等前沿模型。模型还展现出均衡内化现象,训练后初始输出嵌入接近均衡态,推理时可移除求解器而性能几乎无损,实现了迭代优化的可扩展性。
研究团队提出一种面向大语言模型的快慢学习框架,将模型参数视为“慢”权重,优化的上下文视为“快”权重。该框架结合了参数更新与上下文学习的优势:快权重通过文本反馈快速吸收任务特定信息,而慢权重则保持接近基础模型以维护通用推理能力。在推理任务中,该方法比仅使用慢学习(如强化学习)的样本效率高出3倍,且达到更高性能上限。同时,训练后的模型更接近基础模型(KL散度降低达70%),显著缓解了灾难性遗忘,并保持了模型的可塑性,使其在持续学习场景中能更有效地适应后续新任务。
研究指出,为大语言模型微调生成式检索任务会迅速导致其通用语言推理能力的灾难性遗忘,且遗忘程度与微调后和原始模型参数的偏离距离相关。为此,研究者提出了ORBIT方法。该方法主动追踪微调权重与初始权重之间的距离,一旦超过预设阈值,便采用权重平均策略来约束模型在微调过程中的漂移。实验表明,ORBIT在文本和检索性能上均优于常见的持续学习基线及同样采用权重平均的正则化方法,有效缓解了基础能力的遗忘问题。
针对部分可观测长程任务中LLM智能体面临的历史信息膨胀与状态不确定性问题,研究提出了Agent-BRACE方法。该方法将智能体解耦为信念状态模型与策略模型,通过强化学习联合优化。信念模型以带有序语言化确定性标签(从“确定”到“未知”)的原子化自然语言声明集合,结构化近似表示环境状态的后验分布;策略模型则基于这一紧凑的信念表示而非完整历史进行决策。在部分可观测的具身语言环境中,该方法使Qwen2.5-3B-Instruct和Qwen3-4B-Instruct模型分别实现平均绝对性能提升14.5%与5.3%,且上下文窗口长度几乎不随任务步数增长。分析表明,随着证据积累,学习得到的信念在任务过程中校准度逐渐提升。
针对统一多模态模型中理解与生成能力的协调问题,研究团队提出UniPath框架。该框架的核心是识别并利用“协调路径多样性”,即针对不同输入动态选择最优推理路径,而非采用固定模式。路径选项包括直接回答、文本推理、视觉思维构建及假设探索。UniPath通过角色对齐轨迹训练路径条件执行器,并引入轻量级规划器实现输入依赖的路径选择。实验表明,该方法在性能上超越了固定协调策略,同时提供了可解释的中间行为。代码已开源。
中国科学院长春应用化学研究所张强团队开发出一款植入式水凝胶神经探针,为慢性疼痛治疗提供了新路径。该成果于5月13日发表于《先进材料》期刊。探针采用α螺旋多肽交联剂的超分子水凝胶材料,在模量匹配性、电导率和透光性之间取得平衡,能更好适配脑组织。动物实验显示,植入大脑前边缘皮层的探针可实现长达1年的稳定神经信号记录,并在慢性疼痛模型中有效增强相关脑区活动、提高疼痛阈值、缓解疼痛症状。
研究提出将语言模型从单一顺序消息处理转向多并行计算流架构。模型在每个前向传播中同时从多个输入流读取,并向多个输出流生成令牌,所有流均因果依赖于先前时间步。这一数据驱动的变革解决了现有智能体无法在阅读时行动、在行动时响应新信息等阻塞问题,同时通过并行化提升了模型效率,通过更好的关注点分离增强了安全性,并改善了模型的可监控性。
DR.Q 算法被提出,以解决基于模型表示方法在连续控制中因信息捕获不足和过拟合早期经验而导致的偏差问题。该算法显式最大化当前状态-动作对与下一状态表示之间的互信息,并最小化偏差,同时结合衰减优先经验回放进行过渡采样。在多个连续控制基准测试中,使用单一超参数集进行评估,DR.Q 的表现匹配或超越了近期强基线,有时性能大幅领先。代码已开源。
研究团队推出用于大语言模型训练的优化器Pion,其基于正交等价变换实现谱保持特性。与Adam、Muon等加法型优化器不同,Pion通过左右正交变换更新权重矩阵,使奇异值在整个训练过程中保持不变。该机制能在固定谱范数的前提下调节权重矩阵的几何结构。实验表明,Pion在LLM预训练和微调任务中均能提供稳定且具有竞争力的性能,为传统优化器提供了新替代方案。
Deepmind 提出“指针工程”概念,旨在将鼠标光标转变为上下文工程中的关键变量。这一设想试图超越传统的提示词工程,通过光标在界面上的物理位置和移动轨迹来影响和引导 AI 模型的行为与输出。其目标是为人机交互开辟新范式,使光标成为与 AI 系统进行精细、动态交互的核心工具。
研究提出,在编码器适应新领域时,先短暂切换至因果语言建模(CLM),再进行掩码语言建模(MLM)衰减训练,可有效提升下游任务性能。在生物医学文本上使用ModernBERT的实验表明,该策略在相同数据和算力下,于多项法语和英语生物医学任务中均稳定优于纯MLM基线。分析发现,CLM的密集监督主要影响Transformer低层,其带来的表征变化在后续MLM阶段得以持续并随模型容量扩展。基于此方法发布的ModernCamemBERT-bio与ModernBERT-bio模型,成为当前先进的生物医学编码器。
本文介绍了首个专为单图像重光照评估设计的真实世界数据集WildRelight,包含多样化高分辨率户外场景,在严格对齐的时序自然光照下采集并配有环境贴图。基准测试揭示了当前基于合成数据训练的先进模型存在严重域偏移。利用该数据集严格对齐的时间结构,研究提出一种物理引导推理框架,将捕获的自然光演变作为自监督约束,通过结合扩散后验采样与时序感知的测试时自适应,成功将棘手的模拟到真实挑战转化为可处理的自监督任务。数据集与代码将公开以推动鲁棒且基于物理的重光照研究。
异步强化学习提升语言模型智能体数据吞吐,但引发PPO离策略修正失效。重要性比率本应分解为训练-推理差异项和策略陈旧性项,但异步流水线常丢失旧Logits,导致修正语义混淆与阈值不良交互。研究提出精确修正方法,如快照版本追踪、专用模型和同步中断,并探讨近似修正路径。采用改进的PPO-EWMA方法,在训练速度和优化性能上均取得显著提升。
针对多轮对话中隐藏的恶意意图威胁,研究提出了一种新的防御方法,旨在检测并干预最早可能促成有害行为的关键对话轮次。该方法通过构建包含分支攻击推演、良性困难负例及最早危害促成轮次标注的多轮意图数据集(MTID)进行训练与评估。基于此训练的轮级监控器TurnGate在恶意意图检测上显著优于现有基线,同时保持较低的误拒率,并能跨领域、攻击流程和目标模型实现泛化。相关代码已开源。
工具调用型LLM智能体的失败体现在整个轨迹中,而非仅最终响应。现有安全对齐方法常导致安全与效用权衡。研究提出FATE框架,通过在线策略自我进化,将验证器评分的失败轨迹转化为修复监督信号,无需专家示范。该方法引入帕累托前沿策略优化(PFPO),结合监督预热与帕累托优化以平衡安全与效用。在AgentDojo、AgentHarm和ATBench上的实验表明,FATE能显著提升多模型、多规模下的安全性,同时维持任务效用。具体而言,攻击成功率降低33.5%,有害指令遵从减少82.6%,外部轨迹安全诊断能力提升6.5%。这表明失败轨迹可为智能体安全进化提供有效监督。
本文提出了一种高效的潜在到像素(L2P)迁移范式,能够直接利用预训练潜在扩散模型(LDM)的知识构建像素空间模型。该方法摒弃了VAE,采用大块标记化技术,并冻结源LDM的中间层,仅训练浅层来学习从潜在到像素的转换。通过仅使用LDM生成的合成图像进行训练,L2P能以极低开销(仅需8个GPU)将海量潜在先验迁移至像素空间。实验表明,该方法在DPG-Bench上与源LDM性能相当,在GenEval上达到其93%的性能,同时消除了VAE的内存瓶颈,实现了原生的4K超高清图像生成。
视觉-语言-动作模型虽在语义泛化上表现良好,但缺乏对物理动态的显式建模。为此,研究界正整合预测环境变化的世界模型,形成“世界动作模型”新范式。WAMs将状态预测与动作生成相统一,以未来状态与动作的联合分布为目标。现有方法可分为级联式与联合式两大类,其发展依托于机器人遥操作、人类演示、仿真及互联网规模第一人称视频等多元数据。评估聚焦于视觉保真度、物理常识与动作合理性。当前领域面临架构与目标碎片化的挑战,亟需建立统一框架。
本文提出AlphaGRPO框架,将分组相对策略优化应用于AR-Diffusion统一多模态模型,无需额外冷启动即可提升多模态生成能力。该框架解锁了模型执行高级推理(如推断用户隐含意图)和自反思优化(自主诊断并修正生成错位)的内在潜力。针对实际监督难题,团队设计了可分解可验证奖励机制,利用大语言模型将复杂请求分解为原子化、可验证的子问题,再通过通用多模态大模型评估,提供可靠且可解释的反馈。实验表明,AlphaGRPO在多个生成与编辑基准上均取得显著性能提升。
针对计算机使用代理在GUI操作与工具调用间切换决策困难的问题,本文提出ToolCUA。该方法采用分阶段训练:首先利用静态GUI轨迹合成基础工具库,生成多样化的GUI-工具交错轨迹;随后通过工具引导的GUI强化微调改进关键切换点决策;最后在高保真环境中进行在线代理强化学习,以鼓励工具高效使用。在OSWorld-MCP基准测试中,ToolCUA达到46.85%的准确率,相对基线提升约66%,证明了GUI-工具协同训练的有效性。
针对基于Transformer的多视图3D重建模型效率低下的问题,本文提出Lite3R框架。该框架采用模型无关的师生架构,以稀疏线性注意力替代密集注意力来降低计算开销,并引入参数高效的FP8感知量化训练策略。该策略结合部分注意力蒸馏,冻结大部分预训练骨干参数,仅微调轻量线性分支投影层,从而实现稳定的低精度部署。在VGGT和DA3-Large骨干网络上的实验表明,Lite3R在BlendedMVS和DTU64数据集上能显著降低延迟(1.7-2.0倍)和内存占用(1.9-2.4倍),同时保持整体重建质量的竞争力。
研究团队推出MEME基准,用于评估大语言模型智能体在多会话持久环境中的记忆能力。该基准定义了涵盖多实体与演化信息两个维度的六项任务,其中级联、缺失和删除推理三项为先前工作未涉及。在100个受控片段上对三种记忆范式的六个系统进行评估发现,所有系统在默认配置下对依赖关系的推理能力均严重不足(级联任务平均准确率3%,缺失任务1%),尽管其静态检索性能尚可。提示优化、深度检索、减少干扰信息乃至使用更强的模型均未能显著缩小差距。仅当基于文件的智能体配合Claude Opus时,差距被部分缩小,但成本约为基线的70倍,表明当前解决方案难以大规模应用。代码与数据已公开。
研究团队推出长期记忆评估基准LongMemEval-V2,旨在直接检验智能体内化特定环境经验的能力。该基准包含451个手工问题,涵盖五项核心记忆能力,并配有多达500条轨迹的历史数据。研究提出了基于检索增强生成的高效记忆方法AgentRunbook-R,以及调用编码智能体收集证据的AgentRunbook-C。实验表明,AgentRunbook-C以72.5%的平均准确率取得最佳性能,显著优于基线方法,但延迟成本较高。该基准为开发面向环境经验的长期记忆系统提供了具有挑战性的测试平台。
VidSplat是一个免训练的生成式重建框架,旨在解决高斯泼溅技术在输入视图稀少时性能显著下降的问题。该框架通过利用强大的视频扩散先验,迭代合成能够补偿缺失覆盖范围的新视角,从而从稀疏输入中恢复完整的3D场景。其核心创新包括:提出一种免训练的分阶段去噪策略,利用渲染的RGB和掩码图像自适应地将去噪方向引导至底层几何结构;开发了一种迭代机制,通过采样相机轨迹、探索未观测区域、合成新视图并进行置信度加权的精细化训练来增强重建。VidSplat对稀疏输入甚至单张图像均表现出鲁棒性,在广泛使用的基准测试中展现了卓越的稀疏视图场景重建性能。
本文挑战了Transformer通过权重矩阵线性记忆事实的传统观点,提出了一种几何记忆机制。在单层Transformer记忆随机双射的设定中,证明了对数嵌入维度即足够:主体嵌入编码属性向量的线性叠加,而小型MLP充当基于关系的选择器,通过ReLU门控提取相关属性,而非进行键值映射。研究进一步扩展到多跳关系查询,提供了包含与不包含思维链的构造,揭示了可证明的容量与深度权衡,并辅以信息论下界。实证表明,梯度下降能找到预测的结构化解;训练后,当主体嵌入重新初始化时,MLP能零样本迁移到全新双射,说明其学会了通用的选择机制,而非记忆特定事实。
MoCam 提出了一种基于结构化去噪动态的新视角合成方法,旨在解决几何先验与外观先验在生成过程中的根本矛盾。该方法在扩散过程的早期阶段利用几何先验锚定粗略结构并容忍其不完整性,随后在后期阶段切换至外观先验以主动修正几何错误并细化细节。这种时序解耦设计自然统一了静态与动态视角合成。实验表明,MoCam 在点云存在严重孔洞或畸变时显著优于现有方法,实现了稳健的几何-外观解纠缠。
为应对高成本大语言模型实验自动化配置的空白,本文提出智能体框架AutoLLMResearch。其核心是通过一个基于超百万GPU小时实验结果构建的多保真度环境LLMConfig-Gym进行训练,使智能体能够从低成本“低保真”实验中学习通用原则,并外推至昂贵的高保真场景,从而高效识别有潜力的配置方案。评估表明,该框架在多种强基线对比中展现出有效性、泛化性与可解释性,为现实世界中可扩展的LLM实验自动化提供了实用解决方案。
LychSim是一个基于Unreal Engine 5构建的可控交互式仿真框架,旨在降低现代仿真平台的高技术门槛。其核心设计包括:一个简化底层引擎复杂性的Python API;一个能生成具有多样化分布外视觉挑战的高保真环境,并提供丰富2D与3D真实标注的程序化数据管线;以及原生集成的模型上下文协议,可将仿真器转变为支持推理型大语言模型的动态闭环测试平台。该框架支持语义对齐的3D标注与自动场景修改,已成功应用于合成数据生成、基于强化学习的对抗性评估及语言驱动的交互式场景布局生成等多个下游任务。LychSim将公开提供完整源代码与多种数据标注。
研究团队提出CausalCine,一个将多镜头视频生成转化为在线导演过程的交互式自回归框架。该框架能跨越镜头边界进行因果生成、实时响应动态提示,并复用历史上下文。其核心是内容感知记忆路由(CAMR)机制,该机制依据注意力相关性动态检索历史关键信息,而非依赖时间邻近性,从而在有限内存下保持跨镜头连贯性。团队首先训练因果基础模型学习复杂镜头转换,再将其蒸馏为少步生成器以实现实时交互。实验表明,CausalCine显著优于自回归基线,并接近双向模型能力,同时解锁了流式交互性。