AI Notkilleveryoneism Memes ⏸️@AISafetyMemes

63

Palisade Research: Over the past year, AI agents have learned how to self-replicate. In our test environment, an agent hacks a remote compu...

GeoStack是一个模块化框架，旨在解决视觉语言模型中多领域知识组合导致的灾难性遗忘问题。该框架允许将独立训练的领域专家模型组合成一个统一模型，通过对适配器流形施加几何与结构约束，确保基础模型的原有知识得以保留。研究从数学上证明了其权重折叠特性，使得无论集成多少专家模型，推理复杂度均保持恒定。在多领域适应和类增量学习任务上的实验表明，GeoStack能有效实现长期知识组合，并显著缓解灾难性遗忘。相关代码已开源。

研究提出战略轨迹抽象（StraTA）框架，将显式的轨迹级策略引入智能体强化学习，以优化大语言模型在长时决策中的表现。该方法从初始任务状态采样紧凑策略，使后续动作基于该策略执行，并通过分层GRPO式训练设计联合优化策略生成与动作执行，辅以多样化策略推进与关键自评判机制。在ALFWorld、WebShop和SciWorld上的实验表明，StraTA在样本效率和最终性能上均稳定超越基线模型，在ALFWorld上达到93.1%的成功率，在WebShop上取得84.2%的成功率，在SciWorld上以63.5%的综合得分超越前沿闭源模型。

Yuchen Jin@Yuchenj_UW

63

Matei Zaharia: Genie has transformed how Databricks users work with data, with 3x the accuracy of generic agents. We're sharing some of...

为提升大语言模型在生物医学领域的工具调用能力，研究团队发布了BioTool数据集。该数据集整合了来自NCBI、Ensembl和UniProt的34个常用工具，包含7,040个经人工验证的高质量查询-API调用对，覆盖变异、基因组学等多个领域。在一个40亿参数的模型上微调后，其在生物医学工具调用上的性能显著提升，甚至超越了GPT-5.1等先进商业模型。人类专家评估证实，集成该工具调用器能有效提升下游任务答案质量。数据集与评估代码已开源。

近年来，视频编辑在自然语言指令引导下发展迅速，但背景替换任务因需合成全新、时间一致场景并保持前景-背景交互，面临高质量数据匮乏的挑战，导致现有模型生成静态、不自然背景。为此，研究团队设计可扩展数据生成流程，以解耦方式分别生成前景与背景引导，并实施严格质量过滤，构建了Sparkle数据集（包含约14万视频对，覆盖五种常见背景更换主题）及迄今最大的专项评估基准Sparkle-Bench。实验表明，基于该数据训练的模型在OpenVE-Bench和Sparkle-Bench上均显著优于现有基线。数据集、基准与模型已全部开源。

研究指出，现代大语言模型普遍存在“单次令牌注入”设计缺陷，即令牌索引仅在输入层使用一次后便被丢弃。这导致了“稀有令牌训练不足”和“上下文坍缩”两个结构性问题。为此，我们提出了TIDE方法，通过引入一个由K个独立记忆块组成的“嵌入记忆”模块来增强标准Transformer。该模块将令牌索引映射为上下文无关的语义向量，并通过一个深度条件软路由将其注入到每一层。理论与实验证明，TIDE能有效缓解上述问题，并在多种语言建模及下游任务中提升模型性能。

针对缺乏标注基准的语言、领域或监管场景，本文提出“无基准比较性安全评分”框架，明确了基于场景审计作为部署证据的合约条件。该方法依赖固定的场景包、评分准则等要素，并通过工具有效性链替代真实标签验证，包括对安全与篡改版本的响应灵敏度、目标驱动方差的主导性及重复运行的稳定性。工具SimpleAudit在挪威语安全包上验证有效。实际案例表明，模型安全性取决于具体场景类别和风险度量，因此需完整报告评分、差异、临界率等多维度信息，而非简化为单一排名。

针对世界行动模型（WAMs）执行固定预测动作、缺乏实时验证的问题，本研究提出一种自适应执行框架。该框架通过轻量级验证器FFDC，联合推理预测动作、视觉动态、真实观测与语言指令，以评估剩余动作序列的可信度，从而根据预测与观测的一致性动态调整执行的动作块大小。该方法在保持长时程执行效率的同时，提升了机器人在接触密集或困难阶段的响应能力。实验表明，其在RoboTwin基准上显著减少了模型前向传递与执行时间，并提高了任务成功率。

研究提出“心智景观激活签名”概念，通过子模优化选取高层概念以覆盖被激活的上下文空间，并可借助工作记忆进行轻量迭代更新。该压缩表示能近似全局激活状态对下游处理的影响，同时保持计算可行性。将MiA-Signature集成至RAG与智能体系统中，在多项长上下文理解任务上实现了持续的性能提升。

针对大型语言模型强化学习中的“零优势问题”，本研究提出了LoPE训练框架。该方法通过在原始提示前随机添加由Lorem Ipsum等低困惑度伪拉丁文本构成的无关序列，对提示空间进行扰动，从而为困难问题开辟新的推理路径。在1.7B至7B参数规模的模型上的实验表明，该方法显著优于使用原始提示的重采样策略。分析进一步证实，其他基于拉丁语的随机序列同样可作为有效扰动源。LoPE为拓宽LLM强化学习的探索范围提供了一个简单而有效的基线方法。

SwiftI2V是一个针对高分辨率图像到视频生成的高效框架，旨在解决2K分辨率下的效率与保真度难题。它采用两阶段设计：首先生成低分辨率运动参考以降低计算负担，随后进行强图像条件的2K合成以恢复输入细节。其核心创新是条件分段生成技术，通过分段合成控制每步令牌预算，并利用双向上下文交互提升片段连贯性与输入保真度。在VBench-I2V基准测试中，该框架在2K分辨率下性能与端到端基线相当，同时将总GPU时间大幅减少202倍，使得在单张数据中心或消费级GPU上实现实用的2K图像到视频生成成为可能。

针对智能体大语言模型强化学习中稀疏结果奖励难以评估单轮贡献的问题，A^2TGPO方法优化了信息增益这一内在过程信号的利用。其核心改进包括：采用轮次组归一化，使同深度轮次间可比；通过方差重缩放的折扣累积，保持不同位置优势幅度的可比性；引入自适应轮次裁剪，根据各轮次信息增益动态调整策略更新范围。这些设计旨在更精确地进行过程信用分配，无需依赖外部奖励模型。

现有分布匹配蒸馏方法依赖离散时间锚点进行监督，易导致视觉伪影和平滑。本研究提出连续时间分布匹配方法，首次将该框架迁移至连续时间优化。其核心是通过动态连续时间表替代固定离散表，使匹配能在采样轨迹任意点执行；并引入连续时间对齐目标，利用学生速度场外推隐变量进行主动离轨匹配，以提升泛化能力并保留细节。在SD3-Medium等架构上的实验表明，该方法无需复杂辅助模块即可在少步生成中实现极具竞争力的视觉保真度。

研究发现，大语言模型（LLMs）的内部表征确实编码了社会角色的粒度信息。研究者定义了一个基于对比的“粒度轴”，该轴在Qwen3-8B模型中与社会角色表征空间的主轴高度对齐，解释了52.6%的方差，表明粒度是组织社会角色的主导几何轴。通过对75个跨五个层级的社会角色进行测试，角色在轴上的投影随粒度增加而单调上升，且结果在不同模型和提示中保持稳定。因果实验证实，沿该轴进行激活引导能按预测方向改变模型响应的粒度。研究表明，社会角色粒度是模型行为中一个结构化、有序且可因果操控的潜在方向。

研究构建了一个由外部测量驱动的封闭式自动研究循环，其核心是专家智能体。该循环产出包含提案、代码差异、实验和失败标签的可审计轨迹。关键发现是，谱系反馈能使智能体将评估结果转化为后续程序级的方案修改。在一次性设置后，人类未干预搜索过程。在总计1797次试验中，该循环使参数高尔夫的验证bpb降低0.81%，将NanoChat-D12 CORE提升38.7%，并将CIFAR-10 Airbench96的挂钟时间减少4.59%。循环能自主编写代码、提交实验、吸收反馈并组合已知技术，从而改进公开的初始方案。

针对扩散模型基于人类偏好进行强化学习微调时多奖励难以协同优化的问题，研究团队提出MARBLE框架。该框架摒弃了传统加权求和方法，为每个奖励维护独立优势估计器，并通过求解二次规划问题，在梯度空间将各奖励策略梯度协调为单一更新方向，无需手动调整权重。结合摊销化计算与平滑技术，其单步计算成本降至接近单奖励基线水平。实验表明，MARBLE能同时提升所有奖励维度，显著改善最差对齐奖励的优化方向，且训练速度接近基线方法。

研究团队提出ScaleLogic合成逻辑推理框架，可独立控制推理深度与逻辑表达力。实验发现，强化学习训练计算量T与推理深度D之间遵循幂律关系（T ∝ D^γ），且缩放指数γ随逻辑表达力增强从1.04单调上升至2.60。在数学与通用推理基准上，表达力更强的训练带来更大的性能提升（最高+10.66分）和更高的计算效率迁移。该幂律关系在不同强化学习方法中均成立，基于课程的学习能显著提升扩展效率。研究表明，训练内容（而不仅是训练量）对下游任务迁移有决定性影响。

Skill1 是一个统一训练单一策略的框架，旨在协同进化技能选择、使用与提炼三项能力，以共同优化任务完成目标。该策略通过查询技能库、重排序候选技能、在选定技能条件下执行任务，并从轨迹中提炼新技能。所有学习仅源于单一的任务结果反馈信号：其低频趋势为技能选择提供反馈，高频变化则指导技能提炼。在 ALFWorld 和 WebShop 环境上的实验表明，Skill1 超越了现有基于技能的方法和强化学习基线。训练动态证实了三项能力的协同进化，消融实验显示移除任一反馈信号都会损害整体进化效果。

SkillOS提出一种经验驱动的强化学习框架，用于训练自进化智能体学习长期技能管理。该系统由一个固定的智能体执行器和一个可训练的技能管理器组成，后者依据累积经验更新外部技能库。通过设计复合奖励并在基于技能相关性的分组任务流上训练，该方法解决了从间接、延迟反馈中学习复杂管理策略的挑战。实验表明，在多轮智能体任务和单轮推理任务中，SkillOS在效果与效率上均优于无记忆及强记忆基线，且所学技能管理器能泛化至不同执行器与任务领域。分析显示，管理器能实现更精准的技能调用，技能库中的技能会逐渐演化为结构更丰富、编码高层元技能的Markdown文件。

针对自回归范式在文本生成中的限制，研究团队提出Cola DLM，一种分层连续潜在扩散语言模型。该模型通过文本VAE学习文本到潜在映射，在连续潜在空间中用块因果DiT建模全局语义先验，再通过条件解码生成文本。其扩散过程执行潜在先验传输，而非词元级观测恢复，从而分离全局语义组织与局部文本实现，支持更灵活的非自回归生成。实验在严格匹配约20亿参数自回归基线和扩展到约2000 EFLOPs下进行，显示Cola DLM具有强大扩展性能，确立了分层连续潜在先验建模作为严格词元级语言建模的原则性替代方案。

传统MoE模型每层设置独立专家，导致参数量随深度线性增长。研究发现深层路由功能冗余，因此提出UniPool架构，采用一个全局共享的专家池供所有层访问，取代分层独立设计。通过池级辅助损失平衡专家使用，并采用NormRouter实现稳定稀疏路由。在多个规模的LLaMA模型上实验表明，UniPool持续提升了验证损失。关键的是，共享池设计将池大小确立为深度缩放超参数：仅使用基线41.6%-66.7%专家参数的缩减池变体，性能达到或超越了传统分层MoE，证明专家参数可实现次线性增长并保持更高效率。

为提升视频奖励模型的泛化能力与训练效率，研究团队提出DeScore模型。它采用“先思考后评分”的解耦范式：首先由多模态大语言模型生成显式思维链推理，再由专用判别式评分模块预测最终奖励。模型通过两阶段框架优化：第一阶段结合随机掩码进行判别式冷启动，确保评分稳健性；第二阶段通过双目标强化学习，独立优化推理质量并校准奖励，使更优的推理直接转化为更好的性能。该方法旨在克服现有判别式模型易陷于捷径学习、生成式模型因推理与评分耦合而存在优化瓶颈的问题。

针对现有大语言模型安全基准的英语中心主义局限，研究团队发布了XL-SafetyBench。该基准包含10个国家-语言对的5500个测试用例，设有基于国家的对抗性“越狱基准”和嵌入本地敏感性的“文化基准”。通过引入中立安全率与文化敏感率等补充指标，能更好区分原则性拒绝与理解失败。对37个模型的评估发现，前沿模型的越狱鲁棒性与文化意识不耦合，而本地模型的安全表现更多源于生成失败而非真正对齐。该工作为多语言时代的模型安全提供了细致的跨文化评估工具。

针对野外环境中多动物三维重建面临的物种多样、遮挡频繁等挑战，研究团队提出了SAM 3D Animal，这是首个支持从单张图像进行多动物可提示三维重建的框架。该方法基于SMAL+参数化动物模型，能够联合重建多个实例，并支持通过关键点和掩码进行灵活提示，以有效解决复杂场景中的歧义与遮挡问题。为训练此模型，研究引入了包含超过5000张图像的Herd3D多动物三维数据集，显著提升了物种、互动与遮挡模式的多样性。在多个基准数据集上的实验表明，该框架在基于模型和免模型的方法中均达到了最先进的性能，为野外动物三维重建提供了可扩展的有效解决方案。

本文研究在中训练阶段引入自生成多样化数据对强化学习（RL）的增益。该方法基于波利亚解题策略，为每个问题生成多种正确答案变体并微调。理论分析表明，这种训练方式能通过策略梯度更新激励模型融合不同推理路径。实验验证，经此中训练初始化后再进行RL的模型，在数学推理、代码生成及叙事推理等任务上均取得稳定性能提升。

现有信息检索评估主要关注语义相关性，忽视了检索结果语言对用户实用性的影响。为解决此问题，研究提出MLAIRE评估协议。该协议通过构建跨语言平行段落对照集合，能够同时测量跨语言语义检索准确率与查询语言偏好度，并引入语言偏好率、Lang-nDCG等指标进行四类分解。对31种检索器的评估显示，标准指标会掩盖不同检索器的行为差异：语义能力强的检索器可能返回非查询语言内容，而语言偏好强的检索器可能牺牲语义相关性。该协议为评估多语言检索系统的真实效用提供了新维度。

针对在线蒸馏训练中单样本蒙特卡洛估计器方差高导致不稳定的问题，本研究提出vOPD方法。该方法将在线蒸馏构建为策略梯度强化学习问题，并引入一个控制变量基线（即价值函数）来稳定训练。该价值函数具有闭式解，即学生与教师模型间的逐令牌反向KL散度，无需额外计算。通过减去该基线，vOPD在保持梯度无偏的同时显著降低了方差。实验表明，在数学与科学推理任务上，vOPD性能持续优于原始在线蒸馏，并能匹配计算成本更高的全词表基线方法，实现了高效且稳定的训练。

MC-RFM提出一个轻量级混合曲率黎曼流匹配框架，用于冻结视觉骨干的少样本适应。它将适应特征表示为双曲与欧几里得空间的乘积流形，分别捕获层次化语义与局部判别性特征，并将适应过程建模为从冻结特征到支持集原型的任务条件连续传输。该方法完全基于缓存特征操作，在七个视觉基准、五种骨干和不同样本量设置下表现优异，尤其在Transformer骨干和细粒度数据集上提升显著。消融实验验证了混合曲率设计、任务条件等关键组件的有效性，表明少样本适应需在匹配下游任务结构的几何空间中建模特征移动。

研究团队提出INTRA框架，使基于注意力的编码器-解码器模型能够直接从自身内部表征中检索信息，无需依赖外部检索器。该方法利用解码器的注意力查询对预编码的证据块进行评分，并将其直接复用为生成上下文，从而统一了检索与生成过程，避免了传统RAG流程中模块不匹配的问题。在问答基准测试中，INTRA在证据召回率和答案质量上均优于强工程化检索流程。结果表明，基于注意力的模型本身已具备可被激发的内在检索机制。