APEX 是一个网络原生、仅解码器的 Transformer 模型，专用于企业无线接入点（AP）遥测的预测与异常检测。它在约 4,500 个生产无线网络的 10 通道多元遥测数据上预训练，涵盖约 10 万条 AP 时间序列、每 AP 34 个指标。提供两个版本：APEX-Large（269M 参数，云部署）和 APEX-Edge（10.5M 参数，边缘部署）。在 192 步（4 天）的 DHCP 退化基准上，APEX-Large 比最强基础模型基线 Toto 降低 MAE 18%，比 SARIMA 降低 38%，异常检测 F1 达 0.93；APEX-Edge 可在 AP 级边缘硬件上实现亚秒级、保护隐私的推理。结果表明网络原生预训练是主动无线运维的实用基础。
AK@_akhaliqAK@_akhaliqAK@_akhaliq视觉语言模型（VLM）将图像投影为大量视觉token，导致推理时注意力计算与KV缓存开销高昂。现有方法遵循“排序‑移除”范式，但token重要性随解码器深度变化，早期丢弃的token可能在后续层变得关键。Reroute是一种无需训练的可插拔模块，将永久移除替换为可恢复路由：被延迟的token绕过当前解码阶段，在下一路由决策时重新进入候选池。在LLaVA‑1.5与Qwen骨干上对FastV、PDrop和Nüwa变体的实验表明，Reroute在激进token压缩下提升了grounding能力，同时保持通用VQA性能。
可复用的自然语言技能被频繁调用时，将完整文本放入每个上下文会显著增加预填充成本和延迟。SKIM（SKIll coMpression）是一种自适应多分辨率软token压缩框架，专为程序性技能设计。它根据每项技能的复杂度生成不同数量的软token，在提升LLM推理效率的同时保留技能使用效果。实验表明，SKIM将技能压缩至原始token长度的30%到60%，且在任务性能上优于现有压缩方法。代码已开源。
在代码模型预训练、从大语言模型蒸馏代码模型以及时间序列基础模型预训练三项任务中，xLSTM、Mamba-2和Gated DeltaNet三种次二次架构中，xLSTM取得最佳整体性能。通过统一公式和机制分析发现，xLSTM的门控方案实现了更灵活稳定的记忆校正，其状态跟踪和记忆累积优势在合成长度泛化任务中得到验证。
ART（Art-based Reinforcement Training）是一种参数高效微调方法，通过仅优化冻结多模态大语言模型的原始视觉输入（像素阵列）来注入信息，无需修改预编译计算图，从而可在 vLLM 等高性能推理引擎上以软提示方式运行。ART 支持任意微调目标，优化后的视觉输入可被风格化为计算艺术作品。在开源 Qwen 架构的不同规模模型上，ART 在数学和结构化工具使用基准测试中达到了与 LoRA 相当的准确率。
语法约束解码(GCD)本用于提升大语言模型(LLM)生成代码的语法可靠性，但研究发现其可被逆向用作攻击面。新攻击方法CodeSpear仅通过施加良性代码语法约束即可诱导LLM生成恶意代码。防御方法CodeShield在代码模态中对齐模型，使其在GCD下生成语义无害、结构多样的蜜罐代码，同时保留自然语言拒绝能力。在10个流行LLM、4个基准上的实验显示，CodeSpear比代表越狱基线的攻击成功率平均提高30个百分点以上，CodeShield能恢复安全并保持良性功能。该发现揭示了GCD的潜在安全风险。
TRACE 针对多轮智能体 RL 中因提示复杂度差异和仅有最终奖励导致的奖励对比度不足问题，将每个 ReAct 轮次视为语义独立节点，把预算分配从 prompt 根节点扩展到中间前缀，形成树结构 rollout。它使用可共享预测器根据前缀历史估计条件成功概率，优先向易产生混合奖励的节点分配有限采样预算，从而增强策略更新信号。在典型智能体基准上，TRACE 以相同采样成本使 Qwen3-14B 在 Multi-Hop QA 上的准确率提升 2.8 个百分点。
提出一种轻量学习方法：使用冻结的预训练时间序列基础模型 Chronos-2 提取上下文窗口特征，结合小型回归神经网络进行多元传感器流的剩余使用寿命（RUL）预测。在两种设备类型的真实工业数据上，Chronos-2 嵌入特征在相同预处理和评估协议下，一致优于循环、卷积、Transformer 和梯度提升基线。研究还发现更长的上下文窗口显著提升预测性能，表明时间序列基础模型为工业 RUL 估计提供了实用且数据高效的替代方案。
针对第一人称视频空间推理中观测证据受限的问题，现有单次推理方法依赖语义先验无法解决几何歧义。论文提出无训练推理时框架ReRe：推理阶段MLLM从原始视频形成空间假设；重推理阶段通过观察合成的新视角视频验证或修正假设。采用Geometry-to-Video流水线，从预测3D几何渲染抬高斜视的全景新视角，保留MLLM原生视频接口。在VSI-Bench和STI-Bench上，ReRe显著提升开源MLLM性能，匹敌专有模型最优水平。
Claw-SWE-Bench是一个多语言SWE-bench风格基准和适配器协议，用于在公平设置下比较通用智能体框架（claws）的编程能力。完整基准包含350个GitHub issue解决实例，覆盖8种语言和43个仓库，来源于SWE-bench-Multilingual和SWE-bench-Verified-Mini。同时发布80实例的Lite子集用于快速验证。在完整基准上，OpenClaw搭配最小适配器仅得19.1% Pass@1，而完整适配器使用相同GLM 5.1骨干达到73.4%，表明适配器设计至关重要。模型选择改变Pass@1达29.4个百分点，框架选择改变27.4个百分点；相似精度的系统总API成本差异巨大。Claw-SWE-Bench将框架和成本核算作为SWE风格编码智能体评估的第一类维度。
MoE模型中路由器矩阵的每一行作为专家代理，通过计算与输入的相似度来决定激活哪些专家。理想情况下，每一行应编码对应专家矩阵的主奇异方向，使点积能更好反映token与专家的亲和度。然而现有设计缺少对齐约束。为此提出Manifold Power Iteration (MPI)方法，采用“Power-then-Retract”范式：先在路由器权重上执行幂迭代步骤，再通过回缩施加范数约束以保证效率和稳定性。理论表明MPI驱动路由器行收敛至对应专家的主奇异方向。在1B至11B参数规模的MoE模型预训练中证实该对齐能提升模型有效性。
Rohan Paul@rohanpaul_ai论文认为稀疏自编码器作为LLM控制工具并非此前认为的那么差，失败源于特征标注方式与模型内部实际因果不匹配。作者提出用监督管道替代模糊标签，验证特征活动是否真实追踪数据标签，使特征具有因果权重。例如，强制“酒精”特征增强可使模型输出转向酒精话题。论文还发现极高稀疏度并非必要。与提示工程相比，提示更强（模型经训练服从提示），而特征控制更像直接拨动机器。
Arbor是一个结合长期协调器、短期执行器和假设树优化（HTR）的通用自主研究框架。该框架通过持久化树结构跨时间链接假设、工件、证据和提炼洞察，将自主研究从局部尝试转变为累积过程。在模型训练、工具工程和数据合成等六个真实研究任务中，Arbor均取得最佳留出结果，平均相对留出增益超过Codex和Claude Code的2.5倍。在MLE-Bench Lite上，Arbor使用GPT-5.5达到86.36%的Any Medal，为对比中最优成绩。
大语言模型在处理低资源语言翻译时性能常下降。研究团队针对古邦马来语提出一种微调方法：利用双语词典的显式词汇与语义特征设计指令集，并引入持续指令微调（CIT）范式。实验结果表明，模型Lius在多项评测指标上比标准指令微调模型提升4–6个百分点，超越神经机器翻译（NMT）和多语言LLM模型10–13个百分点，展现出减少对大规模平行数据依赖的潜力。
World Pilot 是一种视觉-语言-动作（VLA）框架，通过世界动作模型（WAM）提供场景演进隐变量与预期轨迹两种先验，分别经 Latent Steering 和 Action Steering 注入决策链。在 LIBERO-Plus 零样本 OOD 基准上，总成功率达 84.7%，并在四个真实机器人操作任务中取得最高成功率，在视角、几何、变形状态和位姿变化场景下优势最显著。
Bebop系统研究多token预测（MTP）在大语言模型RL后训练中的加速瓶颈。发现MTP接受率与模型熵波动呈负线性关系；概率拒绝采样相比贪婪草稿采样能缓解熵干扰。提出端到端TV损失直接优化多步拒绝采样接受率，带来约10%提升，最高达95%接受率，额外推理吞吐提升25%。在Qwen3.5、Qwen3.6和Qwen3.7上，异步RL训练实现1.8倍端到端加速。预RL阶段的MTP训练结合e2e TV损失和拒绝采样可保持全程一致的加速，无需在线更新。
提出结合自蒸馏与强化学习的可扩展框架，激发预训练视频扩散模型（Demonstrator）的任务解决能力。给定未标注场景图像，视觉语言模型（VLM）生成候选任务及详细步骤，条件化Demonstrator生成视频；通过蒸馏将执行知识迁移至仅以图像和简短任务提示为条件的Executor，无需配对任务-视频数据。进一步利用VLM反馈的强化学习优化Executor。在WorldTasks-Benchmark和DreamGen机器人基准上，Executor在VLM评估协议下超越Demonstrator，并有效迁移至机器人任务。
InternVideo3框架通过多模态上下文推理（MCR）提升基础模型的长时序多模态任务能力。MCR将理解视为包含观察、指令、推理、工具行动和记忆的闭环过程，将长视频理解为证据积累与验证。为提升效率，引入多模态多头潜在注意力（M²LA），一种保留完整token流同时压缩KV-cache状态的token保持重参数化。训练阶段包括继续预训练、短到长监督微调、基于规则的强化学习和在线蒸馏。InternVideo3在Video-MME、MLVU、EgoSchema等基准上取得强性能，并实例化为带有检索工具的视频智能体，展现基于证据的鲁棒行为。
该综述系统研究了大语言模型智能体的环境工程生命周期，涵盖环境建模、合成、评估与应用。从八个属性和八个领域梳理代表性环境的发展路径；归纳自动环境合成的符号合成与神经合成两种范式及对应评估方法。从智能体-环境共同演化视角，总结四种智能体演化路径（记忆中心、编排中心、轨迹中心、探索中心）与三种环境演化范式（神经驱动、难度驱动、规模驱动）。最后展望环境即服务（EaaS）、多智能体环境和神经符号环境等方向。
RACES（Recursive Automated Composition for Environment Scaling）将可验证环境视为递归组装的构建块，当输出类型与输入类型匹配时自动融合为新环境。基于300个基础环境，定义SEQUENTIAL、PARALLEL、SORT、SELECT四种组合算子，诱导多样推理模式。在DeepSeek-R1-Distill-Qwen-14B上平均提升3.1分（从48.2到51.3），Qwen3-14B提升2.3分（从58.8到61.1），均在六个未见基准上测得。仅用50个基础环境即可达到300个环境的训练效果，环境利用效率显著。
Rohan Paul@rohanpaul_ai一项新研究指出，用大语言模型评判其他模型回答是否安全的“LLM安全法官”存在严重不稳定：将相同回答翻译或改写后，法官可能给出不同安全判定。在暴力、极端内容等明显危害场景下表现较好，但在需结合上下文判断的金融建议、信用评估、文化敏感回复等场景中可靠性显著下降。不同法官之间也常出现分歧，高原始一致性有时会掩盖低真实可靠性——因为许多法官默认选择同一标签。论文标题为“LLM Judges Inconsistently Disagree Across Safety Criteria and Harm Categories”。
研究引入 RQ-Bench 基准，基于 arXiv 论文构建作者锚定的研究问题（RQ），用于测试新颖性判断。使用大语言模型进行独立或对比评审时，LLM 一致将模型生成的 RQ 评为高度新颖，产生“新颖性幻觉”，在对比评估中偏好更强。但领域专家得出相反结论，更偏好作者锚定的参考问题。许多生成 RQ 狭窄或受限于来源，LLM 评审常忽略该维度。LLM 评审与人类专家的矛盾结论对基于 LLM 评估科学新颖性的可靠性提出严重质疑。
ICALens基于独立成分分析（ICA）构建轻量级语言模型表示解读工具，通过GPU并行FastICA流程与LLM稳定性优化，在GPT‑2 Small、Gemma 2 2B和Qwen 3.5 2B Base上高效恢复紧凑、可解释的方向，无需逐层梯度训练字典。在SAEBench上，ICA在稀疏探测任务中与公开SAE性能相当，并在中小预算目标探针扰动中优于SAE。结果表明ICA应被视为解读语言模型表示的高效互补首选透镜。
Rohan Paul@rohanpaul_ai一篇新论文提出“Agents’ Last Exam”基准，测试 AI 智能体完成真实专家工作的能力。任务来自工程、金融、医学、法律、媒体、科学等 55 个数字工作领域的实际项目，要求智能体使用文件、浏览器、命令行、桌面软件等常规工具产出可交付成果。评测采用自动检查或严格评分标准。结果显示，当前最强智能体在最难任务层级的平均完全通过率仅 2.6%，远低于其基准测试分数所暗示的水平。论文指出，基准成功尚未转化为广泛的职场能力。
现有PPO风格信任区域机制对所有token施加统一阈值，忽视自回归生成的非对称性和累积前缀漂移。CPPO通过位置加权阈值和累积前缀预算两种耦合机制进行优化：早期位置限制更严格以抑制序列级漂移，后期位置放宽约束以保障探索；同时动态追踪历史偏差，防止前缀沿累计误差。实验表明，该方法在不同模型规模下均能提升训练稳定性并显著提高推理准确率。
AK@_akhaliq
Google DeepMind@GoogleDeepMindGoogle Research 在 AISTATS 2026 发表正则化 f-散度核检验，用于高效审计 LLM 等模型的机器遗忘。该方法通过统计两样本检验判断模型是否真正“忘记”特定训练数据，避免完全重训的巨大成本。相比最大均值差异等现有工具，新框架理论上可在任意样本量下自然控制假阳性，且假阴性风险随可用样本增加可靠收敛至零，解决了大规模模型审计中计算成本过高的问题。
Anthropic 安全团队发现，其 Mythos Preview AI 模型能在几小时内将 Firefox 和 Windows 内核的安全补丁转化为可工作的漏洞利用，成本仅需数千美元，且无需专业知识。在微软自动更新到达任何设备之前，该模型已完成 8 条完整攻击链。Anthropic 认为传统的补丁节奏已经过时。
DeLM是一种去中心化多智能体系统框架，通过并行智能体、共享已验证上下文和任务队列避免中央控制器瓶颈。智能体异步认领子任务、读取累计进展、执行局部推理并写回紧凑的已验证更新。在SWE-bench Verified上，DeLM在Avg.@1、Pass@2和Pass@4指标中均取得最佳性能，相比最强基线提升最多10.5个百分点，每任务成本降低约50%。在LongBench-v2多文档问答上，DeLM在四个前沿模型家族中取得最高平均准确率，提升最多5.7个百分点。代码已开源。
Waymo与代尔夫特理工大学合作开发ReD（Reference Driver）认知模型，基于主动推理框架模拟人类驾驶员的避撞行为。模型包含“逼近感”判断纵向威胁、默认其他车辆遵守规则、意外阈值触发策略重评估，并还原单脚操作踏板习惯（切换停顿0.2秒）。与传统模型不同，ReD持续计算意外值并最小化自由能，实现主动避让。今年1月圣莫尼卡事故分析中，Waymo车辆减速至6英里/小时，而模型推算专注人类驾驶员可能以约14英里/小时撞上。代码已以学术非商业许可开源。
Next Forcing 提出多块预测（MCP）框架，受大语言模型多 token 预测启发，在主模型上添加轻量级辅助 MCP 模块，同时对多个未来时间步的视频块去噪。50fps 下训练 5k 步时相对 LingBot-VA 提升 93.1%，收敛速度加快 2.3 倍；在 RoboTwin 基准上达 94.1%（Clean）/93.5%（Random）新 SOTA。推理时保留 MCP 模块可实现 2 倍加速。在物理规律基准 PhyWorld 上也有显著提升，通用视频预训练 FVD 降低超 50%。
自蒸馏通过匹配学生（仅看问题）与自教师（还看上下文）的输出分布，使模型在无上下文时仍保持改进。研究比较三种上下文设计：二值奖励（GRPO）、参考解、以及步骤对齐的批评。步骤对齐批评效果最佳，Avg@12上比GRPO高16.11分，比参考解条件高5.27分。逐token优势分析表明，步骤对齐反馈仅针对推理失败的token，而参考解强制模型改变所有token行为，包括正确步骤。这说明反馈与推理步骤的结构对齐是自蒸馏效果的关键驱动因素。
自回归视频生成器的历史 KV cache 随视频长度增长。FadeMem 提出距离感知内存合并机制，在固定缓存预算下将历史 KV 块组织成时间层次，利用频率依赖的时间衰减（细粒度细节快速去相关，粗粒度场景结构保持更久）。生成时新历史作为细粒度条目插入，较旧相邻条目按幂律调度逐步合并，形成近密远疏内存。无需改动架构，即可保留近期上下文并为身份与场景连贯性提供紧凑长程锚点。实验表明在主体一致性、背景稳定性和时间连贯性上优于现有有界缓存策略。
百度百舸团队与复旦大学合作提出Long-horizon Utility KV（LU-KV）框架，将头级KV Cache预算分配建模为面向长程边际效用的全局组合优化问题。LU-KV通过离线画像估计注意力头边际贡献曲线，结合凸包松弛与基于边际效用的贪心求解器，在较低开销下得到接近最优的预算配置，可适配SnapKV、KeyDiff等多类压缩方法。在LongBench和RULER基准上，80%压缩比下性能损失小，降低显存占用和推理延迟。相关论文被ICML 2026录用。
BrainSurgery是一种针对神经网络checkpoint的“张量手术”工具，通过声明式YAML计划执行复杂的权重变换。它支持结构修改、数学变换、张量重塑，利用正则表达式和结构定位进行精准操作，并内置断言验证张量形状、数据类型和值，防止静默错误。工具覆盖从模型升级（upcycling）到LoRA提取等四个示例和三个案例研究，旨在提供可重复、可验证的模型编辑基础。
PsychoSafe 是一种心理学导向的拒绝框架，将大语言模型的拒绝行为重构为结构化支持性沟通，基于循证干预策略。研究构建了包含8019条提示-响应对的语料库，覆盖五个高风险心理领域，采用提示工程和参数高效微调训练 Qwen 3.5 27B。在500条提示的验证集上，PsychoSafe 提示使拒绝质量较通用基线提升28.1%，其中外部资源转介提升46.8%、心理基础性提升34.8%，且不损害非拒绝任务性能。微调实现了近乎完美的拒绝与资源转介率，但降低了回复相关性。在 SORRY-Bench 和 XSTest 上表现强域内鲁棒性，但跨域泛化有限。