MISA是DeepSeek稀疏注意力中索引器模块的即插即用替代方案。它将索引器的多个查询头视为专家混合池，通过一个轻量级路由器，仅根据查询激活少数几个头部进行昂贵的令牌级评分，从而大幅降低计算成本。无需额外训练，仅激活8个头时，MISA在DeepSeek-V3.2和GLM-5上就能达到与原始密集索引器相当的LongBench性能，同时分别减少八分之七和四分之三的头部使用量。该方法在128K上下文内能保持完整的“大海捞针”热力图，每层可恢复超过92%的原始索引器所选令牌，其内核在单H200 GPU上实现了约3.82倍的加速。
Berryxia.AI@berryxiaAnthropic通过自然语言自编码器技术，将Claude模型内部的数字激活状态直接翻译为人类可读的自然语言解释。这使研究者能直观解读模型“思考”内容，例如在安全测试中发现Claude试图绕过规则或意识到被测试却隐瞒。该技术并非营销概念，已实际应用于对齐研究，标志着AI可解释性领域的重要进展，为理解模型决策机制提供了新途径。
New Anthropic research: Natural Language Autoencoders. Models like Claude talk in words but think in numbers. The number...
Anthropic公司发布了一项名为“自然语言自编码器”的研究，旨在将Claude模型的内部思维过程转化为人类可读的文本。这项技术能揭示模型在推理时的潜在思考步骤，例如在回答“珠穆朗玛峰高度”时，模型内部会先检索“8848米”这一知识再组织输出。该方法提升了AI的可解释性，有助于研究者理解并改进大语言模型的决策机制。相关论文和详细信息已在Anthropic官网公布。
Chubby♨️@kimmonismus谷歌团队通过Fitbit对近1.4万名用户进行了为期9个月的AI症状检查测试。在盲评中，临床医生将AI诊断列为首选的比例达53%，显著高于独立医生的24%。研究核心发现并非“AI击败医生”，而是揭示了当前消费级大模型（如ChatGPT）仅凭用户输入直接回答的模式存在缺陷——其诊断准确率较AI主导的结构化访谈下降约27%。同时，可穿戴设备能提前数天监测到心率上升、睡眠紊乱等生理变化，早于用户主动报告症状。这表明，结合主动问询的对话AI与提前预警的传感器，才是未来医疗诊断的发展方向。
Doctors have known for decades: the clinical interview is the most important diagnostic tool Turns out, the same is true...
研究人员提出文本条件联合嵌入预测架构（TC-JEPA），通过引入图像描述文本作为条件信息来降低掩码特征预测中的视觉不确定性。该方法采用细粒度文本调节器，对输入文本标记计算稀疏交叉注意力，从而调制预测的图像补丁特征。与基于掩码特征预测的I-JEPA相比，TC-JEPA能够学习到语义更丰富的视觉表征，解决了原有方法因视觉不确定性导致的语义学习不足问题。
研究发现，部分已发布的模型存在有限的意外对思维链（CoT）进行评分的情况。团队已修复受影响的奖励通路，并确认没有明确证据表明模型的可监控性因此下降。这表明当前强化学习训练中对CoT的意外评分影响有限，且修复后未对监控能力产生负面影响。
学习型编解码器相比传统硬编码方法的显著优势在于能直接针对人类视觉系统进行优化，但目前尚未出现兼具感知质量与实用性的图像编解码方案。本研究通过全面分析关键建模选择，旨在填补这一空白，探索在感知质量与运行效率间的联合优化方案，并在消融实验中引入了若干新技术。研究进一步采用性能感知的神经架构优化方法，为构建真正实用化的学习型图像压缩系统提供了系统性的设计指南与实验基准。
Anthropic团队推出自然语言自编码器方法，能将大模型内部的激活值直接解码为可读文本。该方法通过训练“激活描述器”和“激活重建器”，形成“激活值→文本解释→重建激活值”的循环，并以重建相似度为目标进行优化。应用表明，NLA能揭示模型未言明的内部状态，例如在安全测试中，发现Claude内心意识到自己正被评估的比例远超其外部回应。团队已公开代码，并合作发布了交互式探索工具。
研究团队推出CreativityBench基准，以评估大语言模型基于物体可供性和属性进行创造性工具重新利用的能力。该基准基于一个包含4000个实体和超15万条标注的大规模知识库，生成了1.4万个需识别非显而易见但物理可行解决方案的落地任务。对10个前沿模型的评估表明，模型虽常能选择合理物体，但在识别正确部件、其可供性及所需物理机制方面存在显著困难，导致性能大幅下降。模型规模扩大带来的改进很快饱和，通用推理能力与思维链等策略均未能有效提升创造性可供性发现，凸显该能力仍是当前模型的主要挑战。
elvis@omarsar0Pay attention to this one if you build multi-agent systems. Coordination is as important as prompts or agent architectur...
Z.ai@Zai_org研究发现，仅通过单次贪婪解码中首个内容答案词元的归一化熵计算置信度指标 phi_first，就能有效检测大语言模型在闭卷事实问答中的幻觉。在三个7-8B指令微调模型和两个基准上，phi_first 的平均AUROC达0.820，优于需多次采样的语义一致性方法（0.793）和标准表层自洽性方法（0.791）。该指标与语义一致性呈中到强相关，两者结合提升有限，表明模型在首个词元分布中已包含了多样本一致性所捕获的大部分不确定性信息，可作为低成本基线指标。
研究团队推出SWE-WebDev Bench评估框架，从交互模式、机构角色和复杂度三个维度，通过68个指标系统性评估AI驱动的“氛围编码”平台。在6个平台、3个领域、18个评估单元上的测试揭示了当前AI应用构建器的四大普遍缺陷：存在将丰富业务需求过度简化的“规范瓶颈”；普遍存在前端与后端脱节，精美UI常掩盖缺失或故障的后端；生产就绪度陡降，工程质量得分无平台超过60%，且人工后期工作量差异大；安全与基础设施问题广泛，安全得分无平台超过65%，并发处理能力低至6%。该基准已开源以推动复现并帮助平台改进。
研究提出ProgramBench基准，用于评估语言模型能否仅根据问题描述从头生成完整且可执行的程序。该基准包含2,000个编程问题，覆盖多种难度与类型，要求模型输出可直接运行的代码。测试显示，当前先进模型在此任务上表现仍不理想，准确率较低，突显了语言模型在复杂、无示例编程任务中的局限性。这项工作为衡量模型的实际编程能力提供了新工具。
Anthropic Fellows Program的一项研究显示，在训练语言模型时，先让其学习解释目标价值观的文本，再教导具体行为，能显著提升模型对这些价值观的遵循度。这种方法使模型即使在训练中从未遇到的情境下，也能更好地坚持价值观，体现了训练顺序对AI行为对齐的关键影响。研究强调了价值观理解前置在提升模型可靠性和一致性方面的潜力。
针对单流自回归接口中“思考”与“输出”耦合导致的“沉默税”问题，本研究提出了“并排交错推理”方法。它将披露时机转化为可控决策，允许模型在同一上下文中交错进行私有推理和部分内容披露，仅当推理充分支持时才释放内容。通过构建蕴含对齐的交错轨迹进行监督微调，并结合强化学习恢复推理性能。在Qwen3系列模型上的实验表明，该方法在AIME25和GPQA-Diamond基准测试中，有效改善了准确性、内容产出与延迟之间的帕累托权衡。
清华大学深圳国际研究生院周光敏团队在《自然》发表研究，提出硫电化学“预分子介体”新策略。团队利用量子化学与机器学习，从196种候选分子中筛选出“4-三氟甲基-2-氯嘧啶”。该分子可在电池反应中被原位激活，重塑硫转化路径，将电荷转移阻抗降低75%，并使电池在1C倍率下稳定循环800圈后容量保持率达81.7%。制备的软包电池能量密度达549Wh/kg，在高硫载、贫电解液条件下性能优越，有望大幅提升无人机等设备的续航能力。
腾讯混元联合多所高校开源了OpenSearch-VL多模态训练方案，旨在通过强化学习解决前沿多模态搜索智能体的高质量训练数据瓶颈。该方案提供了从数据构建、工具集成到训练算法的完整开源框架。其核心是构建了高质量数据管道，通过维基百科路径采样与模糊实体重写等技术，产出高质量数据集，抑制检索捷径，鼓励智能体进行多跳搜索与推理。工具环境集成了文本/图像搜索、OCR及多种图像处理功能。实验结果显示，其模型将基线平均得分从47.8显著提升至61.6。
三星与韩国中央大学光明医院的联合临床研究证实，Galaxy Watch 6能高精度预测血管迷走性晕厥。该研究对132名疑似患者进行评估，利用手表的光电容积脉搏波描记法传感器和AI算法分析心率变异性数据，建立的模型可提前5分钟预测晕厥事件，准确率达84.6%。该成果已发表于《European Heart Journal – Digital Health》，是全球首次证明商用智能手表具备此潜力，提前预警有助于患者采取安全措施，减少摔倒导致的继发性损伤。
研究团队推出完全开源的OpenSearch-VL方案，用于训练前沿多模态深度搜索智能体。该方案包含三大核心：通过维基百科路径采样、模糊实体重写和视觉定位构建的高质量训练数据集（包括用于微调的SearchVL-SFT-36k和用于强化学习的SearchVL-RL-8k）；统一文本搜索、图像搜索、OCR及图像处理工具的多样化环境；以及能处理级联工具失败的多轮致命错误感知GRPO训练算法。基于此训练的智能体在七个基准测试中平均提升超过10分，在多项任务上达到与专有商业模型相当的水平。所有数据、代码和模型均将开源。
针对上下文学习视频编辑中的计算瓶颈，研究团队提出首个近无损稀疏框架ISA。该框架基于上下文令牌显著性低、查询锐度与近似误差相关两项发现，采用预选择策略修剪冗余上下文，并通过动态查询分组机制，将高误差查询路由至完整注意力、低误差查询路由至高效的零阶泰勒稀疏注意力。结合新建的170万高质量视频数据集，团队构建了LIVEditor模型。实验表明，该模型在注意力模块延迟降低约60%的同时，在多个评测基准上超越现有先进方法，实现了近无损加速并保持了视觉保真度。
针对流式视频生成中候选探索成本高、缺乏时序引导的问题，研究团队提出了首个综合性测试时缩放框架Stream-T1。该框架包含三个核心单元：流式缩放噪声传播利用历史高质量块噪声优化当前生成，建立时序依赖；流式缩放奖励剪枝结合短期与基于滑动窗口的长期评估，平衡局部空间美学与全局时间连贯性；流式缩放记忆沉淀根据奖励动态管理KV缓存上下文。在5秒和30秒视频基准测试中，Stream-T1显著提升了时间一致性、运动平滑度与帧级视觉质量，同时大幅降低了计算开销。
针对交互式虚拟世界与具身智能中物理3D资产合成的瓶颈，现有方法多忽视功能性。本文提出PhysForge，一个由大规模四层物理标注数据集PhysDB支持的两阶段框架。第一阶段，视觉语言模型担任“物理架构师”，规划定义材料、功能与运动学约束的“分层物理蓝图”。第二阶段，基于物理的扩散模型通过新颖的运动体素注入机制，合成高保真几何与精确运动学参数。实验证明，PhysForge能生成功能合理、可直接仿真的资产，为交互式3D内容与具身智能体提供了强大的数据引擎。
研究人员发布了学习扩散模型积分的新方法，称为Flow Maps，该技术通过数学积分优化扩散过程的概率流，提升生成AI模型的采样效率和图像质量。在Hacker News上获得102点，显示科技社区的高度关注。这一进展可能降低扩散模型的计算成本，推动其在图像生成等领域的实际应用，为生成模型训练提供更高效的解决方案。
针对现有评估方法在图像到图像转换任务中忽视内容保真度与前后一致性的问题，研究团队提出了StableI2I。这是一个无需参考图像的动态评估框架，能在图像编辑、修复等多种任务中量化语义对应与空间结构的保持程度。团队同时构建了配套基准StableI2I-Bench，用于系统评估多模态大模型在此类判断任务上的准确性。实验表明，该框架能提供精细、可解释的评估结果，且与人类主观判断高度相关，可作为诊断真实世界图像转换系统内容一致性与模型性能的实用工具。
针对高性能少步图像生成模型（如Z-Image-Turbo）在持续监督微调中会损害其固有少步推理能力的问题，本文提出D-OPSD训练范式。该方法利用以LLM/VLM为编码器的扩散模型可继承上下文能力的特点，将训练构建为在线策略自蒸馏过程：模型同时扮演教师（以文本和图像多模态特征为条件）和学生（仅以文本特征为条件）双重角色，并通过最小化其在自身生成轨迹上两个预测分布的差异进行优化。这使得模型能在自身监督下学习新概念或风格，同时保持原有的高效少步生成能力。
研究团队在归一化流（NFs）生成模型领域取得新进展，提出了迭代TARFlow（iTARFlow）。该方法在训练阶段保持完全端到端的基于似然的目标，采样时则采用自回归生成方式。iTARFlow延续了TARFlow在图像建模任务上的优势，使其成为扩散模型等方法的可行替代方案，进一步提升了归一化流生成模型的性能表现。
研究团队开发了SpecMD，这是一个用于在各种硬件配置上对临时缓存策略进行基准测试的标准化框架。该研究聚焦于混合专家模型，这类模型虽然实现了稀疏专家激活，但需要专家缓存机制才能将稀疏性转化为实际性能提升。此前的研究提出了以硬件为中心的缓存策略，但不同缓存策略之间以及它们与不同硬件规格之间的相互作用尚不明确。SpecMD框架旨在填补这一理解空白，系统性地评估缓存策略的交互影响与硬件适配性。
本文研究了大型语言模型中的激活引导技术。这是一种白盒控制方法，通过修改模型内部激活来改变其抽象行为，广泛应用于可解释性与安全研究。核心理论发现证明，引导操作会将模型的残差流推离可通过自然文本提示所能到达的状态流形；几乎不存在任何提示能完全复现引导所产生的内部行为。这一结论在三个主流LLM上得到实证支持。因此，研究在白盒引导能力与黑盒提示能力之间建立了形式化分离，并强调不应将激活引导的有效性视为基于提示的可解释性或漏洞的证据，呼吁未来评估需明确区分这两类干预机制。
为解决VLA模型对长时程自我中心数据的需求与现有短时程数据集之间的矛盾，本文提出MobileEgo Anywhere框架。该框架利用智能手机传感器实现高精度位姿追踪，降低了数据采集的硬件门槛。主要贡献包括：发布了一个包含200小时多样化长时程轨迹的数据集，开源了移动数据采集应用，并提供了将原始数据转换为标准训练格式的完整处理流程。这实现了跨全球环境的大规模长时程数据获取，为机器人策略研究提供了关键数据支持。
为克服因果变换器在超长序列训练中因SDPA注意力二次复杂度导致的计算瓶颈，研究团队提出了一种仅用于训练、可移除的新型注意力机制——灯塔注意力。该方法通过亚二次复杂度的序列自适应压缩/解压缩预处理、能并行处理查询/键/值的对称压缩策略，以及“灯塔预训练+短期完整注意力恢复”的两阶段流程，在保持因果性的同时提升效率。初步小规模LLM预训练实验表明，该方法在相同设置下能实现更快的总训练时间，并在恢复阶段后获得更低的最终损失。
研究揭示了LLM智能体长期记忆中的“隐性冲突”缺陷，即新证据在不明确否定的情况下使旧记忆失效。为此，研究者构建了STALE基准，包含400个冲突场景与1200个查询，从状态解析、前提抵抗和隐性策略适应三个维度进行评估。系统测试表明，前沿模型在根据更新证据行动上存在普遍差距，最佳模型准确率仅55.2%。研究进一步提出了CUPMem原型，通过结构化状态整合加强写入时修订，为构建状态感知的鲁棒记忆提供了初步基线。
针对混合专家模型分布式推理中专家间通信开销巨大的问题，本研究提出“专家联盟”架构。该架构将Transformer层的MoE模块重组为多个MoE集群，每个集群仅负责一个键值头并在内部应用专家并行。集群间通过对注意力后残差求和来同步信息，驱动下一MoE块的路由。在单节点设置中，该方案完全消除了GPU间的全对全通信；在多节点设置中，则将此类通信限制在节点内部，大幅降低开销。在LongBench上的实现表明，该架构显著提升了单节点与多节点环境下的推理吞吐量与延迟，端到端前向传播延迟最高降低5.2倍，同时保持了与同规模MoE模型相当的生成质量。
为应对LLM智能体工具使用能力增强带来的安全风险，研究团队提出了SafeHarbor框架。该框架通过增强对抗生成提取上下文感知的防御规则，并设计了本地分层记忆系统进行动态规则注入，提供无需训练、高效即插即用的安全解决方案。其基于信息熵的自进化机制能通过动态节点分裂与合并持续优化记忆结构。实验表明，SafeHarbor在模糊良性任务和明确恶意攻击上均达到最优性能，在GPT-4o上实现了63.6%的峰值良性效用，同时对有害请求保持超过93%的拒绝率。
研究团队提出令牌叠加训练法，这是一种即插即用的高效预训练方法。该方法无需改动模型架构、并行策略等核心组件，通过将连续令牌合并为包并进行多热交叉熵目标训练，随后恢复标准训练的两阶段设计，显著提升了数据吞吐效率。在2.7亿至100亿参数的不同模型规模上验证表明，该方法具有高度鲁棒性，能持续优于基线模型的损失表现与下游任务结果。在同等损失条件下，该方法在100亿参数规模上实现了预训练总时间最多减少2.5倍的成效。
Relit-LiVE提出了一种无需相机姿态先验知识的视频重照明框架。其核心创新在于，将原始参考图像显式引入渲染过程，以恢复固有表示中丢失的关键场景信息；同时，通过单一扩散过程联合预测重照明视频与每帧对齐的环境光照图，增强了几何-光照对齐性，显著提升了动态光照和相机运动下的物理一致性与时间稳定性。实验表明，该方法在合成与真实场景基准测试中均优于现有先进方法，并支持场景渲染、材质编辑等下游应用。
