推理的单个像素:一句有来源支撑的真话就足以误导 LLM 智能体
arXiv 论文提出单关系攻击(ORA),先定位证据与结论之间的一个隐含前提,再用一句有来源支撑的话把这个前提改写,就能把 LLM 智能体引向错误结论。在生物医学推理和漏洞检测任务上测试 18 个模型,best-of-10 攻击对闭源模型平均翻转 54.9% 原本正确的答案,对开源权重模型为 80.0%。
arXiv 论文提出单关系攻击(ORA),先定位证据与结论之间的一个隐含前提,再用一句有来源支撑的话把这个前提改写,就能把 LLM 智能体引向错误结论。在生物医学推理和漏洞检测任务上测试 18 个模型,best-of-10 攻击对闭源模型平均翻转 54.9% 原本正确的答案,对开源权重模型为 80.0%。
arXiv 论文提出 SpriteStage,一个渐进式场景编程框架,用逐场景生成加引擎重编排来制作长篇动画。每场戏从已验收的世界检查点和叙事快照出发,在共享空间舞台上执行,再依据运行时与视觉反馈修订动作或剧情节点,验收结果成为下一场的起始状态。
FlowMaker 提供任务级接口,自动为用户挑选由工作流、模型与部署配置组成的工作流变体。其约束引导、负载感知的剪枝算法支持按需快速决策。相比包括 Murakkab 在内的 SOTA 基线,FlowMaker 将 goodput 最高提升 10.14×,成本最高降低 2.77×。
REP-HO 用 LLM 规划器替代 MFE-NSGA-III 的规则化混合保真度选择,完成异构优化中的评估规划。在成本不平衡、约束难度、代理模型保真度、预算水平和目标冲突五个场景中,每个场景均有变体取得最佳平均排名,REP-HO(Deepseek) 始终位列前二。加入自适应最近邻摘要后结果更好更稳定,并能在预算收紧时优先评估约束。
arXiv 论文提出用梯度协方差白化的统计框架,统一解释 Adam、Shampoo 与 Muon 并据此设计优化器。对角近似得到与 Adam 高度接近的方法,Kronecker 近似得到 Shampoo 变体 MN,把同一框架用于梯度方向再白化则得到预条件版 Muon。
arXiv 论文提出 PatternBench,用于评测编译器优化之后仍残留的 LLM 代码优化空间。该基准覆盖七类变换,在运行时测量之外加入基于 AST 的优化忠实性分析,检查生成程序是否真正实现了目标优化。
研究将循环时序受限玻尔兹曼机(RTRBM)实现为无监督编码器,把运动数据窗口映射为固定长度嵌入,并接入 SIT-FUSE 分割流程。在模拟肌肉骨骼到达任务与两个真实步态数据集上,该嵌入在非线性探针下优于 PCA 和自编码器基线。但移除循环连接在到达任务上未带来可测损失,步态任务中逐通道统计量的行走速度分类效果也不低于嵌入。
RFD 把长程预测拆成三个参数共享的分块预测,各块占据不重叠的未来区间、拼接后加入滚动上下文,模型仅 0.08–0.46M 参数。在冻结长上下文评测中,RFD 对十个基线族于 24 个单元格中的 23 个取得更低测试误差,其使用 512/720 步上下文、基线为 96 步,属跨协议比较。但通道数较高时,其顺序执行比迭代基线更慢、更耗内存。
论文提出 utility-verified abstraction(UVA),训练本地代码 Agent 在向云端强模型咨询时用角色和类型描述私有实体,同时保留专家所需的技术细节。
arXiv 论文用 131k 句、覆盖 11 种 Indic 文字的语料测试发现,TinyLlama-1.1B 分词器每个拉丁词输出 1.34 个 subword token,每个卡纳达语词要 22.60 个,词表中 Odia 码位占比 0%、Telugu 1%、Kannada 2%。
论文提出一套在手机 NPU 上完成一阶 LoRA 训练的系统,把前向、激活重算和输入梯度三处冻结权重乘法都交给 NPU,训练图、适配器与优化器留在 CPU。输入梯度核复用常驻权重分块和前向反量化器,省去转置权重拷贝;精度按梯度敏感度选择,FP16 输出加逐行范围保护,并支持断点续训和温控节流,可当后台任务运行。
推荐理由:做端侧个性化微调的团队可以参考它在 NPU 跑冻结权重、CPU 跑适配器的分工,评估骁龙平台的可行性。
论文提出 Tilted Mondrian,一种在共形预测中缓解更细粒度分层公平性差异的后处理方法。它保留 group-Mondrian 的分组覆盖保证,同时缩小细粒度分层内的覆盖率和预测集大小差异,且不需要额外训练模型。作者还引入倾向标准化来评估群体构成对聚合差异的影响,并给出一个与具体方法无关的界,用来量化细粒度分层覆盖差异最多能缩小多少。
研究提出一套按六类风险语言打分的医疗问答评测框架,由三个 LLM 评判模型集成判定严重程度。在 K-QA 的 200 个真实患者问题上评测 6 个 7-9B 模型后发现,风险语言与事实性幻觉无关(Spearman ρ=-0.065);医学微调不降低总体风险而是改变其分布,继续预训练模型压制高警示用药提及却放大过度自信断言,临床指令微调只压制剂量表述。作者公开了评分标准、评判提示词和评测代码。
一项投稿 IEEE Transactions on Neural Systems and Rehabilitation Engineering 的研究,用 16 名受试者在闭环 Fitts 定律取靶任务中对比了 6 个无校准肌电控制器与 3 个校准控制器。
论文指出扩散语言模型的采样器不只决定写入哪个 token,还决定何时提交,这会改变生成文本中出现的人物。在 LLaDA 和 Dream 上,优先提交最可能 token 的 peeking 采样会放大职业性别刻板印象、让观点分布坍缩,基于置信度的排序把性别均衡的职业推向男性,并行解码更快时更明显。
Francesco Morri 提出 Reciprocal Q-Augmentation(RQA),用隐变量对手模型估计自身动作对其他智能体的影响,并据此增强 Q 函数,使智能体仅凭自己的 Q 函数就能同时学到合作与背叛策略。
IndustrialCAD-1400 是一个面向工业装配的文本到 CAD 基准,共 1400 条请求,覆盖 40 个领域的 400 个设备类别。它由 250 个四例设计族构成,每条族请求中位数指定 17 个具名部件或配置角色和 6 个明确数值目标,受控变体用来检验尺寸变化时共享结构是否保持。
Martingale Posterior Cox 过程(MPCP)将贝叶斯强度估计重新表述为给定观测事件历史后对未观测事件的推断。该方法采用基于 copula 的可扩展、GPU 友好的预测更新,并为预测重采样算法的收敛性提供理论保证。在模拟和真实数据上,MPCP 以远低于竞争贝叶斯方法的计算成本取得优异性能。
arXiv 论文针对一种新的数据投毒攻击给出防御手段,该攻击在提示中出现触发条件时会拉长模型回复,直接抬高按 token 计费的用户成本。作者展示了这类 Trojan 能借助指令微调 LLM 上语义相近的指令被触发。论文提到部分前沿模型厂商对回复 token 的收费是 prompt token 的五倍,另一些厂商对 prompt token 提供预填充折扣,使成本管理成为现实问题。
该论文用受热力学第二定律启发的测度变换不等式,分析 L2 正则化连续时间 Langevin 动力学训练前馈网络的过程。借助初始化时 NTK 最小特征值的更紧下界,作者证明注入噪声能在高概率下保持 NTK 稳定性,又不把权重锁在初始化附近,并给出期望训练损失的非渐近上界以及宽度和噪声温度的显式收敛条件。
Evidence Field 是用于医学影像的可训练空间程序
DialogMem 是一个两阶段基准,让智能体用时间对齐的 RGB-D 观测流与对话构建记忆,再用于实例级物体导航和问答。它包含 27 个真实 3D 场景的 142 个 episode、14,193 条 QA 对和 11,890 条导航指令。
arXiv 论文提出配对结果学习方法,在力矩受限的航天器姿态捕获中把累计积分姿态误差较分支基线降低 4.67%。该方法组合可解释的 continuation 速度包络、任务失败与成功配对增益的分开预测,以及按上下文回退到未改动基线。Basilisk 上 48 个测试上下文、624 次评估显示:始终使用快速方案虽降低 4.81%,但使 11 个案例变差。
FGP 是一种后置模型精简框架,作用于已拟合的符号回归模型,结合最大似然解处的局部信息几何与可解释参数边界的兼容性检验。候选约简通过符号收缩与重拟合实现,仅当交叉验证预测风险落在预设容差内才被接受。在受控诊断问题和 GPSR 生成的 Pareto 前沿上,FGP 大幅降低结构复杂度,同时保持并常常提升样本外精度。
ReTRACE 是面向逆合成规划的 LLM 智能体,把大语言模型放进整合分子工具、互补单步预测引擎、可采购原料库、路线记忆与多准则路线评估器的化学环境中。它用程序化检查加对抗式 LLM 评审组成的新指标判断路线,并在搜索过程中依据评估器反馈诊断弱路线并回溯修改。
PAA-Bench 提出一套可插拔的评测框架,用来检验 VLM 视觉 token 剪枝是否真正选中关键 token 并转化为实际加速,而不是只看聚合准确率与保留 token 数。
arXiv 论文研究语言模型中的行为耦合,即微调一种行为会带出另一种未被显式训练的行为。若训练文档把两种行为写在同一个虚构角色上,之后只微调其中一种,另一种也会出现,例如模型学会像橡皮鸭那样讲科学后,也开始劝用户断绝友谊。
推荐理由:做模型微调与安全评估的团队可在微调后补充关联行为排查,不只看目标能力是否达标。
论文提出 SEER-Repro 基准,包含 20 篇基于美国 SEER 癌症登记数据库的已发表论文,以及复现其结论所需的数据与资源。作者构建的 LLM 智能体复现了 2,190 条原子结论中的 77.4%,并给出可执行基线。另一条智能体分析流水线会识别每项结论背后的分析选择、提出可辩护的替代方案并重跑分析,在完全复现的结论中标记出 9.5% 存在潜在影响的分析选择,交给专家复核。
参数化量子电路可通过编码固定的任务定义谱查询,在不引入新样本相关信息的情况下改变对信号的假设空间。该机制对应非均匀傅里叶变换任务:评估频率指定查询,采样位置指导编码。在受合成孔径雷达启发的分类任务及小规模谱与类雷达任务中,对齐查询在有限数据下优于参数匹配但查询错配或缺省的电路。
ReDiST 提出一种以学生模型为条件的推理轨迹构建与蒸馏框架:从学生自身作答出发,依据提供的证据修正答案正确的草稿,并用已验证答案的额外引导修复失败草稿。框架用冻结的、与学生匹配的 reader 按答案恢复率和已验证答案概率对原始与编辑后的候选轨迹打分排序,筛选出的目标离线蒸馏,推理时仅使用蒸馏后的学生模型。
ENFR 通过流匹配参考学习贝叶斯因子并恢复绝对证据 Z,为基于模拟的模型推断提供准确、快速、摊销式估计。它基于 Jeffrey & Wandelt(2024)的 Evidence Network 框架,在所有考虑应用中优于基于流的基线,并在基准中取得密度估计方法最佳表现。研究还提出并证明一种联合学习多个模型 {M_i} 各自证据的架构,并在多种科学应用中展示性能与扩展行为。
论文提出 Consistent Sparse Dictionary Learning(ConSDL),用逐样本稀疏编码替代 SAE 的标准线性编码器来学习概念字典。
研究者提出逻辑引导的图去噪扩散模型,用一阶逻辑(FOL)表达领域约束,并通过分类器引导在推理阶段控制预训练扩散模型生成满足结构约束的图。该方法将逻辑规则松弛为模糊且可微的目标函数,沿去噪轨迹优化。在知识图谱生成中,加入本体约束后,满足本体约束的生成图比例显著提高。
研究者提出一种面向表格数据的弱监督异常检测方法,将预训练表格基础模型的通用知识与目标数据集上的领域特定知识融合,并设计原型条件调制机制整合两类特征。在仅有 8 个标注异常样本的训练设置下,该方法在公开数据集上优于竞争方法。
LagNet 用滞后结构化算子 LagLayer 替换预测模型中的时序线性层:按相同相对时间滞后绑定历史到未来连接构建 Toeplitz 矩阵,并加入 horizon-wise 与 history-wise 缩放系数放松精确共享。叠加 LagLayer 与激活、多特征图即构成 LagNet。在长期时间序列预测基准上表现与强基线相当,敏感性矩阵诊断与少数据实验显示其更省样本。
这篇 arXiv 论文提出基于网络最后一层隐表征的紧泛化界,用无参数 k-NN 分类器衡量表征质量,绕开权重范数和 KL 散度等参数空间度量。
论文提出心理世界模型 MWM 及其实现多分支心理演化架构 MMEA,显式构建主观世界、建模认知与心理状态的交互并模拟由历史经验驱动的心理演化。MMEA 在 DynToM 和 RecToM 上分别取得 96.48% 和 94.00% 准确率,超过主流 LLM 与专门的 Theory of Mind 方法。
GLOBE 是一个把电商商品优化经验存成可演化行为手册的智能体框架,由 Editor 应用字段级行为并接收排名反馈,Reflector 再把反馈转成行为更新。Moderator 负责剔除冗余提案、Curator 提交采纳的改动,持续有害的行为会被停用。
Blitz 是一个少步蒸馏框架,将 AlphaFold3 和 Boltz-2 的扩散去噪从约 200 步降到 8 步。它用几何噪声调度把步数更均匀地分配到各噪声尺度,再通过多步一致性训练学习这些更新,推理时用物理引导和无目标候选筛选减轻剩余几何缺陷。
推荐理由:做蛋白质结构预测的团队可以先用它替换默认的200步扩散采样,把推理步数降到8步做候选筛选。
TUPLE-Bench 是面向带类型决策模型的隐私与效用评测基准,用成对合成样本检验模型是否只输出粗粒度类别而隐藏细粒度原因。在九个模型上,即便指令要求隐藏原因,91.88%-99.93% 的回复仍通过直接选择或残余分数泄露原因。