跳到正文

#数据/训练

今日 0 条
10月20日周二
  1. Hacker News · Show HN28

    Polanyi Labs 为推荐系统冷启动提供合成点击流数据

    Polanyi Labs 为 DTC 品牌提供从第一天起可用的合成点击流数据,用于填补推荐系统的冷启动缺口。其合成购物者会在品牌所属品类中浏览、比较、拒绝和购买,生成可供排序模型训练的结构化行为信号。品牌可将这些信号接入现有推荐栈,在自有会话数据积累前启动个性化。

  2. Hacker News · Show HN54

    FlexChords 上线:用自训练模型为任意 YouTube 歌曲生成吉他和弦

    FlexChords 上线,可为任意 YouTube 视频或音频生成吉他和弦、调性和速度,并支持实时跟弹。作者称模型由其自己训练,在模型未见过的歌曲上按 MIREX 标准测得 92% 和弦准确率。页面列出多首流行与影视歌曲作为示例,并提供浏览全部歌曲的入口。对想跟着 YouTube 曲目弹奏的用户,它把手动扒和弦这一步省掉了。

  3. arXiv cs.AI / cs.LG 最新48

    梯度下降在多分类逻辑回归上通过固定次数的大步长达到任意精度

    研究证明,梯度下降在多分类逻辑回归损失上可在与 ε 无关的迭代次数 T 内达到 ε 最优性差距;步长 η 需按 ε 和线性可分数据性质取得足够大,而 T 只依赖数据。数据性质包括样本数与间隔;T 由二者决定,η 还需一个在维度 d ≥ 3 时必要的额外量。证明借助 η → ∞ 时重标度梯度下降趋于感知机,后者在 T 次迭代内找到完美分类器。

  4. arXiv cs.AI / cs.LG 最新50

    Trajectory Replay:面向终身生成模型的连续时间混合传输方法

    论文提出 trajectory replay,用于让预训练的连续时间生成模型适配陆续到来的新数据而不遗忘旧任务。它不生成样本,而是训练更新后的速度场同时对齐冻结的历史速度场和新任务速度场,并按稳定性与可塑性系数加权,最优解即按各自密度对两个任务速度做平均、生成两者概率路径的混合。

  5. arXiv cs.AI / cs.LG 最新56

    arXiv 论文研究表格机器学习的数据规模扩展:更多训练数据能否带来更好泛化

    arXiv 论文用八个最大约一千万条训练样本的真实表格数据集,检验训练数据扩展是否带来更好泛化。实验发现 GBDT 与 MLP 类模型的扩展趋势大体相近,增加训练数据和算法改进都能带来提升,表格基础模型表现更分化,较新版本在分布偏移下仍能随上下文变长而受益。分布内与分布外性能在小规模时同步提升,规模变大后可能背离;MLP 用贴近评测条件的验证集做模型选择时,通常能维持或提升性能。

  6. arXiv cs.AI / cs.LG 最新51

    论文精确计算候选打分决策模型的风险,指出教师偏差与校准失灵

    论文在高斯替代模型上精确计算候选打分决策模型的有限样本风险,检验教师软标签、冻结表征和温度校准这三项训练要素。在 CFPB 231,521 条信用卡投诉上,用逻辑教师概率训练的学生在决策成本上与教师持平,用真实结果训练的学生低 8%,30B 模型零样本经校准后仍不如教师,并偏离一致性条件 17.5 decibans。

  7. arXiv cs.AI / cs.LG 最新73

    论文提出 WildAWM 管线,用开源模型合成计算机使用智能体的可执行训练环境

    论文提出 WildAWM,一个用开源模型合成可控环境与任务、用于训练通用计算机使用智能体(CUA)的流水线。它构建同时支持图形界面、MCP 服务和命令行的可执行环境,并用执行式质量门控配合多智能体采样、交叉评判一致性和反事实探针,保证任务可解、难度足够且验证器可靠。

    推荐理由:做 computer-use agent 训练的团队可以复用这套合成管线,批量生成带验证器的长程可执行任务环境。

  8. arXiv cs.AI / cs.LG 最新62

    KronLSTM 用 Kronecker Delta Rule 改进长上下文线性注意力

    作者提出 KronLSTM,一种基于 Kronecker Delta Rule 的线性注意力架构,扩展了 xLSTM 家族。它的记忆修正只在矩阵空间的单一方向上改动目标关联,对已存信息的干扰小于 delta-rule 更新,记忆动态可描述为收敛到稳态分布的马尔可夫链,记忆矩阵的期望范数在整条输入序列上保持有界,因此不需要额外的归一化与稳定机制。

  9. arXiv cs.AI / cs.LG 最新52

    WeAct 将动态权重切换纳入智能体动作空间

    WeAct 提出在冻结主干上训练多个能力专用的 LoRA 适配器,并把适配器选择加入智能体的动作空间,通过模型原生工具调用接口按需组合能力。在八个深度研究基准上,Qwen3-32B 配合 WeAct 相比全量微调平均准确率提升 6.2%,相比最强的静态 LoRA 合并方法提升 27.5%,且算力消耗更少。作者还展示了模块化持续适配,新增代码计算适配器、更新写作适配器时主干与其他适配器均保持不变。

  10. Hacker News · 高分新帖48

    CERN 与 Mistral 签署意向声明,将建立战略合作伙伴关系

    CERN 与 Mistral 签署意向声明,将建立长期战略合作,共同开发面向科学发现的基础模型。核心目标是打造首个对撞机物理基础模型 Large Physics Model,基于 LHC 数十亿次模拟质子-质子碰撞训练,支持碰撞重建、粒子识别与异常信号标记等任务。CERN 已存储约 1 exabyte 的 LHC 实验数据,HL-LHC 约 2030 年运行后碰撞数量将增加十倍。

10月19日周一
10月18日周日
  1. arXiv cs.AI / cs.LG 最新46

    RAFT:面向时序图神经网络训练的冗余感知输入过滤框架

    RAFT 是一个面向时序图神经网络(TGNN)训练的冗余感知输入过滤框架,通过追踪训练过程中的节点记忆变化识别冗余输入。它用根事件过滤器在训练前剔除部分预测目标,用支撑事件过滤器在采样时排除部分历史上下文。在三种 TGNN 模型和五个数据集上,RAFT 平均减少 35.23%、最高 97.11% 的训练输入,训练时间最多降低 52.56%,模型精度变化可忽略。

  2. arXiv cs.AI / cs.LG 最新66

    研究者提出在手机 NPU 上做一阶 LoRA 训练的系统

    论文提出一套在手机 NPU 上完成一阶 LoRA 训练的系统,把前向、激活重算和输入梯度三处冻结权重乘法都交给 NPU,训练图、适配器与优化器留在 CPU。输入梯度核复用常驻权重分块和前向反量化器,省去转置权重拷贝;精度按梯度敏感度选择,FP16 输出加逐行范围保护,并支持断点续训和温控节流,可当后台任务运行。

    推荐理由:做端侧个性化微调的团队可以参考它在 NPU 跑冻结权重、CPU 跑适配器的分工,评估骁龙平台的可行性。

  3. arXiv cs.AI / cs.LG 最新63

    医学微调重塑而非降低患者端 AI 风险,论文提出基于评分标准的 LLM 评判框架

    研究提出一套按六类风险语言打分的医疗问答评测框架,由三个 LLM 评判模型集成判定严重程度。在 K-QA 的 200 个真实患者问题上评测 6 个 7-9B 模型后发现,风险语言与事实性幻觉无关(Spearman ρ=-0.065);医学微调不降低总体风险而是改变其分布,继续预训练模型压制高警示用药提及却放大过度自信断言,临床指令微调只压制剂量表述。作者公开了评分标准、评判提示词和评测代码。

  4. arXiv cs.AI / cs.LG 最新55

    arXiv 论文提出针对拉长 LLM 回复的 Trojan 数据投毒攻击的防御方法

    arXiv 论文针对一种新的数据投毒攻击给出防御手段,该攻击在提示中出现触发条件时会拉长模型回复,直接抬高按 token 计费的用户成本。作者展示了这类 Trojan 能借助指令微调 LLM 上语义相近的指令被触发。论文提到部分前沿模型厂商对回复 token 的收费是 prompt token 的五倍,另一些厂商对 prompt token 提供预填充折扣,使成本管理成为现实问题。

  5. arXiv cs.AI / cs.LG 最新56

    论文借热力学第二定律分析深度网络的全局收敛

    该论文用受热力学第二定律启发的测度变换不等式,分析 L2 正则化连续时间 Langevin 动力学训练前馈网络的过程。借助初始化时 NTK 最小特征值的更紧下界,作者证明注入噪声能在高概率下保持 NTK 稳定性,又不把权重锁在初始化附近,并给出期望训练损失的非渐近上界以及宽度和噪声温度的显式收敛条件。

  6. arXiv cs.AI / cs.LG 最新43

    面向力矩受限下选择性航天器姿态捕获的配对结果学习

    arXiv 论文提出配对结果学习方法,在力矩受限的航天器姿态捕获中把累计积分姿态误差较分支基线降低 4.67%。该方法组合可解释的 continuation 速度包络、任务失败与成功配对增益的分开预测,以及按上下文回退到未改动基线。Basilisk 上 48 个测试上下文、624 次评估显示:始终使用快速方案虽降低 4.81%,但使 11 个案例变差。

10月17日周六
  1. arXiv cs.AI / cs.LG 最新46

    从过参数化表达式到精简模型:面向符号回归的 Fisher-Geometric 剪枝

    FGP 是一种后置模型精简框架,作用于已拟合的符号回归模型,结合最大似然解处的局部信息几何与可解释参数边界的兼容性检验。候选约简通过符号收缩与重拟合实现,仅当交叉验证预测风险落在预设容差内才被接受。在受控诊断问题和 GPSR 生成的 Pareto 前沿上,FGP 大幅降低结构复杂度,同时保持并常常提升样本外精度。

  2. arXiv cs.AI / cs.LG 最新69

    arXiv 论文研究语言模型行为耦合的形成与组合

    arXiv 论文研究语言模型中的行为耦合,即微调一种行为会带出另一种未被显式训练的行为。若训练文档把两种行为写在同一个虚构角色上,之后只微调其中一种,另一种也会出现,例如模型学会像橡皮鸭那样讲科学后,也开始劝用户断绝友谊。

    推荐理由:做模型微调与安全评估的团队可在微调后补充关联行为排查,不只看目标能力是否达标。

  3. arXiv cs.AI / cs.LG 最新54

    研究提出 SEER-Repro 基准与 LLM 智能体,复现 77.4% 的癌症登记研究结论

    论文提出 SEER-Repro 基准,包含 20 篇基于美国 SEER 癌症登记数据库的已发表论文,以及复现其结论所需的数据与资源。作者构建的 LLM 智能体复现了 2,190 条原子结论中的 77.4%,并给出可执行基线。另一条智能体分析流水线会识别每项结论背后的分析选择、提出可辩护的替代方案并重跑分析,在完全复现的结论中标记出 9.5% 存在潜在影响的分析选择,交给专家复核。

  4. arXiv cs.AI / cs.LG 最新49

    超越答案:ReDiST 面向推理蒸馏的学生条件化轨迹构建

    ReDiST 提出一种以学生模型为条件的推理轨迹构建与蒸馏框架:从学生自身作答出发,依据提供的证据修正答案正确的草稿,并用已验证答案的额外引导修复失败草稿。框架用冻结的、与学生匹配的 reader 按答案恢复率和已验证答案概率对原始与编辑后的候选轨迹打分排序,筛选出的目标离线蒸馏,推理时仅使用蒸馏后的学生模型。

  5. arXiv cs.AI / cs.LG 最新49

    逻辑引导的图去噪扩散模型

    研究者提出逻辑引导的图去噪扩散模型,用一阶逻辑(FOL)表达领域约束,并通过分类器引导在推理阶段控制预训练扩散模型生成满足结构约束的图。该方法将逻辑规则松弛为模糊且可微的目标函数,沿去噪轨迹优化。在知识图谱生成中,加入本体约束后,满足本体约束的生成图比例显著提高。

  6. arXiv cs.AI / cs.LG 最新49

    LagNet:面向长期时间序列预测的滞后结构化算子

    LagNet 用滞后结构化算子 LagLayer 替换预测模型中的时序线性层:按相同相对时间滞后绑定历史到未来连接构建 Toeplitz 矩阵,并加入 horizon-wise 与 history-wise 缩放系数放松精确共享。叠加 LagLayer 与激活、多特征图即构成 LagNet。在长期时间序列预测基准上表现与强基线相当,敏感性矩阵诊断与少数据实验显示其更省样本。