跳到正文

#部署/工程

今日 11 条
10月20日周二
  1. Hacker News · 高分新帖86

    Inception Labs 发布扩散 LLM Mercury 3,1M 上下文、每秒 1068 个 token

    Inception Labs 发布扩散架构大语言模型 Mercury 3,官方称其基准表现达到或超过 GPT-6 Luna 与 Claude Haiku 5.5,在 NVIDIA GPU 上跑出每秒 1068 个 token。

    推荐理由:做语音客服或浏览器 Agent 的团队可用它兼容 OpenAI 的接口替换现有模型,先测 1M 上下文下的端到端延迟。

10月19日周一
  1. Hacker News · Show HN57

    Beeper 开源 eBPF 应用层解析库,静态资源吞吐最高提升 4.5 倍

    Beeper 通过 eBPF 在内核里解析 HTTP 请求,把静态资源服务下放到内核完成,使 HTTP 服务器吞吐最高提升 4.5 倍。这个 Rust 库在用户态构建类 Aho-Corasick 的 DFA,把 L7 协议解析复杂度降到 eBPF 可承受的水平,目前支持 HTTP/1.1 与 HTTP/2(最低内核 6.8),RESP2 仍在开发中。

10月18日周日
  1. Hacker News · Show HN26

    Show HN:MockForge 发布,零依赖的 Python API 与 Webhook 模拟工具

    MockForge 在 Show HN 亮相,可在数秒内生成模拟 API 与合成测试数据集,且不依赖任何外部库。它基于 Python 3.8+ 标准库运行,无需 pip install,既可直接执行也可作为模块导入项目。它属于 PyForge Vault 的 33 个零依赖 Python 微工具之一,同套件还包含限流器、认证引擎与数据库性能分析工具,并提供商业 Pro 授权。

  2. arXiv cs.AI / cs.LG 最新46

    RAFT:面向时序图神经网络训练的冗余感知输入过滤框架

    RAFT 是一个面向时序图神经网络(TGNN)训练的冗余感知输入过滤框架,通过追踪训练过程中的节点记忆变化识别冗余输入。它用根事件过滤器在训练前剔除部分预测目标,用支撑事件过滤器在采样时排除部分历史上下文。在三种 TGNN 模型和五个数据集上,RAFT 平均减少 35.23%、最高 97.11% 的训练输入,训练时间最多降低 52.56%,模型精度变化可忽略。

10月17日周六
  1. arXiv cs.AI / cs.LG 最新65

    Blitz 把 AlphaFold3 与 Boltz-2 的扩散模块从 200 步降到 8 步

    Blitz 是一个少步蒸馏框架,将 AlphaFold3 和 Boltz-2 的扩散去噪从约 200 步降到 8 步。它用几何噪声调度把步数更均匀地分配到各噪声尺度,再通过多步一致性训练学习这些更新,推理时用物理引导和无目标候选筛选减轻剩余几何缺陷。

    推荐理由:做蛋白质结构预测的团队可以先用它替换默认的200步扩散采样,把推理步数降到8步做候选筛选。

10月16日周五
  1. arXiv cs.AI / cs.LG 最新47

    SETAREH Transform:一种排序辅助的 Haar 小波稀疏化近似内积计算方法

    SETAREH Transform 是一种排序辅助的 Haar 小波稀疏化方法,用于近似计算固定高维系数向量与连续输入向量的内积。该方法对两向量施加相同排列与 Haar 变换,截断前保持内积精确,截断后仅保留部分系数-输入对并引入可控误差。在合成高斯基线及 APPA-REAL 数据集的 CNN 表观年龄估计任务中,它可用显著少于原维度的系数-输入对完成近似。

10月14日周三
10月12日周一
9月22日周二
9月1日周二
8月26日周三
  1. Hugging Face Blog77

    Sentence Transformers v6.0 新增 MultiVectorEncoder,给出多向量检索模型微调完整流程

    Sentence Transformers v6.0 新增 MultiVectorEncoder,用于 ColBERT 式 late interaction 检索,并提供从数据、损失函数到训练器的完整微调流程。

    推荐理由:做医疗、法律等垂直检索的团队可以照脚本用自有问答对微调多向量模型,单张 RTX 3090 跑十几个小时,前提是先备好问答对数据。

8月25日周二
  1. Hugging Face Blog71

    Gradio 内置 gr.Workflow,把 AI 流水线变成可拖拽界面和 REST API

    Gradio 内置的 gr.Workflow 用带类型节点和端口的图描述 AI 流水线,并直接生成可拖拽画布,每个节点可单独运行、中间结果可见。同一张图同时是 REST API,每个输出按标签生成独立端点,可用 gradio_client 或 curl 调用,也能一条命令部署到 Hugging Face Spaces。

    推荐理由:要串多个模型的开发者可以把各步骤拖成一条流水线,直接拿到 REST 端点接进自己的服务。

8月11日周二
8月7日周五
8月6日周四
7月27日周一
  1. Hugging Face Blog66

    NVIDIA 发布 Cosmos-H-Dreams 实时手术机器人生成式仿真器

    NVIDIA 发布 Cosmos-H-Dreams,这是面向手术机器人的动作条件化实时生成式仿真器,把 Cosmos-H-Surgical-Simulator 蒸馏为少步因果学生模型,经 FlashDreams 在单张 RTX PRO 6000 上达到约 160 帧每秒。

    推荐理由:做手术机器人策略研究的团队可以用它把真机试错搬到单卡实时仿真里,先跑通闭环评估和失败样本生成再上硬件。

7月23日周四
  1. Hugging Face Blog76

    Diffusers 原生集成 Nunchaku Lite,4-bit 扩散模型可直接 from_pretrained 加载

    Diffusers 现在可以原生加载 Nunchaku Lite 的 4-bit 量化 checkpoint,无需自定义 pipeline 或单独推理引擎,调用 from_pretrained() 即可。

    推荐理由:手上只有消费级显卡的开发者可以直接加载预量化权重跑通文生图,验证效果后再考虑用工具包量化自己的模型。

7月21日周二