跳到正文

#部署/工程

今日 2 条
今天10月21日周三
10月20日周二
  1. Hugging Face Blog73

    Hugging Face 发布 AnyLanguageModel 1.0,Apple 平台可选本地或托管模型

    AnyLanguageModel 1.0 发布,这是 Apple Foundation Models 框架的可直接替换实现,改一行 import 即可用同一套会话代码调用系统模型、llama.cpp、MLX、Core ML 的开放权重模型,以及 OpenAI、Anthropic、Gemini、Ollama 等托管服务。

    推荐理由:做 iOS 应用的开发者改一行 import 就能替换 Foundation Models,用同一套会话代码在本地模型和托管模型间切换。

10月19日周一
10月16日周五
10月14日周三
9月22日周二
9月1日周二
8月26日周三
  1. Hugging Face Blog77

    Sentence Transformers v6.0 新增 MultiVectorEncoder,给出多向量检索模型微调完整流程

    Sentence Transformers v6.0 新增 MultiVectorEncoder,用于 ColBERT 式 late interaction 检索,并提供从数据、损失函数到训练器的完整微调流程。

    推荐理由:做医疗、法律等垂直检索的团队可以照脚本用自有问答对微调多向量模型,单张 RTX 3090 跑十几个小时,前提是先备好问答对数据。

8月25日周二
  1. Hugging Face Blog71

    Gradio 内置 gr.Workflow,把 AI 流水线变成可拖拽界面和 REST API

    Gradio 内置的 gr.Workflow 用带类型节点和端口的图描述 AI 流水线,并直接生成可拖拽画布,每个节点可单独运行、中间结果可见。同一张图同时是 REST API,每个输出按标签生成独立端点,可用 gradio_client 或 curl 调用,也能一条命令部署到 Hugging Face Spaces。

    推荐理由:要串多个模型的开发者可以把各步骤拖成一条流水线,直接拿到 REST 端点接进自己的服务。

8月11日周二
8月7日周五
8月6日周四
7月27日周一
  1. Hugging Face Blog66

    NVIDIA 发布 Cosmos-H-Dreams 实时手术机器人生成式仿真器

    NVIDIA 发布 Cosmos-H-Dreams,这是面向手术机器人的动作条件化实时生成式仿真器,把 Cosmos-H-Surgical-Simulator 蒸馏为少步因果学生模型,经 FlashDreams 在单张 RTX PRO 6000 上达到约 160 帧每秒。

    推荐理由:做手术机器人策略研究的团队可以用它把真机试错搬到单卡实时仿真里,先跑通闭环评估和失败样本生成再上硬件。

7月23日周四
  1. Hugging Face Blog76

    Diffusers 原生集成 Nunchaku Lite,4-bit 扩散模型可直接 from_pretrained 加载

    Diffusers 现在可以原生加载 Nunchaku Lite 的 4-bit 量化 checkpoint,无需自定义 pipeline 或单独推理引擎,调用 from_pretrained() 即可。

    推荐理由:手上只有消费级显卡的开发者可以直接加载预量化权重跑通文生图,验证效果后再考虑用工具包量化自己的模型。

7月21日周二
6月25日周四
  1. Google Research65

    Google 提出线性弹性缓存,在 Spanner 上降低约 5% 缓存总成本

    Google Research 提出线性弹性缓存(linear elastic caching),把缓存页面驱逐建模为滑雪租赁问题,按访问模式动态为页面设定 TTL,而非固定分配内存。

    推荐理由:云服务团队可以参照这套用决策树预测页面 TTL 的弹性缓存方法,先在自家缓存层做分组对照,再评估是否替换固定容量方案。

6月11日周四
  1. Google DeepMind81

    Google DeepMind 发布实验性开源模型 DiffusionGemma,文本生成最高提速 4 倍

    Google DeepMind 发布实验性开源模型 DiffusionGemma,改用文本扩散并行生成,单张 GPU 上推理速度最高提升 4 倍。它是 26B MoE 模型,推理时激活 3.8B 参数,量化后可放进 18GB 显存,H100 上超过 1000 tokens/s,RTX 5090 上超过 700 tokens/s。

    推荐理由:本地部署的开发者可以用它在单张消费级 GPU 上做内联编辑和快速迭代,但产出质量要求高时仍应切回 Gemma 4。

5月5日周二
5月4日周一
4月30日周四
4月28日周二