Apertus 1.5 发布 8B 与 70B 版本,支持图像音频理解与 262k 上下文
Apertus 1.5 在 8B 和 70B 两个规模上加入图像与音频理解、可选 thinking 模式,上下文窗口扩展到 262,144 tokens,是 1.0 的四倍。
推荐理由:想在本地跑多模态的团队可先下 8B 权重微调,注意模型只输出文本,图像和语音仅作输入。
Apertus 1.5 在 8B 和 70B 两个规模上加入图像与音频理解、可选 thinking 模式,上下文窗口扩展到 262,144 tokens,是 1.0 的四倍。
推荐理由:想在本地跑多模态的团队可先下 8B 权重微调,注意模型只输出文本,图像和语音仅作输入。
Pollo AI 借助 OpenAI 的 GPT-5.6、GPT-6 Astra 和 GPT-Image-2.5,帮助创作者将大胆创意转化为细节丰富的图像和电影感视频广告。其用途是推动创意想法落地为营销活动。
Google DeepMind 发布 EmbeddingGemma 2,一个 740M 参数、Apache 2.0 许可的开源多模态嵌入模型,把文本、图像、视频和音频映射到同一嵌入空间。
推荐理由:做端侧搜索或本地 RAG 的开发者可以先在 Hugging Face 拉权重,用 Ollama 或 transformers.js 跑通文本嵌入,再决定是否加视觉音频编码器。
Google DeepMind 发布前沿模型 Gemini 4 Argon,先通过 Fairwind 计划向一批可信网络安全防御者开放,之后再逐步推向开发者、企业和消费者。
推荐理由:企业安全团队可先申请 Fairwind 计划或等付费 API 开放,用它在自有代码库做漏洞发现与修复的初筛。
Higgsfield AI 借助 GPT-6 Astra 在一天内上线了新的视频功能。这些功能面向小微企业,让视频广告制作变得更简单。Higgsfield AI 也能借此更快将新的创意工具推向市场。
Google DeepMind 推出 Gemini Omni 1.1 Flash,面向开发者提供更强的生成视频控制能力,已通过 Google AI Studio 的 Gemini API 提供。
推荐理由:开发者可用 Gemini API 先出 360p 草稿验证分镜,再对选定镜头做 4K 放大。
Sentence Transformers 在 v6.0 中加入第四种模型类型 MultiVectorEncoder,用于 ColBERT 式 late interaction 检索。
推荐理由:做 RAG 检索的团队可以用它把 bi-encoder 召回的前 50 条候选交给 MultiVectorEncoder 重排,先在小语料上称一下索引体积。
Google Research 提出 PhotoScan,用普通 2D 手机照片估算体脂率、腹部与臀部脂肪比和内脏与皮下脂肪比,用于预测胰岛素抵抗。模型先在 UK Biobank 的 35323 份记录上预训练,再用 677 人的真实手机照片微调,并在 132 人独立队列中验证。
Google DeepMind 发布多语言手语转文字模型 SL2T,把手语动作直接翻译成流式文本,首批落地在 Pixel 11 的 Gboard 和 Live Transcribe 上,目前支持美国手语(ASL)转英文,用户可手语搜索、写消息或让 Gemini 执行任务。
推荐理由:无障碍、输入法和会议转写产品可参考它的端侧姿态点方案,先在本地提取关键点再送服务器翻译,减少原始视频外传。
Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 实现实时视频问诊,可观察非语言线索、引导虚拟体格检查并同步推理诊断。
推荐理由:做医疗 AI 或远程问诊的团队可以借鉴它的三智能体异步分工,把实时对话与后台推理拆开再搭视频问诊原型。
Meta 发布 30B 参数的多模态模型 Muse Glimmer,采用 Apache 2.0 许可证,面向本地智能体场景。模型由 2B 的 Perception Encoder 视觉编码器和 28B 文本解码器组成,支持图像与视频问答、多模态工具调用和目标检测,另附可选的 DFlash 推测解码草稿模型。
推荐理由:想在本地跑智能体的开发者可用 transformers 或 llama.cpp 直接加载 30B 权重,先验证编码与工具调用场景。
Google DeepMind 发布面向机器人的具身推理模型 Gemini Robotics ER 2,作为机器人的高层大脑负责对话、多步任务规划与工具调用,再把动作执行交给下层 VLA 模型。
推荐理由:机器人开发者可通过 Gemini API 调用 ER 2,把 VLA 模型和导航 API 声明为工具,配合 GitHub 示例跑通取物流程。
Google DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash 两款生成模型。Nano Banana 2 Lite(gemini-3.1-flash-lite-image)4 秒生成一张图,每张 1K 图片 $0.034,已上线 Gemini API、AI Studio 并接入搜索、Gemini app 等消费级产品。
推荐理由:做电商或室内设计素材的团队可先在 AI Studio 用 Nano Banana 2 Lite 低成本出图,再串联 Omni Flash 转成短视频打样。
Google DeepMind 发布 Gemma 4 12B,一款不设独立编码器的统一多模态模型,视觉和音频输入直接流入 LLM 主干。它是其首个支持原生音频输入的中等规模模型,定位在 E4B 与 26B MoE 之间,基准表现接近 26B 模型,16GB 显存或统一内存的笔记本即可本地运行。
推荐理由:开发者可在 16GB 显存的笔记本上用 Ollama 或 LM Studio 本地跑它,做多模态和 Agent 原型验证。
Google DeepMind 为实验性原型 Project Genie 加入 Street View 实景锚定能力,可把生成的可交互世界绑定到真实地点。用户在美国地图上选点、挑风格(Ocean World、Desert Sands、Stone Age、B&W film 等)并描述角色后,Genie 会生成以该地点为起点的可探索场景,目前仅支持美国境内地点。
Google DeepMind 发布 Gemini Omni 模型系列,首个模型 Gemini Omni Flash 已在 Gemini app、Google Flow 和 YouTube Shorts 上线。
推荐理由:短视频创作者可以在 YouTube Shorts 里用它按提示词生成视频,再逐轮改写动作和环境,替代素材拼接的第一轮草稿。