跳到正文
原文
Hugging Face Blog·· 18 小时前精选AI 评分72

PyTorch 2.15 为 MPS 带来 FP8 支持和更快的 LLM 解码

MPS in PyTorch 2.15

AI 导读

PyTorch 2.15 在 MPS 后端加入 FP8 张量支持,并把解码、softmax 等算子从 MPSGraph 换成专用 Metal kernel。

标题与摘要由 AI 辅助生成,事实与观点以原文为准。

推荐理由

在 Mac 上跑本地 LLM 的开发者可以装 2.15 RC 试解码提速,前提是 macOS 15 与 Python 3.11 以上。

来源:Hugging Face Blog · huggingface.co

本站标题、摘要与推荐理由由 AI 辅助生成;原文版权归来源所有。