Hugging Face Blog·· 18 小时前精选AI 评分72
PyTorch 2.15 为 MPS 带来 FP8 支持和更快的 LLM 解码
MPS in PyTorch 2.15
AI 导读
PyTorch 2.15 在 MPS 后端加入 FP8 张量支持,并把解码、softmax 等算子从 MPSGraph 换成专用 Metal kernel。
标题与摘要由 AI 辅助生成,事实与观点以原文为准。
推荐理由
在 Mac 上跑本地 LLM 的开发者可以装 2.15 RC 试解码提速,前提是 macOS 15 与 Python 3.11 以上。
来源:Hugging Face Blog · huggingface.co
本站标题、摘要与推荐理由由 AI 辅助生成;原文版权归来源所有。