跳到正文
原文
Hugging Face Blog·· 29 天前AI 评分58

Transformers 支持直接运行 llama.cpp 的 GGUF 量化模型

Transformers now runs llama.cpp quants

AI 导读

Hugging Face 的 transformers 现在可以直接加载并运行 llama.cpp 的 GGUF 量化模型,在 from_pretrained 里传入 gguf_file 指定 Hub 仓库和文件名即可本地生成。

标题与摘要由 AI 辅助生成,事实与观点以原文为准。

来源:Hugging Face Blog · huggingface.co

本站标题、摘要与推荐理由由 AI 辅助生成;原文版权归来源所有。