Hugging Face Blog·· 29 天前AI 评分58
Transformers 支持直接运行 llama.cpp 的 GGUF 量化模型
Transformers now runs llama.cpp quants
AI 导读
Hugging Face 的 transformers 现在可以直接加载并运行 llama.cpp 的 GGUF 量化模型,在 from_pretrained 里传入 gguf_file 指定 Hub 仓库和文件名即可本地生成。
标题与摘要由 AI 辅助生成,事实与观点以原文为准。
来源:Hugging Face Blog · huggingface.co
本站标题、摘要与推荐理由由 AI 辅助生成;原文版权归来源所有。