Hacker News · Show HN· HelldezNoBan·· 1 小时前AI 评分67
BigMoeOnEdge 基于 llama.cpp 让大 MoE 模型在手机和笔记本上流式运行
Show HN: A layer on top llama.cpp enabling big MoE streaming on phone and laptop
AI 导读
开源项目 BigMoeOnEdge 在 llama.cpp 公共 API 之上实现 MoE 流式推理，只把每个 token 需要的专家留在内存，其余按需从存储读入，使大于内存的模型也能运行且输出与全内存运行一致。
来源：Hacker News · Show HN · github.com