https://jjl357.github.io/blog/tags/edge-inference/ Recent content in Edge Inference on JJ's Blog Hugo -- 0.152.2 zh-cn Wed, 19 Aug 2026 00:00:00 +0000 https://jjl357.github.io/blog/posts/freetoken---efficient-edge-native-moe-serving-with-bandwidth-adaptive-execution/ Wed, 19 Aug 2026 00:00:00 +0000 https://jjl357.github.io/blog/posts/freetoken---efficient-edge-native-moe-serving-with-bandwidth-adaptive-execution/ <h1 id="freetoken-efficient-edge-native-moe-serving-with-bandwidth-adaptive-execution">FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution</h1> <p><strong>Status:</strong> <strong>arXiv v1, 2026-08-17</strong></p> <p><strong>Paper:</strong> <a href="https://arxiv.org/abs/2608.16157">https://arxiv.org/abs/2608.16157</a></p> <p><strong>GitHub:</strong> <a href="https://github.com/FlashML-org/FreeToken">https://github.com/FlashML-org/FreeToken</a></p> <p><strong>Project / Download:</strong> <a href="https://flashml.ai">https://flashml.ai</a></p> <p><strong>Authors:</strong> Shuo Yang, Xiaoze Fan, Melissa Pan, Haocheng Xi, Zhe Wang, Shanlin Sun, Kurt Keutzer, Song Han, Matei Zaharia, Chenfeng Xu, Ion Stoica</p> <p><strong>一句话总结：</strong> FreeToken 不把个人电脑看成“一块放不下模型的小 GPU”，而是把 GPU、CPU、主存、PCIe 和 SSD 组织成一个统一的弹性推理平台：Prefill 时整层双缓冲隐藏专家搬运，Decode 时根据机器实测带宽把缓存 miss 动态分给 GPU 加载和 CPU 原地计算，Agent 上下文被编辑时则从语义边界的状态检查点恢复。</p> <blockquote> <p><strong>版本说明：</strong> 本文严格对应 2026 年 8 月 17 日发布的 arXiv v1。论文是一篇刚发布的预印本，文中的模型、软硬件支持与性能数字应按该版本理解。</p> </blockquote> <hr> <h2 id="abstract">Abstract</h2> <p>MoE 模型有一个很诱人的性质：虽然总参数量可能达到数百 B，但每个 token 只激活少量专家，因此一次 token 计算真正用到的参数远少于完整模型。以论文中的 DeepSeek-V4-Flash 为例，它有 <strong>284B 总参数、13B 激活参数</strong>，每层只从 256 个 routed experts 中选择 6 个。13B 的活跃计算量对消费级 GPU 并非不可承受，真正困难的是：<strong>没有被当前 token 激活的专家仍然要被存放，而 284B 的完整权重远超消费级显存。</strong></p>