https://jjl357.github.io/blog/tags/streaming-inference/ Recent content in Streaming Inference on JJ's Blog Hugo -- 0.152.2 zh-cn Tue, 18 Aug 2026 00:00:00 +0000 https://jjl357.github.io/blog/posts/flashdrive---flash-vision-language-action-inference-for-autonomous-driving/ Tue, 18 Aug 2026 00:00:00 +0000 https://jjl357.github.io/blog/posts/flashdrive---flash-vision-language-action-inference-for-autonomous-driving/ <h1 id="flashdrive-flash-vision-language-action-inference-for-autonomous-driving">FlashDrive: Flash Vision-Language-Action Inference for Autonomous Driving</h1> <p><strong>Status:</strong> <strong>arXiv v1, 2026-08-13</strong></p> <p><strong>Paper:</strong> <a href="https://arxiv.org/abs/2608.12932">https://arxiv.org/abs/2608.12932</a></p> <p><strong>Project:</strong> <a href="https://z-lab.ai/projects/flashdrive/">https://z-lab.ai/projects/flashdrive/</a></p> <p><strong>GitHub:</strong> <a href="https://github.com/z-lab/flashdrive">https://github.com/z-lab/flashdrive</a></p> <p><strong>Authors:</strong> Zekai Li, Yihao Liang, Hongfei Zhang, Jian Chen, Yesheng Liang, Zhijian Liu</p> <p><strong>一句话总结：</strong> FlashDrive 不把 VLA 推理当成一个笼统的“大模型太慢”问题，而是把它拆成 Encode、Prefill、Decode、Action 四段，为每段找到不同的结构性冗余，再用流式 KV Cache、DFlash 推测式推理、自适应 Flow Matching、W4A8 量化与 CUDA Graph 共同加速完整链路。</p> <hr> <h2 id="abstract">Abstract</h2> <p>推理型自动驾驶 VLA 不只要“看见道路”，还要根据多相机视频理解场景、生成语言形式的因果推理，再预测未来连续轨迹。以 10B 参数的 Alpamayo 1.5 为例，一次完整推理在 RTX PRO 6000 上需要 <strong>716.9 ms</strong>，相当于每秒只能重规划约 <strong>1.4 次</strong>。更麻烦的是，这 716.9 ms 并不存在一个可以单独解决的唯一瓶颈：</p> <ul> <li>视觉编码器重复处理相邻时刻中相同的历史画面；</li> <li>Prefill 重复为这些画面建立几乎相同的 KV Cache；</li> <li>约 16 个结构化驾驶推理 token 仍被逐 token 串行生成；</li> <li>8 步 Flow Matching 在速度场几乎不变的中间区间反复运行 Action Expert。</li> </ul> <p>FlashDrive 的做法是为每种冗余设计不同捷径：</p>