Efficient Inference on JJ's Blog

📝 FlashDrive: Flash Vision-Language-Action Inference for Autonomous Driving

Tue, 18 Aug 2026 00:00:00 +0000

FlashDrive: Flash Vision-Language-Action Inference for Autonomous Driving

Status: arXiv v1, 2026-08-13

Paper: https://arxiv.org/abs/2608.12932

Project: https://z-lab.ai/projects/flashdrive/

GitHub: https://github.com/z-lab/flashdrive

Authors: Zekai Li, Yihao Liang, Hongfei Zhang, Jian Chen, Yesheng Liang, Zhijian Liu

一句话总结： FlashDrive 不把 VLA 推理当成一个笼统的“大模型太慢”问题，而是把它拆成 Encode、Prefill、Decode、Action 四段，为每段找到不同的结构性冗余，再用流式 KV Cache、DFlash 推测式推理、自适应 Flow Matching、W4A8 量化与 CUDA Graph 共同加速完整链路。

Abstract

推理型自动驾驶 VLA 不只要“看见道路”，还要根据多相机视频理解场景、生成语言形式的因果推理，再预测未来连续轨迹。以 10B 参数的 Alpamayo 1.5 为例，一次完整推理在 RTX PRO 6000 上需要 716.9 ms，相当于每秒只能重规划约 1.4 次。更麻烦的是，这 716.9 ms 并不存在一个可以单独解决的唯一瓶颈：

视觉编码器重复处理相邻时刻中相同的历史画面；
Prefill 重复为这些画面建立几乎相同的 KV Cache；
约 16 个结构化驾驶推理 token 仍被逐 token 串行生成；
8 步 Flow Matching 在速度场几乎不变的中间区间反复运行 Action Expert。

FlashDrive 的做法是为每种冗余设计不同捷径：

📝 Deep Think with Confidence - ICLR'26

Thu, 06 Aug 2026 00:00:00 +0000

Deep Think with Confidence

Conference: ICLR 2026 Poster

Paper: OpenReview · arXiv

Project: https://jiaweizzhao.github.io/deepconf/

Github: https://github.com/facebookresearch/deepconf

Authors: Yichao Fu, Xuewei Wang, Hao Zhang, Yuandong Tian, Jiawei Zhao

Abstract

推理模型的 test-time scaling 通常沿两个方向展开：一是让单条 Chain-of-Thought 更长，二是并行采样更多推理轨迹，再通过 majority voting 或 verifier 聚合答案。第二种方法也称 parallel thinking 或 self-consistency。它简单且有效，但成本随轨迹数量近似线性增加，而且普通多数投票默认每条轨迹同样可靠，低质量推理同样拥有一票。

Deep Think with Confidence（DeepConf）提出一个无需训练、无需外部奖励模型的改进：直接读取生成模型内部的 top-k token 概率，用局部低置信度片段判断整条推理是否可靠。它包含两个工作模式：

Offline DeepConf：所有推理轨迹生成完成后，按置信度过滤低质量轨迹，再执行置信度加权投票，主要目标是提高准确率；
Online DeepConf：生成过程中维护滑动窗口置信度，当一条轨迹跌破由 warmup 样本确定的阈值时立即停止，并根据当前答案共识度决定是否继续采样，主要目标是节省推理 token。

论文在 AIME 2024/2025、BRUMO 2025、HMMT 2025 与 GPQA-Diamond 上评测 DeepSeek-8B、Qwen3-8B/32B、GPT-OSS-20B/120B。离线模式中，GPT-OSS-120B 在 AIME 2025 上由 pass@1 的 91.8% 和 cons@512 的 97.0% 提升到 99.9%；在线模式在同一模型和数据集上将 token 数从 \(3.23\times10^8\) 降到 \(0.49\times10^8\)，节省 84.7%，准确率为 97.9%。

📝 SWE-Pruner Pro: The Coder LLM Already Knows What to Prune

Thu, 06 Aug 2026 00:00:00 +0000

SWE-Pruner Pro: The Coder LLM Already Knows What to Prune

Status: arXiv v1, 2026-07-20

Paper: https://arxiv.org/abs/2607.18213

Github: https://github.com/Ayanami1314/swe-pruner-pro

Authors: Yuhang Wang, Yuling Shi, Shaoqiu Zhang, Jialiang Liang, Shilin He, Siyu Ye, Yuting Chen, Kai Cai, Xiaodong Gu

Abstract

Coding Agent 在真实仓库中解决问题时，会不断调用 cat、grep、ls、python 等工具。工具输出不仅可能一次包含数百行内容，还会作为历史消息在后续轮次中被重复送入模型。真正决定修复方案的通常只是其中一小部分代码、错误信息或文件路径，其余内容却持续占用输入 token、显存和推理时间。

以往的上下文剪枝大致有两条路线：通用压缩方法根据困惑度、语法结构或检索相似度选择内容；SWE-Pruner 一类任务感知方法则额外部署一个评分模型，并要求 Agent 每轮写出描述当前信息需求的 Goal Hint。它们有一个共同点：都在 Agent 外部重新构造“哪些内容重要”这一信号。

SWE-Pruner Pro 的核心观察是：Agent 在阅读工具输出并准备下一步行动时，其最后一层隐藏状态已经编码了每行内容与当前任务的相关性。 因此，系统无需再调用独立模型，只需在冻结的 Agent backbone 上挂接一个小型分类头，将已有隐藏状态转换为逐 token 的保留概率，再通过行内多数投票得到 keep/prune 决策。一个由工具输出行数索引的长度感知嵌入，使短输出更保守、长输出更积极地压缩。

论文在 Qwen3-Coder-Next 与 MiMo-V2-Flash 两个开放权重 backbone、四个多轮 benchmark 上进行评测。SWE-Pruner Pro 在所有六个只读任务设置中都降低了总 token，最高节省 39.4%；在 MiMo-V2-Flash 的 SWE-Bench Verified 上，Resolve Rate 提高 3.8 个百分点。部署方面，把约 18M 参数的 head 放入 SGLang 推理引擎后，16 条轨迹回放中的聚合剪枝开销约为生成时间的 15.0%。

📝 Cache-to-Cache: Direct Semantic Communication Between Large Language Models

Wed, 15 Oct 2025 00:00:00 +0000

Cache-to-Cache: Direct Semantic Communication Between Large Language Models

Status: ICLR 2026

Paper: https://arxiv.org/abs/2510.03215

OpenReview: https://openreview.net/forum?id=LeatkxrBCi

GitHub: https://github.com/thu-nics/C2C

Authors: Tianyu Fu, Zihan Min, Hanling Zhang, Jichao Yan, Guohao Dai, Wanli Ouyang, Yu Wang

一句话总结： Cache-to-Cache（C2C）把多 LLM 协作中的“先让一个模型生成解释文本，再让另一个模型读文本”改成“直接将 Sharer 的 KV Cache 映射并残差融合到 Receiver 的 KV Cache”，从而同时减少中间文本造成的信息压缩和逐 token 解码延迟。

版本说明： 本地最初保存的是 2025 年 10 月的预印本。本文按 2026 年 3 月 2 日的 arXiv v2 / ICLR 2026 录用版重新核对。录用版摘要中的总体结果为：相对单模型平均准确率提高 6.4%–14.2%，相对 Text-to-Text 提高 3.1%–5.4%，平均延迟加速 2.5 倍。旧版摘要中的 8.5%–10.5%、3.0%–5.0% 和 2.0 倍不再作为本文的最终总括数字。