https://jjl357.github.io/blog/tags/asynchronous-inference/ Recent content in Asynchronous Inference on JJ's Blog Hugo -- 0.152.2 zh-cn Wed, 05 Aug 2026 00:00:00 +0000 https://jjl357.github.io/blog/posts/vlash---real-time-vlas-via-future-state-aware-asynchronous-inference/ Wed, 05 Aug 2026 00:00:00 +0000 https://jjl357.github.io/blog/posts/vlash---real-time-vlas-via-future-state-aware-asynchronous-inference/ <h1 id="vlash-real-time-vlas-via-future-state-aware-asynchronous-inference">VLASH: Real-Time VLAs via Future-State-Aware Asynchronous Inference</h1> <p><img loading="lazy" src="https://jjl357.github.io/blog/image/VLASH/title.png"></p> <p><strong>Status:</strong> <strong>Preprint, arXiv v2 (2026-07-26)</strong></p> <p><strong>Paper:</strong> <a href="https://arxiv.org/abs/2512.01031">https://arxiv.org/abs/2512.01031</a></p> <p><strong>GitHub:</strong> <a href="https://github.com/mit-han-lab/vlash">https://github.com/mit-han-lab/vlash</a></p> <p><strong>一句话总结：</strong> VLASH 不再让 VLA 根据“开始推理时已经过期的机器人状态”规划动作，而是利用上一段已经确定的动作，把机器人状态前推到新动作真正开始执行的时刻；再用时间偏移数据增强教会模型理解这一未来状态，从而在不增加推理步骤的前提下实现稳定的异步控制。</p> <hr> <h2 id="my-thoughts">My Thoughts</h2> <p>这篇工作的关键并不是让 VLA 的一次 forward 更快，而是重新安排 <strong>推理与物理执行的时间关系</strong>。</p> <p>同步控制将模型延迟直接暴露为机器人停顿；朴素异步控制虽然把推理藏在动作执行之后，却让模型对着过去的状态预测未来要执行的动作。VLASH 的洞察是：未来环境画面确实未知，但在推理期间将要执行的动作已经由上一 action chunk 确定，因此<strong>未来的本体状态（proprioceptive state）是可以近似推演的</strong>。</p> <p>我认为这篇论文最值得把握的有三点：</p> <ol> <li><strong>异步不是简单地开两个线程。</strong> 如果不处理 prediction-execution misalignment，吞吐和响应变快并不等于闭环控制更好。</li> <li><strong>VLASH 只预测可预测的未来。</strong> 它不构建完整 world model，只前推由已知动作决定的机器人自身状态，因此部署开销非常小。</li> <li><strong>反应速度与任务完成速度是两个指标。</strong> 异步执行主要把最大反应延迟从 \(D+2L\) 降到 \(2L\)；动作量化才进一步缩短物理动作序列，使任务完成时间获得约 \(1.5\text{--}2.0\times\) 加速。</li> </ol> <hr> <h2 id="1-motivationvla-为什么看起来总是慢半拍">1. Motivation：VLA 为什么看起来总是“慢半拍”？</h2> <p><img loading="lazy" src="https://jjl357.github.io/blog/image/VLASH/figure1.png"></p> <p>Vision-Language-Action Model（VLA）根据视觉观测、语言指令和机器人状态生成低层动作。为了避免每个控制周期都运行一次大模型，现代 VLA 通常采用 <strong>action chunking</strong>：一次推理生成一段未来动作，然后连续执行其中若干步。</p> <p>设时刻 \(t\) 的环境观测为 \(o_t\)，机器人状态为 \(s_t\)，VLA policy 为</p> $$ \pi_\theta(A_t\mid o_t,s_t), $$<p>一次生成长度为 \(H\) 的动作块</p>