📝 KVFlow: Efficient Prefix Caching for Accelerating LLM-Based Multi-Agent Workflows

Sat, 20 Jun 2026 00:00:00 +0000

KVFlow: Efficient Prefix Caching for Accelerating LLM-Based Multi-Agent Workflows

Conference: NeurIPS'25

Github: https://github.com/PanZaifeng/KVFlow/tree/main

论文主题概括： 这篇论文研究的是 LLM-based multi-agent workflows 中的系统级推理加速问题，重点不是提升模型能力，也不是改 prompt 或 agent 协作策略，而是优化底层 LLM serving system 中的 KV cache 管理机制。论文指出，现有系统通常使用 LRU 策略管理 prefix KV cache，但 LRU 只根据过去访问时间做决策，无法理解多智能体工作流中 agent 的未来执行顺序，因此容易把“马上就要再次使用”的 agent prefix cache 提前驱逐掉。KVFlow 利用 workflow 结构预测 agent 的未来调用顺序，并据此进行 cache eviction 和 prefetching，从而减少 cache miss、降低 prefill 或 CPU-GPU loading 开销，提高多智能体工作流的执行效率。

核心关键词：

LLM Serving
Agentic Workflow
Multi-Agent Workflow
Prefix Caching
KV Cache
Cache Eviction
LRU
Radix Tree Cache
Workflow-aware Cache Management
Agent Step Graph
Steps-to-execution
KV Prefetching
CPU-GPU Transfer
SGLang
HiCache

Abstract

这篇论文的出发点是：现在很多复杂任务会通过 LLM-based agentic workflows 来完成，即把一个复杂任务拆成多个 agent，每个 agent 有自己的角色、固定 prompt 和子任务。例如一个软件开发类 workflow 可能包含 Product Manager、Architect、Engineer、Reviewer 等 agent。每个 agent 在 workflow 中会被反复调用，每次调用 LLM 时都要处理自己的 prompt。

Agentic Workflow on JJ's Blog

📝 KVFlow: Efficient Prefix Caching for Accelerating LLM-Based Multi-Agent Workflows

KVFlow: Efficient Prefix Caching for Accelerating LLM-Based Multi-Agent Workflows

Abstract