📝 EPIC: Efficient Position-Independent Caching for Serving Large Language Models - ICML'25

Fri, 05 Jun 2026 00:00:00 +0000

Conference: ICML'25

Github: https://github.com/DerekHJH/epic

1. Abstract (摘要)

大型语言模型 (LLMs) 在广泛的应用中展现了强大的能力，但随着请求 (prompts) 变得越来越复杂，如何高效地进行模型服务 (serving) 成为一个日益严峻的挑战。上下文缓存 (Context caching) 通过重用跨请求重复出现的 token 的中间表示——键值向量 (Key-Value vectors, KV cache)，显著提升了服务性能。然而，现有的上下文缓存技术要求跨请求的完全前缀匹配 (exact prefix matches)，这极大地限制了其在少样本学习 (few-shot learning) 和检索增强生成 (RAG) 等场景下的重用率。在这些场景中，不可变的内容（例如检索到的文档）在不同请求之间保持不变，但它们往往被不同的前缀（如不同的用户指令或系统提示）所引导。

为了解决这一问题，位置无关缓存 (Position-Independent Caching, PIC) 应运而生，它使得 KV 向量的模块化重用成为可能，而不再受限于前缀是否一致。本论文对 PIC 进行了形式化定义，并在前人工作的基础上提出了 EPIC 服务系统。EPIC 结合了作者全新提出的 LegoLink 算法。该算法巧妙地缓解了每个文档开头出现的不合理的“注意力下沉” (attention sink) 效应，从而以极小的计算代价维持了模型的准确率。

实验结果表明，EPIC 在首字延迟 (Time-To-First-Token, TTFT) 上实现了高达 8倍的提升，在吞吐量上相较于现有系统获得了 7倍的增益，同时几乎没有带来任何准确率的损失。

2. Introduction (引言)

首先，基于前缀的上下文缓存 (prefix-based CC) 通过将当前请求与之前的请求进行匹配，从而重用最长公共前缀的 KV 向量。尽管基于前缀的 CC 仍然是现有系统（如 kim; gem, b; Zheng 等人, 2024; Kwon 等人, 2023）中的主流方法，但它要求请求之间必须有精确的前缀匹配。这限制了其在少样本学习和检索增强生成 (RAG) 等场景中的重用，在这些场景中，不可变的数据块（immutable chunks，例如文档）在请求之间保持不变，但前面的前缀却在不断变化。

Position-Independent Caching on JJ's Blog

📝 EPIC: Efficient Position-Independent Caching for Serving Large Language Models - ICML'25

1. Abstract (摘要)

2. Introduction (引言)