📝 Cache-to-Cache: Direct Semantic Communication Between Large Language Models

Wed, 15 Oct 2025 00:00:00 +0000

Cache-to-Cache: Direct Semantic Communication Between Large Language Models

Status: ICLR 2026

Paper: https://arxiv.org/abs/2510.03215

OpenReview: https://openreview.net/forum?id=LeatkxrBCi

GitHub: https://github.com/thu-nics/C2C

Authors: Tianyu Fu, Zihan Min, Hanling Zhang, Jichao Yan, Guohao Dai, Wanli Ouyang, Yu Wang

一句话总结： Cache-to-Cache（C2C）把多 LLM 协作中的“先让一个模型生成解释文本，再让另一个模型读文本”改成“直接将 Sharer 的 KV Cache 映射并残差融合到 Receiver 的 KV Cache”，从而同时减少中间文本造成的信息压缩和逐 token 解码延迟。

版本说明： 本地最初保存的是 2025 年 10 月的预印本。本文按 2026 年 3 月 2 日的 arXiv v2 / ICLR 2026 录用版重新核对。录用版摘要中的总体结果为：相对单模型平均准确率提高 6.4%–14.2%，相对 Text-to-Text 提高 3.1%–5.4%，平均延迟加速 2.5 倍。旧版摘要中的 8.5%–10.5%、3.0%–5.0% 和 2.0 倍不再作为本文的最终总括数字。

Multi-LLM on JJ's Blog

📝 Cache-to-Cache: Direct Semantic Communication Between Large Language Models

Cache-to-Cache: Direct Semantic Communication Between Large Language Models