📝 LongCodeZip: Compress Long Context for Code Language Models - ASE'25

Thu, 06 Aug 2026 00:00:00 +0000

LongCodeZip: Compress Long Context for Code Language Models

Conference: ASE 2025

Paper: https://arxiv.org/abs/2510.00446

Github: https://github.com/YerbaPage/LongCodeZip

Authors: Yuling Shi, Yichun Qian, Hongyu Zhang, Beijun Shen, Xiaodong Gu

Abstract

代码大模型在仓库级补全、模块总结和跨文件问答中，通常需要读取远超单个函数的上下文。直接把整个仓库送入模型不仅带来更高的推理延迟、显存和 API 费用，还可能因为 lost-in-the-middle 现象让真正有用的信息淹没在长上下文中。最直接的检索增强生成（RAG）虽然能够选取与问题相似的代码，却容易漏掉变量名和表面语义都不相似、但在执行逻辑上不可缺少的依赖。

LongCodeZip 是一个 training-free、model-agnostic、plug-and-play 的长代码上下文压缩框架。它把压缩拆成两个层次：

Coarse-grained compression：以函数或类为单位，使用指令条件下的近似互信息 AMI 排序，优先保留能帮助模型理解当前任务的代码实体；
Fine-grained compression：在保留下来的长函数内部，根据逐行困惑度变化切分语义块，再通过自适应预算和 0/1 背包选择最有价值的代码块。

这种设计同时利用了代码的层次结构和任务相关性。论文在 Long Code Completion、Long Module Summarization 与 RepoQA 三类任务上评估 LongCodeZip，在最高 5.6× 有效压缩率下仍能维持甚至提高任务性能，并显著降低生成阶段的时间与额外显存开销。

1. Motivation

1.1 Long Code Context 的实际代价

仓库级任务所需要的信息往往分散在不同文件、类和函数中。随着上下文长度增加，会同时出现四类问题：

计算代价增加：标准全注意力的计算量随序列长度近似二次增长；
部署成本增加：更长的 KV Cache 占用更多显存，闭源 API 也按输入 token 计费；
有效性下降：无关代码会稀释模型注意力，长上下文并不必然优于经过筛选的上下文；
窗口截断：当仓库代码超过上下文窗口时，简单截断可能恰好删除关键依赖。

因此，长代码压缩的目标不是机械地减少 token，而是回答两个问题：哪些函数与当前指令真正相关？一个相关函数内部又应该保留哪些连续代码块？

Context Compression on JJ's Blog

📝 LongCodeZip: Compress Long Context for Code Language Models - ASE'25

LongCodeZip: Compress Long Context for Code Language Models

Abstract

1. Motivation

1.1 Long Code Context 的实际代价