Token Pruning on JJ's Blog

📝 Variation-aware Vision Token Dropping for Faster Large Vision-Language Models - CVPR'26

Mon, 23 Mar 2026 00:00:00 +0000

Conference: CVPR'26

Github: https://github.com/xuyang-liu16/V2Drop

Abstract

Large vision-language models（LVLMs）在多模态理解任务上表现强大，但随着高分辨率图像与长视频理解需求不断增加，视觉 token 数量急剧上升，从而显著降低推理效率。Token compression 提供了一条直接路径：在不改变模型结构的前提下减少待处理 token 数，从而提升计算效率。作者通过系统分析指出，现有 inner-LLM token compression 方法主要存在两个关键问题：positional bias 和 incompatibility with efficient operators，这两点严重阻碍了它们在 LVLM 加速中的实际部署。本文提出了首个从动态 token variation 视角出发的方法，发现 LLM 内部的视觉 token variation 具有 task-agnostic 特性。基于这一观察，作者提出 Variation-aware Vision Token Dropping（V2Drop），在 LVLM 推理过程中逐步移除 variation 最小的视觉 token，从而提升计算效率。大量实验表明，V2Drop 在图像理解任务和视频理解任务上分别保留了原始性能的 94.0% 和 98.6%，同时将 LLM generation latency 分别降低了 31.5% 和 74.2%。

1. Introduction

Large vision-language models（LVLMs）在视觉理解与推理任务上表现突出，能够覆盖多种 vision-language 任务；但高分辨率图像理解和长视频理解会引入大量视觉 token，导致推理开销快速增长并限制实际部署。作者指出，随着输入分辨率和视频长度的提升，视觉 token 的数量增加会带来明显的计算复杂度压力，尤其是在 LLM 侧的 prefilling 和 generation 阶段。

📝 PRUNE REDUNDANCY, PRESERVE ESSENCE: VISION TOKEN COMPRESSION IN VLMS VIA SYNERGISTIC IMPORTANCE–DIVERSITY - ICLR'26

Sun, 01 Mar 2026 00:00:00 +0000

Conference: ICLR'26

Github: https://github.com/ZhengyaoFang/PruneSID

1. Abstract

视觉-语言模型（VLMs）因产生大量视觉 token 导致计算效率低下。先前研究指出大比例 visual tokens 存在冗余，但现有压缩方法难以在“重要性（importance）保存”和“信息多样性（diversity）保留”之间取得良好平衡。为了解决该问题，论文提出 PRUNESID：一种无训练（training-free）、协同重要性—多样性（Synergistic Importance–Diversity） 的 two-stage 框架，包含：

PSCA（Principal Semantic Components Analysis）：将 tokens 按语义主方向聚类成多个语义相干组（semantic groups），确保概念覆盖。
组内 NMS（Intra-group Non-Maximum Suppression）：在每组内按相似度动态阈值去重，保留最具代表性的 token。

此外，PRUNESID 引入 信息感知动态压缩率（information-aware dynamic compression ratio），根据图像复杂度动态分配 token 预算，从而在多样化场景上实现更优的平均信息保留。大量实验表明：在 LLaVA-1.5 上仅保留 $11.1%$ token（64 tokens）时可达 $96.3%$ 精度；在极端压缩（$5.6%$）下在 LLaVA-NeXT 仍达 $92.8%$，相较此前方法有显著提升，并在 prefilling 时间上有 $7.8\times$ 的加速。

2. Introduction

现状：主流 VLM（如 LLaVA-1.5 与 LLaVA-NeXT）通常为每张图像产生数百到几千 visual tokens（例如 576 或 2880），远超捕捉图像语义所需。相关研究表明约 $70%$ tokens 可丢弃而对准确率影响甚微。
两类现有方案：
- Attention-guided selection：依据 attention score 保留高 attention token（优点：保留局部显著性；缺点：忽视背景与多样性，可能重保重复区域）。
- Duplication-aware（相似性/去重）方法：依据相似性去重，提升多样性，但可能丢弃语义重要但相似的高 attention token。
本文关键观点：设计一个 组引导（group-guided） 的训练免费方法，使得“重要性”和“多样性”得到协同优化。通过 PSCA 先将 tokens 按语义方向分组，再在组内用 NMS 去冗余，同时用信息感知机制在图像间自动分配 token 预算，从而在极端压缩下仍保留丰富语义。

📝 MMTok: Multimodal Coverage Maximization for Efficient Inference of VLMs - ICLR'26

Sat, 28 Feb 2026 00:00:00 +0000

Conference: ICLR 2026

Note: https://zhuanlan.zhihu.com/p/1944299907109348831

Github: https://github.com/Ironieser/MMTok

📝 Accelerating Streaming Video Large Language Models via Hierarchical Token Compression - CVPR'26

Sat, 27 Dec 2025 00:00:00 +0000

Github: https://github.com/lern-to-write/STC

Conference: CVPR'26

1. Motivation

最近，随着直播体育解说和增强现实眼镜等新兴应用的出现，对流式视频理解 (Streaming Video Understanding, SVU) 的需求日益迫切。在这些场景中，模型必须持续处理输入的视频帧，并以极低的延迟生成响应。然而，现有 VideoLLM 在处理来自连续视频流的高密度视觉标记（tokens）时，计算成本极高，导致其在延迟敏感的应用中难以实时部署。

通过图 1 的推理时间分解可以发现：视频理解与图像理解存在显著差异。在 Qwen2-VL 和 LLaVA-OV 等模型中，ViT 编码的计算成本通常比图像理解高出 2-3 倍，成为主要的延迟瓶颈。例如，当 LLaVA-OV 处理 32 帧视频时，会有个视觉标记输入 LLM，是普通图像任务（约 1,900 个标记）的三倍以上。

针对流式场景，本研究通过实证分析揭示了两个关键特征：

ViT 编码中的时间冗余 (Temporal Redundancy)：流式视频需要更密集的帧采样，导致相邻帧之间存在大量重复内容。实验显示，在 ViT 的深层（如 Layer 20），相邻帧特征的平均余弦相似度在流式设置下高达 0.85，而离线设置仅为 0.60 。
不完整的视频与未知的指令 (Incomplete Video and Unknown Instructions)：流式场景下，模型无法预先获取完整视频或用户指令，这使得依赖全局视频特征或指令感知的压缩策略（如 Instruction-aware pruning）失效，因为查询通常在视频帧处理完后才到达。

因此，迫切需要一种能够**因果式（causally）**运行、利用编码过程中的时间冗余且不依赖全局上下文的压缩方法。

2. Contribution

基于上述分析，我们提出了 Streaming Token Compression (STC)，这是一个即插即用的分层加速框架，旨在共同优化 ViT 编码和 LLM 预填充（prefilling）阶段。其核心贡献包括：

流式场景的实证分析：分析了现有压缩方法在 SVU 中的局限性，强调了因果压缩的必要性，即在不依赖未来指令的情况下降低 ViT 成本。

📝 Stop Looking for “Important Tokens” in Multimodal Language Models: Duplication Matters More - EMNLP'25

Wed, 12 Nov 2025 00:00:00 +0000

Conference: EMNLP'25

Github: https://github.com/ZichenWen1/DART

1. Motivation

Vision tokens 在多模态大模型（MLLMs）中因数量巨大而成为主要计算瓶颈，尤其是高分辨率图像或多帧视频，会将图像编码为成千上万的视觉 token，使得模型推理的时间和内存成本迅速上升。为此，许多近期工作提出了训练免费（training-free）的 token pruning 方法，通常采用“先度量每个 token 的importance，再删除importance低的 token”的范式来加速推理。论文指出并实证了：以 attention-score 作为 importance 的方式存在严重缺陷，在某些场景下竟然比随机丢弃（random pruning）更差，并且与硬件加速（如 FlashAttention）不兼容，从而无法在实际部署时取得理想的速度-性能折中。

直觉动机：论文提出另一种思路——把重复（duplication）作为 token reduction 的主要考虑因素。当多个视觉 token 表示高度相似时，保留其中一个便足以维持信息完整度；相反，删除“重复”token 不但能大幅削减计算，也更不容易损害下游性能。基于该想法，作者提出了 DART（Duplication-Aware Reduction of Tokens）这一简单、训练免费、对硬件友好的 token 削减 Pipeline。

2. Challenge

论文系统性地列举并分析了当前 importance-based token pruning 的问题：

(I) 忽略 token 间的交互（dynamic interaction）：importance-based 方法往往把每个 token 的分数当作对全集 $X$ 的函数 $s_i=F(x_i\mid X)$ 并进行静态选择，但当某些 token 被移除后，剩下 token 的“重要性”应发生改变（例如两近似 token 存在互补性，移除其中之一会提高另一个的相对重要性），而静态评分忽略了这一点。论文通过形式化说明和实证展示了该偏差来源（见式 (4)-(6)）。
(II) 与高效注意力算子（FlashAttention）不兼容：许多 importance-based 方法需要访问 attention scores，但高效实现（FlashAttention / FlashAttention-2）在内部并不暴露中间 attention map，这就迫使要么禁用高效实现（带来速度和内存损失），要么放弃这些方法。论文强调在保持 FlashAttention 的同时设计 pruning 方法的重要性。

📝 Beyond Attention or Similarity: Maximizing Conditional Diversity for Token Pruning in MLLMs - *NeurIPS'25

Fri, 24 Oct 2025 00:00:00 +0000

Conference: NeurIPS'25

github: https://github.com/Theia-4869/CDPruner

My Thoughts

相较于 Attention-based methods 中的 attention shift 问题和 Similarity-based methods 中忽略了 query 的问题，这篇论文从 增加 visual tokens 全局多样性（同时保持对 query 的关注） 的角度出发，提出了 CDPruner，通过将 token 多样性建模为 DPP（Determinantal Point Process）求解问题，实现了 SOTA 的 pruning 效果。

Motivations

在多模态大语言模型（MLLMs）中，视觉 token 的输入长度往往远大于文本 token，从而带来高昂的推理开销。例如：

LLaVA-1.5 将一张 336×336 图像转换为 576 tokens；
LLaVA-NeXT 的高分辨率版本在输入加倍的情况下生成 2,880 tokens；
LongVA 处理 2,000 帧视频时生成超过 200K visual tokens；
LongVILA 能处理 6,000 帧并产生 超过 1M visual tokens，导致巨大的计算成本。

Challenges

现有的视觉 token 剪枝方法主要分为两类：