📝 Long-Context Modeling with Dynamic Hierarchical Sparse Attention for Memory-Constrained LLM Inference - ICML'26 Spotlight

Fri, 10 Jul 2026 00:00:00 +0000

Long-Context Modeling with Dynamic Hierarchical Sparse Attention for Memory-Constrained LLM Inference

Conference: ICML'26 Spotlight

Paper: https://arxiv.org/abs/2510.24606

Github: https://github.com/xiongsiheng/DHSA

Abstract

Transformer Attention 的时间和显存开销随上下文长度平方增长，限制了长上下文 LLM 在有限显存设备上的部署。虽然长上下文 Attention 通常具有明显稀疏性，但显著 token 的位置会随任务和输入变化。Sliding Window、A-shape 和固定 Block-Sparse 等静态模式无法充分适应这种输入相关的稀疏分布；部分动态方法又依赖预定义模板或启发式规则。

论文提出 Dynamic Hierarchical Sparse Attention（DHSA）。DHSA 保持 LLM backbone 冻结，根据每层的 query/key 表征在线预测稀疏模式。方法首先使用轻量级边界预测器将序列划分为可变长 chunk，然后计算 chunk-level similarity，并将高分 chunk 展开为 token-level key index。稀疏注意力后端只对被选中的 token 执行精确 causal attention。

在 Needle-in-a-Haystack、LongBench 和 RULER 上，DHSA 在低 token density 下保持接近 Dense Attention 的准确率。在效率方面：

相同 prefill 成本下，相比 Block-Sparse 获得约 12%–20% relative accuracy gain；
128K context、6.25% token density 下，attention kernel 相对 FlashAttention-2 加速约 10.66×；
LLaMA-3.1-8B 4-bit 在单张 RTX 3090 24GB 上可以处理 100K context，而 Dense Attention 无法在该显存限制下运行；
LongBench 上平均 TTFT 从 Dense FA2 的 3.28 秒降低到 1.88 秒。

1. Introduction

长上下文能力使 LLM 能够处理长文档问答、代码仓库分析、历史记录总结和长时间 Agent 交互。然而，标准 Attention 需要计算所有 query-key pair：

Sparse Attention on JJ's Blog

📝 Long-Context Modeling with Dynamic Hierarchical Sparse Attention for Memory-Constrained LLM Inference - ICML'26 Spotlight

Long-Context Modeling with Dynamic Hierarchical Sparse Attention for Memory-Constrained LLM Inference

Abstract

1. Introduction