📝 Venus: An Efficient Edge Memory-and-Retrieval System for VLM-based Online Video Understanding - INFOCOM'26

Fri, 12 Dec 2025 00:00:00 +0000

Conference: INFOCOM'26

1. Motivation (动机)

图 1 抽象了一个部署在智能家居场景中的基于VLM（视觉-语言模型）的在线视频理解应用。在这个应用中，家庭成员可以随时发起针对当前或历史录制视频片段的查询。该应用包含三个关键模块：

流媒体感知模块 (Streaming Perception Module): 配备板载计算能力的边缘摄像头持续捕获家庭场景的视频，并即时处理多模态数据。
历史记忆模块 (Historical Memory Module): 构建历史视频流并存储在记忆数据库中，以支持高效准确地检索与查询相关的信息。
推理模块 (Reasoning Module): 在接收到用户查询后，利用云托管的 VLM 进行推理并生成答案，由历史记忆提供上下文基础 (contextual grounding)。

AI 社区中新兴的研究工作（如 [13]–[15]）探索了 VLM 在视频理解中的有效性，但大多数工作都侧重于算法性能 (algorithmic performance)，而忽略了部署相关的约束 (deployment-related constraints)，这限制了它们在边缘智能场景中的直接适用性。

纯云端部署 (Fully Cloud-based Deployment):
- 利用强大的服务器端计算来减少设备端处理。
- 缺点： 需要上传整个相关视频 (entire relevant video)，导致显著的通信延迟 (communication latency)。图 2 显示，通信延迟可占总响应延迟的 80%，且随着视频时长的增加而大幅增长。
边缘-云端策略（边缘执行选择算法）(Edge-Cloud Strategy):
- 一些方法 [3], [13] 通过在推理前执行**帧选择 (frame selection)**来提高准确性。
- 在边缘设备上执行选择算法，只将选定的帧上传到云端，可以显著减少通信开销。
- 缺点： 边缘设备的计算能力有限，导致逐帧处理产生巨大的设备端处理成本 (substantial on-device processing costs)，例如高达 924秒 的设备端延迟（图 2）。
现有方法的共同限制： 除了通信和计算开销，现有方法固有地受限于离线执行 (offline execution)，不适用于涉及在线用户查询并需要**长期上下文记忆 (long-term contextual memory)**的在线流媒体应用。

2. Contribution (贡献)

为解决上述限制，作者提出了 Venus，一种新颖的设备端记忆和检索系统 (on-device memory-and-retrieval system)，专为高效在线边缘视频理解而设计。

📝 SpecEdge: Scalable Edge-Assisted Serving Framework for Interactive LLMs - NeurIPS'25 Spotlight

Mon, 03 Nov 2025 00:00:00 +0000

Conference: NeurIPS'25 Spotlight

Github: https://github.com/kaist-ina/specedge

My Thought

个人感觉这篇工作是将ICLR25 PEARL: Parallel Speculative Decoding with Adaptive Draft Length中大小模型彼此互不等待的协同Speculative Decoding模式放在了云边协同场景下(一般来说Pearl中的大小模型协同需要放在不同的卡上，在单卡场景下没法实现，而云边协同的场景下刚好符合Pearl的研究场景)，用来掩盖和减小 draft 和 target model 的网络通信开销。

同时也对多edge draft models 的情况进行了优化，提出Server-Side Pipeline-Aware Scheduling来进一步提高target model的利用率。

这篇工作真正实现上还有许多细节，有时间可以看看开源代码中是否涉及到。

1. Motivation

Large language models (LLMs) power many modern applications, but serving them at scale remains costly and resource-intensive. Current server-centric systems overlook consumer-grade GPUs at the edge.

大型语言模型（LLMs）支撑了众多现代智能应用，但其部署和推理成本极高。目前的主流推理系统普遍采用“服务器中心化”架构，忽视了边缘侧日益强大的消费级 GPU 资源。