AI在实时视频里秒“剪”出你想要的部分！输入文字/图/视频片段，它都能秒懂｜ICCV2025

主要观点总结

文章介绍了深圳北理莫斯科大学和阿德莱德大学的研究团队提出的名为OVG-HQ的新技术，该技术能够实时在视频流中根据多种线索找出并精准裁剪出用户关心的完整事件。文章详细描述了技术的原理、挑战、核心组件、实验效果和总结。

关键观点总结

关键观点1: 新技术概述

OVG-HQ技术能够一边直播/录像，一边根据用户提供的多种线索，包括文字、参考图、示范视频片段等，瞬间在实时视频流中找出并精准裁剪出用户关心的完整事件。这项技术应用于安防监控、直播回放、VR训练反馈等领域。

关键观点2: 主要挑战

研究团队面临的主要挑战是确保模型在实时处理视频流时能够保留历史关键信息，以及处理查询模态分布不均的问题。

关键观点3: 核心组件

团队提出了两个核心组件来解决这些挑战：参数化记忆模块和混合模态蒸馏。参数化记忆模块能够压缩当前输入信息并保留历史信息，而混合模态蒸馏则通过训练专家模型来引导其他模态的学生模型，最终得到能统一处理多种模态的通用模型。

关键观点4: 实验结果

实验结果显示，使用混合模态蒸馏后，模型在处理弱模态上显著提升，参数化记忆模块的效果也优于其他方法。

关键观点5: 研究团队和论文链接

研究团队包括深圳北理莫斯科大学和阿德莱德大学的学者。论文链接已附在文中。