COM Kitchens：未经编辑的俯视视频数据集作为视觉-语言基准

主要观点总结

该文章介绍了来自OMRON SINIC X公司等几家日本研究机构的新数据集“COM Kitchens”的论文。该数据集专注于程序化视频理解，特别是针对固定视点（FV）的未编辑视频数据集。文章详细描述了数据集的特点、创建过程、数据收集方法、注释方式以及相关的挑战。此外，还介绍了基于此数据集的两个任务：在线菜谱检索（OnRR）和致密视频字幕制作（DVC-OV）。

关键观点总结

关键观点1: 数据集特点

COM Kitchens数据集由智能手机拍摄的未经编辑俯视图视频组成，参与者根据给定的食谱进行食物准备。该数据集在任务和环境中具有显著的多样性，并且是唯一具有语言注释的数据集。

关键观点2: 数据收集与注释

为了创建COM Kitchens数据集，从Cookpad食谱数据集中选择候选食谱进行拍摄。收集了410个视频，最终整理出210个视频，并对其中145个视频进行了注释，总计40小时。注释方式包括视觉动作图、在线菜谱检索等。

关键观点3: 面临的挑战

在处理未经编辑的视频时，存在环境多样性、视频长度、重复动作以及对重要目标缺乏关注等问题，给语言指令与视频事件对齐带来了额外的挑战。

关键观点4: 新任务介绍

文章介绍了两个新任务：在线菜谱检索（OnRR）和致密视频字幕制作（DVC-OV）。OnRR任务旨在开发实用的智能手机应用程序，根据视频内容检索相应的菜谱。DVC-OV任务则旨在通过致密视频字幕制作（DVC）任务的传统格式分析网络视频和俯视视频之间的域差距。

关键观点5: 视觉动作图

文章提出了一种新的视觉动作图，用于将有意的动作描绘成时域图格式。该图由个人动作（AP）集和边集组成，用于跟踪食材在整个烹饪过程中的变化。