肠道息肉就是“癌前病变”？中山医院内镜AI实现“全自动标注”

主要观点总结

研究团队利用大语言和视觉模型，从大规模图文结肠镜记录中进行知识蒸馏，破解了AI辅助检测技术在结肠镜检查中的“数据标注瓶颈”问题。通过EndoKED数据挖掘新范式，实现了报告级和图像级的息肉检测以及像素级的息肉标注，提升了息肉分割模型的性能和泛化能力。同时，该研究还实现了数据高效的光学活检学习，达到了专家级水平。

关键观点总结

关键观点1: 研究背景

结直肠癌是全球第二大癌症致死原因，结肠镜检查是降低其发病率和死亡率的黄金标准。AI辅助检测技术虽有进展，但受困于数据标注瓶颈，即需专家手动标注海量内镜图，耗时费钱且数据规模受限。同时，医院信息系统中虽存海量内镜图文记录，却因图文不匹配难以利用。

关键观点2: 研究过程与成果

研究团队提出了一种名为EndoKED的数据挖掘新范式，通过多示例学习和弱监督知识蒸馏技术桥接大语言模型（LLM）和视觉模型（LVM），将海量未经处理的结肠镜图文记录自动转化为带有像素级标注的图像数据集。研究结果表明，EndoKED在报告级和图像级的息肉检测以及像素级的息肉标注方面表现出色。

关键观点3: 研究团队与资金支持

该研究由复旦大学附属中山医院内镜中心周平红/李全林教授团队联合复旦大学数字医学研究中心王烁研究员团队、香港科技大学郭毅可教授团队共同完成。该研究得到中国国家重点研发计划、上海市教育委员会、上海市科学技术行动国际科技合作计划、国家自然科学基金及上海市学术/技术带头人计划等多项资金支持。