全球首个！清华/上海交大等联合构建面向糖尿病诊疗的视觉-大语言模型，登 Nature 子刊

主要观点总结

清华大学团队联手上海交通大学团队、新加坡国立大学及新加坡国家眼科中心团队成功构建了全球首个面向糖尿病诊疗的视觉-大语言模型集成系统DeepDR-LLM，旨在改善糖尿病视网膜病变（DR）的筛查和糖尿病管理。该系统融合了语言模型和基于眼底图像的深度学习技术，为中低收入国家提供了更先进的基层糖尿病管理和DR筛查方案。亮点包括模块I的个性化管理建议和模块II的眼底图像分析，两者结合显著提高了基层DR筛查能力和糖尿病诊疗水平。此外，该系统在多种族和多国的数据集中进行了验证，证明了其有效性和准确性。

关键观点总结

关键观点1: 研究背景

糖尿病是全球上升最快的主要慢性病，可造成多种并发症，其中DR是糖尿病患者最常见的眼部并发症。定期DR筛查作为初级糖尿病护理的关键部分，但由于资源和成本的限制，在中低收入国家常常被忽视。人工智能在糖尿病及其并发症管理领域的作用日益重要。

关键观点2: 研究创新点

本研究创新性地融合了语言模型和深度学习技术，构建了DeepDR-LLM系统。该系统由LLM模块和DeepDR-Transformer模块构成。LLM模块为糖尿病患者提供个性化管理建议，而DeepDR-Transformer模块则从眼底图像中检测病变、进行DR分级。此外，研究团队还通过监督微调方法将领域知识整合到LLM的训练过程中。

关键观点3: DeepDR-LLM系统的性能表现

DeepDR-LLM系统在覆盖多个区域的大规模队列中进行了验证，包括亚洲、欧洲和非洲。研究表明，该系统在DR分级、眼底病变识别以及为糖尿病患者提供个性化管理建议方面表现出色。此外，与基层医生相比，DeepDR-LLM给出的管理建议质量更高。

关键观点4: 研究的国际合作和影响

该研究得到了多个国际顶尖学术机构的合作和支持。其研究成果在顶级期刊上发表，为智能医疗领域的发展树立了里程碑。此外，DeepDR-LLM系统的成功构建和应用证明了人工智能在公共卫生领域的巨大潜力，为糖尿病智能治理贡献亚洲智慧。