视觉语言模型安全升级，还不牺牲性能！技术解读一文看懂｜淘天MMLab南大重大出品

主要观点总结

本文介绍了淘天集团未来生活实验室团队提出的视觉语言模型安全对齐方法PSA-VLM，该方法通过概念瓶颈模型架构创新，允许模型在生成答案时干预模型的中间层概念预测，显著提升了大模型在应对视觉安全风险方面的性能。文章详细阐述了PSA-VLM的设计亮点、核心架构、两阶段训练策略、推理阶段的动态安全控制以及从安全和通用领域两方面评估性能的过程。实验结果表明，PSA-VLM在多个维度上改善了现有VLM的安全性指标，并增强了模型的可解释性和可控性。

关键观点总结

关键观点1: 淘天集团未来生活实验室团队提出了一种新的视觉语言模型安全对齐方法PSA-VLM。

该方法基于概念瓶颈模型架构，通过干预模型中间层概念预测提升模型安全性。

关键观点2: PSA-VLM在安全性方面取得了显著成果。

在多个风险数据集上，PSA-VLM的安全性能优于其他基准模型，特别是在有害政治、NSFW内容以及网络欺凌检测等任务上表现突出。

关键观点3: PSA-VLM在通用领域性能上保持竞争力。

尽管增加了安全措施，但PSA-VLM在多个通用基准上仍表现出良好的性能，证明了提高安全性能并非以牺牲通用性能为代价。

关键观点4: PSA-VLM的设计具有可解释性和可控性。

概念瓶颈架构使模型能够识别不安全内容，并支持用户在概念层面对模型预测进行干预，为高风险场景提供了灵活可靠的解决方案。

关键观点5: 研究团队进行了多项实验以验证PSA-VLM的有效性。

实验包括安全性能评估、通用领域性能评估以及进一步实验，如安全特征的t-SNE可视化、安全级别和安全类型的分类性能等。