格灵深瞳如何打造视觉模型基座？Glint-MVT成长记

主要观点总结

本文介绍了格灵深瞳在2025百度云智大会上关于视觉基础模型Glint-MVT的分享。Glint-MVT是格灵深瞳自研的视觉基础模型，从MVT v1.0到v1.5的迭代过程中，团队不断进行技术创新，提升模型的能力。其中，基于间隔的Softmax损失函数的应用，使得模型提取的特征更具区分度。此外，团队还解决了伪标签类别太多和标签噪声的问题，推出多标签的MVT v1.1，并增强了模型对局部特征和文字特征的表达能力，推出MVT v1.5。最后，团队计划推出统一支持图片视频的视觉编码器MVT v2.x，以适应时空连续的视频流。

关键观点总结

关键观点1: 格灵深瞳在百度云智大会上分享视觉基础模型Glint-MVT的发展和技术亮点。

Glint-MVT是格灵深瞳自研的视觉基础模型，团队成员通过应用基于间隔的Softmax损失函数进行模型训练，提升了模型的特征提取能力。

关键观点2: MVT模型逐步迭代，从MVT v1.0到v1.5。

在迭代过程中，团队解决了伪标签类别太多和标签噪声的问题，并推出多标签的MVT v1.1和增强局部特征和文字特征表达能力的MVT v1.5。

关键观点3: 灵感团队将MVT v1.5应用到VLM开源框架LLaVA-NeXT和LLaVA-OneVision中，并在OCR任务上表现优异。

这表明MVT v1.5在局部和文字特征上具有更好的表达能力。

关键观点4: 灵感团队计划推出统一支持图片视频的视觉编码器MVT v2.x。

为了适应时空连续的视频流，团队计划对视频进行高效编码，推出MVT v2.x，以提升视频特征表达能力。