蚂蚁 Ling-1T 开源：基础语言模型、1T参数、MoE架构｜所有信息都在这了

主要观点总结

本文主要介绍了蚂蚁的Ling-1T模型的发布和相关细节，包括模型的特点、技术实现、对比数据等。蚂蚁的Ling-1T模型是一个旗舰级非思考模型，采用MoE架构，具有非推理模式的特点。该模型在AI竞赛中的表现优秀，同时蚂蚁还推出了其他系列的AI模型，如Ring（思考模型）和Ming（多模态模型）。蚂蚁的AI应用广泛，在支付宝中有三个AI管家和两家专门成立的公司提供AI服务。

关键观点总结

关键观点1: Ling-1T模型的发布

蚂蚁发布了Ling-1T模型，这是一个旗舰级非思考模型，采用MoE架构，具有非推理模式的特点。

关键观点2: Ling-1T模型的技术实现

Ling-1T模型的技术实现包括分架构、预训练和后训练三部分。架构方面采用MoE架构，前k个dense，后面才切换到MoE。预训练包括三个阶段，第一阶段是高知识密度语料，第二阶段是高推理密度语料，第三阶段是扩展上下文和思维链语料。后训练则提出了LPO方法。

关键观点3: Ling-1T模型的表现和对比数据

Ling-1T模型在AI竞赛中的表现优秀，与其他模型的对比数据也展示了其实力。此外，蚂蚁还推出了其他系列的AI模型，如Ring（思考模型）和Ming（多模态模型）。

关键观点4: 蚂蚁的AI应用

蚂蚁的AI应用广泛，在支付宝中有三个AI管家和两家专门成立的公司提供AI服务。此外，蚂蚁还在底层到应用层构建了一整套的完整生态。