大模型日报（12月25日 学术篇）

主要观点总结

本文主要描述了关于AI学习社群、大型语言模型（LLM）、状态空间模型（SSM）、监督微调（SFT）、深度数据补全等相关内容。包括了不同领域的研究进展、新技术和新方法，以及相关的数据集和链接。同时，文章还提到了与AI相关的研讨会和访谈笔记。

关键观点总结

关键观点1: AI学习社群

搭建一个AI学习社群，让大家学习最前沿知识，共建更好的社区生态。通过飞书官方社区和订阅社区精选，每日接收《大模型日报》最新推送。

关键观点2: 大型语言模型（LLM）

介绍使用视觉语言FM成功实现自动搜索人工生命的方法，包括发现模拟、发现产生时间开放的新颖性的模拟和照亮整个有趣多样的模拟空间等。

关键观点3: 状态空间模型（SSM）

状态空间模型成为Transformer架构的有效替代方案。介绍Mamba2D，它通过单个二维扫描方向改进了原生的一维SSM，在构建隐藏状态时有效地模拟了空间依赖性。

关键观点4: 监督微调（SFT）

监督微调在将LLM适配到特定领域或任务方面至关重要。但实际应用中，噪声数据对模型性能提出了挑战。引入RobustFT框架，进行噪声检测和重新标记，提高模型在下游任务中的能力。

关键观点5: 深度数据补全

深度数据广泛应用中的缺失值是一个常见挑战。DepthLab作为基于图像扩散先验的深度修复模型，能够可靠地补全缺失区域，并保持与已知深度的比例一致性。