ICML 2025 | 大语言模型-相关论文12篇

主要观点总结

本文主要介绍了关于大语言模型（LLM）的多个研究内容，包括高效长上下文建模、鲁棒性、安全评估、水印、模拟、推理等方面的创新。文章还涉及LLM的错误相关性、演示预选择、剪枝、偏差检测、量化等方面的研究。最后，文章提出了多种方法以提高LLM的性能和效率。

关键观点总结

关键观点1: LaCache：用于大语言模型的高效长上下文建模的梯形KV缓存

提出了一种新的KV缓存优化范式LaCache，用于LLM高效准确生成推理。LaCache解决了远程建模中的两个关键挑战：健壮的远程功能和不耗尽内存（OOM）的连续生成。

关键观点2: 抗模态冲突的鲁棒多模态大语言模型

研究了多模态大语言模型（MLLM）在真实世界场景中的幻觉现象，并从模态冲突的角度进行了形式化定义和数据分析。提出了三种方法来缓解模态冲突引起的幻觉，并在MMMC数据集上进行了实验验证。

关键观点3: Q-resafe：评估安全风险和量化大语言模型的量化感知安全修补

利用广泛接受的安全基准对各种量化技术和校准数据集进行安全评估。为解决识别出的安全漏洞，提出了一种量化感知安全修补框架Q-resafe，以有效恢复量化LLM的安全能力。

关键观点4: BiMark：大语言模型的无偏多层水印

提出了BiMark，一种新的水印框架，通过三个关键创新实现了在保持文本质量的同时嵌入消息并检测水印：比特翻转无偏重加权机制、多层架构和信息编码方法。

关键观点5: G-Sim：具有大语言模型和无梯度校准的生成模拟

介绍了G-Sim，一种混合框架，通过结合LLM的结构设计和严格的经验校准来自动化模拟器的构建。G-Sim利用LLM提出并细化模拟器的核心组件和因果关系，然后使用灵活的校准技术估计其参数。

关键观点6: 从被动推理到主动推理：不完全信息下大语言模型能否提出正确的问题

提出了AR-Bench，一种新型基准测试，旨在评估LLM的主动推理能力。AR-Bench通过模拟真实世界场景测量常识、逻辑和符号推理挑战的性能。

关键观点7: 大语言模型中的相关错误

研究了LLM中的错误相关性，使用多个LLM进行大规模经验评估，并确定了共享架构和提供者等因素对模型错误相关性的影响。

关键观点8: 大语言模型是自己的演示预选器

提出了FEEDER，一种预选择框架，用于识别训练数据中最具代表性的演示，并根据特定LLM进行定制。该框架通过构造代表子集来提高效率，并与ICL中的下游演示选择策略无缝集成。

关键观点9: DLP：大语言模型中的动态分层剪枝

介绍了一种新的剪枝方法DLP，该方法自适应地确定每个层的相对重要性，通过集成模型权重与输入激活信息，在高稀疏水平上保持模型性能。

关键观点10: B-score：使用响应历史检测大语言模型中的偏差

研究了LLM的偏差问题，并提出了B-score来检测主观、随机问题的偏差。B-score提高了验证准确性，可以有效地用于接受或拒绝LLM的答案。

关键观点11: GuidedQuant：利用端损失指导的大语言模型量化

提出了一种新的量化方法GuidedQuant，它将来自端部损失的梯度信息集成到量化目标中，同时保持输出信道内的交叉权重相关性。

关键观点12: Radio：用于大语言模型压缩的速率失真优化

从率失真理论的角度建立了LLM量化的基础，提出了一种基于简单率失真优化的量化技术，可以扩展到包含数千亿个权重参数的模型。

免责声明