活动报名｜大模型去偏倚，基于因果引导的主动学习方法CAL

主要观点总结

报告主题围绕大模型去偏倚的因果指导主动学习方法展开。报告指出LLMs会捕获预训练数据中的各类偏倚，提出使用因果指导主动学习方法（CAL）来识别和减轻LLMs的偏倚问题。CAL通过因果不变性理论区分语义信息和偏倚信息，自动识别有偏数据，并归纳偏倚模式以减轻LLMs的偏见。

关键观点总结

关键观点1: LLMs存在的偏倚问题

大语言模型(LLMs)在建模数据分布时会捕获预训练数据中的各类偏倚，如性别偏倚、位置偏好等，这会影响LLMs的无害性与泛化性。

关键观点2: 传统与现有方法的挑战

传统依赖人类先验知识的偏倚识别方法因数据偏倚的多样性与隐蔽性而受限；现有自动识别数据偏倚模式的方法在应对生成式LLMs的复杂偏倚模式上存在困难。

关键观点3: CAL方法介绍与优势

CAL通过因果不变性理论揭示语义信息和偏倚信息的本质区别，能自动识别出对模型决策存在显著影响的有偏数据，归纳出可解释的偏倚模式，并利用有偏数据和偏倚模式通过上下文学习的方法来减轻LLMs的偏见。实验结果表明，CAL方法能有效识别有偏数据并归纳偏倚模式，实现LLMs的去偏。

关键观点4: 报告嘉宾介绍

报告嘉宾为北京智源人工智能研究院的研究员杜理，其研究兴趣包括大语言模型数据归因、预训练与指令数据优化、主动学习、课程学习等方向。