【NTU博士论文】从小型深度神经网络到大型语言模型：构建可信 AI 的软件工程视角

主要观点总结

本文探讨了从小型深度神经网络（DNNs）到大型语言模型（LLMs）的AI软件调试与修复方法，关注训练、推理与测试三个阶段。文章借鉴传统软件的监管方式，从软件工程的视角出发，规范AI开发流程，以提升其可信性和可靠性。针对训练、推理和测试三个阶段存在的可信性问题，文章提出了相应的修复方法和策略。此外，文章还讨论了如何评估测试数据的充分性和测试覆盖率。

关键观点总结

关键观点1: AI软件的可信性和可靠性问题

随着人工智能软件在各个行业的普及，其可信性和可靠性问题日益成为关注焦点。文章从软件工程的视角出发，规范AI开发流程，以提升其可信性。

关键观点2: 训练阶段的可信性问题与修复方法

训练阶段中，模型的可信性问题主要源于训练数据。文章关注数据层的问题，特别是公平性。提出一种基于梯度的度量方法，评估训练中子群体贡献的不均衡性，并进行修复。对于LLMs，提出将LLM与良性小语言模型（SLMs）进行集成的修复策略。

关键观点3: 推理阶段的可信性问题与修复方法

推理阶段中，模型的可信性问题主要出现在神经元的组合上。文章引入重要性驱动的神经元诊断方法，用于高效定位导致不公平结果的神经元。并提出一个新颖的DNN公平性修复框架——RUNNER。

关键观点4: 测试阶段的可信性评估与测试充分性

文章指出，现有的基于现有测试集的评估方式可能高估模型性能，无法暴露模型中的潜藏问题。因此，评估测试数据的充分性和测试覆盖率成为关键。文章提出了一种可解释的覆盖率标准，通过构建DNN的决策结构来实现，并设计了两种路径覆盖变体。