大幅降低LLM对困难样本错误分类与幻觉的新方法，最高减少22.7%

主要观点总结

大型语言模型（LLM）在多类分类任务中表现良好，但存在分类错误和生成词汇表外类别标签的问题。为此，提出了名为“Paraphrase and Aggregate (PAG)-LLM”的方法，通过生成输入查询的多个释义并执行多类分类，根据置信度分数聚合所有分类标签，以减小误分类和幻觉标签生成错误。文章还介绍了PAG-LLM在CLINC和Banking数据集上的评估结果，以及在领域内和领域外数据集上的性能表现。

关键观点总结

关键观点1: LLM在多类分类任务中的表现及存在的问题

LLM在大型多类分类任务中表现出色，但存在分类错误，甚至生成词汇表外的类别标签。

关键观点2: Paraphrase and Aggregate (PAG)-LLM方法的介绍

PAG-LLM通过生成输入查询的多个释义，对原始查询和每个释义执行多类分类，并根据置信度分数聚合所有分类标签。该方法旨在减少LLM在困难示例中的误分类和幻觉标签生成错误。

关键观点3: PAG-LLM的流程

当LLM对原始查询的分类置信度低于阈值τ时，会生成释义，这些释义再次被分类。最后，LLM聚合来自释义和原始查询的预测类别标签。

关键观点4: PAG-LLM的评估结果

在CLINC和Banking数据集上评估了PAG-LLM，分别展示了22.7%和15.1%的错误减少。此外，PAG-LLM在减少词汇表外（OOV）类别标签生成错误方面特别有效。