不靠海量数据，如何精准喂养大模型？上交Data Whisperer：免训练数据选择法，10%数据逼近...

主要观点总结

本文介绍了由上海交通大学博士生王少博与团队提出的数据选择方法——Data Whisperer。该方法是一种免训练、基于注意力驱动的数据选择框架，可直接利用预训练模型的上下文学习能力，无需额外微调打分模型，仅使用10%的数据就能让微调效果逼近全量数据。论文详细阐述了Data Whisperer的机制，包括其方法原理、与传统数据选择方法的对比以及取得的成效等。

关键观点总结

关键观点1: Data Whisperer的核心思想

Data Whisperer是一种免训练的数据子集选择方法，利用预训练模型自身的上下文学习能力进行打分筛选数据。

关键观点2: Data Whisperer的优势

与传统数据选择方法相比，Data Whisperer无需训练打分模型，节省时间和计算成本。此外，它的随机采样方法以及引入注意力感知权重使得选择过程更为高效和准确。

关键观点3: Data Whisperer的方法机制

Data Whisperer采用上下文学习（ICL）的方式构建示范样本和查询样本的提示，让模型尝试回答查询任务并根据回答质量进行打分筛选数据。

关键观点4: Data Whisperer的应用效果

Data Whisperer在多个任务中取得了显著的提升效果，特别是在资源受限的场景下的精调任务表现出更高的效率和性能。

关键观点5: 未来研究方向

未来可以探索将Data Whisperer迁移到更复杂的任务上，并引入人类反馈和语言理解偏好以增强任务对齐能力。此外，可以结合prompt工程来控制示例顺序以提高效果。

免责声明