为什么当前的AI在文学创作上表现拉胯？

主要观点总结

文章讨论了当前AI在文学创作上表现欠佳的原因，介绍了作者对使用文学和阿毗达磨数据微调中小模型的观察和体验。文章包括六个关键点：阿毗达磨数据的LOSS较低、阶梯型LOSS对高质量文学数据是正常的、文学数据的LOSS高的原因、验证集LOSS不下降未必是早停的标准、训练文学能力最好基于base模型，以及推理时调高温度、top-p并不是解决之道。

关键观点总结

关键观点1: 阿毗达磨数据的LOSS较低

阿毗达磨数据中的重复内容和文学数据的高LOSS进行了比较。

关键观点2: 阶梯型LOSS对高质量文学数据是正常的

文学数据的特点导致训练过程中验证集LOSS在第一个epoch内显著下降，之后保持稳定。

关键观点3: 文学数据的LOSS高的原因

文学作品的创作要求意外与合理的结合，而模型的训练过程难以完全捕捉这种特点，导致文学数据的LOSS较高。

关键观点4: 验证集LOSS不下降未必是早停的标准

对于文学创作任务，验证集LOSS长时间不下降并不意味着模型已经充分学习，特别是在处理高质量文学数据时。

关键观点5: 训练文学能力最好基于base模型

作者建议基于base模型训练文学的写作能力，而不是基于开发者SFT过的模型。

关键观点6: 推理时调高温度、top-p并不是解决之道

虽然调高温度和改变top-p值是一种常见的提高生成多样性的方法，但作者认为这并不是解决AI在文学创作上表现欠佳的有效方法。

免责声明