200字抓包大模型

主要观点总结

本文介绍了一种判断大模型在预训练中是否学过一段文本的方法，并给出了一个具体的例子来展示该方法是如何工作的。文章详细描述了使用困惑度和Loss值来判断模型对文本的熟悉程度。另外，文章还探讨了当前AI在文学创作上表现不佳的可能原因。

关键观点总结

关键观点1: 判断大模型在预训练中是否学过一段文本的方法

可以直接问大模型或者通过给一段文本，观察其困惑度或Loss值来判断。在给出的例子中，通过Idx Token Loss的值来分析模型是否学过特定的文本内容。

关键观点2: 当前AI在文学创作上的表现

当前AI在文学创作上的表现并不理想，可能存在模型对文学作品的复杂性和深度理解不足的问题。此外，模型的训练数据和算法也可能限制了其在文学创作方面的能力。

免责声明