【源头活水】AI应用创业公司：大模型最近的突破，全是作弊

主要观点总结

本文讨论了AI大模型的进步与存在的问题。作者通过自身经历发现模型得分与消费者体验之间存在脱节，认为可能存在基准测试作弊、基准无法衡量实用性或模型实际很聪明但对齐存在瓶颈等问题。文章还提及了大模型在衡量智力、实用性、对齐方面的挑战，以及业界对于这些问题的不同看法和解决方案。

关键观点总结

关键观点1: AI大模型的进步与实际应用场景中的提升存在脱节。

作者发现自去年8月以来，AI大模型在官方发布的基准测试上的巨大进步与实际应用场景中的有限提升之间存在明显差距，导致他们无法借助模型能力来提升产品体验。许多YC创业者也有类似的体验。

关键观点2: 可能存在基准测试作弊、无法衡量实用性等问题。

作者认为，在衡量AI模型的智力方面存在问题，比如基准测试可能作弊，或者无法真正衡量模型的实用性。他还指出，一些基准测试可能过于简单，无法真实反映模型的能力。

关键观点3: 大模型在对齐方面存在瓶颈。

作者提到，尽管这些AI模型可能已经很智能，但在与人类指示对齐方面存在瓶颈。他们可能会忽略重要的上下文信息，或者无法像人类一样进行长期规划。