硬科普 | 熵与信息（一）：一个石破惊天的副产品

主要观点总结

本文介绍了信息论中的核心概念——熵，通过详细解释熵的本质以及其与信息的关系，带领读者了解熵在物理学、通信、密码学、复杂科学、统计学、金融以及人工智能等领域的应用。文章从香农的信息量概念讲起，通过解释信息如何降低系统的不确定性，揭示了信息量的计算方式及其与概率的关系。最后，文章提到熵与信息量的关系，并探讨了熵的一些有趣性质和其在不同领域的应用价值。

关键观点总结

关键观点1: 熵是对系统混乱状态的度量，在信息论中，熵被用来描述信息的不确定性和信息量。

文章解释了熵的概念及其与信息的紧密联系，强调了理解熵对于理解信息的重要性。

关键观点2: 信息量是对一个消息里含有信息多少的定量描述，可以降低系统的不确定性。

文章详细解释了信息量的计算方式，通过概率和信息量的关系展示了信息量的实际应用。

关键观点3: 熵与信息量的关系紧密，信息量公式中的负号和概率值有关。

文章介绍了信息量与分贝的关系，以及熵作为一种纯粹数学领域里的量的特点。

关键观点4: 熵的应用范围广泛，涉及物理学、通信、密码学、复杂科学、统计学、金融以及人工智能等领域。

文章通过具体例子展示了熵在不同领域的应用价值。