今天，我们将为大家普及信息熵。
语言是人类社会特有的信息传递媒介。为了让有限的语言形式承载尽可能多的信息，几千年来，人们一直“说话不出意外”。从信息学的角度来看，“惊人”话语是通过使听者或读者产生信息的不确定性，然后引起好奇心和注意力，最后消除信息的不确定性而获得的信息量，在信息学中称为“信息熵”。
在熵信息论中，它代表随机变量的不确定性度量。出现概率越高，其携带的信息熵越低。极端的情况是“太阳从东方升起”，因为是某个事件，所以不携带任何信息熵。从信息论的角度来看，认为这句话并没有消除任何不确定性。而高熵值则具有吸引“信息汇”注意的功能。
然而，过度“惊艳”的语言形式很容易把人吓死，因为人们会对完全陌生的形式抱有冷漠和疏远的态度。因此，晦涩、晦涩、怪诞的形式容易堵塞信息通道，导致信息停滞，来源的信号在目的地无法转化为信息。
因此，在追求“惊艳”语言的同时，要为听力读者搭建解码信息平台，即给听力读者一种陌生又熟悉的表达形式，让接受者感到新奇，有成功解读的快感，这在信息学上被称为“信息冗余”。信息量与信息熵和冗余度密切相关。研究语言形式与信息熵和冗余的关系具有重要的现实意义。