香农熵的实例？香农熵的基本定义
本文目录
香农熵的实例
那么我们如何来量化度量信息量呢？我们来看一个例子，马上要举行世界杯赛了。大家都很关心谁会是冠军。假如我错过了看世界杯，赛后我问一个知道比赛结果的观众“哪支球队是冠军”？ 他不愿意直接告诉我， 而要让我猜，并且我每猜一次，他要收一元钱才肯告诉我是否猜对了，那么我需要付给他多少钱才能知道谁是冠军呢? 我可以把球队编上号，从 1 到 32， 然后提问： “冠军的球队在 1-16 号中吗?” 假如他告诉我猜对了， 我会接着问： “冠军在 1-8 号中吗?” 假如他告诉我猜错了， 我自然知道冠军队在 9-16 中。 这样最多只需要五次， 我就能知道哪支球队是冠军。所以，谁是世界杯冠军这条消息的信息量只值五块钱。
香农熵(Shannon entropy)在生物信息领域基因表达分析中有广泛的应用，如一些或一个基因在不同组织材料中表达情况己知，但如何确定这些基因是组织特异性表达，还是广泛表达的，那我们就来计算这些基因在N个样本中的香农熵，结果越趋近于零，则表明它是一个越特异表达的基因，结果越趋近于log2(N)则表示它是一个广泛表达的基因。
香农熵的基本定义
对于任意一个随机变量 X（比如得冠军的球队），它的熵定义如下：
变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。
熵是什么
“熵”是德国物理学家克劳修斯在1850年创造的一个术语，他用它来表示任何一种能量在空间中分布的均匀程度。能量分布得越均匀，熵就越大。如果对于我们所考虑的
那个系统来说，能量完全均匀地分布，那么，这个系统的熵就达到最大值。
在克劳修斯看来，在一个系统中，如果听任它自然发展，那么，能量差总是倾向于消除的。让一个热物体同一个冷物体相接触，热就会以下面所说的方式流动：热物体将冷却，冷物体将变热，直到两个物体达到相同的温度为止。如果把两个水库连接起来，并且其中一个水库的水平面高于另一个水库，那么，万有引力就会使一个水库的水面降低，而使另一个水面升高，直到两个水库的水面均等，而势能也取平为止。
因此，克劳修斯说，自然界中的一个普遍规律是：能量密度的差异倾向于变成均等。换句话说，“熵将随着时间而增大”。
对于能量从密度较高的地方向密度较低的地方流动的研究，过去主要是对于热这种能量形态进行的。因此，关于能量流动和功－能转换的科学就被称为“热力学”，这是从希
腊文“热运动”一词变来的。
人们早已断定，能量既不能创造，也不能消灭。这是一条最基本的定律；所以人们把它称为“热力学第一定律”。
克劳修斯所提出的熵随时间而增大的说法，看来差不多也是非常基本的一条普遍规律，所以它被称为“热力学第二定律”。
更多文章：
dropdownlist 绑定（DropDownList 绑定所有项 并 显示指定项）
2026年10月11日 08:50
2026年10月11日 08:10
易语言网页api接口怎么调用（易语言，怎么读取网页json的api）
2026年10月11日 08:00
majority of（the majority of 和 a majority of的区别以及用法例句）
2026年10月11日 07:40
2026年10月11日 07:20
2026年10月11日 06:30
2026年10月11日 06:20
2026年10月11日 05:40
another time（another time和other time的区别）
2026年10月11日 05:00
2026年10月11日 04:50
