November 23, 2021

文章分类

科普

机器学习

信息论

<aside> 💡 “人活着就是在对抗熵增定律，生命以负熵为生” ——— 薛定谔《生命是什么》

</aside>

熵的概念是由德国物理学家克劳修斯于1865年所提出。最初是用来描述“能量退化”的物质状态参数之一，在热力学中有广泛的应用。但那时熵仅仅是一个可以通过热量改变来测定的物理量，其本质仍没有很好的解释，直到统计物理、信息论等一系列科学理论发展，熵的本质才逐渐被解释清楚，即，熵的本质是一个系统“内在的混乱程度”。

1. 热力学熵

热力学第二定律（second law of thermodynamics）的开尔文表述为：不可能从单一热源取热使之完全转换为有用的功而不产生其他影响。这个定律可以用公式抽象表达一下：能量总和=有效能量+无效能量。这里的“有效能量”指可以被利用的能量；“无效能量”指无法再利用的能量，又称为熵，所以，熵实际上表示了系统中的无效能量。

奥地利物理学家玻尔兹曼在 1877 年对“熵”的定义给出了解释。

1.1 学术概念

玻尔兹曼认为，任何粒子的常态都是随机运动，也就是"无序运动"，如果让粒子呈现"有序化"，必须耗费能量。所以，能量可以被看作"有序化"的一种度量。

热力学第二定律实际上是说，当一种形式的"有序化"转化为另一种形式的"有序化"，必然伴随产生某种"无序化"。"熵"其实就是"无序化"的度量。考虑到"无序化"代表着混乱（实质是随机运动），可以得到三个重要结论[1]：

1. 如果没有外部能量输入，封闭系统趋向越来越混乱（熵越来越大）
2. 如果要让一个系统变得更有序，必须有外部能量的输入
3. 当一个系统（或部分）变得更加有序，必然有另一个系统（或部分）变得更加无序，而且"无序"的增加程度将超过"有序"的增加程度

玻尔兹曼基于统计学给出了某个宏观态中熵定义：

$$ S=k_B \ln \Omega $$

上述公式被称为玻尔兹曼公式。其中，$\Omega$ 表示对应宏观态中微观态的个数，$k_B$ 表示玻尔兹曼常数，通俗来讲，就说熵与微观态的个数正相关 $S \propto \Omega$。

公式里提到了两个概念：宏观态、微观态，这里简单介绍下

宏观态

当我们以系统的分子数分布而不区分具体的分子来描述的系统状态，叫热力学系统的宏观态。