无损压缩如何工作:从香农信息论到现代算法的七十年演进
1952年,克劳德·香农在贝尔实验室的办公室里写下了这样一个公式: $$H(X) = -\sum_{i=1}^{n} p_i \log_2 p_i$$这个看似简洁的等式,定义了信息的数学本质,也为接下来七十年的压缩技术发展奠定了理论基础。当我们今天用gzip压缩文件、用PNG保存图片、用HTTP传输网页时,这些技术的根源都可以追溯到香农的信息论。 ...
1952年,克劳德·香农在贝尔实验室的办公室里写下了这样一个公式: $$H(X) = -\sum_{i=1}^{n} p_i \log_2 p_i$$这个看似简洁的等式,定义了信息的数学本质,也为接下来七十年的压缩技术发展奠定了理论基础。当我们今天用gzip压缩文件、用PNG保存图片、用HTTP传输网页时,这些技术的根源都可以追溯到香农的信息论。 ...
1948年,贝尔实验室的克劳德·香农发表了一篇题为《通信的数学理论》的论文。这篇论文定义了一个叫做"熵"的概念:对于任何信息源,存在一个不可逾越的压缩极限。无论你用什么方法,都无法把数据压缩到这个极限以下而不丢失信息。 ...