无损压缩如何工作:从香农信息论到现代算法的七十年演进

1952年,克劳德·香农在贝尔实验室的办公室里写下了这样一个公式: $$H(X) = -\sum_{i=1}^{n} p_i \log_2 p_i$$这个看似简洁的等式,定义了信息的数学本质,也为接下来七十年的压缩技术发展奠定了理论基础。当我们今天用gzip压缩文件、用PNG保存图片、用HTTP传输网页时,这些技术的根源都可以追溯到香农的信息论。 ...

14 min · 6644 words

为什么不存在万能压缩算法:从香农熵到不可能三角的数学真相

1948年,贝尔实验室的Claude Shannon在《Bell System Technical Journal》上发表了一篇论文——“A Mathematical Theory of Communication”。这篇论文定义了一个被称为"熵"的量: ...

12 min · 5650 words