https://answer.freetools.me/tags/%E4%BF%A1%E6%81%AF%E8%AE%BA/ Recent content in 信息论 on Answer Hugo -- 0.152.2 zh-cn Sun, 15 Mar 2026 05:15:47 +0800 https://answer.freetools.me/%E6%97%A0%E6%8D%9F%E5%8E%8B%E7%BC%A9%E5%A6%82%E4%BD%95%E5%B7%A5%E4%BD%9C%E4%BB%8E%E9%A6%99%E5%86%9C%E4%BF%A1%E6%81%AF%E8%AE%BA%E5%88%B0%E7%8E%B0%E4%BB%A3%E7%AE%97%E6%B3%95%E7%9A%84%E4%B8%83%E5%8D%81%E5%B9%B4%E6%BC%94%E8%BF%9B/ Sun, 15 Mar 2026 05:15:47 +0800 https://answer.freetools.me/%E6%97%A0%E6%8D%9F%E5%8E%8B%E7%BC%A9%E5%A6%82%E4%BD%95%E5%B7%A5%E4%BD%9C%E4%BB%8E%E9%A6%99%E5%86%9C%E4%BF%A1%E6%81%AF%E8%AE%BA%E5%88%B0%E7%8E%B0%E4%BB%A3%E7%AE%97%E6%B3%95%E7%9A%84%E4%B8%83%E5%8D%81%E5%B9%B4%E6%BC%94%E8%BF%9B/ 从香农信息论的数学基础到现代压缩算法的工程实践，深入解析无损压缩技术的七十年演进历程。涵盖霍夫曼编码、算术编码、LZ77、DEFLATE、Zstandard、Brotli、LZMA等核心算法的设计思想与技术权衡。 https://answer.freetools.me/logprobs%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%BE%93%E5%87%BA%E7%9A%84%E9%9A%90%E8%97%8F%E4%BF%A1%E6%81%AF/ Thu, 12 Mar 2026 07:08:36 +0800 https://answer.freetools.me/logprobs%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%BE%93%E5%87%BA%E7%9A%84%E9%9A%90%E8%97%8F%E4%BF%A1%E6%81%AF/ 从信息论基础到工程实践，深入解析logprobs的技术原理、数值稳定性、置信度评估与幻觉检测应用 https://answer.freetools.me/%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%A6%82%E7%8E%87%E6%9C%AC%E8%B4%A8%E4%BB%8E%E6%9D%A1%E4%BB%B6%E6%A6%82%E7%8E%87%E5%88%B0%E4%B8%8B%E4%B8%80%E4%B8%AA%E8%AF%8D%E9%A2%84%E6%B5%8B%E7%9A%84%E6%95%B0%E5%AD%A6%E4%B9%8B%E6%97%85/ Thu, 12 Mar 2026 05:08:13 +0800 https://answer.freetools.me/%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%A6%82%E7%8E%87%E6%9C%AC%E8%B4%A8%E4%BB%8E%E6%9D%A1%E4%BB%B6%E6%A6%82%E7%8E%87%E5%88%B0%E4%B8%8B%E4%B8%80%E4%B8%AA%E8%AF%8D%E9%A2%84%E6%B5%8B%E7%9A%84%E6%95%B0%E5%AD%A6%E4%B9%8B%E6%97%85/ 深入解析语言模型的概率本质，从Shannon的信息论到现代大语言模型，揭示为什么"预测下一个词"这个看似简单的目标能够学习到复杂的语言知识和世界知识。 https://answer.freetools.me/%E4%BA%A4%E5%8F%89%E7%86%B5%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0%E4%B8%BA%E4%BB%80%E4%B9%88%E8%BF%99%E4%B8%AA%E5%85%AC%E5%BC%8F%E7%BB%9F%E6%B2%BB%E4%BA%86%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%9A%84%E6%A6%82%E7%8E%87%E9%A2%84%E6%B5%8B/ Wed, 11 Mar 2026 22:38:36 +0800 https://answer.freetools.me/%E4%BA%A4%E5%8F%89%E7%86%B5%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0%E4%B8%BA%E4%BB%80%E4%B9%88%E8%BF%99%E4%B8%AA%E5%85%AC%E5%BC%8F%E7%BB%9F%E6%B2%BB%E4%BA%86%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%9A%84%E6%A6%82%E7%8E%87%E9%A2%84%E6%B5%8B/ 从信息论的自信息概念出发，深入解析交叉熵损失函数的数学原理、梯度推导、与最大似然估计的等价性，以及在大语言模型训练中的核心作用。涵盖熵、KL散度、困惑度、数值稳定性、标签平滑等关键技术细节。 https://answer.freetools.me/%E5%9B%B0%E6%83%91%E5%BA%A6%E5%A6%82%E4%BD%95%E6%88%90%E4%B8%BA%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E8%AF%84%E4%BC%B0%E7%9A%84%E9%BB%84%E9%87%91%E6%A0%87%E5%87%86%E4%BB%8E%E4%BF%A1%E6%81%AF%E8%AE%BA%E5%88%B0%E7%8E%B0%E4%BB%A3%E5%A4%A7%E6%A8%A1%E5%9E%8B%E7%9A%84%E4%BA%94%E5%8D%81%E5%B9%B4%E6%BC%94%E8%BF%9B/ Wed, 11 Mar 2026 20:59:11 +0800 https://answer.freetools.me/%E5%9B%B0%E6%83%91%E5%BA%A6%E5%A6%82%E4%BD%95%E6%88%90%E4%B8%BA%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E8%AF%84%E4%BC%B0%E7%9A%84%E9%BB%84%E9%87%91%E6%A0%87%E5%87%86%E4%BB%8E%E4%BF%A1%E6%81%AF%E8%AE%BA%E5%88%B0%E7%8E%B0%E4%BB%A3%E5%A4%A7%E6%A8%A1%E5%9E%8B%E7%9A%84%E4%BA%94%E5%8D%81%E5%B9%B4%E6%BC%94%E8%BF%9B/ 深入解析困惑度（Perplexity）作为语言模型评估指标的数学原理、信息论根基、分支因子直观解释、计算方法、以及其在现代大模型评估中的局限性与演进。从1977年IBM的语音识别研究到GPT时代的评估困境，揭示这个看似简单的指标背后的深层逻辑。 https://answer.freetools.me/%E4%B8%BA%E4%BB%80%E4%B9%88%E4%B8%8D%E5%AD%98%E5%9C%A8%E4%B8%87%E8%83%BD%E5%8E%8B%E7%BC%A9%E7%AE%97%E6%B3%95%E4%BB%8E%E9%A6%99%E5%86%9C%E7%86%B5%E5%88%B0%E4%B8%8D%E5%8F%AF%E8%83%BD%E4%B8%89%E8%A7%92%E7%9A%84%E6%95%B0%E5%AD%A6%E7%9C%9F%E7%9B%B8/ Fri, 06 Mar 2026 14:30:45 +0800 https://answer.freetools.me/%E4%B8%BA%E4%BB%80%E4%B9%88%E4%B8%8D%E5%AD%98%E5%9C%A8%E4%B8%87%E8%83%BD%E5%8E%8B%E7%BC%A9%E7%AE%97%E6%B3%95%E4%BB%8E%E9%A6%99%E5%86%9C%E7%86%B5%E5%88%B0%E4%B8%8D%E5%8F%AF%E8%83%BD%E4%B8%89%E8%A7%92%E7%9A%84%E6%95%B0%E5%AD%A6%E7%9C%9F%E7%9B%B8/ 从1948年香农信息论诞生，到1977年LZ77算法突破，再到2016年Zstandard重新定义速度与压缩比的平衡，数据压缩技术走过了近八十年的演进历程。本文基于香农信源编码定理、柯尔莫哥洛夫复杂度理论、抽屉原理等数学基础，深度剖析无损压缩的理论极限与不可能三角：为何任何压缩算法都无法压缩所有文件、为何压缩比、速度与内存只能三选二、以及熵编码如何逼近香农极限。涵盖霍夫曼编码、算术编码、ANS、DEFLATE、zstd等核心技术的原理与权衡，为开发者提供一套完整的压缩算法选型指南。 https://answer.freetools.me/%E5%8E%8B%E7%BC%A9%E7%AE%97%E6%B3%95%E7%9A%84%E4%BA%94%E5%8D%81%E5%B9%B4%E6%8A%80%E6%9C%AF%E5%8D%9A%E5%BC%88%E4%B8%BA%E4%BB%80%E4%B9%88%E9%80%9F%E5%BA%A6%E5%92%8C%E5%8E%8B%E7%BC%A9%E6%AF%94%E4%BB%8E%E6%9D%A5%E4%B8%8D%E8%83%BD%E5%85%BC%E5%BE%97/ Fri, 06 Mar 2026 11:41:20 +0800 https://answer.freetools.me/%E5%8E%8B%E7%BC%A9%E7%AE%97%E6%B3%95%E7%9A%84%E4%BA%94%E5%8D%81%E5%B9%B4%E6%8A%80%E6%9C%AF%E5%8D%9A%E5%BC%88%E4%B8%BA%E4%BB%80%E4%B9%88%E9%80%9F%E5%BA%A6%E5%92%8C%E5%8E%8B%E7%BC%A9%E6%AF%94%E4%BB%8E%E6%9D%A5%E4%B8%8D%E8%83%BD%E5%85%BC%E5%BE%97/ 从1977年LZ77算法诞生到2020年代zstd和Brotli的崛起，深度剖析压缩算法的技术演进历程。基于香农信息论、霍夫曼编码、算术编码、ANS等理论基础，对比DEFLATE、LZ4、Brotli、Zstandard的核心设计差异，揭示速度与压缩比之间的根本权衡。涵盖字典压缩、熵编码、滑动窗口、Repcode建模等关键技术，以及在Web传输、数据库、文件系统等场景的选型指南。