为什么高斯分布统治了机器学习的隐空间:从中心极限定理到扩散模型的数学真相

为什么高斯分布统治了机器学习的隐空间:从中心极限定理到扩散模型的数学真相 打开任何一个深度学习模型,你会发现高斯分布无处不在:权重初始化服从$\mathcal{N}(0, \sqrt{2/n})$,VAE的隐变量被约束为$\mathcal{N}(\mu, \sigma^2)$,扩散模型的前向过程逐步添加高斯噪声,连随机梯度下降的噪声都被近似为高斯分布。这不是巧合,也不是习惯使然——高斯分布对机器学习的统治,源于数学深处的必然性。 ...

22 min · 10636 words

错误处理为何分裂五十年:从PL/I的ON语句到Rust的Result类型

1964年,IBM在设计PL/I语言时引入了一个被称为"ON语句"的构造。这个看似简单的语法元素,开创了编程语言中结构化错误处理的先河。六十年后,当Rust的?操作符和Go的显式错误检查成为现代语言的主流选择时,我们不禁要问:为什么错误处理这个问题困扰了语言设计者如此之久? ...

19 min · 9052 words

CMOS图像传感器:从光电转换到数字照片的完整技术链路

按下手机的快门按钮,一张照片就诞生了。但在这不到一秒的时间里,发生了什么? 光线穿过镜头,撞击传感器表面。成千上万个微小的光电二极管同时工作,将光子转化为电子。这些电子经过放大、量化、处理,最终变成你看到的图像。 ...

14 min · 6777 words

虚拟文件系统:为什么这个抽象层统治了Linux文件访问三十年

一个看似简单的问题 当你在Linux终端输入cp /home/user/file.txt /mnt/usb/backup/时,系统在做什么?源文件位于ext4格式的SSD上,目标目录在FAT32格式的U盘里。这两种文件系统的数据结构完全不同——ext4使用extent树管理块分配,FAT32依靠链式的FAT表。然而,cp命令对这种差异一无所知。 ...

20 min · 9804 words

流处理系统二十年演进:从Storm到Flink的技术博弈

2015年,Twitter在SIGMOD发表论文宣布了一个令人震惊的数据:他们用新系统Heron替换了运行多年的Storm后,吞吐量提升了14倍,延迟降低了10倍,资源消耗却减少了三分之二。这不仅仅是性能数字的跃升,更揭示了流处理系统设计哲学的根本性分歧。 ...

20 min · 10007 words

词法作用域与动态作用域:为什么这个六十年前的设计抉择至今仍在影响你的代码

1975年,麻省理工学院的 Gerald Sussman 和 Guy Steele 正在开发一门新的 Lisp 方言。他们遇到了一个看似简单的问题:当一个函数引用外部变量时,它应该找到哪个值?这个问题困扰了编程语言设计者十五年,而他们的解决方案——采用词法作用域——后来成为现代编程语言的标配。 ...

15 min · 7062 words

电容屏如何知道你按的是哪里?从六十年技术演进到毫秒级响应的完整解析

一个发明迟到了四十二年 1965年,英国皇家雷达研究所的Eric A. Johnson在一篇论文中描述了世界上第一个电容式触摸屏。这篇论文发表在《Electronics Letters》上,详细阐述了如何通过检测手指触摸引起的电容变化来定位触摸点。然而,这项技术在此后的二十多年里几乎无人问津。 ...

20 min · 9932 words