优化

训练神经网络时，最令人沮丧的事情之一是：模型结构设计得非常精巧，数据预处理也很完善，但训练结果却始终无法收敛，或者收敛到了一个糟糕的局部最优解。许多开发者在排错时首先怀疑的是模型架构、超参数或者数据质量，却往往忽略了深度学习中最基础也最重要的组件——损失函数。 ...

1981年，IBM的研究员Gregory Chaitin面临一个棘手的问题：如何让PL.8编译器生成的代码更高效？当时，程序中的变量远多于处理器寄存器，编译器必须决定哪些变量驻留在寄存器，哪些被"驱逐"到内存。这个看似简单的资源分配问题，实际上是计算机科学中最经典的NP完全问题之一。 ...