为何要在生产环境故意制造故障？从Netflix的猴子军团到混沌工程的十五年演进
2008年8月，Netflix的数据库损坏导致DVD配送业务完全停滞了三天。这次事故的直接原因是数据库系统没有正确处理硬件故障，但更深层的原因是工程师们对系统在真实故障场景下的行为缺乏信心。Netflix当时的工程总监发问：“我们怎样才能确保这种事不再发生？“团队给出的答案是：让故障更频繁地发生。 ...
可靠性工程
健康检查为何成了分布式系统的隐形杀手——从TCP端口探测到语义健康检测的二十年陷阱
2018年，一个技术团队在生产环境遇到了一个诡异的现象：每当数据库响应变慢，整个服务集群就会在几分钟内完全瘫痪。排查后发现，罪魁祸首是健康检查——当数据库变慢时，应用的健康检查端点开始超时，负载均衡器将服务器标记为不健康，剩余服务器承受更多流量，进一步恶化，形成恶性循环。 ...