HyperLogLog:用1.5KB内存估算十亿级基数的概率魔法
引言:一个看似不可能的问题 假设你正在运营一个日活用户超过十亿的社交平台,产品经理问你:“今天有多少独立用户访问了我们的网站?“这个问题听起来简单,但当你真正思考如何回答时,会发现它蕴含着深刻的计算机科学难题。 ...
引言:一个看似不可能的问题 假设你正在运营一个日活用户超过十亿的社交平台,产品经理问你:“今天有多少独立用户访问了我们的网站?“这个问题听起来简单,但当你真正思考如何回答时,会发现它蕴含着深刻的计算机科学难题。 ...
2015年,Twitter在SIGMOD发表论文宣布了一个令人震惊的数据:他们用新系统Heron替换了运行多年的Storm后,吞吐量提升了14倍,延迟降低了10倍,资源消耗却减少了三分之二。这不仅仅是性能数字的跃升,更揭示了流处理系统设计哲学的根本性分歧。 ...