纠删码如何用50%存储开销实现比三副本更高的可靠性
2012年,微软Azure Storage团队面临一个严峻的选择:存储数据量正以每两天1PB的速度增长,按照传统的三副本策略,这意味着每两天需要采购3PB的存储设备。更糟糕的是,数据中心的电力、制冷和运维成本也随之水涨船高。团队需要一种能在保证数据可靠性的前提下大幅降低存储成本的方案。他们最终选择了纠删码——这项源自1960年代通信领域的技术,在存储系统中找到了新的生命。 ...
2012年,微软Azure Storage团队面临一个严峻的选择:存储数据量正以每两天1PB的速度增长,按照传统的三副本策略,这意味着每两天需要采购3PB的存储设备。更糟糕的是,数据中心的电力、制冷和运维成本也随之水涨船高。团队需要一种能在保证数据可靠性的前提下大幅降低存储成本的方案。他们最终选择了纠删码——这项源自1960年代通信领域的技术,在存储系统中找到了新的生命。 ...
1996年,新西兰奥克兰大学的Peter Gutmann发表了一篇在安全领域影响深远的论文《Secure Deletion of Data from Magnetic and Solid-State Memory》。论文揭示了一个令普通人不安的事实:在磁性存储介质上,即使数据被覆盖多次,仍然可以通过特殊设备恢复。这篇论文后来催生了著名的"Gutmann方法"——通过35次覆写来确保数据无法恢复。 ...
你买了一块标称写入速度7000MB/s的NVMe SSD,兴冲冲地开始复制一个50GB的游戏安装包。前几秒速度确实快得惊人,稳定在6000MB/s以上。但大概写了二三十GB后,速度突然断崖式下跌,跌到1500MB/s甚至更低。你检查硬盘健康度、更新驱动、换接口,一切看起来都正常。 ...
2005年,美国摄影师Peter Krogh在他的著作《Digital Asset Management for Photographers》中提出了一个简洁的数据保护原则:保留三份数据副本,存储在两种不同的介质上,其中一份异地保存。这个后来被称为"3-2-1备份规则"的框架,在近二十年间成为了数据保护的事实标准。 ...
你买了一块标称TBW(总写入字节数)600TB的SSD,心想这块盘就算每天写100GB,也能用16年。结果不到两年,SMART数据就开始报警,剩余寿命直线下降。你查看写入量统计,发现实际只写了不到50TB——按照官方参数,这连十分之一都不到。 ...