为什么83%的数据迁移项目都失败了从双写困境到CDC的技术突围
2013年,Target进军加拿大市场,133家门店同时开业。短短两年后,这家美国零售巨头黯然退出加拿大,累计损失超过21亿美元。根本原因之一是库存数据迁移的灾难性失败——货架上的商品和系统里的记录完全对不上,顾客在结账时发现价格与标签不符,仓库里堆满了系统显示"缺货"的商品。 ...
2013年,Target进军加拿大市场,133家门店同时开业。短短两年后,这家美国零售巨头黯然退出加拿大,累计损失超过21亿美元。根本原因之一是库存数据迁移的灾难性失败——货架上的商品和系统里的记录完全对不上,顾客在结账时发现价格与标签不符,仓库里堆满了系统显示"缺货"的商品。 ...
用户在社交平台上发布了一条评论,刷新页面后评论消失了。再刷新一次,评论又出现了。用户困惑:我的评论到底保存成功了没有? 这不是偶发的bug。在生产环境中,这类问题每天都在发生。根因往往指向同一个架构决策:读写分离。 ...
title: “为什么数据库索引选择B+树而不是Hash?从磁盘IO特性到范围查询的技术真相” date: “2026-03-07T05:05:02+08:00” description: “为什么数据库索引选择B+树而不是Hash?从磁盘IO特性到范围查询的技术真相” draft: false categories: [“数据库”, “系统设计”] tags: [“B+树”, “Hash索引”, “数据库索引”, “InnoDB”, “PostgreSQL”, “磁盘IO”, “范围查询”] 1972年,Rudolf Bayer和Edward McCreight在波音研究实验室工作时遇到了一个棘手问题:如何高效地组织存储在磁盘上的大量有序数据?他们在当年发表的论文"Organization and Maintenance of Large Ordered Indexes"中提出了B树(B-tree),这个数据结构在此后的半个世纪里统治了数据库索引设计。但有一个疑问始终困扰着许多开发者:Hash表在内存中拥有O(1)的查找效率,为什么数据库偏偏选择了看起来更慢的B+树? ...
想象这样一个场景:你的生产环境中有一个存储过程,平时执行只需几百毫秒,突然某天开始,同样的调用却需要几分钟甚至更长时间。你检查了服务器资源——CPU、内存、磁盘IO都正常。你把存储过程中的SQL语句单独拎出来执行,发现跑得飞快。你尝试ALTER一下存储过程(什么代码都没改),问题竟然消失了。 ...
当一个128位的随机值作为B-tree索引的主键时,每一次插入都像是在图书馆的随机位置放一本书——图书管理员疲于奔命,书架越来越乱。这不是夸张的比喻:PostgreSQL的基准测试显示,使用UUID v4作为主键时,索引体积膨胀22%,插入速度下降34.8%。 ...
1971年,ACM Computing Surveys发表了一篇题为《System Deadlocks》的论文。作者Edward G. Coffman Jr.、M. J. Elphick和Arie Shoshani系统阐述了死锁发生的四个必要条件——互斥、持有并等待、非抢占、循环等待。这篇论文奠定了此后半个多世纪死锁研究的理论基础。然而,五十年过去了,死锁仍然是数据库系统中最常见的生产事故之一。2021年,北卡罗来纳州立大学的研究团队对106个数据库后端Web应用进行调研,收集了49个真实的死锁案例。研究发现,跨请求的数据库锁死锁不仅最常见,也是现有工具最难处理的类型。 ...
2009 年,Salvatore Sanfilippo(antirez)在开发一个实时日志分析系统时,需要一个能够快速处理并发请求的数据存储。他做出了一个在当时看来"反直觉"的设计选择:用单线程模型处理所有请求。十五年后的今天,这个被命名为 Redis 的项目,单线程核心依然能够支撑每秒 10 万次以上的操作。 ...