文档介绍：MySQL实时数据并行复制架构
与实践
杰睿
2012-7-3
1
摘要
• MySQL数据复制简介、问题和挑战
•数据复制中心DRC简介
• DRC技术原理与架构
• DRC核心指标
• DRC同构复制与异构复制的线上应用
• DRC未来的发展
2
MySQL复制
•内嵌Integrated Replication
– Mysql Async
– Mysql Semi-Async
– Schooner Sync
•外挂External Replication
– GoldenGate
– Tungsten
– DRBD
3
MySQL复制的问题与挑战
•问题复制延迟• Slave单线程执行
–内嵌不好用•Statement Based Replication耗时
• Relay log corruption
–外挂费用高复制中断• Crash safe replication
– DBA变身KBA
一致性• Statement Based Replication: UUID()
•挑战• Fix inconsistencies
–低延时异构复制•…
–高可用
…•…
–强一致
–支持异构复制
4
要有光
• DRC
– Data
– Replication
– Center
5
数据复制中心DRC简介
• DRC(Data Replication Center)项目起初是为了
淘宝异地容灾而成立的,用于数据库之间
主备同步,后来采用这套技术方案衍生出
了DRC-TAIR,DRC-DUMP等项目。
• DRC三大技术点
–一致性
–实时性
–鲁棒性
6
DRC的技术原理
数据结构算法模块
Binlog BinlogReader
BinlogParser
BinlogRecord
Writer
MetaData WriterStrategy
7
DRC的技术架构
•集群架构
发起请求
验证检查
读写
启动实例
数据库同步应用同步
8
DRC核心指标
•一致性:支持事务
•实时性:并发复制
•稳定性:集群服务、故障恢复、DDL支持、
数据校验和自动修复
9
DRC核心指标
•核心库Binlog数据分析
单个更新操作中有效更新
每秒内更新同一个pk的操单个tx里更新操作次数分
字段占总字段的百分比(排
作数次数分布: 布:
除新旧值相等的字段)分布:
• pk更新n次总次数•更新次数总次数•有效字段更新百分比
• 1 13256796(99%) • 1 9004792(87%) 总次数
• 2-5 5590(0%) • 2-5 1191460(11%) • 1-10% 7358632(55%)
• 5-10 662(0%) • 6-10 96898(1%) • 10-20% 3676699(28%)
• 10-20 211(0%) • 10- 73536(1%) • 20-30% 73262(1%)
• 20-30 33(0%) • 30-40% 8092(1%)
• 30-40 4(0%) • 40-50% 1408991(10%)
• 50-100 17578(0%) • 50-100% 794067(5%)
10