文档介绍：生产数据库性能优化方案(初稿)背景生产数据库上线一段时间后由于数据量远大于预期,导致数据库性能低下而影响正常业务,故需要对数据库进行性能优化。0Y0M0tn。现状当前数据库结构如下图所示:图2-1系统结构示意图上游三个数据源通过DI工具以定时任务的方式将上游数据抽取到基础数据库中(红色部分),从基础库到下游目标库则是通过用户操作应用程序将基础数据库中的数据调度到目标数据库中。根据目前对数据量的统计基础库约为400GB+的数据总量。3S368J3。目前基础数据库的性能低下,主要表现于定时抽取任务执行时间过长,任务间的时间间隔变短;应用执行数据调度时间过长,导致应用长时间处于无响应状态。m85jSx9。分析基础数据库获取上游数据时,数据传输量较大,数据库写操作频繁,操作系统层表现于数据文件所在磁盘写IO高,并持续时间长。nvqV37n。由于基础库放数据到下游数据库是人为操作,数据库读操作频繁,操作系统层表现于数据文件所在磁盘读IO高,且经常会与DI定时任务同时执行,通过系统监控发现磁盘出现大量IO等待状态。zZpWIey。图3-1磁盘IO状态图3-2磁盘等待状态由于基础库保存原始数据并不对数据进行处理,所以CPU消耗很低,从监控看CPU不视为性能瓶颈点。图3-3CPU使用率从以上分析可以判断数据库操作性能低下主要在高磁盘IO时造成IO挣用较大导致拖慢整体性能。故本次优化将重点放在解决磁盘IO挣用问题和提高磁盘IOPS上。g7zr8Wp。优化方案本着应用层变动最小的原则,为解决基础库磁盘IO性能低下问题,我们将从三个方面着手进行,即:优化数据库物理架构、优化DI任务执行时间和优化数据库数据文件所在Path的磁盘VG结构。YAcIoMa。优化数据库物理架构根据基础库的业务特点,这里将对基础库的读写操作进行分离(即:读、写分离)。这样做的好处在于可以最大限度规避数据库读、写同时操作所带来的磁盘IO挣用问题。调整后的架构如下图:6qNblLm。数据库采用主/从模式,使用binlog复制方式实现数据同步。由于考虑到大数据量复制可能带来的同步延迟问题,实现时需要注意优化复制线程参数。MIFqogi。优化DI任务执行时间为了避免多任务同时写一个数据库产生磁盘写IO过高的问题,需要对每一个DI任务的执行时间进行估算,并根据磁盘性能合理编排任务并行度。同时还需要考虑数据单位时间内的数据增长量对任务执行时间的影响,避免由于数据量的增加延长任务执行时间而导致的任务并行执行。uPkkdFK。优化磁盘VG提高磁盘IOPS最有效的方法就是增加通过增加物理磁盘数量并实现条带化来提高整体的IOPS。但随之带来的硬件投资成本也会增加。这里我们可以通过将现有磁盘更换成等容量的小磁盘,目的是为了增加磁盘数量从而提高整体磁盘IOPS性能。如:当前一块磁盘容量为600GB,我们可以将其拆解成6块100GBRaid5磁盘或者12块50GBRaid5磁盘进行VG条带化处理。GraFzPt。实现资源规划硬件资源:服务器2台数据磁