文档介绍：企业大数据分析挖掘指南
现如今已经进入大数据时代,各种系统、应用、活动所产生的数据浩如烟海,数据不再仅仅是企业存储的信息,而是成为可以从中获取巨大商业价值的企业战略资产。这样背景下,如何存储海量复杂的数据、从纷繁错综的数据中找到真正有价值的数据,是大数据时代企业面临的难题。
数据库高可用容灾方案设计和实现
高可用容灾是搭建数据库服务的一个重要考量特性,搭建高可用数据库服务需要解决诸多问题,保证最终的容灾效果。UCloud云数据库产品UDB在研发演进过程中,根据用户的需要不断完善和演进,形成了一套完善的高可用架构体系。
UCloud资深存储研发工程师丁顺从高可用数据库概述、典型的高可用架构分析以及高可用数据库自动化运维等角度,讲述了如何设计和运营一套完善的数据库高可用架构,保证在出现异常时能够及时恢复数据库服务。
高可用数据库由一系列的数据库构成了总的系统,在任何时刻至少有一个节点可以接受客户端请求,提供数据库服务。大多数的高可用架构有一个主节点处理主要请求,还有若干备用节点,当主节点不能提供服务时,备节点成为主节点继续提供服务,这样可以保证整个系统的可用和稳定。
业界典型的高可用架构可以划分为四种: 第一种,共享存储方案;第二种,操作系统实时数据块复制;第三种,数据库级别的主从复制;第三,高可用数据库集群。每种数据同步方式可以衍生出不同的架构。
第一种,共享存储。共享存储是指若干DB服务使用同一份存储,一个主DB,其他的为备用DB,若主服务崩溃,则系统启动备用DB,成为新的主DB,继续提供服务。一般共享存储采用比较多的是SAN/NAS方案,这种方案的优点是没有数据同步的问题,缺点是对网络性能要求比较高。
第二种,操作系统实时数据块复制。 这种方案的典型场景是DRBD。如下图所示,左边数据库写入数据以后立即同步到右边的存储设备当中。如果左边数据库崩溃,系统直接将右边的数据库存储设备激活,完成数据库的容灾切换。这个方案同样有一些问题,如系统只能有一个数据副本提供服务,无法实现读写分离;另外,系统崩溃后需要的容灾恢复时间较长。
第三种,数据库主从复制。 这种方案是较经典的数据同步模式,系统采用一个主库和多个从库,主库同步数据库日志到各个从库,从库各自回放日志。它的好处是一个主库可以连接多个从库,能很方便地实现读写分离,同时,因为每个备库都在启动当中,所以备库当中的数据基本上都是热数据,容灾切换也非常快。
第四种,数据库高可用集群。前面三种是通过复制日志的模式实现高可用,第四种方案是基于一致性算法来做数据同步。数据库提供一种多节点的一致性同步机制,然后利用该机制构建多节点同步集群,这是业界近年来比较流行的高可用集群的方案。
UCloud综合了原生MySQL兼容,不同版本、不同应用场的覆盖等多种因素,最终选择采用基于数据库主从复制的方式实现高可用架构,并在原架构基础上,使用双主架构、半同步复制、采用GTID等措施进行系列优化,保证数据一致性的同时,实现日志的自动寻址。
自动化运维是高可用数据库当中的难点,UDB在日常例行巡检之外,也会定期做容灾演练,查看在不同场景下数据是否丢失、是否保持一致性等,同时设置记录日志、告警系统等等,以便于第一时间发现问题,并追溯问题的根源,找出最佳解决方案。
新一代公有云分布式数据库UCloud Exodus
,云数据库新产品不断涌现。诸如AWS Aurora、阿里云PolarDB等,UCloud在采用最新软硬件和分布式技术改造传统数据库的工作中,也在思考除了分布式数据库所要求的更大和更快之外,是否还有其他更重要的用户价值?UCloud资深数据库研发工程师刘坚君,现场讲解了UCloud对于新一代公有云分布式数据库的思考与设计。
,:弹性、故障救援、知识复用。但它同样面临三大难以解决的问题:容量和性能、租用成本、运营成本。
,解决上述三个问题的思路是计算和读写分离。通过计算和读写分离,将传统数据库的计算层和存储层拆开,各自独立扩展和演进。这样做的好处是:;;。(如Aurora、PolarDB等),均采用计算和存储分离的架构。
UCloud Exodus的产品和技术理念则更进一步:计算和存储分离后,存储层将完全复用云平台的高性能分布式存储(如UCloud UDisk、阿里云盘古等),而Exodus则专注于构建一款数据
库内核,去适配主流公有云和私有云厂商发布的高性能分布式存储产品。Exodus的这种产品架构,称之为Shared-ALL-DISK架构。
Shared-ALL