1 / 61
文档名称:

数据库技术改造方案v2.0.docx

格式:docx   大小:223KB   页数:61页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

文档介绍:数据库技术改造方案
V2.0
1.背景
XXXXX系统,其数据库内存放的数据量较大且要求读写速度快,目前利用的
Couchbase数据库虽然能满足读写速度上的要求,但效劳器必须满足较大内存且各个效劳节点〔效劳器〕都是对等存在的,一个ster分配给他的region,处理对这些region的io请求负责切分正在运行过程中变的过大的region]
zookeeper【实现namenode和HMaster主从节点的failover,存放HBase集群的元数据以及集群的状态信息】
JobClient
HadoopCore
Mrtnper
Reducer
JobCoM
outorTit旭
Master
Nd'-ieNode<>DatsNcde
JobTracker
raoiir
HMastorSorver
3.
HRegionSer^er
MemStore
ZooKeeperCl启nt
ZooKeeper
API

Callback
Walcher
Manager
ClientCnxn
SendThredd
EventThraad
HBasoCluster

ZooKccpcrCluster
Hbass+Hadoop+Zockeep即关系图
4.设计与实施
使用Hbase1.00+Hadoop2.60+Zookeeper3.4.6替换原NOSQL数据库Couchbase,
原2台效劳器+后添5台效劳器共同组成一个Hbase分布式数据集群.
Masterservers
HDFS
JNodn;
】Node
"Region/Sorvor
Slavtiservers
zRegion
Na
.HDFS
RegionSen/er
fRegion/Server
,HegionSmrvsr
Data
Region
Server
a
Region
er

Server
DataNode
架构图清楚地表达了HBase采用Master/Slave架构搭建集群,它隶属于Hadoop
神秘,它一般由三台机器组成一个集群,内部使用
PAXOS算法支持三台Server中的一台
生态系统,由HMaster节点、HRegionServer节点、ZooKeeper集群等节点组成,而在底层,它将数据存储于HDFS中,因而涉及到HDFS的NameNode、DataNode等;HMaster和NameNode都支持多个热备份,使用ZooKeeper来做协调;ZooKeeper并不是云般
宕机,在本次设计中使用五台机器,此时那么可以支持同时两台宕机,既少于半数的宕机;把
RegionServer和DataNode放在相同的Server上实现数据的本地化.
主机规划:
主机名
IP
安装的软件
运行的进程
masterl
192.168.XX
X.111
jdk、hadoop、hbase
NN、RM、DFSZKFailoverController(z
kfc)、Hmaster、JobHistoryServer
master2
192.168.XX
X.112
jdk、hadoop、hbase
NN、RM、DFSZKFailoverController(z
kfc)、Hmaster
slave1
192.168.XX
X.113
jdk、hadoop、zookeepe
r、hbase
DN、NM、JournalNode、QuorumPe
erMain、HRegionServer
slave2
192.168.XX
X.114
jdk、hadoop、zookeepe
r、hbase
DN、NM、JournalNode、QuorumPe
erMain、HRegionServer
slave3
192.168.XX
X.115
jdk、hadoop、zookeepe
r、hbase
DN、NM、JournalNode、QuorumPe
erMain、HRegionServer
slave4
192.168.XX
X.116
jdk、hadoop、zookeepe
r、hbase
DN、NM、JournalNode、QuorumPe
erMain、HRegionServer
slave5
192.168.XX
X.117
jdk、hadoop、zookeepe
r、hbase
DN、NM、JournalNode、QuorumPe
erMain、HRegionServer
这里采用HadoopHa的QJM方案,该方案由两个NameNode构成,一个处于
acti

分享好友

预览全文

数据库技术改造方案v2.0.docx

上传人:zhangshut 2022/5/25 文件大小:223 KB

下载得到文件列表

数据库技术改造方案v2.0.docx

相关文档