文档介绍：数据库技术改造方案
XXXXX系统,其数据库内存放的数据量较大且要求读写速度快,目前利用的
Couchbase数据库虽然能满足读写速度上的要求,但效劳器必须满足较大内存且各个效劳节点〔效劳器〕都是对等存在的,一个ster分配给他的region,处理对这些region的io请求负责切分正在运行过程中变的过大的region]
zookeeper【实现namenode和HMaster主从节点的failover,存放HBase集群的元数据以及集群的状态信息】
JobClient
HadoopCore
Mrtnper
Reducer
JobCoM
outorTit旭
Master
Nd'-ieNode<>DatsNcde
JobTracker
raoiir
HMastorSorver
3.
HRegionSer^er
MemStore
ZooKeeperCl启nt
ZooKeeper
API
—
Callback
Walcher
Manager
ClientCnxn
SendThredd
EventThraad
HBasoCluster
ZooKccpcrCluster
Hbass+Hadoop+Zockeep即关系图
++,
原2台效劳器+后添5台效劳器共同组成一个Hbase分布式数据集群.
Masterservers
HDFS
JNodn;
】Node
"Region/Sorvor
Slavtiservers
zRegion
Na
.HDFS
RegionSen/er
fRegion/Server
,HegionSmrvsr
Data
Region
Server
a
Region
er
丽
Server
DataNode
架构图清楚地表达了HBase采用Master/Slave架构搭建集群,它隶属于Hadoop
神秘,它一般由三台机器组成一个集群,内部使用
PAXOS算法支持三台Server中的一台
生态系统,由HMaster节点、HRegionServer节点、ZooKeeper集群等节点组成,而在底层,它将数据存储于HDFS中,因而涉及到HDFS的NameNode、DataNode等；HMaster和NameNode都支持多个热备份,使用ZooKeeper来做协调；ZooKeeper并不是云般
宕机,在本次设计中使用五台机器,此时那么可以支持同时两台宕机,既少于半数的宕机；把
RegionServer和DataNode放在相同的Server上实现数据的本地化.
主机规划：
主机名
IP
安装的软件
运行的进程
masterl
jdk、hadoop、hbase
NN、RM、DFSZKFailoverController(z
kfc)、Hmaster、JobHistoryServer
master2
jdk、hadoop、hbase
NN、RM、DFSZKFailoverController(z
kfc)、Hmaster
slave1
jdk、hadoop、zookeepe
r、hbase
DN、NM、JournalNode、QuorumPe
erMain、HRegionServer
slave2
jdk、hadoop、zookeepe
r、hbase
DN、NM、JournalNode、QuorumPe
erMain、HRegionServer
slave3
jdk、hadoop、zookeepe
r、hbase
DN、NM、JournalNode、QuorumPe
erMain、HRegionServer
slave4
jdk、hadoop、zookeepe
r、hbase
DN、NM、JournalNode、QuorumPe
erMain、HRegionServer
slave5
jdk、hadoop、zookeepe
r、hbase
DN、NM、JournalNode、QuorumPe
erMain、HRegionServer
这里采用HadoopHa的QJM方案,该方案由两个NameNode构成,一个处于
acti