文档介绍：HBASE 云存储
计算机科学学院刘莎
烛架劈渗滨杯罪菏丽粤橱胡掂懈颁偶谗群瞬众烦丈阜拣锌***绪昆嚷民杜跃HBase云存储HBase云存储
Content
什么是云存储?
Hadoop分布式系统架构
HBase分布式存储系统
Hive项目
惧钵箕味纸遏钻王钧玲茶卯恼士泰码痕餐犯祈迫醒斡碴茸某辗冠瑚棋忌鸟HBase云存储HBase云存储
云存储是在云计算(puting)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等技术,通过应用软件将网络中大量各种不同类型的存储设备集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。
当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,因此,云计算系统也成为了一个巨大的存储系统,所以,云存储系统的定义可以简化为:一个以数据存储和管理为核心的云计算系统。
什么是云存储?
衣嚷喂瞳儡崔整葵皿态枪窑刻腹孙卯欲是遭绷遗暇地始刨故糖贺淖谆蓖琳HBase云存储HBase云存储
由Apache基金会开发的一个开源项目;
一个能够对大量数据进行分布式处理的软件架构;
由HDFS 、 MapReduce 、 HBase 、ZooKeeper 和Hive等成员组成;
在众多企业都得到应用:Yahoo、Facebook、Tiwtter、Amazon、淘宝、网易、百度、***、中科院计算所等。
迭吸键彪衣捍掠噪哮台去老帅永替寂侄动雁子粕敲郸迭瞬墨温知乒悍炽搏HBase云存储HBase云存储
……
Hadoop 集群架构
-1
Slave Node
Slave Node
Slave Node
豺悍剧吱债谋楼杰狰视钩韶户亲羚灭就蓟絮趋谷钝验尚攒集惨玉惯纸睹蚀HBase云存储HBase云存储
Hadoop Ecosystem
舍旋挺绚芥柬雹涡俩孰亮巷翘碑占务晰织洲务泄芯抚械运咬恬谓育炕班搐HBase云存储HBase云存储
HDFS是Google GFS的开源版本,它是一个高度容错的分布式文件系统,它能够提供高吞吐量的数据访问,适合存储海量(PB级)的大文件(通常超过64M ,因为HDFS中最小存储粒度为64M)。
HDFS
HDFS Architecture
炙报辟崎柬妆奈纫深瓜泪饿高狐合熏蛾介辨方营昔抑锨抉沙邻然画幽阶念HBase云存储HBase云存储
NameNode 节点作为主控节点,维护集群内的元数据,对外提供创建、打开、删除以及重命名文件或目录的功能。
DataNode 节点存储数据,并负责提出处理数据的读写请求。
NameNode是唯一的,应用程序与之通信,然后往DataNode上存储文件或者从DataNode上读取文件。这些操作是透明的,与常规的普通文件系统API没有区别。
整个集群具有单一的命名空间。集群中存储的文件被分割成多个文件块,每个文件块被分配到一个或多个数据节点上(通常是多个,存储冗余度可以根据需求设置,但不能超过DataNode的个数)。
HDFS内部运行机制
最辨碉闽声蔷展避羽乔逸擞鼎悯异志区轧钮河惧畔敖饯撤梦砖掷废譬矩拆HBase云存储HBase云存储
MapReduce
MapReudce 是 Hadoop 中重要的分布式计算模型,用以进行大规模的数据计算。用户指定一个 map 函数,通过这个 map 函数处理 key/value 键值对,并产生一系列的中间 key/value对,再使用 reduce 函数合并所有的相同 Key 值对应的 value 集合。
Map-Reduce应用程序执行模型
坠烃茎答铅杯吵膨趟汹纪叫种肖虏烽蒜逆锹摔缔憎憋过帚况仙判沾标恭酒HBase云存储HBase云存储
MapReduce 的本质是:在 map 阶段分发数据,在 Reduce 阶段收集相同 key 对应的 value ,因此在这个问题上,可以在 map 阶段,将两个表格数据根据“产品 ID ”这个 key 分发出去,将“商品 ID ”及“支付 ID ”封装一下,作为 map 阶段的 value ,这样在 reduce 阶段就可以根据“产品 ID ”得到对应的“商品 ID ”及“支付 ID ”了。
(1) 商品表(trade table) ,“产品ID”字段作为主键,每行为一条数据;
(2) 支付表(pay table) ,“产品ID”字段作为主键,每行为一条数据;
示例,MapReduce实现表关联:假设有两个表格, 文件存储:将这两个表格根据相同的产品 ID 链接起来,生成新的 key/value pair :
雍缕穗宦侮棉魄颅斤茶泻锥丁厦锦效谎标筐槐溃叠瞩沼昔屡鬃勤捍灌镑彬HBase云存储HBase云存储