文档介绍：陈华杰
云计算架构
大纲
云计算定义
云计算所使用的技术
Google的云计算平台与应用
分布式文件系统( Google File System )
MapReduce编程模式
分布式锁机制Chubby
分布式数据库BigTable
IBM蓝云计算平台
虚拟机的使用
存储结构
云计算定义
一种计算模式:把IT资源、数据、应用作为服务通过网络提供给用户(IBM)
一种基础架构管理方法论:把大量的高度虚拟化的资源管理起来,组成一个大的资源池,用来统一提供服务(IBM)
以公开的标准和服务为基础,以互联网为中心,提供安全、快速、便捷的数据存储和网络计算服务(Google)
实例图
云计算所使用的技术
虚拟化技术:资源虚拟化、统一分配监测资源、向资源池中添加资源
服务思想
软件即服务 ( Software-as-a-Service )
平台即服务 ( Platform-as-a-Service )
基础设施作为服务 ( Infrastructure as a Service )
Google的云计算平台
Google云计算概述
为Google特定的网络应用定制的。基于分布式并行集群方式基础架构利用软件方式处理集群中经常发生的节点失效问题
Google云计算基础架构模式
分布式文件系统( Google File System )
MapReduce编程模式
分布式锁机制Chubby
分布式数据库BigTable
Google File System文件系统
特点
系统集成了容错以及自动恢复功能
文件以G字节计,包含大量小文件
添加文件追加操作,优化顺序读写速度
部分具体操作不透明,需要应用程序的协助完成
Google File System的系统架构图
MapReduce编程模式
统计文本中单词数目
Map函数
将文本中所有出现的单词都按照出现计数1(以Key-Value对的形式)发射到MapReduce给出的一个中间临时空间中
Reduce函数
把计数累加在一起获得最后结果
MapReduce编程模式 cont.
MapReduce处理程序的执行过程(M代表Map函数的执行,R代表Reduce函数的执行)
分布式数据库BigTable
BigTable的数据模型
行列以及相应的时间戳
按行来划分,将多行组成一个小表,存放到服务器节点
Google BigTable的数据模型