1 / 13
文档名称:

深度剖析云计算背后采用的具体技术教学内容.docx

格式:docx   大小:441KB   页数:13页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

文档介绍:深度剖析云计算背后采用的具体技术
实例 1: Google 的云计算平台与应用
Google的云计算技术实际上是针对 Google特定的网络应用程序而定制的。针对 内部网络数据规模超大的特点, Google 提出了一整套基于分布式并行集群方式 的基础架构,利用软件的能力来处理集群中经常发生的节点失效问题。
从2003年开始,Google连续几年在计算机系统研究领域的最顶级会议与杂志上 发表论文,揭示其内部的分布式数据处理方法,向外界展示其使用的 云计算核 心技术。从其近几年发表的论文来看, Google 使用的云计算基础架构模式包括 四个相互独立又紧密结合在一起的系统。包括Google建立在集群之上的文件系 统Google File System,针对Google应用程序的特点提出的 Map/Reduce编程模 式,分布式的锁机制Chubby以及Google开发的模型简化的大规模 分布式数据 库 BigTable。
Google File System 文件系统
为了满足Google迅速增长的数据处理需求,Google设计并实现了 Google文件系 统(GFS, Google File System)。GFS与过去的分布式文件系统拥有许多相同的 目标,例如性能、可伸缩性、 可靠性以及可用性。 然而,它的设计还受到 Google 应用负载和 技术环境的影响。主要体现在以下四个方面 :
集群中的节点失效是一种常态,而不是一种异常。由于参与运算与处理的节 点数目非常庞大, 通常会使用上千个节点进行共同计算, 因此,每时每刻总会有 节点处在失效状态。 需要通过软件程序模块, 监视系统的动态运行状况, 侦测错 误,并且将容错以及自动恢复系统集成在系统中。
Google 系统中的文件大小与通常文件系统中的文件大小概念不一样,文件大 小通常以 G 字节计。另外文件系统中的文件含义与通常文件不同,一个大文件 可能包含大量数目的通常意义上的小文件。所以,设计预期和参数,例如 I/O 操 作和块尺寸都要重新考虑。
Google文件系统中的文件读写模式和传统的文件系统不同。 在Google应用(如 搜索)中对大部分文件的修改, 不是覆盖原有数据, 而是在文件尾追加新 数据。 对文件的随机写是几乎不存在的。 对于这类巨大文件的访问模式, 客户端对数据 块缓存失去了意义,追加操作成为性能优化和原子性 (把一个事务看做是一个 程 序。它要么被完整地执行,要么完全不执行)保证的焦点。

文件系统的某些具体操作不再透明,而且需要应用程序的协助完成,应用程 序和文件系统 API 的协同设计提高了整个系统的灵活性。例如,放松了对 GFS 一致性 模型的要求,这样不用加重应用程序的负担,就大大简化了文件系统的 设计。还引入了原子性的追加操作, 这样多个客户端同时进行追加的时候, 就不 需要额外的同 步操作了。
总之,GFS是为Google应用程序本身而设计的。据称,Google已经部署了许多 GFS集群。有的集群拥有超过1000个存储节点,超过300T的硬盘空间,被不 同机器上的数百个客户端连续不断地频繁访问着。
下图1给出了 Google File System的系统架构,一个GFS集群包含一个主服务器 和多个块服务器, 被多个客户端访问。 文件被分割成固定尺寸的块。 在每个块创 建的时候,服务器分配 给它一个不变的、全球惟一的 64 位块句柄对它进行标识。 块服务器把块作为 linux 文件保存在本地硬盘上,并根据指定的块句柄和字节范 围来读写块数据。为 了保证可靠性,每个块都会复制到多个块服务器上,缺省 保存三个备份。 主服务器管理文件系统所有的元数据, 包括名字空间、 访问控制 信息和文件到块的映射信 息,以及块当前所在的位置。GFS客户端代码被嵌入 到每个程序里,它实现了 Google文件系统API,帮助应用程序与主服务器和块 服务器通信, 对数据进行读写。 客户端跟主服务器交互进行元数据操作, 但是所 有的数据操作的通信都是直接和块服务器进行 的。客户端提供的访问接口类似 于POSIX接口,但有一定的修改,并不完全兼容 POSIX标准。通过服务器端和 客户端的联合设计,Google File System能够针对它本身的应用获得最大的性能 以及可用性效果。

(ftk ruLnc. chunk hdci)
GFSdlem -
File mni&UMX ,
InsumaioniL tochunkscrur
^ehanlc hudle, byu rang<)
chwilcdata
(Wa
Control mKSAfes

■ G FS dKznkwmr
GFS dwfflkimT*
Linwi fife

分享好友

预览全文

深度剖析云计算背后采用的具体技术教学内容.docx

上传人:guoxiachuanyue 2021/5/12 文件大小:441 KB

下载得到文件列表

深度剖析云计算背后采用的具体技术教学内容.docx