1 / 12
文档名称:

云计算和大数据基础知识.docx

格式:docx   大小:19KB   页数:12页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

云计算和大数据基础知识.docx

上传人:sanshenglu2 2021/3/4 文件大小:19 KB

下载得到文件列表

云计算和大数据基础知识.docx

相关文档

文档介绍

文档介绍:* 1: 100. 云计算
(一) 大数据(BigData)
1. 定义: 海量数据或巨量数据,其规模巨大到无法用当前主流的计算机系统在合理时间内获取、存储、管理、处理并提取以帮助使用者决策。

2. 特点: 1)数据量大 (Volume) ----- PB级以上
2)快速 (Velocity) ----- 数据增长快
3)多样 (Variety) ----- 数据来源及格式多样
4)价值密度低 (Value ) ----- 从大量、多样数据中提取价值的体系结构
5)复杂度 (Complexity) ----- 对数据处理和分析的难度大



从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。
它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。


(二)云计算(Cloud Computing)
: 1)云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。 //分布式计算

2)云计算是通过网络按需提供可动态伸缩的廉价计算服务。
2. 特点: 1)超大规模
2)虚拟化
3)高可靠性
4)通用性
5)高可伸缩性
6)按需服务
7)极其廉价

3. 服务类型分类:
1)SaaS (软件即服务::Software as a Service) //针对性更强,它将某些特定应用软件功能封装成服务 如:Salesforce online CRM

2)PaaS (平台即服务: Platform as a Service) //对资源的抽象层次更进一步,提供用户应用程序运行环境如:Google App Engine ,Microsoft Windows Azure
3)IaaS (基础设施作为服务:Infrastructure as a Service) //将硬件设备等基础资源封装成服务供用户使用 , 如:Amazon EC2/S3

4. 云计算的实现机制(体系结构)

1) SOA (面向服务的体系结构): 它将应用程序的不同功能单元(称为服务)通过这些服务之间定义良好的接口和契约联系起来。 使得其服务能以一种统一的、通用的方式进行交互。
SOA可以看作是B/S模型、XML/Web Service技术之后的自然延伸。
2)管理中间件: (关键部分)

3)资源池层: 将大量相同类型的资源构成同构或接近同构的资源池。

4)物理资源层: 计算机、存储器、网络设施、数据库和软件等

5. 云计算与网格计算
1)网格是基于SOA、使用互操作、按需集成等技术,将分散在不同地理位置的资源虚拟化为一个整体。
2) 关系类似于 TCP/IP 协议 之于 OSI 模型

6. 云计算与物联网
1)物联网有 全面感知,可靠传递、智能处理三个特征。 云计算提供对智能处理所需要的海量信息的分析和处理支持。
2)云计算架构与互联网之上, 而物联网依赖于互联网来提供有效延伸。 因而, 云计算模式是物理网的后端支撑关键。
* : 1. Google 云计算原理
(一) 文件系统 GFS
1) 系统架构


2) 实现机制:
① 节点分类: Client ---- > Master ---- > Chunk Server
② Master 负责管理。 Client 与 Master 之间只有控制流,而没有数据流 【数据流 与控制流 分离】
③ Client 可以同时访问多个 Chunk Server 。 【高度的 I/O 并行】

3) 特点
① 采用中心服务器