文档介绍：云计算和数据挖掘
一簇蓝色精灵的小确幸
CHENYING0907
内 容 提 纲
云计算概念与现状
云计算的起源
云计算发展的驱动因素
云计算的定义
云计算是一种商业计算模型。它将计算任务分布在***、数据结构似乎不再重要，因为处理器性能不断提升
并行计算基础
免费的午餐已经结束！！
Intel
Microsoft
摩尔定律正在走向终结…
单芯片容纳晶体管的增加，对制造工艺提出要求
CPU制造18nm技术，电子泄漏问题
CPU主频已达3GHz时代，难以继续提高
散热问题（发热太大，且难以驱散）
功耗太高
并行计算基础
未来的发展：多核
在多核时代生存，必须考虑并发问题
不存在解决多核编程问题的银弹， 不存在可以简单地将并发编程问题化 解掉的工具， 开发高性能的并行程序 必须要求开发者从根本上改变其编程 方法
从某种意义上来说，这不仅仅是要改 变50年来顺序程序设计的工艺传统， 而且是要改变数百万年来人类顺序化思考问题的****惯
并行计算基础
Herb Sutter
串行编程
早期的计算里，程序一般是被串行执行的
程序是指令的序列，在单处理器的机器里，程序从开始到结束，这些指令一条接一条的执行
并行编程
一道处理可以被划分为几部分,然后它们可以并发地执行
各部分的指令分别在不同的CPU上同时运行，这些CPU可以存在于单台机器中,也可以存在于多台机器上,它们通过连接起来共同运作
并行计算基础
什么样的问题适合并行计算？
斐波那契序列(Fibonacci)的计算？
并行计算基础
什么样的问题适合并行计算？
如果有大量结构一致的数据要处理，且数据可以分解成相同大小的部分， 那我们就可以设法使这道处理变成并行
并行计算基础
计算问题简单，但求解困难
待处理数据量巨大（PB级），只有分布在成百上千个节点上并行计算才能在可接受的时间内完成
如何进行并行分布式计算？
如何分发待处理数据？
如何处理分布式计算中的错误？
为什么需要MapReduce？
简单的问题，计算并不简单！
为什么需要MapReduce？
Google MapReduce
架构设计师
Jeffrey Dean
Jeffery Dean设计一个新的抽象模型， 使我们只要执行的简单计算，而将并行化、容错、数据分布、负载均衡的等杂乱细节放在一个库里，使并行编程时不必关心它们
这就是MapReduce
一个软件架构，是一种处理海量数据的并行编程模式
用于大规模数据集（通常大于1TB）的并行运算
MapReduce实现了Map和Reduce两个功能
Map把一个函数应用于集合中的所有成员，然后返回一个基于这个处理的结果集
Reduce对结果集进行分类和归纳
Map()和 Reduce() 两个函数可能会并行运行，即使不是在同一的系统的同一时刻
MapReduce
MapReduce示例：单词计数
案例：单词记数问题(Word Count)
给定一个巨大的文本（如1TB），如何计算单词出现的数目？
MapReduce示例：单词计数
使用MapReduce求解该问题
定义Map和Reduce函数
MapReduce示例：单词计数
使用MapReduce求解该问题
Step 1: 自动对文本进行分割，形成初始的<key,value>对
MapReduce示例：单词计数
使用MapReduce求解该问题
Step 2:在分割之后的每一对<key,value>进行用户定义的Map进行处理，再生成新的<key,value>对
MapReduce示例：单词计数
使用MapReduce求解该问题
Step 3:对输出的结果集归拢、排序(系统自动完成）
MapReduce示例：单词计数
使用MapReduce求解该问题
Step 4:通过Reduce操作生成最后结果
Google MapReduce执行流程
源文件：GFS
Map处理结果：本地存储
Reduce处理结果：GFS
日志：GFS
文件存储位置
思考
Google MapReduce计算架构有什么问题？
Worker故障
Master 周期性的ping每个worker。如果master在一个确定的时间段内没有收到worker返回的信息，那么它将把这个worker标记成失效
重新执行该节点上已经执行或尚未执行的Map任务
重新执行该节点上未完成的Reduce任务，已完成的不再执行
Master故障
定期写入检查点数据
从检查点恢复
MapReduce的容错
WHY？
任务备份机制
慢的workers 会严重地拖延整个执行完成的