文档介绍：.页眉. .页脚. Google 三大核心技术之一:MapReduce MapReduce: 超大机群上的简单数据处理摘要 MapReduc e 是一个编程模型, 和处理, 产生大数据集的相关实现. 用户指定一个 ma p 函数处理一个 key/valu e对, 从而产生中间的 key/value 对集. 然后再指定一个 reduce 函数合并所有的具有相同中间 key 的中间 value. 下面将列举许多可以用这个模型来表示的现实世界的工作. 以这种方式写的程序能自动的在大规模的普通机器上实现并行化. 这个运行时系统关心这些细节: 分割输入数据,在机群上的调度, 机器的错误处理, 管理机器之间必要的通信. 这样就可以让那些没有并行分布式处理系统经验的程序员利用大量分布式系统的资源. 我们的 MapReduce 实现运行在规模可以灵活调整的由普通机器组成的机群上, 一个典型的 MapReduce 计算处理几千台机器上的以 TB 计算的数据. 程序员发现这个系统非常好用: 已经实现了数以百计的 MapReduce 程序, 每天在 Google 的机群上都有 1000 多个 MapReduce 程序在执行. 1. 介绍在过去的5 年里, 作者和 Googl e 的许多人已经实现了数以百计的为专门目的而写的计算来处理大量的原始数据, 比如, 爬行的文档,Web 请求日志, 等等. 为了计算各种类型的派生数据, 比如, 倒排索引,Web 文档的图结构的各种表示,每个主机上爬行的页面数量的概要, 每天被请求数量最多的集合, 等等. 很多这样的计算在概念上很容易理解. 然而, 输入的数据量很大, 并且只有计算被分布在成百上千的机器上才能在可以接受的时间内完成. 怎样并行计算, 分发数据, 处理错误, 所有这些问题综合在一起, 使得原本很简介的计算, 因为要大量的复杂代码来处理这些问题, 而变得让人难以处理. 作为对这个复杂性的回应, 我们设计一个新的抽象模型, 它让我们表示我们将要执行的简单计算, 而隐藏并行化,容错, 数据分布, 负载均衡的那些杂乱的细节, 在一个库里. 我们的抽象模型的灵感来自 Lisp 和许多其他函数语言的 map 和 reduce 的原始表示. 我们认识到我们的许多计算都包含这样的操作: 在我们输入数据的逻辑记录上应用 map 操作, 来计算出一个中间 key/valu e对集, 在所有具有相同 ke y的 valu e 上应用 reduc e 操作, 来适当的合并派生的数据. 功能模型的使用, 再结合用户指定的 ma p和 reduc e 操作,让我们可以非常容易的实现大规模并行化计算, 和使用再次执行作为初级机制来实现容错. 这个工作的主要贡献是通过简单有力的接口来实现自动的并行化和大规模分布式计算, 结合这个接口的实现来在大量普通的 PC 机上实现高性能计算. 第二部分描述基本的编程模型, 并且给一些例子. 第三部分描述符合我们的基于集群的计算环境的 MapReduc e的接口的实现. 第四部分描述我们觉得编程模型中一些有用的技巧. 第五部分对于各种不同的任务, Google 内部使用 MapReduce 作为基础来重写我们的索引系统产品. 第七部分讨论相关的, 和未来的工作. 2. 编程模型计算利用一个输入 key/valu e 对集, 来产生一个输出 key/valu e e . .页脚. 计算:map 和 reduce. 用户自定义的 map 函数, 接受一个输入对, 然后产生一个中间 key/value 库把所有具有相同中间 key I 的中间 value 聚合在一起, 然后把它们传递给 reduce 函数. 用户自定义的 reduce 函数, 接受一个中间 key I 和相关的一个 value 集. 它合并这些 value, 形成一个比较小的 value 集. 一般的, 每次 reduce 调用只产生 0或1 个输出 value. 通过一个迭代器把中间 value 提供给用户自定义的 reduce 函数. 这样可以使我们根据内存来控制 value 列表的大小. 实例考虑这个问题: 计算在一个大的文档集合中每个词出现的次数. 用户将写和下面类似的伪代码: map(String key,String value): //key: 文档的名字//value: 文档的内容 for each word w in value: EmitIntermediate(w,"1"); reduce(String key,Iterator values): //key: 一个词//values: