1 / 27
文档名称:

mapreduce 数据分析-课件PPT(精).ppt

格式:ppt   页数:27页
下载后只包含 1 个 PPT 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

mapreduce 数据分析-课件PPT(精).ppt

上传人:3047846861 2016/2/29 文件大小:0 KB

下载得到文件列表

mapreduce 数据分析-课件PPT(精).ppt

相关文档

文档介绍

文档介绍:parison of Approaches to Large-Scale Data Analysis?作者1:Andrew Pavlo,Brown University?1 MapReduce and parallel DBMSs: friends or foes?朋友还是冤家?2 parison of approaches to large-scale data analysis?3 H-store: a high-performance, distributed main memory transaction processing system?4 The NMI build & test laboratory: continuous integration framework for puting software?5 Smoother transitions between breadth-first-spanning-tree-based drawings主要做Hadoop(Mapreduce)和并行数据库管理系统比较,用于大规模数据集分析。作者简介?作者2 Erik Paulson,University of Wisconsin?1 MapReduce and parallel DBMSs: friends or foes??2 parison of approaches to large-scale data analysis?3 Clustera: an putation and data management system和第一作者一样,主要做Hadoop(Mapreduce)和并行数据库管理系统比较,用于大规模数据集分析。?作者3 Alexander Rasin,Brown University?1 CORADD: correlation aware database designer for materialized views and indexes?2 MapReduce and parallel DBMSs: friends or foes??3 HadoopDB: an architectural hybrid of MapReduce and DBMS technologies for analytical workloads?4 Correlation maps: pressed access method for exploiting soft functional dependencies?5 parison of approaches to large-scale data analysis?6 H-store: a high-performance, distributed main memory transaction processing system作者在本文的基础上,设计了HadoopDB系统,一个Mapreduce和并行数据库管理系统结合的系统。摘要?目前有相当大的兴趣在基于MapReduce(MR)模式的大规模数据分析。虽然这个框架的基本控制流已经存在于并行SQL数据库管理系统超过20年,也有人称MR为最新的计算模型。在本文中,我们描述和比较这两个模式。此外,我们评估两个系统的性能和开发复杂度。最后,我们定义一个包含任务集的基准运行于MR开源平台和两个并行数据库管理系统上。对于每个任务,我们在100台机子的集群上衡量每个系统的各个方面的并行性能。我们的研究结果揭示了一些有趣的取舍。虽然加载数据和调整并行数据库管理系统执行的过程比MR花费更多的时间,但是观察到的这些数据库管理系统性能显著地改善。我们推测巨大的性能差异的原因,并考虑将来的系统应该从这两种架构中吸取优势。?ABSTRACT:There is currently considerable enthusiasm around the MapReduce (MR) paradigm for large-scale data analysis. Although the basic control ?ow of this framework has existed in parallel SQL database management systems (DBMS) for over 20 years, some have called MR a dramatically puting model. In this paper, we describe pare both paradigms. Furthermore, we evaluate both kinds of systems in terms of perfo