大数据平台简介.ppt

文档介绍：(安装部署工具)Zookeeper(分布式协调服务)HBase(分布式协数据库)Oozie(作业流调度系统)HDFS(分布式存储系统)YARN(分布式计算框架)MapReduce(离线计算)Tez(DAG计算)Spark(内存计算)HivePigMahoutSqoop(数据库TEL工具)Flume(日志收集)…………HDFS-HadoopDistributedYarn-资源管理器MapReduce-分布式并行计算框架“你数一号书架,我数二号书架。我们人数多,数书就更快。这就是map;最后我们到一起,把所有人的统计数加在一起,就是reduce。”Spark-新一代大数据处理计算引擎YoucanrunSparkusingitsstandaloneclustermode,onEC2,onHadoopYARN,,Cassandra,HBase,Hive,Tachyon,-NoSQL数据库