大数据工作流程ppt课件.ppt

文档介绍：(基础常识、工作原理、常用工具)、转换、装载过程数据相互转移分布式文件系统海量结构化存储系统机器学****数据挖掘、语义搜索PowerView动态图表数据采集数据预处理数据存储数据分析挖掘结果展现海量非结构化存储系统一、、、、分布式并行处理技术MapReduce单词技术问题MapReduce工作流程分割文本生成新的文本结果归拢排序原文本MapReduce是一套软件框架,包括Map(映射)和Reduce(化简)两个阶段,可以进行海量数据分割、任务分解与结果汇总,从而完成海量数据的并行处理。.三、各处理流程相关技术简析数据采集数据采集是数据分析、挖掘的基础,常用的海量数据采集工具有Hadoop的Chukwa,Cloudera的Flume,Facebook的Scribe等,这些工具均采用分布式架构,能满足每秒数百MB的日志数据采集和传输需求。提取数据数据源目标数据存储区转换数据格式map/、各处理流程相关技术简析数据预处理SQL与HBASE、HIVE之间进行内容传递时,需要一个数据转移工具,如Sqoop。其工作过程如下:MapMapMapHDFS/HIVE/、、、各处理流程相关技术简析数据分析挖掘HIVE查询统计用户行为数据机器学****数据挖掘、语义搜索……HDFSHIVE数据仓库Maout挖掘数据价值MapReduceMapReduce.