文档介绍：智慧工业大数据平台建设方案什么是大数据及发展趋势*平台简介什么是大数据及发展趋势*1什么是大数据*大数据指的是所涉及的数据量及数据范围规模巨大到无法通过目前主流软件工具,在合理时间内达到截取、管理、处理、并整理成为帮助企业经营决策更积极目的的信息。什么是大数据*大数据处理技术代表了新一代的技架构,这种架构通过高速获取数据并进行分析和挖掘,从海量形式各异的数据源中更有效地抽取出富含价值的信息。分析:形成决策深度挖掘处理:数据抽取与集成数据加工大数据云计算结构化数据半结构化数据非结构化数据加载:导入海量数据信息交易数据融合数据行为记录数据物联网互联网通信网移动互联网智能终端什么是大数据*数据可以广泛获取,所稀缺的是如何从中挖掘出有价值的信息,为社会提供智慧和观点有价值的数据主要被用于分析和决策,企业用以分析的数据越全面,分析的结果也就越接近于真实,意思着企业能够从这些新的数据中获取新的洞察力,并将其与已知业务的各个细节相融合,对企业产生新的价值。大数据发展历史*原型创建完成初形建立2008IBM推出大数据系列产品InfoSphereBigInsights、StreamsHP收购VerticaEMC收购Greenplnum、与MapR合作、推出GreenplnumHD2012华为集成Hadoop、流处理、MPPDB、并推出大数据平台解决方案20102011200620032005平台简介*2平台的目标构架及定位*精细化管理市场营销供应链物联网应用指标应用报表应用主题分析专题分析应用层基础分析报表多维度立方体数据挖掘实时分析自助分析数据共享能力层数据层数据统一的服务和开发SQL、FTP、WS、MDX、API..Hadoop平台明细数据汇总数据M/RHBaseHive分布式文件系统HDFS数据源结构化数据CPCE企业A系统企业B系统企业C系统……主数据仓库分布式数据库数据采集1、负责源数据采集、清洗、转换、把原始数据加载到Hadoop平台2、把加工后的数据加载分布式数据库和主数据库Hadoop平台提供并行的计算和结构化数据的处理能力,实现低成本的存储和低时延、高并发的查询能力分布式数据库存储加工、关联、汇总后的业务数据,并提供分布式计算,支撑数据深度分析和数据挖掘能力,向主数据仓库输出KPI和高度汇总数据主数据仓库存储指标数据、KPI数据和度度汇总数据数据开放接口向大数据应用方提供数据接口,给社会进行使用(实现众创)HDFSHadoopEcosystem*PigHiveSqoop......HbaseAvroZookeeperMapReduce