大数据技术交流.ppt

文档介绍：YOUR SITE HERE 大数据技术交流 YOUR SITE HERE 目录? 1. 大数据技术介绍? (HDFS,MapReduce) 介绍? 的最新发展? 4. 流计算技术? 5. 内存数据库? 6. 列式数据库? 7. 各技术适用的场合? 8. 讨论 YOUR SITE HERE 什么是大数据? 大数据指的是海量无法通过传统方式管理的数据。 Big Data 作为一个专有名词成为热点,主要应归功于近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、 RFID 、无线传感器每分每秒都在产生数据, 数以亿计用户的互联网服务时时刻刻在产生巨量的交互……要处理的数据量实在是太大、增长太快了,而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求,传统的常规技术手段根本无法应付。 YOUR SITE HERE 大数据的 4V 特性体量 Volume 多样性 Variety 价值密度 Value 速度 Velocity 非结构化数据的超大规模和增长总数据量的 80~90% 比结构化数据增长快 10倍到 50倍是传统数据仓库的 10倍到 50倍大数据的异构和多样性很多不同形式(文本、图像、视频、机器数据) 无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析(机器学****人工智能 Vs传统商务智能(咨询、报告等) 实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效 YOUR SITE HERE 大数据技术分布式缓存、基于 MPP 的分布式数据库、分布式文件系统、各种 NoSQL 分布式存储方案,内存数据库等。存储处理应用 Map Reduce , 流计算 HIVE,pig,R , mahout 等查询统计,数据挖掘技术 YOUR SITE HERE ?大数据的存储?采用了一批新技术,主要包括分布式缓存、基于 MPP 的分布式数据库、分布式文件系统、各种 NoSQL 分布式存储方案等。 YOUR SITE HERE 分布式数据库与传统数据库对比 YOUR SITE HERE 大规模并行处理 MPP (Massively Parallel Processing) YOUR SITE HERE YOUR SITE HERE 硬件一些领先的存储厂商都在建立专门针对 Hadoop 和大数据分析的存储设备。这些供应商包括 EMC ,目前提供 Hadoop 解决方案,例如 Greenplum HD puting Appliance 。甲骨文正在考虑进一步深化 Exadata 系列设备, 提供计算能力以及高速存储。 最后一个存储选择是云形式的存储, Cloudera 、微软、 Amazon 和很多其他供应商都在提供基于云的大数据解决方案,这些解决方案能够提供处理能力、存储和支持。横向可扩展存储开放性