文档介绍：基于大数据的数据分析系统架构
摘要:随着“互联网+”时代的发展,人们已经从各种信息数据的使用和接收方变为数据的发送方,基于大数据的应用日渐成熟,各种行业类型的数据时刻都在产生着,基于大数据的应用系统就是在如此庞大的数据量的基数据能够反映给整个应用系统的实时运行状态,同时也可以反馈遇到的一系列系统异常问题。
(二)Hadoop并行处理系统架构
在Hadoop体系的分布式大数据应用中,数据采集模块会将采集到的各种类型的数据传送到Hadoop的并行处理系统架构中,然后信息数据被保存到HDFS中,传送的数据会被Hadoop体系中的MapReduce并行计算编程模型作为框架来进行系统化处理,MapReduce分布式的并行计算编程模型能够有效地解决数据分布范围大并且零散导致采集难的问题,这些信息数据会在分析前被分散到各个分节点,然后系统会利用就近原则读取相邻节点的数据,然后映射数据进行处理分析,经过处理分析后的数据会被再进行数据汇聚合并,所以基于Hadoop体系的大数据分析应用具备高速、可靠的特点,能够满足大数据的数据处理和分析的需求。
二、基于大数据的数据分析系统架构
(一)传统的大数据数据分析架构
传统的大数据数据分析架构,传统的BI数据分析,由于数据量和系统性能不能满足大数据,所以基于此类的数据分析技术上是使用了大数据的数据分析组件替换传统的BI系统组件,保留了大数据的ETL操作,相对解决基于大数据的BI数据分析。整个架构相对简单易懂,缺点就是缺乏对实时数据分析的支持。
(二)流式数据分析架构
数据在应用过程中全部以流的形式进行分析处理,直接去掉了数据批处理,用数据通道替换了ETL操作,经过流式数据分析处理加工后的数据,以信息推送的方式推送给用户,相对于其他数据分析架构,流式架构由于取消ETL操作,所以数据的处理效率非常高,但是由于没有了数据批处理,没有很好的支撑数据统计和重播,不利于离线进行数据分析。
(三)Lambda数据分析结构
在大数据分析系统中Lambda架构是比较重要的一种数据分析架构方式,大多数的架构都是基于这种架构,Lambda架构的数据通道分为两个:实时数据流分析和离线数据分析,实时数据流的分析架构是流式架构,多数采用增量式计算,保障了数据处理分析的实时性,离线数据分析就以全量运算的数据批处理为主,保证了数据的一致性。在Lambda架构的最外层是一个实时和离线的数据分析合并层,这个合并层是Lambda架构的关键,既集合了实时数据分析和离线数据分析的优点,对于数据分析的应用比较广泛,适合于对实时数据分析和离线数据分析同时需求存在的场景。
(四)Kappa数据分析架构
Kappa数据分析架构是在Lambda架构的基础进行优化,在数据通道上把实时数据分析和流式数据分析进行了合并,以消息队列进行数据传输。在以Kappa架构的数据分析上来讲,还是以数据流的分析形式为主,不同的是数据存储是在数据湖层面上,当需要对离线数据分析或者执行重新的数据分析操作时候,只需要把数据从数据湖层以消息队列的方式将数据重播一次就行了。Kappa数据分析架构去除了Lambda架构当中的冗余部分,将数据分析重播作为创新的形式加入到架构当中,Kappa结构整体相当简洁,缺点