大数据分析关键技术.pptx

文档介绍：大数据分析关键技术
概述
即席查询
批量处理
流式计算
大数据计算分析模式分类
即席查询
Ad-Hoc Query
批量处理
Batch Processing
Map/Reduce
流式计算
puting
数据承载
响应时间
适用场景
磁盘
秒级
(准实时)
自然人交互式
经营分析
磁盘
分钟级至小时级
(准实时)
事前/事后
大批量数据处理
内存
(事件窗口
非全量数据)
秒级
(实时)
实时事件分析
实时风险干预
针对不同的业务领域,需要采用不同的数据计算分析方式,快速发现数据价值。
即席查询
即席查询(Ad Hoc)是用户根据自己的需求,灵活的选择查询条件,系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的,而即席查询是用户自定义查询条件。
即席查询
Storage
Distribute File System
Column Database
Resource Management
pute Framework
SQL Syntax+
Compute Framework
SQL Syntax
Meta
Data
Batch Processing
Ad-Hoc Query
实时性:高
批量处理
Storage
Distribute File System
Column Database
Resource Management
pute Framework
SQL Syntax+
Compute Framework
SQL Syntax
Meta
Data
Batch Processing
Ad-Hoc Query
MapReduce是一种编程模型,用于大规模数据集的并行批量计算。概念Map和Reduce当前的主流实现是指定一个Map函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce函数,用来保证所有映射的键值对中的每一个共享相同的键组。
形成这种模型的原因是:数据的分布式存储、计算资源的分布式、并行计算减少计算时长。
批量处理
实时性:低
流式计算
流数据的实时计算注重对流数据的快速高效处理、计算和分析。其特点是计算过程数据不落地,所有数据在内存中完成。其计算模型是根据规则生成容器,当数据流经过容器时,实时产生分析结果。
流式计算
Input
Adapter
Output
Adapter
Engine Cluster
Cluster
Management
Rule Repository
NoSQL
实时性:高
Impala Node
Impala架构
Impalad
Query Planner
Query Coordinator
Query Exec Engine
Common HiveQL & Interface
MetaData
SQL
JDBC
Hive MetaStore
HDFS NN
State Store
Impalad
Query Planner
Query Coordinator
Query Exec Engine
Impalad
Query Planner
Query Coordinator
Query Exec Engine
Data
HDFS DN
HBase
Data
HDFS DN
HBase
Data
HDFS DN
HBase
Impala Node
Impala Node
Local Direct Reads
Thrift
Hive架构
Data
HDFS DN
Task Tracker
Job Tracker
Name Node
Hadoop
Hive (Over Hadoop )
SQL
JDBC
WUI
Thrift Server
Driver
(Compiler, Optimizer, Executor)
Meta Store
ThriftServer:JDBC通过ThriftServer连接到Hive。ThriftServer连接MetaStore来读取hive的元数据信息。
MetaStore:在关系型数据库中存放表/分区/列元数据,可以低延迟的快速的访问到需要的元数据信息。
Driver/piler/ExecutionEngine:客户端提交的HiveSQL首先进入Driver,然后Driver会为此次HiveSQL的执行创建一个Session,Driver维护整个session的生命周期。piler,piler来对用户提交的HiveSQL进行编译/检查/优化并最终生成MapReduce