文档介绍：大数据平台建设技术解决方案
: .
大数据平台建设技术解决方案
PETABVTES
MWWV USE
targft SHARED £
DATABASES g
OTATION
9MCE
CAPTURE
■ SAN
RESEARCH
GE NOMCS APPLIED
EXAMPLES
另L
NEEDED HUNDREDS 帝
■靈返
2SK llb
GRQW
■ g sonw>
CONTWES
大数据平台技术方案
大数据平台建设技术解决方案
目录
1 5
2 5
3 5
4 5
第1章 需求概述 5
5
5
7
9
10
第2章 总体技术方案 13
13
14
18
、 数据集成组件(Data Hub) 27
、 数据采集 27
、 数据采集管理 35
、 大数据计算存储平台(Hadoop Distribution ) 38
、 海量数据集中存储 39
、 高效数据处理 40
、 分布式应用协调 45
、 计算资源分配控制 45
、 存储资源分配控制 46
、 平台高可用性 47
、 算法与分析工具(Artificial Intelligenee) 52
、 数据挖掘工具 54
、 R统计分析 57
、 Python 统计分析 58
、 数据资产管理(Data Governor) 58
、 元数据管理 60
、 数据标准与质量管理 63
、 数据生命周期管理 65
、 数据可视化(Vision) 68
、 数据源 68
、 智能报表 69
、 仪表板 71
、 自助分析 73
、 多维分析 75
、 OFFICE插件 76
、 移动可视化 76
、 系统运维监控（Manager） 77
、 安装部署 78
、 集群监控 79
、 服务管理 82
、 主机管理 84
、 告警管理 87
、 版本管理 89
、 日志管理 91
、 多租户管理 91
、 架构优化设计 95
、 统计分析和精确查询 95
、 Spark计算引擎结合分布式内存计算提供交互式统计分析能力 95
、 多种索引支持与智能索引 96
、 高并发、低延迟性能优化 97
、 计算资源有效管控 97
、 API设计和开发工具支持 98
、 接口开放性 98
、 第三方工具生态圈整合 100
、 扩容、备份、恢复机制 101
、 功能优势说明 102
、 集群规划 103
、 集群戈卩分 103
、 数据仓库集群 104
、 历史数据分析探索集群 104
、 开发集群 105
、 测试集群 106
、 集群容量说明 107
、 硬件配置建议 108
、 网络拓扑架构 110
111
、 的发展紧随 Apache社区 111
、 集群内所有组件的管理节点均实现 HA 112
、 提供完全基于WEB图形化的集群服务器角色，配置和状态管理 112
、 集群支持线性扩展 114
、 100嫌容标准 SQL92 115
、 支持分布式文件系统HDFS^ HBase等主流数据库 119
、