文档介绍：大数据平台技术方案
目录
大数据平台技术方案 1
. 需求概述 5
. 背景概述 5
. 建设目标 5
. 需求理解 6
. 面临挑战 7
. 设计原则 8
. 总体技术方案 10
. 软件架构 10
. 总体技术架构设计 11
. 功能组件完整性介绍 14
. 架构优化设计 64
. 功能优势说明 68
. 集群规划 68
. 系统基本功能点 76
. 的发展紧随Apache社区 76
. 集群内所有组件的管理节点均实现HA 77
. 提供完全基于WEB图形化的集群服务器角色,配置和状态管理 77
. 集群支持线性扩展 77
. 100%兼容标准SQL92 78
. 支持分布式文件系统HDFS和HBase等主流数据库 80
. 支持多种计算执行引擎 81
. 支持异构数据库关联查询 86
. 支持大部分的机器学****和数据挖掘算法 87
. 支持图形化ETL 87
. 同时支持Solr和ElasticSearch 88
. 支持各种类型的数据 89
. 支持多租户 89
. 支持支持分布式存储数据加密 90
. 支持记录操作日志留存 90
. 支持自适应压缩算法 91
. SQL支持各类函数 91
. 具备可视化分析能力 93
. 支持建立OLAP Cube 94
. 支持数据预警功能 94
. 支持多种数据类型的文件加载到大数据平台 94
. 支持复杂模型建模 96
. 数据上载速度快 98
. SQL性能好 101
. 朴素贝叶斯分类性能好 102
. 数据库功能支持 103
. 开发及应用接口 103
. SQL语法兼容性 104
. 生命周期管理功能 106
. 表分区功能 106
. 表压缩功能 107
. 大表索引管理 107
. 数据导入与导出 107
. 多级数据存储 108
. 半结构化与非结构化数据支持 108
. 安全可靠与运维能力 109
. 资源管理 109
. 系统容错性 110
. 系统可靠性 111
. 单点故障消除 111
. 容灾与备份 112
. 在线扩容 112
需求概述
背景概述
近年来,大数据相关技术发展迅速,大数据技术越来越成熟,已经有越来越多的企事业单位通过大数据技术为来创造更多的价值的同时,也为企事业单位带来了更高的性价比、和更易于扩展的超大规模数据处理能力。
基于大数据平台技术,整合现有人口数据,接入公安的舆情数据,搭建处理能力更强,更易于扩展,性能更高的统一数据平台。不仅可以很好的满足高计算、高存储、高负载的要求,更能够对海量的数据进行数据存储、清洗、加工、建模等,把先前无法利用的数据充分利用,提升对数据的认识,抓住机遇为华西医院平台建设做好最基础、最扎实的工作。
建设目标
全市人口基础数据库大数据平台系统需要建设成为一个是一个高可靠性、高安全性、高性能、高可扩展性、高灵活性的先进系统,用来存储、管理、检索、分析、查询等操作,系统能够提供灵活应用提供可靠、安全、高效的保障,并能够为灵活的建立多种应用提供强大开发支持。
系统需要提供对数据仓库类应用的支持,提供对数据分析、数据挖掘类应用的支持,能够存储、查询、分析海量全市公安局的历史数据,提供实时数据计算模块,提供并行分析算法包,可以替代传统数据库系统的大数据管理软件系统、大规模并行数据挖掘软件工具包、R语言业务建模可视化工具、流式计算软件工具包、数据复制与资源管理等支持类软件工具包。
全市人口建设的大数据应用平台项目,要实现的具体业务目标为海量数据的低成本高效存储、加工、使用。
支持各类结构化、半结构化、非结构化海量数据的低成本存储,快速批处理加工,各应用系统的在线数据查询、统计分析、数据挖掘等需求;为超长时间的海量历史数据存储和使用提供技术基础设施。支持将人口、环境、教育等数据导入导数据平台。同时必须支持蒙古文相关数据的分析、处理。
支持移动互联渠道场景的高并发低延时数据服务需求
银行在移动互联渠道提供的客户服务逐渐丰富,客户点击流量增长快