文档介绍：永洪科技大数据实时分析
永洪科技基于自有技术研发的一款数据存储、数据处理的软件Yonghong Z-Data Mart是一款专业的数据集市软件。Hadoop Map Reduce适合通过批处理方式访问海量数据,但无法满足海量数据的实时处理的需求。实时商业智能建设的主要目标是支持实时决策,这就对海量数据处理的即时、快速、稳定提出了更高的要求。Yonghong Z-Suite Map Reduce解决方案更好的实现了这些特点:
完全放弃了心跳机制,采用实时信息交换底层,进行实时的Map-Reduce任务分配与执行。这一信息交换底层能够保障几十甚至上百个节点之间的高效信息交换,使得实时的Map-Reduce任务分配与执行能够在毫秒级完成任务分解与派发工作。
Map Reduce任务服务于海量数据处理,任务清晰。通过在Map Node中预先部署Map的数据处理和数据分析功能的代码文件集,在Reduce节点中预先部署Reduce的数据处理和数据分析功能的代码文件集,在运行Job之前,每个Map和Reduce节点已经具备了相应的数据处理和分析能力。这种方式极大地减少了实时传输和部署的时长。
直接在各节点之间传输中间结果和最终结果(puting)。由于Map-Reduce采用了具有自主知识产权的高效率的实时信息交换底层,这一底层保障了大量传输Map的中间结果、Reduce的中间结果及最终结果的实效性。
本文档主要介绍两个案例,一个是互联网行业大数据案例,一个是电信行业的大数据案例。
互联网大数据案例
案例背景
某著名咨询公司用户行为分析系统面临问题:实时分析的数据量大,基于Hive 的分析系统不够实时,但预算有限。
问题解决步骤
1. 首先提出了测试方案:
90 天细节数据约50 亿条导入YonghongDM,再定制Dashboard 分析。
2. 简单测试:
先通过5 台PCServer,导入1-2 天的数据,演示如何ETL,如何做简单应用。
3. 按照提出的测试方案开始导入90 天的数据,在导入数据中解决了如下问题:
解决步长问题,有效访问次数,在几个分组内,停留时间大于30 分钟。
解决HBase 数据和SQLServer 数据的关联问题。
解决分组太多,Span 过多的问题。
4. 数据源及数据特征分析:
90 天的数据,Web 数据7 亿,App 数据37 亿,总估计在50 亿。
每个表有20 多个字段,一半字符串类型,一半数值类型,一行数据估计2000Byte。
每天5000 万行,原始数据每天100G,100 天是10T 的数据。
抽取样本数据100 万行,导入数据集市,数据量在180M。
50 亿数据的若全部导入需要900G 的量,压缩比在11:1。
假设同时装载到内存中分析的量在1/3,那总共需要300G 的内存。
5. 设计方案:
总共配制需要300G 的内存。
硬件:5 台PC Server,每台内存:64G,4 CPU 4 Core。
机器角色:一台Naming、Map,一台Client、Reduce、Map,其余三台都是Map。
6. ETL 过程:
历史数据集中导:每天的细节数据和SQL Server 关联后,打上标签,再导入集市。