1 / 6
文档名称:

大数据实时分析案例.docx

格式:docx   大小:814KB   页数:6页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

大数据实时分析案例.docx

上传人:镜花水月 2018/11/20 文件大小:814 KB

下载得到文件列表

大数据实时分析案例.docx

相关文档

文档介绍

文档介绍:永洪科技大数据实时分析
永洪科技基于自有技术研发的一款数据存储、数据处理的软件Yonghong Z-Data Mart是一款专业的数据集市软件。Hadoop Map Reduce适合通过批处理方式访问海量数据,但无法满足海量数据的实时处理的需求。实时商业智能建设的主要目标是支持实时决策,这就对海量数据处理的即时、快速、稳定提出了更高的要求。Yonghong Z-Suite Map Reduce解决方案更好的实现了这些特点:
完全放弃了心跳机制,采用实时信息交换底层,进行实时的Map-Reduce任务分配与执行。这一信息交换底层能够保障几十甚至上百个节点之间的高效信息交换,使得实时的Map-Reduce任务分配与执行能够在毫秒级完成任务分解与派发工作。
Map Reduce任务服务于海量数据处理,任务清晰。通过在Map Node中预先部署Map的数据处理和数据分析功能的代码文件集,在Reduce节点中预先部署Reduce的数据处理和数据分析功能的代码文件集,在运行Job之前,每个Map和Reduce节点已经具备了相应的数据处理和分析能力。这种方式极大地减少了实时传输和部署的时长。
直接在各节点之间传输中间结果和最终结果(puting)。由于Map-Reduce采用了具有自主知识产权的高效率的实时信息交换底层,这一底层保障了大量传输Map的中间结果、Reduce的中间结果及最终结果的实效性。
本文档主要介绍两个案例,一个是互联网行业大数据案例,一个是电信行业的大数据案例。
互联网大数据案例
案例背景
某著名咨询公司用户行为分析系统面临问题:实时分析的数据量大,基于Hive 的分析系统不够实时,但预算有限。
问题解决步骤
1. 首先提出了测试方案:
90 天细节数据约50 亿条导入YonghongDM,再定制Dashboard 分析。
2. 简单测试:
先通过5 台PCServer,导入1-2 天的数据,演示如何ETL,如何做简单应用。
3. 按照提出的测试方案开始导入90 天的数据,在导入数据中解决了如下问题:
解决步长问题,有效访问次数,在几个分组内,停留时间大于30 分钟。
解决HBase 数据和SQLServer 数据的关联问题。
解决分组太多,Span 过多的问题。
4. 数据源及数据特征分析:
90 天的数据,Web 数据7 亿,App 数据37 亿,总估计在50 亿。
每个表有20 多个字段,一半字符串类型,一半数值类型,一行数据估计2000Byte。
每天5000 万行,原始数据每天100G,100 天是10T 的数据。
抽取样本数据100 万行,导入数据集市,数据量在180M。
50 亿数据的若全部导入需要900G 的量,压缩比在11:1。
假设同时装载到内存中分析的量在1/3,那总共需要300G 的内存。
5. 设计方案:
总共配制需要300G 的内存。
硬件:5 台PC Server,每台内存:64G,4 CPU 4 Core。
机器角色:一台Naming、Map,一台Client、Reduce、Map,其余三台都是Map。
6. ETL 过程:
历史数据集中导:每天的细节数据和SQL Server 关联后,打上标签,再导入集市。

最近更新

AutoCAD制图技能大赛活动策划书与CFO能力培训.. 6页

5月份关工委工作计划与5月份商务局工作规划书.. 5页

4月酒店客房部工作总结与4月酒店工作总结范文.. 2页

高考生物必备知识点:细胞膜考点总结 5页

2022年一级建造师《民航机场工程管理与实务》.. 14页

2021年大学电子信息科学专业《大学物理(上册).. 6页

高中二年级生物学科寒假作业(附答案) 13页

2020版幼儿园小班保育员专业能力考试试题试题.. 11页

2020版幼儿园学前班保育员上学期考试试题试卷.. 12页

2020版幼儿园保育员高级考试试题D卷-附解析 11页

2020版幼儿园保育员理论考试试题C卷-附解析 12页

2020版幼儿园保育员五级职业技能考试试题(I卷.. 10页

2020版实验幼儿园中班(下册)开学测试试题-附答.. 7页

2020年幼儿园大班保育员五级职业水平考试试题.. 11页

电梯应急救援预案 11页

固本增骨胶囊治疗脾肾阳虚型绝经后骨质疏松症.. 8页

电工进网作业许可考试教材第四章第九节箱式变.. 28页

电工培训讲义(二) 74页

2025年铁精粉项目发展计划 66页

电容式传感器应用实例 30页

2025年锂项目发展计划 67页

2025年降解薄膜项目发展计划 59页

2025年PA12项目发展计划 60页

电子账表册使用培训 137页

电子政务对我们的影响 20页

2025年简历自荐信万能 18页

高考历史选择题答题技巧省公开课金奖全国赛课.. 24页

八年级英语下册练习题(打印版) 5页

综合楼施工方案 18页

视觉流程设计考题汇总(按题目类型有答案) 6页