1 / 6
文档名称:

大数据实时分析案例.docx

格式:docx   大小:814KB   页数:6页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

大数据实时分析案例.docx

上传人:镜花水月 2018/11/20 文件大小:814 KB

下载得到文件列表

大数据实时分析案例.docx

相关文档

文档介绍

文档介绍:永洪科技大数据实时分析
永洪科技基于自有技术研发的一款数据存储、数据处理的软件Yonghong Z-Data Mart是一款专业的数据集市软件。Hadoop Map Reduce适合通过批处理方式访问海量数据,但无法满足海量数据的实时处理的需求。实时商业智能建设的主要目标是支持实时决策,这就对海量数据处理的即时、快速、稳定提出了更高的要求。Yonghong Z-Suite Map Reduce解决方案更好的实现了这些特点:
完全放弃了心跳机制,采用实时信息交换底层,进行实时的Map-Reduce任务分配与执行。这一信息交换底层能够保障几十甚至上百个节点之间的高效信息交换,使得实时的Map-Reduce任务分配与执行能够在毫秒级完成任务分解与派发工作。
Map Reduce任务服务于海量数据处理,任务清晰。通过在Map Node中预先部署Map的数据处理和数据分析功能的代码文件集,在Reduce节点中预先部署Reduce的数据处理和数据分析功能的代码文件集,在运行Job之前,每个Map和Reduce节点已经具备了相应的数据处理和分析能力。这种方式极大地减少了实时传输和部署的时长。
直接在各节点之间传输中间结果和最终结果(puting)。由于Map-Reduce采用了具有自主知识产权的高效率的实时信息交换底层,这一底层保障了大量传输Map的中间结果、Reduce的中间结果及最终结果的实效性。
本文档主要介绍两个案例,一个是互联网行业大数据案例,一个是电信行业的大数据案例。
互联网大数据案例
案例背景
某著名咨询公司用户行为分析系统面临问题:实时分析的数据量大,基于Hive 的分析系统不够实时,但预算有限。
问题解决步骤
1. 首先提出了测试方案:
90 天细节数据约50 亿条导入YonghongDM,再定制Dashboard 分析。
2. 简单测试:
先通过5 台PCServer,导入1-2 天的数据,演示如何ETL,如何做简单应用。
3. 按照提出的测试方案开始导入90 天的数据,在导入数据中解决了如下问题:
解决步长问题,有效访问次数,在几个分组内,停留时间大于30 分钟。
解决HBase 数据和SQLServer 数据的关联问题。
解决分组太多,Span 过多的问题。
4. 数据源及数据特征分析:
90 天的数据,Web 数据7 亿,App 数据37 亿,总估计在50 亿。
每个表有20 多个字段,一半字符串类型,一半数值类型,一行数据估计2000Byte。
每天5000 万行,原始数据每天100G,100 天是10T 的数据。
抽取样本数据100 万行,导入数据集市,数据量在180M。
50 亿数据的若全部导入需要900G 的量,压缩比在11:1。
假设同时装载到内存中分析的量在1/3,那总共需要300G 的内存。
5. 设计方案:
总共配制需要300G 的内存。
硬件:5 台PC Server,每台内存:64G,4 CPU 4 Core。
机器角色:一台Naming、Map,一台Client、Reduce、Map,其余三台都是Map。
6. ETL 过程:
历史数据集中导:每天的细节数据和SQL Server 关联后,打上标签,再导入集市。

最近更新

幼儿园课题方案-幼儿园小课题参考题目 26页

2025年通用个人工作总结300字 5页

2025年适合除夕发朋友圈文案80句 9页

科学《各种各样的车》 15页

2025年适合带建字的男孩名字 8页

市政道路项目质量管理成功案例创造宜居城市环.. 19页

2025年适合双胞胎属龙男孩的名字简单 5页

工程施工管理中的经验 37页

工科研究生创新能力培养的关键要素研究 35页

2025新员工常用转正申请书(3篇) 7页

2025行政专员上半年工作总结范文(28篇) 93页

《天鹅的故事》教案范文7篇 37页

小学音乐教学中学生学习兴趣的激发和培养 39页

2025年运动员动员大会教练发言稿 7页

专利代理委托的合同(9篇) 28页

中学学校干部述职报告【14篇】 43页

小学生社会实践活动意义与实践探索 35页

直升机减速器径向石墨密封的泄露特性分析 3页

小学班主任管理中的语言沟通艺术分析 23页

白渔潭水电站增效扩容改造工程的可行性 3页

2025年辛弃疾豪迈一点的诗词 4页

2025年软科全国医药类大学排名 7页

关于安装承包合同范文集锦(31篇) 155页

2025年车间员工总结简短 30页

冬季安全教育国旗下简短的精彩讲话稿范文(8篇.. 15页

初中作文400字集合六篇 6页

2025年跳槽英文自我介绍 3页

大学《Python程序设计》试题及答案 13页

海南省海南中学物理自主招生试卷 24页

传统房屋木檩加固方法 5页