大数据BI案例.doc

文档介绍：Yonghong 大数据BI 案例
本文档主要介绍两个案例，一个是互联网行业大数据案例，一个是电信行业的大数据案
例。
互联网大数据案例
案例背景
某著名咨询公司用户行为分析系统面临问题：实时分析的数据量大，基于Hive 的分析系统不够实时，但预算有限。
问题解决步骤
1. 首先提出了测试方案：
90 天细节数据约50 亿条导入YonghongDM，再定制Dashboard 分析。
2. 简单测试：
先通过5 台PCServer，导入1-2 天的数据，演示如何ETL，如何做简单应用。
3. 按照提出的测试方案开始导入90 天的数据，在导入数据中解决了如下问题：
解决步长问题，有效访问次数，在几个分组内，停留时间大于30 分钟。
解决HBase 数据和SQLServer 数据的关联问题。
解决分组太多，Span 过多的问题。
4. 数据源及数据特征分析：
90 天的数据，Web 数据7 亿，App 数据37 亿，总估计在50 亿。
每个表有20 多个字段，一半字符串类型，一半数值类型，一行数据估计2000Byte。
每天5000 万行，原始数据每天100G，100 天是10T 的数据。
抽取样本数据100 万行，导入数据集市，数据量在180M。
50 亿数据的若全部导入需要900G 的量，压缩比在11:1。
假设同时装载到内存中分析的量在1/3,那总共需要300G 的内存。
5. 设计方案：
总共配制需要300G 的内存。
硬件：5 台PCServer，每台内存：64G，4CPU4Core。
机器角色：一台Naming、Map，一台Client、Reduce、Map，其余三台都是Map。
6. ETL 过程:
历史数据集中导：每天的细节数据和SQLServer 关联后，打上标签，再导入集市。
增量数据自动导：先删除近3 天的数，再导入近3 天的数。
维度数据被缓存；细节数据按照日期打上标签，跟缓存的维度数据关联后入集市；根据系统配置调优日期标签来删除数据；清洗出有意义的字段。
7. 系统配置调优：
内部管理内存参数：
=8
=5120
=10240
JVM 内存管理参数配置：
JAVA_OPTS="-XX:NewRatio=3-XX:SurvivorRatio=1-XX:+UseParNewGC
-XX:+UseConcMarkSweepGC -XX:MaxGCPauseMillis=6000-XX:GCTimeRatio=19
-XX:ParallelGCThreads=16-XX:+UseCMSCompactAtFullCollection
-XX:CMSFullGCsBeforeCompaction=1-XX:CMSInitiatingOccupancyFraction=80
-XX:+CMSClassUnloadingEnabled-XX:-CMSParallelRemarkEnabled
-XX:SoftRefLRUPolicyMSPerMB=0-XX:+PrintHeapAtGC-XX:+PrintGCDetails
-Xms61440m-Xmx61440m