文档介绍：大数据处理平台及可视化架构设计说明书
版本：
变更记录
序号
版本
变更说明
修改人/日期
审批人/日期
1
创建
目录
，建 立了海量的数据业务支撑的大数据平台。每天可以承受千万级PV的访 问压力，支撑亿级用户及P级各类数据存储如金融数据、网页、日志 文件、图片、文档、影音等。基于此大数据支撑平台，不仅可以处理 日以继夜增长的18级数据增量，更能满足各类实时业务需求
2、业界领先的实时性
在实时处理领域实现秒级突破，可以对各项业务数据惊醒实时查看与 统计，方便客户快速做出决策和即时响应,适应当今快节奏发展趋势。 如传统监控对年、月、周、日的频次统计，可以实现24小时内的实时 监控，和管理当前实时变化的统计仪表盘数据，更能实现7*24的用户 实时行为监测及秒级分析。
3、全面运营监控指标体系
不仅拥有常见的接入站点的运营监控流量指标如UV、PV、IP、新旧访 客数，还建立了行为质量指标如用户的请求，统计分析的正确度，并 可在此基础之上加入客户行为分析、统计模型调优、算法调优、网站 访客背景分析、鼠标点击行为等高智能的分析功能，从而为业务发展 及运营策略提供了有力的数据支撑。
4、对用户来源和数据的深入挖掘与分析
通过该平台不仅可以看到接入网站用户的基本信息（跳出率、回访次数、 回访频率、国家分析、省份分析、城市分析、网络位置、浏览器、移 动终端等），还可以了解到客户来源（如来源页面、网站、搜索引擎、 关键字等）。并且在此基础上可以了解到客户访问路径，对数据进行多 维钻取，进而对网站客户数据信息的采集、挖掘更加深入。对大数据 进行深入的分析，为提升网站流量、提供科学的推荐依据、实现高质 量的客户差异化服务给出有力的数据支撑。
5、对用户行为进行实时跟踪、立体分析及即时沟通和个性推荐服务
可以针对实时在线的个体用户进行WEB IM即时沟通，提供即时的一对 一服务。并可以结合业务需求，在实现客服人员与用户一对一的同时， 展现该用户的历史业务操作行为及个性化信息，如用户消费历史记录 统计、行为****惯及喜好等。
6、统一数据接入平台
数据接入层采用sqoop、flume、分布式日志系统，实现推拉模式的各 种主流方式，并可按需升级为统一数据接入平台，不仅支持日志及页 面源码数据，还可以实现各类接口数据的无缝可视化接入，如关系型 和非关系型数据、各种主流非结构化数据等。
7、立体推荐及算法可替换平台
可以对数据进行多种分析算法和模型的处理，采用mahout、mlib的二 元分类、线性回归、聚类、协同过滤、卷积神经网络（CNN）进行机器 学****采用RF（随机森林）、SVM （支持向量机）、半监督学****通过 训练达到权重等参数的最佳化，优化样本空间，并实现完全自动化调参 和学****br/>还可结合用户群体特征、个性行为历史及各种显式、隐式反馈进行人脑 分析，实现个体用户和群体用户的立体化推荐和全过程的人工干预。以 算法平台为支撑，建立了可视化的算法训练和推荐结构的过滤植入，以 增强客户个性化服务配置。实现了各种算法的替换、组合和深度学****如传统的UCF、ICF及业务创新的二度人脉剪枝算法等，以尽符合人脑 思维****惯。
8、多种风格统计分析数据展现方式
对数据统计分析实现人性化的各种浏览器体验，传统风格如线性、柱 形、饼状分析图为企业对不同时段网站访问量、网站不同模块的访问 量、针对访客的不同分类进行更加直观的分析。创新风格如热力图， 更形象、视觉化的体现网站页面不同位置客户点击密度，实时反映出 群体用户的兴趣特征，增强运营。用户可以自定义条件，得到可视化 结果。
9、主流客户端的全端统计
该方案不仅可以统计WINDOWS/MAC/LINUX各类PC用户的主流浏览器客 户端（如IE、360、Chrome、Firefox等）的数据，还能针对移动互联网 用户统计主流移动客户端（如iphone,ipad,Android手机等）的各类数 据,并能根据RESTful接口开发各类所需的各端统计,如WAP手机端， 嵌入设备端等。
10、操作体验简洁方便
该方案秉承了人性化的设计理念。在确保精准、高效的基础上简化了 操作过程，数据检索分析一键解决，极大的方便了客户使用。各类所
需统计数据一目了然，并能针对主要数据如用户信息、用户行为等进 行一键化深度分析或即时服务操作。
11、可靠性强
以云平台作为支撑。该平台有极强的可靠性，能够保证该软件更稳定、 有效、安全的运行。
12、可扩展性强
以云平台作为支撑，可以实现各类平台组件按需横向扩展，如存储扩 容、计算增强等。
13、集成性强