文档介绍：旅游大数据集成平台
建设方案
目录
第1章国家旅游大数据集成平台 1
国家旅游大数据集成平台概述 1
建设背景 1
大数据云平台现状 1
平台指导思想 2
平台设计的指导思想 2
平台选择的指导思想 3
平台应用的指导思想 3
总体解决方案 4
总平台旅游大数据的存储解决方案 6
总平台旅游大数据的计算解决方案 8
总平台旅游大数据的文件传输解决方案 9
平台总体设计 12
Hadoop云平台的总设计原则 12
Hadoop云平台架构 13
平台的基础架构设计 14
高用性设计 22
业务分析平台 23
数据管理平台 25
数据访问平台 34
数据管制和集成平台 40
运营平台 42
平台功能 44
总体要求 44
平台业务功能 44
平台技术功能 51
国家旅游大数据集成平台
国家旅游大数据集成平台概述
建设背景
旅游大数据的产生:众所周知,随着信息社会的快速发展,信息量以爆发式的速度增长。这些数据的特征表现为数据量大,一般为TB级或PB级甚至更大。数据类型多,可以是结构化的表单、半结构化的文本、视频、图像、语音、及非结构话的文件。而全国旅游数据也是异常巨大,形成了旅游大数据,而面对庞大而复杂的信息体系,我们把整个大数据分成了两个层次,第一个层次是基础数据,包括所有的景区信息、地图、POI、景区周边环境信息等等。第二个层次就是应用和交易数据,以游客所产生的数据为主。
目前的大数据应用主要是从第二个层次做延伸,也仅仅体现在在线旅游中,包括做得比较好的百度的旅游数据预测系统与蚂蜂窝游客点评数据等等,它们大都从监管和营销的角度出发。但是我认为目前市场上没有一种产品能真正满足游客的游中体验,而其实游客才是真正实现智慧旅游的核心价值。而且从游客体验的吃、住、行、游、购、娱六大要素来看,中国人的旅游方式是以景区为原点延伸的,景区基础数据的应用应该是游客体验中最重要的一环,但是目前所有的导航服务系统都是针对陆路交通的,景区内基础信息是一个盲点,更谈不上基于此基础数据的景区内导航、语音播报、LBS定点等产品的研发了。
旅游大数据的挑战:如何对这些数据进行高效存储,如何对这些数据进行分析和处理,以获取更多有价值的信息。旅游大数据集成平台应运而生。
因此,通过整合国家智慧旅游公共服务平台、交通、气象、酒店、餐饮、旅行社等相关数据,并结合旅游管理和目的地促销活动中产生的所有数据形成国家旅游大数据集成平台。通过对数据筛选、分析,提供如旅游行业发展动态、服务模式、旅游者偏好等的数据分析报告,为国家旅游决策提供数据支撑。
大数据云平台现状
目前,随着云计算的高速发展,Hadoop及Hadoop的生态圈逐渐壮大,但真正商用且成熟的Hadoop云平台架构却非常少。本方案结合国内的大数据应用巨头百度、阿里巴巴、腾讯,即“BAT”的Hadoop云平台同时,也结合并学****国
外的大数据巨头Hadoop应用发布商Cloudera,Hortonworks,MapR,即“CHM”的Hadoop商用云平台,利用Apache Hadoop开源的力量,推出一套稳定、商用、高效、成熟、开源、易开发,易扩展的大规模hadoop云平台——HDP(Hadoop Data Platform),以满足全国的旅游数据的采集、存储、分析和发掘和应用。
平台指导思想
建设稳定、商用、成熟、高效、节能统一的大数据Hadoop云平台。不仅满足大数据的大规模的采集、存储、分析计算和应用,也为其它平台和系统提供性能需求、系统稳定性、服务满意率高技术支撑和大数据支撑。
性能需求指网站性能需求,主要指作业响应时间方面的要求,作业响应时间指完成目标系统中的交互或批量处理所需的响应时间。网站响应时间较短,具有良好的用户体验。这对大数据的实时性、准确性和有用性提出很高的要求,这需要我们设计并使用Hadoop的大数据实时处理的系统架构,充分利用storm、spark等技术。
系统稳定性主要包括系统运营完好、系统故障处理及时率两个指标。系统运营完好,有优异的灾备机制,具有保障系统运营的优异管理机制。系统故障处理及时率是系统发生故障时处理的效率。具有良好的系统故障应急机制,能够快速及时的处理系统故障。这对Hadoop平台的高可靠性提出高的要求,这需要设计Hadoop云架构时,考虑HA的优化和设计。
服务满意率主要考核供应商在服务期限内服务内外部客户的满意度