文档介绍：大数据平台解决方案
精品文档
收集于网络，如有侵权请联系管理员删除
大数据平台技术方案
大数据平台技术方案4
技术路线4
动静态信息交换5
系统概述5
数据采集服务6
数据采集服务配置6
平台认证服务6
动数据采集服务、平台认证服务、发布订阅服务等。
数据采集服务
精品文档
收集于网络，如有侵权请联系管理员删除
数据采集服务采集各级行业管理部门、各行业业务系统的数据信息，对这些静动态数据进行收集，用以进行后续操作。
数据采集模块按照定义的接口规范进行连接、响应、接收、发送处理。接收
各级行业管理部门报送的数据。
数据采集服务配置
针对上报大数据管理平台的信息，灵活配置其可采集的服务种类，来源，IP
地址，采集的数据类型以及服务方式，使数据的采集更加灵活可控。
数据采集服务配置模块的主要功能有：
(1)动态配置服务。根据IP、数据类型和服务方式对服务进行动态配置。
(2)对接入数据进行验证。不允许非配置内的服务接入数据，允许配置内的
服务接入数据。
平台认证服务
为了保障数据服务的安全性，在传输数据之前，需要先通过接口进行登录认
证，从而确定数据交换平台及权限，以及平台接入的有效期。
平台认证模块主要功能有：
根据平台信息进行登录认证。根据申请接入的其他平台或者系统的相关信
息，对该平台或者系统进行身份验证。
根据认证结果获取登录权限和有效期等信息。如果验证通过，则允许接入系
统，如果验证不通过，则不允许接入。
动静态数据发布订阅服务
发布订阅服务根据分发调度策略，判断采集动静态数据属于某个地市，发布
到该地市的主题，存储到消息队列，记录日志。
动静态数据发布订阅模块的主要功能有：
(1)获取信息，将数据存储到消息队列。根据接入数据的相关信息，获取对应的信息。
精品文档
收集于网络，如有侵权请联系管理员删除
(2)记录日志信息。将信息下发到相应的消息队列，并记录日志信息。
负载均衡服务
根据数据采集服务和分发服务进行负载分析与数据的多路径流向调整，用以减小平台压力，提高平台的运行效率。
负载均衡模块的主要功能是根据采集服务和分发服务进行负载均衡处理。
协议分析转换功能
按协议规范对上报数据进行解析，对分发的数据进行封装，实现与其他平台的数据准确对接。
协议分析转换模块的主要功能有：
(1)按协议规范对上报数据进行解析。对接入的数据，按照预先指定的协议进行解析，方便在系统中的处理和流通。
(2)对分发的数据进行封装。对于系统处理过的数据，要根据预先指定的协议，将数据进行打包封装，然后下发到其他平台或者系统。
动静态数据分发服务
根据各级数据请求，按照定义的接口规范进行连接、响应、按主题分发处理。分发各类动静态信息。
(1)按照定义的接口规范进行连接响应。
(2)对数据按照主题进行分发。根据接入数据的相关信息，从而获取相关的数据需求方信息，并且获取相应的主题信息，并将数据按照主题下发到相应的平台。
数据分发服务配置
针对分发平台的信息，灵活配置分发的服务种类，分发的数据类型以及服务方式，实现分发的灵活可控性。
精品文档
收集于网络，如有侵权请联系管理员删除
数据分发服务配置模块的主要功能有：
(1)获取将要分发的平台的信息。根据系统中提供的其他平台的相关数据，获取将要分发的平台的相关信息，方便后续数据的分发。
(2)根据平台的信息配置要进行分发的服务。根据已经获取的相关的平台的数据，对平台的服务信息进行配置。
数据缓存服务
数据缓存服务主要提供本项目动态信息内存缓存、持久化存储当前点以及缓存预处理的数据，向数据应用提供快速访问中间数据源。
数据缓存模块的主要功能是进行数据缓存，如内存缓存、持久化存储当前点以及缓存预处理网格信息等数据。
数据交换信息日志
记录数据采集以及分发的数据量，为验证数据交换的完整性、可追溯性以及可视性打下基础。
数据交换信息日志模块的主要功能有：
(1)记录数据采集获取的数据量。在进行数据交互时，记录接入的数据的数据量信息。
(2)记录数据分发的数据量。在进行数据的交互时，记录分发的数据的数据量信息。
大数据存储
根据业务类型，数据划分为基础信息数据库、主题数据库、业务数据库三大数据库。其中基础数据库存储行业的静态数据以实现与实时数据的快速拟合；主
精品文档
收集于网络，如有侵权请联系管理员删除
题数据库各类主题数据；业务库存储实时的业务数据。根据数据的使用时效分为
在线存储、离线存储。
数据仓库工具
随着大数据平台不断的接入海量数据，大数据平台引入数据仓库技术来解决各类业务问题。数据仓库是一个抽象的概念所以可以简单的