文档介绍：该【数据资源池技术方案 】是由【1781111****】上传分享，文档一共【8】页，该文档可以免费在线阅读，需要了解更多关于【数据资源池技术方案 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。如何实现数据的清洗、去重和标准化;如何实现数据的分析、挖掘和可视化展示;如何实现数据的共享和交换。(经济)指标实现数据源的快速接入和集成;实现数据的高效查询和分析;实现数据的准确性和一致性;实现数据的安全可靠和权限管理;实现数据中心的高可用和可扩展性;实现数据中心的经济效益和社会效益。,以云计算为基础,通过虚拟化技术和技术实现资源的快速部署和弹性扩展。系统包括数据接入层、数据集成层、数据处理层、数据分析层和数据展示层。其中,数据接入层实现数据源的快速接入和集成,数据集成层实去重和标准化,数据分析层实现数据的分析、挖掘和可视化展示,数据展示层实现数据的共享和交换。,实现数据的抽取、转换和加载;数据的清洗、去重和标准化采用数据质量管理工具,实现数据的自动清洗和标准化;数据的分析、挖掘和可视化展示采用大数据分析平台,实现数据的分析、挖掘和可视化展示;数据的共享和交换采用Web服务和API接口,实现数据的共享和交换。、云计算、虚拟化技术和技术等先进技术,实现了数据源的快速接入和集成,异构数据源的集成和数据转换,数据的清洗、去重和标准化,数据的分析、挖掘和可视化展示,数据的共享和交换等功能,达到了高效、安全、可靠、可扩展的技术性能和经济效益。为了解决石油行业中存在的问题,油田数据中心建设用户提供统一的登录及安全访问。这样做可以解决以下几大问题:)各系统之间互不兼容,数据信息不能共享。(2)用户使用不同系统时,需要在不同系统中不停登录切换,效率低下。(3)管理人员需要记忆一大堆的用户名和密码。(4)不同系统需要很多不同专业的人员更新维护,维护成本很高。目前,行业内提出了很多解决方案,但是在实施中选择域邮箱认证的解决方案以解决面临的诸多难点问题。这样做可以有效管理不同数据源(即元数据)。元数据的定义一般泛称为。元数据是描述一个具体的油田数据库数据资源对象(数据集或数据),并能对这个对象进行管理,且有助于它的发现与获取的数据。在具体实施中,元数据的定义需要解决一系列难点问题,例如:(1)在石油领域里需要定义怎样的数据格式?(2)元数据的规模有多大?(3)如何将元数据的定义与数据源进行抽取、过滤、转换、映射关联在一起,从而实现元数据定义的自动化?(4)如何为元数据管理提供完整易用的操作界面(甚至是图形化的界面)?资源及网络资源。企业现有服务器、网络资源往往得不到充分的利用,如何高效的组织企业现有硬、软件环境为生产应用服务,这也是数据中心建设中急需解决的一大问题。在实施中可能遇到的难点问题包括:()如何评估企业现有硬件、网络资源的使用效率?(2)如何根据数据中心运行需求来优化配置企业现有资源?(3)网络及硬件设备管理规范。在数据中心建设中,技术性能或技术(经济)指标也是非常重要的。系统要保证数据的一致性,对人工输入的数据以及来自不同接口的数据进行合法性检查,确保流程的通畅性,并且能够对错误数据进行自动纠错处理,或提醒人工干预。系统运行中的可靠性依赖于主机系统、网络系统、数据库系统和应用系统的可靠性。因此,新系统中所采用的设备及主要技术必须是成熟的、可靠的,并加以全面的监视和控制,而且充分考虑异常时的应变与容错能力。在应用软件开发中要充分利用数据库的安全机制和错误恢复机制,保证数据的准确性和完整性。要保证系统的高运行质量,确保一天24小时不间断工作,同时在出现故障时提供应急措施,以保证业务系统的不中断。络系统在未来能够顺利扩容,且不影响生产运行。同时,系统应该遵循开放性和标准化,保护用户的投资,体现良好的扩展性和互操作能力。系统设计不仅应考虑当前业务需求,还应考虑未来业务量和种类增长的需求,以及与行政管理体制的配合和协调。系统规模具有可调性,可以逐渐增大;新的软件模块即插即用,新功能、新业务的增加能够在不影响系统运行的情况下实现。系统应该具备逐步升级能力的结构,采用模块化设计,在整个系统正常运行的情况下,能够随时增加或取消客户端。系统要具备可动态增加服务器的能力,增加处理能力,实现负载平衡。在模块间可使用SOA架构来进行整合,减少各个模块间耦合度,利于系统扩展。系统必须具有可管理性,能够配置、部署、监控和优化,以确保其在预定地环境中工作良好。系统应该包括数据备份、数据恢复、日志管理、垃圾数据清除等基本功能,以及联机帮助、用户管理、软件发布管理、在线升级等可被管理的功能。于一个安全、负载合理的运行状况,还能提高系统的应用适应性。在技术解决方案方面,需要建设数据资源平台,将分散在各部门的数据库系统在逻辑上和管理上统一纳入分布式数据库系统管理范畴。建立在分布式数据管理系统基础之上,提供索引编目、整合管理、权限管理、数据集成、数据同步等服务,并提供统一的登陆和管理操作界面。通过对关键技术因素的分析,我们明确了解决主要问题的目标,并提出了数据融合平台系统的设计思想和关键技术路线。首先,数据资源池平台建设是一个庞大的系统工程,需要分阶段、分步骤实施。我们可以提炼出系统建设的三个主要层次:完成数据中心所需数据的分析、整理工作,制定出统一的数据标准和元数据规范;以数据标准为基础建立数据交换与共享平台;建立项目数据库和数据挖掘、知识管理环境。本项目将集中完成第一点提到的内容,即完成数据中心所需数据的分析、整理。明性、异构性、可扩展性和工具化。同时,查询接口提供了基于标准的完整功能,包括对后端数据源中缺少能力的补偿。本文描述了采油采气平台数据资源池的开发工作计划。第一阶段的工作包括数据业务接口管理、数据信息管理、元数据管理和数据信息同步工作,预计在12月6日左右完成。该阶段将初步实现数据资源池对元数据的管理模块,可以进行数据的同步,并对一些简单的数据进行集中处理。在第一阶段完成后,下一阶段的开发工作将包括数据整合管理模块、数据同步服务以及与云端挂接的工作。具体的开发时间将以第一阶段结束为准,这是计划中的工作。预期提交的成果包括10份采油采气平台数据资源池开发技术报告和1份相关软件源代码。我们承诺在技术成果使用期间提供人员培训、现场服务和软件升级等技术服务。