文档介绍：该【数据管控规范 】是由【青山代下】上传分享，文档一共【10】页，该文档可以免费在线阅读，需要了解更多关于【数据管控规范 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。:...、质量管控、并且通过标准的共享模式,实现核心数据统一存储,维护和使用的问题,提升交易中心现有数据的安全存储和高效使用等能力,并更加深入地进行数据挖掘等工作,为中心创造更多的价值。未来的数据管理平台将对中心现有系统的数据进行统一的数据的整合、数据的管控,并运用数据进行统一的服务管控来提升服务共享的水平,为中心的服务提供全方面的数据支撑。数据管理平台的功能蓝图如图所示:数据整合域,是对现有业务系统的数据进行采集和清洗转换,并对采集过程中的数据进行质量检测,来确保整合数据的准确性和可靠性。数据管控域,对采集到数据按照其不同的属性进行分类存储管控,对数据的质量、数据的安全以及信息的生命周期进行统一的管理,并对数据在使用过程的各种信息进行统计分析。服务共享域,利用数据管理平台已有的数据资源,进行自定义的数据服务配置,定制出符合要求的服务,进行相关服务流程的编排,通过数据中心将服务进行发布。.:...服务管理域,主要是对提供的服务进行管理,包括服务应用的管理,服务流程的管理以及服务监控。。数据整合阶段主要分为以下三个步骤执行:数据类型识别根据业务使用情况分析目前各个系统中的数据实体,其中哪些是主数据,哪些是非主数据但需要共享的数据,哪些是私有数据。数据类型会作为制定同步规则和清洗规则的重要依据。数据同步规则确定分析采集的各种数据需要达到的同步频率,从实时、准实时到天、月不等,针对不同的同步频率需求结合每次同步的数据量来选择同步方式,ETL(抽取-转化-加载)和ESB(企业服务总线)分别合用于不同场景。ETL本身也有多种具体的技术手段来实现各种情况下的同步,如Hotplug、全表对照、时间戳等。在这里,将根据不同的数据类别和数据使用频度和需求频度等情况,制定出相应的数据同步的机制,采用实时数据整合和批量数据整合两种方式进行数据的整合。数据清洗规则确定在进行数据整合过程中,由于不同系统中可能重复浮现的数据,以及数据本身的缺失和错误等问题,为了避免由于不同系统中相同数据由于编码规则、格式之间的差异,在清洗过程中需要制定统一的数据清洗规则,对数据进行清洗和转换,确保数据管理平台中的数据能够保持一致性。同时,在数据清洗的过程中,需要对采集数据的质量以及清洗后数据的质量进行检测。其中,在数据采集过程中,对采集的数据进行整合,确保采集的数据都能满足质量要求,能够通过正确的清洗和转换;对于转换完成的数据,通过再次的检测,保证转换数据的一致性和正确性,从而确保数据的准确行和权威性。,使其能够满足交易中心管理对于.:...数据使用的各种需求。,就是对数据从在各个应用系统的中产生,然后通过各种采集整合手段聚合到数据管理平台,直至最终通过建立各种主题数据仓库提供各种数据服务的整个过程进行规划,使数据能够满足各种业务的使用需要。数据生命周期规划,把数据划分为以下3个域,分别保存不同阶段的数据:ADB应用数据库数据管理平台数据仓库1、存储数据管理平台历史数提供领域内统一、一致的为操作型应用提供据核心功能数据视图,包含MDM主数据存储和访问2、为分析应用提供多维数据数据管理基础应用自身的数据模数据模型共享数据模型共享关系模型,多维分析模型型关系型数据库、多维数据库、关系型数据库关系型数据库数据存储类型或者多维数据引擎软件本应用需要的所有数据管理平台的所有历史数数据内容运营共享信息细节信息据统一视图、准实时/实时支撑的应用实时应用支撑分析型应用的数据访问数据更新频率秒分钟到1天1天-1周数据存储周期3-12个月3-12个月所有ADB应用数据库应用数据库主要是为交易中心主要的业务支撑系统和内部管理系统的应用提供数据存储和访问。在应用数据库只存储支撑本系统运行的数据资源,以满足本系统的使用要求。应用数据库的数据在进行日常业务处理的过程中,不断的进行更新,以便同实际的业务情况保持一致。数据管理平台.:...应用数据库的数据,经过统一的清洗和转换后,进入数据管理平台进行统一的存储管理。在数据管理平台,将通过建立统一的数据视图,为各种数据服务提供数据。数据管理平台的数据更新根据不同的数据需求和应用系统的实际情况进行区分,通过实时的数据采集和批量数据采集两种方式进行。数据仓库数据仓库是为了满足某一特定的决策支持和联机分析而建立的结构化数据环境。交易中心在进行业务活动和内部管理的过程中形成为了大量的数据资源,利用数据仓库,对已有的数据资源进行深入的挖掘和联机分析,即可以满足交易中心日常的数据查询要求;又可充分挖掘数据内涵的意义,为中心的各项业务决策提供良好的支持。例如,根据交易中心目前的使用要求,建立交易信息、企业信息、专家信息的主题数据仓库,为中心的各项活动提供业务支持。,元数据主要用于在数据仓库里描述数据及其环境,它是在数据仓库建设过程中所产生的有关数据源定义,目标定义,转换规则等相关的关键数据。因此,元数据的管理对于数据仓库有着重要的意义。在目前的数据管理平台上,将提供对各数据的实体定义和流程管控管理两方面的元数据进行管理。其中,数据实体管理是对各个数据实体来进行实体定义,对实体之间的关系进行约束,实现对数据管理平台里所有数据实体的管理。对于流程管控管理方面,通过制定规范的数据流程制度,严格控制数据的流向以及数据在各流程中的情况,对数据管理平台中的各项数据流程进行管控。(如招标项目、企业和专家)的一个或者多个属性,主数据管理具有很高的重要性。首先,完善的主数据管理可以使各个业务视角能获得一致的数据基础,减少数据差异带来的业务错误和客户投诉,还可以充分发挥各个业务视角数据管理和维护的能力,而不加重业务部门的负担,此外,主数据管理是SOA实施过程中,关键业务对象抽象的重要基础。主数据管理具备以下功能特点:令整合:在组织层面上整合了现有应用系统的主数据信息,进行主数据的集中处理。.:...令共享:主数据作为组织权威的统一、一致的数据,为组织各应用系统提供准确的共享数据。令统一:实现对于客户、产品和供应商都通用的主数据形式,加速数据输入、检索和分析。令并行管理:支持数据的多用户管理,包括限制某些用户添加、更新或者查看维护主数据的流程的能力。令集成能力:集成产品信息管理、客户关系管理、客户数据集成以及可对主数据进行分析的其他解决方案。在交易中心的系统中,主要的主数据为招投标项目主数据、企业主数据和专家主数据,各个主数据又由若干个相关实体组成。通过统一的主数据管理,可以规范数据的录入和使用,使得数据的存储的一致性,使用的规范性。以下为各主数据在进行主数据管理先后的情况列表。主数据主系统(生产系从属系统(使用系统)统)招项目基本信息网上填报编码系统,交易系统,评标系统,企业库,专家标库,电子化资审,诚信平台项项目编码编码系统交易系统,评标系统,企业库,专家库,电子化目资审,诚信平台正式投标人交易系统评标系统,企业库,专家库,诚信平台定标结果交易系统企业库,专家库,诚信平台中标公示交易系统企业库,专家库,诚信平台专家抽取信息交易系统专家库专家签到信息交易系统专家库专专家基本信息专家库交易系统,评标系统家专家回避单位专家库交易系统,评标系统人员指纹库专家库交易系统,评标系统企企业基本信息企业库交易系统,电子化资审,诚信平台业企业项目信息企业库交易系统,电子化资审,诚信平台企业人员信息企业库交易系统,电子化资审,诚信平台.:...表1应用系统整合前主数据情况主数据主系统(生产造系从属系统(使用系统)统)招项目基本信息交易系统评标系统,企业库,专家库标项目编码交易系统评标系统,企业库,专家库项正式投标人交易系统评标系统,企业库,专家库目定标结果交易系统企业库,专家库中标公示交易系统企业库,专家库专家抽取信息交易系统专家库专家签到信息交易系统专家库专专家基本信息专家库交易系统,评标系统家专家回避单位专家库交易系统,评标系统人员指纹库专家库交易系统,评标系统企企业基本信息企业库交易系统业企业项目信息企业库交易系统企业人员信息企业库交易系统表2应用系统整合后主数据情况通过对于系统的整合和主数据管理后,对于数据的使用和管理都更为明晰,使得系统间的数据交互更加清晰,系统间的耦合程度大为降低,系统的效率大为提高。,因此,在数据管理平台中,对于数据质量的管理也是数据管理的重点。对于数据质量的管理,主要分为对数据使用的流程进行管理,以保证数据的使用符合规范的流程,保证了数据使用的规划;对数据使用的应用服务进行管理,以便对于各项数据服务的情况有一个全面、细致的了解;最后,对于数据服务的信息进行监测,对于异常情况进行预警,并输出服务信息报表,以便对服务情况进行分析。.:...。通过运用数据总线的模式,通过统一规范的数据共享机制使得对于数据管理的可以大大降低后续对数据维护的成本。下表为独立接口和总线模式的各种效率对照。比较项独立接口数据总线接口数量多n*(n-t)少(n)耦合程度紧松开辟复杂性复杂,手工编码简单管理与维护混乱容易,集中管理扩展性艰难易扩展实施周期长短通过在交易中心的系统调研,我们整理浮现有的系统的数据接口以及系统接口的数据交换情况,并以此进行数据总线的改造,形成基于总线的数据共享模式,以期达到服务共享的目的。整合前的系统之间的数据交互关系复杂,且企业库等系统同交易系统形成一个大的系统,不便于数据服务的共享。运用数据总线的思想,我们构建了基于总线的数据服务形式,情况如下图所示。.:...专家库OA议会电子评标系统标门禁系统评息信息、息息家信目信信专家项息息果到务信结标专、签财业果信标息果评函单息名信企结信评信结请审诚家标申家到、资业、专评家专签目审企专项资ESB整合平台息信息息息息息示标信信信息果息信信公中员业目信结信标标标人企项标息审员资息招中中中信人据、信、、务息数果息目结财企业库信信标项标业评交易网站招企交易管理系统如图所示,通过数据总线的形式,我们整合了所有系统的数据,并通过数据总线的形式,提供了统一的数据服务,使得数据的管理和使用能够有一个统一的机制,以便能够更好的达到服务共享的目的。,为了使用户更好的了解数据服务的应用情况,需要在为系统上搭建数据服务的维护管理功能。用户可通过图形化的方式实现对数据服务的监控、统计和分析。.:...服务管理功能主要用来对众多的服务进行管理和控制(包括此处的数据服务,也包括今后将实现的业务服务),为服务消费者、服务供应商、SOA运营人员提供方便的服务管理工具。对于服务消费者,通过该模块可以更好的查找到需要的服务及更准确的使用服务。对于服务供应商,通过该模块可以方便的进行服务的注册和发布,解决目前ESB对服务的注册和发布过程复杂技术门坎高的问题。此外,通过一系列的图形化的监控手段,使得监控管理人员能够清晰的查看目前的服务情况,并通过一系列的报表,对于整体的服务情况有了一个清晰的了解。对于SOA运营人.:...统一控制、统一监视,将大大降低管理的成本和提高管理的效果。