文档介绍：1
基于大数据的数据治理
建设方案
3
目录
一 数据管理的现状 3
二 数据治理的概述 4
〔一〕 数据治理概念 4
〔二〕 数据治理目标 5
三 数据治理体系 5
四 数据治理核心领域 6
〔一〕 数据模型 6
1
基于大数据的数据治理
建设方案
3
目录
一 数据管理的现状 3
二 数据治理的概述 4
〔一〕 数据治理概念 4
〔二〕 数据治理目标 5
三 数据治理体系 5
四 数据治理核心领域 6
〔一〕 数据模型 6
〔二〕 数据生命周期 6
〔三〕 数据标准 8
〔四〕 主数据 9
〔五〕 数据质量 10
〔六〕 数据效劳 12
〔七〕 数据平安 12
五 数据治理保障机制 13
〔一〕 制度章程 13
(1) 规章制度 13
(2) 管控方法 13
(3) 考核机制 13
〔二〕 数据治理组织 15
(1) 组织架构 15
(2) 组织层次 16
(3) 组织职责 17
〔三〕 流程管理 19
〔四〕 IT技术应用 19
(1) 支撑平台 19
(2) 技术标准 22
附件A数据管理标准 23
附件B数据质量评估方法 38
附件C数据质量管理流程 42
3
关于数据治理的理解
数据管理的现状
根据行业信息化开展的现状,结合当今行业数据治理的要求,大型集团或政务管理部门现阶段数据管理方面存在以下的缺乏:
〔1〕数据多头管理,缺少专门对数据管理进行监督和控制的组织。信息系统的建设和管理职能分散在各部门,致使数据管理的职责分散,权责不明确。组织机构各部门关注数据的角度不一样,缺少一个组织从全局的视角对数据进行管理,导致无法建立统一的数据管理规程、标准等,相应的数据管理监督措施无法得到落实。组织机构的数据考核体系也尚未建立,无法保障数据管理标准和规程的有效执行。
〔2〕多系统分散建设,没有标准统一的省级数据标准和数据模型。组织机构为应对迅速变化的市场和社会需求,逐步建立了各自的信息系统,各部门站在各自的立场生产、使用和管理数据,使得数据分散在不同的部门和信息系统中,缺乏统一的数据规划、可信的数据来源和数据标准,导致数据不标准、不一致、冗余、无法共享等问题出现,组织机构各部门对数据的理解难以应用一致的语言来描述,导致理解不一致。
〔3〕缺少统一的主数据,组织机构核心系统间的人员等主要信息并不是存储在一个独立的系统中,或者不是通过统一的业务管理流程在系统间维护。缺乏对集团公司或政务单位主数据的管理,就无法保障主数据在整个业务范围内保持一致、完整和可控,导致
4
业务数据正确性无法得到保障。
〔4〕缺乏统一的集团型数据质量管理流程体系。当前现状中数据质量管理主要由各组织部门分头进行;跨局跨部门的数据质量沟通机制不完善;缺乏清晰的跨局跨部门的数据质量管控标准与标准,数据分析随机性强,存在业务需求不清的现象,影响数据质量;数据的自动采集尚未全面实现,处理过程存在人为干预问题,很多部门存在数据质量管理人员缺乏、知识与经验不够、监管方式不全面等问题;缺乏完善的数据质量管控流程和系统支撑能力。
〔5〕数据全生命周期管理不完整。目前,大型集团或政务单位,数据的产生、使用、维护、备份到过时被销毁的数据生命周期管理标准和流程还不完善,不能确定过期和无效数据的识别条件,且非结构化数据未纳入数据生命周期的管理范畴;无信息化工具支撑数据生命周期状态的查询,未有效利用元数据管理。
数据治理的概述
数据治理概念
数据治理是指将数据作为组织资产而展开的一系列的具体化工作,是对数据的全生命周期管理。
数据治理体系是指从组织架构、管理制度、操作标准、IT应用技术、绩效考核支持等多个维度对组织的数据模型、数据架构、数据质量、数据平安、数据生命周期等各方面进行全面的梳理、建设以及持续改良的体系。
数据治理目标
数据治理的目标是提高数据的质量〔准确性和完整性〕,保证数
5
据的平安性〔保密性、完整性及可用性〕,实现数据资源在各组织机构部门的共享;推进信息资源的整合、对接和共享,从而提升集团公司或政务单位信息化水平,充分发挥信息化作用。
数据治理体系
数据治理体系包含两个方面,一是数据质量核心领域,二是数据质量保障机制。
具体两者内容及相互关系可以参见下列图:
数据治理核心领域
为了有效管理信息资源,必须构集团级数据治理体系。数据治理体系包含数据治理组织、数据构架管理、主数据管理、数据质量管理、数据效劳管理及数据平安管理内容,这些内容既有机结合,
6
又相互支撑。
数据模型
数据模型是数据构架中重要一局部,包括概念数据模型和逻辑数据模型,是数据治理的关键、重点。理想的数据模型应该具有非冗余、稳定、一致、易用等特征。逻辑数据