文档介绍:大数据平台建设的数据“治理”
本文讲述了以用户为中心的自服务大数据治理的实现方法和关键技术。
本文目录:
一、大数据时代还需要数据治理吗?
二、如何面向用户开展大数据治理?
三、面向用户的自服务大数据治理架构
四、总结
、数据有哪些,哪些用户能够使用。在该电力公司的数据资产定义过程中,我们选择了贴近业务用户的数据分类方案,梳理和识别企业运营数据资源。
我们又基于第一步形成的数据分类管理体系框架,梳理、整合各级各类数据资源,建立了数据资产树,按照不同数据细类制定相应的工作模板,对指标数据和明细数据进行梳理和归并。
所有资产梳理和控制的最终目标都是为了用户能够使用数据,我们通过L0-L1-L2三个层次的定义,以业务驱动为导向提高数据查询的实用性。
L0:按照电网业务域-业务主题-业务活动的结构化方法,对查询进行分类导航。
L1:依据业务和数据源中数据资源情况,按业务主题对数据进行预处理和定义。
L2:将数据库表字段等技术元数据转换为业务人员可以理解的业务元数据。
我们通过梳理数据、管理数据、提供数据、关联业务,形成了一整套以用户为中心的大数据治理能力,最终为用户直接使用数据提供了帮助,从而使数据治理完成了从以管控为中心到以业务为中心的转变。由于受限于篇幅这里不过多描述。
2、面向用户的大数据治理的四个阶段
面向用户的大数据治理该如何做,我们总结了四个阶段。
第一阶段:全面梳理企业信息,自动化构建企业的数据资产库
在第一阶段,主要是对企业大数据的梳理,从而全面掌握企业大数据的情况,主要有以下三个方面:
•梳理全企业数据架构,对企业的数据模型、数据关系、数据处理有清晰化的认识。
•对数据资产形成统一的自动化管理,形成企业的元数据库。
•对企业数据资产形成多种视图,使数据资产能够让不同用户,有不同视角的展示。
IS
HWKWgrk
目动乐矗井醫理企盘盒站库
第二阶段:建立管理流程,落地数据标准,提升数据质量
在第二阶段,需要建立大数据管控能力,包括从业务的角度梳理企业数据质量问题,形成质量控制能力,形成核心数据标准,并抓标准落地。针对关键问题,建立数据的管理流程,少而精,控制核心问题。
在这个阶段主要是为数据部门形成一套管理大数据的能力,同时为数据部门形成数据管理的工作环境。
第三阶段:直接为用户提供价值,向用户提供数据微服务
通过前两个阶段,企业能够建立基本的数据治理的能力,在此基础上,还需要以用户为中心,为用户提供直接获取数据的能力。第三阶段依赖于前两个阶段能力的建设,在这个阶段的目标是向用户提供自助化的数据服务,使用户能够自助地获取和使用数据,并且在用户的使用过程中再反过去进一步落地标准、控制质量。
所悭进据
第四阶段:智能化企业知识图谱,为全企业提供数据价值
最后一个阶段是将数据沉淀成为知识,形成企业的知识图谱,提供从“关系”的角度去分析问题的能力。
人进行数据搜索是通过业务术语(知识)来搜索的,而知识之间是有相互联系的,例如水果和西红柿是上下位关系(后者是前者的具体体现),好的搜索除了要列出直接结果,还需要显示与之关联的知识,这就要建立知识图谱。简单说知识图谱就是概念、属性以及概念之间的关联关系,这个关系可以手工建立,也能通过自然语言处理等方法,对政策、法规、需求、数据库comments、界面等多种来源进行分析,自动化建立起企业知识图谱。从而使数据治理成为整个企业的数据工作环境,强化企业数据与知识体系之间的关联,加快企业员工数据与知识之间的转换效率,让数据的深层价值得以体现。
*s
N1说laifl
通过这四个阶段的建设,使数据治理平台由数据部门的工作环境,转变成为全企业的数据工作环境,以用户为中心,让用户能够直接使用大数据,并通过用户的使用来管理数据,持续优化数据质量,在达到治理数据目标的同时,也最大限度发挥了数据的价值。
三、面向用户的自服务大数据治理架构
1、自服务大数据治理架构
以用户为中心的自服务大数据治理技术架构包括五部分:数据资产管理、数据监控管理、数据准备平台、数据服务总线,消息与流数据管理。
整个平台分为五块核心能力:数据资产、数据准备、数据服务总线、消息&流数据管理、数据监控管理。
数据资产管理是对企业数据信息统一管理也是整个平台的基础,数据准备平台是资产服务化的加工厂,它不但能将原始数据通过服务形式以用户能看懂的方式提供,也可以通过在线数据模型设计实现最终数据产品的发布,起到承上启下的作用。
数据服务总线和消息&流数据管理的价值层次是一致的,只是从数据时效性上面对数据进行了区分,去适应用户不同的管理和应用诉求。起到数据通道和安全管理两个核心内容。
数据监控管理有别