1 / 15
文档名称:

大数据平台建设的数据“治理”.docx

格式:docx   大小:635KB   页数:15页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

大数据平台建设的数据“治理”.docx

上传人:guoxiachuanyue007 2022/6/26 文件大小:635 KB

下载得到文件列表

大数据平台建设的数据“治理”.docx

相关文档

文档介绍

文档介绍:大数据平台建设的数据“治理”
本文讲述了以用户为中心的自服务大数据治理的实现方法和关键技术。
本文目录:
一、大数据时代还需要数据治理吗?
二、如何面向用户开展大数据治理?
三、面向用户的自服务大数据治理架构
四、总结
、数据有哪些,哪些用户能够使用。在该电力公司的数据资产定义过程中,我们选择了贴近业务用户的数据分类方案,梳理和识别企业运营数据资源。
我们又基于第一步形成的数据分类管理体系框架,梳理、整合各级各类数据资源,建立了数据资产树,按照不同数据细类制定相应的工作模板,对指标数据和明细数据进行梳理和归并。
所有资产梳理和控制的最终目标都是为了用户能够使用数据,我们通过L0-L1-L2三个层次的定义,以业务驱动为导向提高数据查询的实用性。
L0:按照电网业务域-业务主题-业务活动的结构化方法,对查询进行分类导航。
L1:依据业务和数据源中数据资源情况,按业务主题对数据进行预处理和定义。
L2:将数据库表字段等技术元数据转换为业务人员可以理解的业务元数据。
我们通过梳理数据、管理数据、提供数据、关联业务,形成了一整套以用户为中心的大数据治理能力,最终为用户直接使用数据提供了帮助,从而使数据治理完成了从以管控为中心到以业务为中心的转变。由于受限于篇幅这里不过多描述。
2、面向用户的大数据治理的四个阶段
面向用户的大数据治理该如何做,我们总结了四个阶段。
第一阶段:全面梳理企业信息,自动化构建企业的数据资产库
在第一阶段,主要是对企业大数据的梳理,从而全面掌握企业大数据的情况,主要有以下三个方面:
•梳理全企业数据架构,对企业的数据模型、数据关系、数据处理有清晰化的认识。
•对数据资产形成统一的自动化管理,形成企业的元数据库。
•对企业数据资产形成多种视图,使数据资产能够让不同用户,有不同视角的展示。
IS
HWKWgrk
目动乐矗井醫理企盘盒站库
第二阶段:建立管理流程,落地数据标准,提升数据质量
在第二阶段,需要建立大数据管控能力,包括从业务的角度梳理企业数据质量问题,形成质量控制能力,形成核心数据标准,并抓标准落地。针对关键问题,建立数据的管理流程,少而精,控制核心问题。
在这个阶段主要是为数据部门形成一套管理大数据的能力,同时为数据部门形成数据管理的工作环境。
第三阶段:直接为用户提供价值,向用户提供数据微服务
通过前两个阶段,企业能够建立基本的数据治理的能力,在此基础上,还需要以用户为中心,为用户提供直接获取数据的能力。第三阶段依赖于前两个阶段能力的建设,在这个阶段的目标是向用户提供自助化的数据服务,使用户能够自助地获取和使用数据,并且在用户的使用过程中再反过去进一步落地标准、控制质量。
所悭进据
第四阶段:智能化企业知识图谱,为全企业提供数据价值
最后一个阶段是将数据沉淀成为知识,形成企业的知识图谱,提供从“关系”的角度去分析问题的能力。
人进行数据搜索是通过业务术语(知识)来搜索的,而知识之间是有相互联系的,例如水果和西红柿是上下位关系(后者是前者的具体体现),好的搜索除了要列出直接结果,还需要显示与之关联的知识,这就要建立知识图谱。简单说知识图谱就是概念、属性以及概念之间的关联关系,这个关系可以手工建立,也能通过自然语言处理等方法,对政策、法规、需求、数据库comments、界面等多种来源进行分析,自动化建立起企业知识图谱。从而使数据治理成为整个企业的数据工作环境,强化企业数据与知识体系之间的关联,加快企业员工数据与知识之间的转换效率,让数据的深层价值得以体现。
*s
N1说laifl
通过这四个阶段的建设,使数据治理平台由数据部门的工作环境,转变成为全企业的数据工作环境,以用户为中心,让用户能够直接使用大数据,并通过用户的使用来管理数据,持续优化数据质量,在达到治理数据目标的同时,也最大限度发挥了数据的价值。
三、面向用户的自服务大数据治理架构
1、自服务大数据治理架构
以用户为中心的自服务大数据治理技术架构包括五部分:数据资产管理、数据监控管理、数据准备平台、数据服务总线,消息与流数据管理。
整个平台分为五块核心能力:数据资产、数据准备、数据服务总线、消息&流数据管理、数据监控管理。
数据资产管理是对企业数据信息统一管理也是整个平台的基础,数据准备平台是资产服务化的加工厂,它不但能将原始数据通过服务形式以用户能看懂的方式提供,也可以通过在线数据模型设计实现最终数据产品的发布,起到承上启下的作用。
数据服务总线和消息&流数据管理的价值层次是一致的,只是从数据时效性上面对数据进行了区分,去适应用户不同的管理和应用诉求。起到数据通道和安全管理两个核心内容。
数据监控管理有别

最近更新

从高硫多金属金精矿中提取金银铜试验研究 2页

从解析几何的产生谈教改的一点想法 2页

从米糠油下脚中提取植物甾醇的方法 2页

从生产型转向经营服务型管理初探 2页

深圳市标准房屋租赁合同 7页

从控制论看磁悬浮技术与有源控制的同步发展 2页

深圳出租房租赁合同 6页

深入解析合同相对性:法治百科普法词条——合.. 6页

润滑油购销合同 6页

介绍目前我国染料中间体产品标准中所采用的分.. 2页

介绍两种使用旧废料制造钎杆的方法 2页

介绍一种新刊物——《铀与金经济技术简讯》 2页

介电法在监测玻璃钢固化程度中的应用 2页

人血清载脂蛋白CII酶联免疫测定法的研究 2页

人白细胞γ-干扰素诱生条件的探讨 2页

人才类型理论及其在管理科学中的应用 2页

海上物流服务合同规范 7页

人体跖骨疲劳强度实验研究与骨折断口分析 2页

亭下水库伪鱼腥藻昼夜垂直变化初步研究 2页

产L-白氨酸突变株的选育及发酵条件的研究 2页

法律顾问合作合同书范本 6页

交互效应面板数据模型的理论与应用研究 2页

油工劳务分包合同五份样本 7页

井式电阻炉炉口溢气损失的理论计算方法探讨 2页

井下作业小修填砂施工技术的研究与应用探究 2页

五十铃N系列轻型载货汽车充电指示电路故障浅析.. 2页

云锡井下氡析出的特征和控制方法 2页

云南鹤庆新华村生态环境设计研究 2页

云南省七个少数民族的肤纹参数及聚类分析 2页

云南农村低压电网电压质量分析与改进措施 2页