文档介绍:数据治理平台技术方案(图文)
2020-01-0712:29|人气:942分享至:收藏
本文目录:
一、大数据时代还需要数据治理吗?
二、如何面向用户开展大数据治理?
三、面向用户的自服务大数据治理架构
四、总结
一、大数据时可用、数据关联弱
数据不可知
数据不可控
数据不可取
数据不可联
通过分析以上四类问题,我们发现传统数据平台面临的问题,在大数据时代不仅没有消失,还不断涌现出新的问题,传统的数据治理需要提升能力,来解决大数据平台建设过程中的这些问题。
在传统数据平台阶段,数据治理的目标主要是做管控,为数据部门建立一个的治理工作环境,包括标准、质量等。在大数据平台阶段,用户对数据的需求持续增长,用户范围从数据部门扩展到全企业,数据治理不能再只是面向数据部门了,需要成为面向全企业用户的工作环境,需要以全企业用户为中心,从给用户提供服务的角度,管理好数据的同时为用户提供自助获得大数据的能力,帮助企业完成数字化转型。
大数据治理平台
回al
报表交榴;
:电子丢格报告
非结构化数据1
I
业务与技术映射
数据理
lr
11
数据库表结构
技术元数据库
数据转换规则
11
用户访问权限
数据历史记录
技术元数据
采集
自动映射和关联
业努应兩
箔(
自助媚转换
二、如何面向用户开展大数据治理?
面向用户的大数据治理实践案例
很多企业经过一段时间的摸索,已经看到了用户对大数据治理的这种需求,大数据治理也持续在各行业的大数据平台建设中得到关注。
重庆市人民政府
政府行业
E国•天津
国家电网
StateGrid
电力行业
大数据治理
电信行业
保险行业
太平洋保险
CPIC
OENN新驰
能源行业
CDil®集团
航空行业
吞华夏银行
HUAXIABANK
兴业银行
INl>*1V.
国家开发银行
CHINAl)l:VE!OPMIATBANK
.—iMM一
....硼
在我参与过的项目中给大家举个例子。国家电网在大数据平台的建设中就非常重视大数据治理的建设,也取得了很多成绩,普元主导了国家电网在浙江电力公司的数据治理建设试点。
我们融合国网数据管理服务平台、浙江公司数据管理平台等国网公司现有的数据管理工具建设成果,以元数据为基础,实现了贯穿数据设计、产生、存储、迁移、使用、归档等环节的数据全生命周期管理,以及数据从源端到数据中心,再到应用端的全过程的管理,做到了以用户为中心,通过大数据治理,为用户提供了更便捷、更灵活、更准确地获得企业大数据资产的能力。
数据全生命周期管理数据全过程管理
♦统一教据规范和数据定义
♦打通业势模型与技术模型
♦提升数据质最
♦挖掘企业数据资产价值
♦帮助业务人员更便捷、灵活
地使用数据
浙江电力的大数据治理的起点是先以元数据为基础,构建数据资产管理体系。从用户的视角说明白企业数据有哪些,哪些用户能够使用。在浙江电力的数据资产定义过程中,我们选择了贴近业务用户的数据分类方案,梳理和识别企业运营数据资源。
业务指标、流理明细
第一级:皐于数据使用
.分析明细数皓
第二级:基于业第狂
第三级:基于业箝捉作翹
碁考数堀交易数据和元数据
如财务、、交易等
数据资产分类体系为毎一个基础系类的散据提供制定管理策略(包括凑員标准、监控方法、核查机制等)的基准
基于数据分类确定
SMS资产刚古结果
・评估对象*评估依垢•评估内容•综合质塗
第四级:皐于
数据共享程度
全同数璃、共享散据、
专有数据
系统专有部门内共拿
基于评估结果确定
第五级:基于
采集数虽系统数据、
采集数据系统生***工输入
沪生方式
人工数据、衍生
数据资产管理策略
和公共代码
基于数据分类体系定义数据管
理标准和管理方法
加辩!J
B
•质虽标准•监控方法
•核直机制•考核原则
我们又基于第一步形成的数据分类管理体系框架,梳理、整合各级各类数据资源,建立了数据资产树,按照不同数据细类制定相应的工作模板,对指标数据