文档介绍：数据集成之主数据管理(一)基础概念篇
数据集成是当下比较热门的话题,相关的产品和平台也越来越多。很多CIO都在各种数据集成平台和产品之间犹豫不决。因此对数据集成平台的框架体系有全面的理解,对各个厂家产品所提供的功能有深入的认识才能为数据平台选型的决策提供可靠的保证。
我有幸参与了台的设计工作,并主导了数据集成平台的需求分析和产品选型工作。这次工作中,研究了很多新的技术方向和产品,下面我主要讲一下数据集成领域的一种新兴的产品平台主数据管理平台MDM(Master Data Management)。
主数据的概念
首先介绍一下什么是主数据。这里借用其他网站的一个数据分类模型,我们可以看到有元数据(metadata),引用数据(Reference Data),主数据(Master Data),企业结构数据(Enterprise structure Data),交易活动数据(Transaction Activity Data),交易审计数据(Transaction Audit Data)这六大类数据。
简要解释一下这六大类的数据,关于这些数据分类的定义可以在网上很容易的找到。
元数据:数据的数据,平时我们设计表时,大部分属性字段就是元数据。比如,性别,国籍,出生省份等。这个是最接近自然意义的的数据。
引用数据:元数据的可能取值范围,我们设计表时所说的数据字典往往就是引用数据。比如,性别只能是男和女,男和女就是引用数据。国家的引用数据就是世界上这100多个国家和地区;
主数据:在我们数据库设计中最重要的一些实体,是由元数据和引用数据实例的集合。DMReview 专栏作家 Jane Griffin 将主数据定义为“...用于为核心业务实体创建和维护全企业‘记录系统’,以记录业务交易并评定这些实体的业绩所需的信息。”平时我们常碰到的客户信息,产品信息都属于主数据。对于主数据的介绍,我们会在后面详细展开说明。
企业结构化数据:企业业务中所需的数据实体 ,可能是多个主数据的集合。不同行业的结构化数据会有很大不同。
交易活动数据:主数据之间活动产生的数据。比如客户购买产品的交易记录就是交易活动数据,工厂生产产品,生产记录也是交易活动数据。
交易审计数据:我们对数据的所有活动都通过交易审计数据进行记录。比如我们对客户信息修改的操作,对交易的增加和删除操作,这些活动在很多关键系统(比如银行)都需要记录,以合符相应法规的要求(如 Basel II、萨班斯—奥克斯利法案)。
下图中数据模型中的蓝色越深代表语义相关性越强和数据质量越重要,而黄色越深代表数据的数据数量越多、更新的频率越快、实时抓取的数据越快、数据的生命越短。下图可以看到,元数据的数据语义性最强,几乎不更新,数据量最少,生命周期最长。
 
 
ues/20060401/1051002-
 
主数据是企业应用系统中最基本的业务单元,下面是一段英文的原文:Master Data are the fundamental business data in pany, typically long-lived and used across multiple applications。
Core Master Data are operational en