文档介绍：数据中台介绍数据中台的概念由阿里巴巴首次提出,它是一个承接技术,引领业务,构建规范定义的、全域可连接萃取的、智慧的数据处理平台,建设目标是为了高效满足前台数据分析和应用的需求。数据中台是涵盖了数据资产、数据治理、数据模型、垂直数据中心、全域数据中心、萃取数据中心、数据服务等多个层次的体系化建设方法。数据中台概念数据服务化数据中台是培育业务创新的土壤,是利用数据促进业务创新的保障数据标准化“书同文,车同轨”,避免了“重复数据抽取和维护带来的成本浪费”数据智能化通过大量智慧算法训练数据细胞,形成数据大脑,产生智慧的力量,预先洞察未来数据资产化数据不断的在补充,数据模型不断的进化,只有在滋养中才能从最初的字段单一到逐渐成长为企业最为宝贵的模型资产数据中台的内核包括两方面:一个是应用数据的技术能力,另一个是数据资产的管理。数据中台概念全流程一体化从数据采集到数据服务全链路通向上多样化赋能场景通用产品+行业产品+专享产品向下屏蔽多计算引擎公共云+专有云+混合云双向联动业务与产品&技术协同互助OneDataOneIDOneService数据标准化数据规范定义从业务源头标准化技术内核工具化规范定义、建模研发、调度运维、…元数据驱动智能化半自动化>智能化规划计算和存储技术驱动数据连接基于超强ID识别技术连接数据技术内核工具化超强ID识别、高效标签生产、…业务驱动价值化孤岛>高质量>高价值主题式数据服务主题逻辑表屏蔽复杂物理表统一但多样化数据服务一般查询+OLAP分析+在线服务跨源数据服务屏蔽多种异构数据源数据中台建设方法高内聚和低耦合主要从数据业务特性和访问特性两个角度来考虑:将业务相近或者相关的数据、粒度相同数据设计为一个逻辑或者物理模型;将高概率同时访问的数据放一起,将低概率同时访问的数据分开存储。数据可回滚处理逻辑不变,在不同时间多次运行数据结果确定不变。核心模型与扩展模型分离建立核心模型与扩展模型体系,核心模型包括的字段支持常用核心的业务,扩展模型包括的字段支持个性化或是少量的应用的需要,不能让扩展字段过度侵入核心模型,破坏了核心模型的架构简洁性与可维护性。公共处理逻辑下沉及单一越是底层公用的处理逻辑更应该在数据调度依赖的底层进行封装与实现,不要让公共的处理逻辑暴露给应用层实现,不要让公共逻辑在多处同时存在。成本与性能平衡适当的数据冗余换取查询和刷新性能,不宜过度冗余与数据复制。开发过程规则表命名需清晰、一致,表名需易于消费者理解和使用,相同的字段含义在不同表中字段命名必须相同,必须使用规范定义表中的名称。数据中台设计原则规范定义是指以维度建模作为理论基础,构建总线矩阵,划分和定义数据域、业务过程、维度、度量/原子指标、修饰类型、修饰词、时间周期、衍生指标等。一般指标组成体系可以划分为:原子指标、衍生指标、修饰类型、修饰词、时间周期。原子指标时间周期修饰词衍生指标修饰类型数据规范定义设计数据地图管理,是对整个数据中台内的数据进行统一查询、管理的“地图”,数据地图主要面向数据开发者,汇聚用户所有数据信息,通过元数据信息收集、数据血缘探查、数据权限申请授权等手段,帮助数据中心专有云完成数据信息的收集和管理,解决"有哪些数据可用"、"到哪里可以找到数据"的难题,并且提升数据资源的利用率。基本管理自动探查平台内存在的表信息,记录表名、字段、分区、存储等信息,同时支持