1 / 5
文档名称:

大数据时代的数据架构设计.docx

格式:docx   大小:31KB   页数:5页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

大数据时代的数据架构设计.docx

上传人:xiaobaizhua 2022/6/7 文件大小:31 KB

下载得到文件列表

大数据时代的数据架构设计.docx

文档介绍

文档介绍:大数据时代的数据架构设计
作者:张新宇 来源:《中国金融电脑》 2015年第8期
中国人寿股份有限公司研发中心 张新宇
数据湖的概念指出,数据无需加工整合,可直接堆积在平台上,由最终使用者按照自己的 需要进行数据处理。而数据仓库建设强 响。二是希望能够迅速跟上系统的变化,保持敏捷。两类要求都有其合理性,尽管并不是每个 应用的使用者都关心源应用系统的变化,但如果不对变化进行管理,对所有应用都会产生影响
时效性的不同要求
企业内部的不同应用,对时效性的要求也不尽相同。有些应用对数据有准实时性要求,如 业务监控类应用、实时营销类应用和事件侦测类应用等;有些应用对数据时效性要求为半日/ 隔日;有些应用旬和月度即可。针对不同的时效性要求,数据基础、数据加工的路径和采用的 技术也不相同。
随着企业数据应用的成熟度不断增加,数据时效性要求的差异也会越来越明显。数据架构 就是要随着要求的不断变化而进行调整。下文从技术角度分析需求差异对数据架构提出的要求 和带来的挑战。
二、两种数据架构设计
数据架构及其技术实现都是服务于数据使用需求的,而使用需求上的差异对于技术实现的 要求不同,需要采用各种变通的技术架构满足要求。本文重点分析不同数据使用要求对技术平 台的不同要求以及两种数据架构的适用场景。
固定、统一的要求需要层次化的数据架构
使用模式上,无论是固定报表还是各种形态的联机分析,从数据架构的角度看,都可以采 用层次化的数据架构满足要求。这种模式成本最低,基础数据和应用指标的一致性最好,以经 典三层架构设计为代表。
第一层为同源/ 贴源设计:这一层又称为“数据缓冲层”、“临时数据区”或“数据预处 理层”,在这一层中保留最为原始的数据。一些设计将部分数据清洗和格式化工作放在这一层 另一些设计不在该层进行哪怕最基本的数据清洗和格式化工作,目的是满足用户对数据清洗和 格式化的不同要求。对于半结构化数据,应用访问日志数据在第一层中是否需要格式化为关系 表的方式,在不同的实践中有不同的数理。而结构化数据,在从交易处理系统中被抽取出来后 不做任何转换直接保存在这一层中。
第二层为整合设计:包括多个数据来源的数据整合、代码转换和标准化、类型及格式的统 一和转换以及分类体系和业务实体的统一、建立来自不同系统的数据之间的关联关系等。整合 消除了多个数据源的不一致、为数据建立连接关系,形成了客户、交易、合同、产品等不同的 数据主题,为后续的数据使用奠定基础。
第三层为面向应用主题的设计:通常在这一层中,建立起针对某些应用领域的分析指标和 体系。如面向营销和客户分析的各种类型的分析指标、客户特征和标签;面向风险的各种风险 指标;面向绩效管理的各种业务统计指标等。这一层更加注重统计指标的标准化,包括指标口 径和定义、指标的一致性等。
灵活、独立的要求需要扁平化的数据架构
层次化的数据架构尽管带来了诸多优势,但在面对灵活、独立的数据使用要求时,也带来 了一些问题。首先,数据整合带来了数据使用上的复杂性。其次,可能丢失信息。如在代码标 准化的过程中如果丢掉了原始代码,则可能造成信息丢失。而若保留原始代码,则会带来大量 的冗余。最后,整合的设计使得数据管理变得笨重,源系统变化,涉及整合规则、数据模型变 化以及大量的数据迁移,使得数据架构难以快速调整。
而数据湖的思路

最近更新

2025年度智慧社区管理系统合同拟定 8页

2025年度智慧社区建设与运营服务合同 9页

2025年度智慧物流业务承包合同 9页

2025年度智慧家居劳务外包安全保证协议 8页

2025年度智慧城市数据安全保障合同条款 8页

2025年度智慧城市建设项目买卖合同协议书 9页

2025年度智慧城市建设合同价与预算价监管协议.. 9页

2025年度智慧城市商业住房租赁合同书 8页

2025年度智慧停车场租赁合同及增值服务协议 8页

2025年度时尚饰品寄卖与品牌授权与推广合同 9页

2025年度时尚潮流产品广告宣传推广合同 9页

2025年度时尚休闲工装设计合同 8页

2025年度旅行社旅游安全应急预案服务协议 9页

2025年度旅游行业合同类别及对应薪资分配方案.. 8页

2025年度旅游研学旅行产品开发合作协议 9页

2025年度旅游分公司加盟推广服务合同 9页

2025年度旅游产业信息咨询服务合同 8页

2025年度新能源项目投资委托合同样本 9页

2025年度新能源项目临时用地土地复垦整治管理.. 9页

2025年度新能源车用电池研发合同转让协议书 9页

2025年度新能源研发团队员工劳动合同范本 7页

2025年度新能源电池区域总代理销售合同 9页

2025年度新能源汽车销售网络股东合作协议 9页

主业务流程设计方案 115页

2025年度新能源汽车合作持股与充电设施建设协.. 8页

2025年度新能源汽车充电站租赁经营合同 9页

2025年度新能源汽车产业借款投资协议 8页

2025年度新能源技术研发与应用三方合同 8页

2025年度新能源充电桩安装承包合同 9页

2025年度新能源储能专利申请代理全面服务合同.. 8页