1 / 5
文档名称:

大数据时代的数据架构设计.docx

格式:docx   大小:31KB   页数:5页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

大数据时代的数据架构设计.docx

上传人:xiaobaizhua 2022/6/7 文件大小:31 KB

下载得到文件列表

大数据时代的数据架构设计.docx

文档介绍

文档介绍:大数据时代的数据架构设计
作者:张新宇 来源:《中国金融电脑》 2015年第8期
中国人寿股份有限公司研发中心 张新宇
数据湖的概念指出,数据无需加工整合,可直接堆积在平台上,由最终使用者按照自己的 需要进行数据处理。而数据仓库建设强 响。二是希望能够迅速跟上系统的变化,保持敏捷。两类要求都有其合理性,尽管并不是每个 应用的使用者都关心源应用系统的变化,但如果不对变化进行管理,对所有应用都会产生影响
时效性的不同要求
企业内部的不同应用,对时效性的要求也不尽相同。有些应用对数据有准实时性要求,如 业务监控类应用、实时营销类应用和事件侦测类应用等;有些应用对数据时效性要求为半日/ 隔日;有些应用旬和月度即可。针对不同的时效性要求,数据基础、数据加工的路径和采用的 技术也不相同。
随着企业数据应用的成熟度不断增加,数据时效性要求的差异也会越来越明显。数据架构 就是要随着要求的不断变化而进行调整。下文从技术角度分析需求差异对数据架构提出的要求 和带来的挑战。
二、两种数据架构设计
数据架构及其技术实现都是服务于数据使用需求的,而使用需求上的差异对于技术实现的 要求不同,需要采用各种变通的技术架构满足要求。本文重点分析不同数据使用要求对技术平 台的不同要求以及两种数据架构的适用场景。
固定、统一的要求需要层次化的数据架构
使用模式上,无论是固定报表还是各种形态的联机分析,从数据架构的角度看,都可以采 用层次化的数据架构满足要求。这种模式成本最低,基础数据和应用指标的一致性最好,以经 典三层架构设计为代表。
第一层为同源/ 贴源设计:这一层又称为“数据缓冲层”、“临时数据区”或“数据预处 理层”,在这一层中保留最为原始的数据。一些设计将部分数据清洗和格式化工作放在这一层 另一些设计不在该层进行哪怕最基本的数据清洗和格式化工作,目的是满足用户对数据清洗和 格式化的不同要求。对于半结构化数据,应用访问日志数据在第一层中是否需要格式化为关系 表的方式,在不同的实践中有不同的数理。而结构化数据,在从交易处理系统中被抽取出来后 不做任何转换直接保存在这一层中。
第二层为整合设计:包括多个数据来源的数据整合、代码转换和标准化、类型及格式的统 一和转换以及分类体系和业务实体的统一、建立来自不同系统的数据之间的关联关系等。整合 消除了多个数据源的不一致、为数据建立连接关系,形成了客户、交易、合同、产品等不同的 数据主题,为后续的数据使用奠定基础。
第三层为面向应用主题的设计:通常在这一层中,建立起针对某些应用领域的分析指标和 体系。如面向营销和客户分析的各种类型的分析指标、客户特征和标签;面向风险的各种风险 指标;面向绩效管理的各种业务统计指标等。这一层更加注重统计指标的标准化,包括指标口 径和定义、指标的一致性等。
灵活、独立的要求需要扁平化的数据架构
层次化的数据架构尽管带来了诸多优势,但在面对灵活、独立的数据使用要求时,也带来 了一些问题。首先,数据整合带来了数据使用上的复杂性。其次,可能丢失信息。如在代码标 准化的过程中如果丢掉了原始代码,则可能造成信息丢失。而若保留原始代码,则会带来大量 的冗余。最后,整合的设计使得数据管理变得笨重,源系统变化,涉及整合规则、数据模型变 化以及大量的数据迁移,使得数据架构难以快速调整。
而数据湖的思路

最近更新

二零二五年度上海市精装房购买预售合同 8页

2025年怎么写阿甘正传的感受 10页

烟酸缓释片与常规药物治疗效果的对比研究-全面.. 28页

二零二五年度XX饮料加工厂生产线及品牌使用权.. 9页

二零二五年婚前婚内财产权益保障与婚姻稳定协.. 7页

2025年怎么做语文阅读题目 7页

2025年快递文员辞职报告范文 5页

示范性城市户口职工劳动合同 6页

2025年快乐的暑假我做主作文范文篇 14页

个人车位出租2025年度标准合同范本 7页

个人外墙施工噪音控制与环境保护协议 9页

2025年快乐暑假800字5篇 9页

矿产销售合同 6页

2025年股权代持代持股协议律师专业审查合同 8页

2025年度高端食品加工代加工及品牌授权合同 9页

2025年闭经多囊卵巢综合症治疗攻略 49页

2025年度高空吊装作业风险控制合同范文 9页

短期兼职劳动合同 6页

2025年心情低落的网名文艺 形容心情低落的网名.. 4页

2025年德育教育工作总结报告 19页

2025年微波炉的使用方法是怎样的 3页

畜牧养殖合作借款合同 5页

2025年律师实习个人总结范本 14页

2025年往年高考语文作文优秀作文 27页

电影行业战略合作与发行合同意向书2025 6页

2025年形容秋的诗句 7页

2025年形容伤感思念的句子 9页

2025年大学中国新能源电动汽车消费者调研报告.. 24页

艺术舞蹈老师简历模板 1页

煤炭资源地质勘查设计编写提纲 14页