文档介绍：数据仓库基础知识
安徽国税信息中心赵为民
数据仓库基本概念
数据仓库技术产生的背景
什么是数据仓库技术
数据仓库技术组成
数据参考参考架构
数据仓库的建设步骤
信息技术发展的几个阶段
1960s:数据采集、数据库创建阶段
集中于原始文件的处理
层次数据库和网状数据库
1970s:关系数据库系统
关系数据模型和关系数据库管理系统
E-R模型、sql语言、查询处理和优化、OLTP(恢复和并发技术)
1980s:高级数据库管理系统
面向对象数据库、对象-关系数据库、主动数据库、空间数据库等
数据挖掘技术
1990s:数据仓库、联机分析处理和数据挖掘
数据仓库、联机分析处理和数据挖掘、多媒体数据库、web数据库
现有数据库系统分析
on-line transaction processing联机事务处理系统(OLTP)也称为面向交易的处理系统
基本要求是顾客的原始数据可以立即传送到主机进行处理,并在很短的时间内给出处理结果。这样做的最大优点是可以即时地处理输入的数据,及时地回答。也称为实时系统(Real time System)。
衡量的重要性能指标是系统性能,具体体现为实时响应时间(Response Time),即用户在终端上送入数据之后,到计算机对这个请求给出答复所需要的时间。
主要支持如下业务:
一笔存款(一张存款单)
一笔转帐(一张转帐单)
一笔登记信息(一张登记信息表)
现有数据库系统分析
OLTP 数据库旨在使事务应用程序仅写入所需的数据,以便尽快处理单个事务。OLTP 数据库通常具有以下特征:支持大量并发用户定期添加和修改数据。反映随时变化的单位状态,但不保存其历史记录。包含大量数据,其中包括用于验证事务的大量数据。具有复杂的结构。可以进行优化以对事务活动做出响应。提供用于支持单位日常运营的技术基础结构。个别事务能够很快地完成,并且只需访问相对较少的数据。OLTP 系统旨在处理同时输入的成百上千的事务。
税务信息化建设现状
在数据库技术的支持下,一大批成熟的业务信息系统投入运行,为税务发展作出了巨大贡献
各类信息系统大多属于面向事务处理的OLTP系统
信息系统多年运行,积累了大量的数据
数据是一种宝贵的资源,但没有充分发挥作用
管理决策层对数据分析基础平台的需求日益强烈
数据仓库基本概念
数据仓库技术产生的背景
什么是数据仓库技术
数据仓库技术组成
数据仓库参考架构
数据仓库的建设步骤
什么是数据仓库
数据仓库是作为决策支持系统(DSS)服务基础的分析型数据库,它用来存放大容量的只读数据,为制定决策提供所需的信息。
数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。--bill inmon
数据仓库的特点
面向主题
操作型数据库的数据组织面向事务处理任务,各个业务系统之间各自分离,而数据仓库中的数据是按照一定的主题域进行组织的。
集成的
数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的,必须消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。
相对稳定的
数据仓库的数据主要供企业决策分析之用,所涉及的数据操作主要是数据查询,一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期的加载、刷新。
反映历史变化
数据仓库中的数据通常包含历史信息,系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息,通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测。
数据仓库是完全不同的数据库系统
OLTP系统
数据仓库/决策分析系统
金税二期
CTAIS
办公自动化
出口退税
财务系统
高度
汇总数据
轻度
汇总数据
当前
详细数据
过去
详细数据
分析型CRM
业务指标分析
数据集市
5-10 年