文档介绍：数据仓库与数据挖掘
中国科学技术大学商学院
课程内容简介: 第一部分:数据仓库技术
数据仓库概念
数据仓库设计
操作数据存储
多维数据模型
联机分析处理
2
课程内容简介: 第二部分:数据挖掘概念与技术
数据挖掘概念
概念描述
关联规则
分类和预测
聚类分析
数据挖掘应用实例
3
第一章数据仓库技术概述
数据库到数据仓库
数据仓库的概念和特征
数据仓库中的数据组织
数据库体系化环境
4
传统的数据环境:以数据库为中心,数据资源组织方式单一。
数据处理不断有新需求,从事务处理,批处理到决策分析等,且不同类型的数据处理有不同的处理特点。
人们认识到:当数据处理方式发生变化,而数据组织方式并没有改变时,就会出现数据处理方式和数据环境不相适应,从而使得数据处理不能获得理想的结果。
结论:以单一的数据组织方式进行组织的数据库,不能满足数据处理多样化的要求,数据仓库技术应运而生。
从数据库到数据仓库
5
从数据库到数据仓库
数据处理具有多层次的特点,可分为两大类:
操作型处理
对数据库联机的日常操作,通常是对一个或一组记录的查询或修改,主要为企业的特定应用服务。它采用实时或在线的方式处理数据库,人们关心的是响应时间,数据的安全性和完整性。
6
从数据库到数据仓库
分析型处理
用于管理人员的决策分析,经常要访问大量的历史数据,而很少对数据库进行写操作,除非对数据库进行更新或装入时。人们希望从中获得跟公司经营效益紧密相关的信息。
两种不同类型的数据处理存在巨大差异,从应用的对象到数据的结构、内容和用法都不相同。
具体表现在:
7
从数据库到数据仓库
(1)事务处理和分析处理的性能特征不同
事务处理环境:用户的行为特点是数据的存取操作频率高,而每次操作处理的时间短。因此系统可以允许多个用户按分时方式使用系统资源,同时保持较短的响应时间。
分析处理环境:用户的行为模式与上面完全不同,一个分析处理程序可能要连续运行几个小时,从而消耗大量系统资源。
8
从数据库到数据仓库
【例】
在OLTP 系统中,事务的吞吐量比率通常使用每秒钟完成的数据处理数TPS或TPM 来表示。
在DSS 中,吞吐量通常用每小时处理的查询数QPH 来表示。这些查询数量庞大,在它完成前,占用绝大部分机器资源。
一个OLTP 系统即使很大,也不过300GB左右,而一个大型DSS 的规模可以轻易达到1TB 。(1TB=1000GB)
9
从数据库到数据仓库
(2)数据集成问题
事务处理:目的在于使业务处理自动化,一般只需要与本部门业务相关的当前数据,而对整个企业范围内的集成应用考虑很少。
分析处理:需要集成的数据,不仅需要整个企业内部各部门的相关数据,还需要企业外部、竞争对手等处的相关数据。
10