文档介绍：数据仓库与数据挖掘讲座
同济大学经济与管理学院
黄立平教授
数据库技术的发展
收集和数据库创建( 20世纪60年代和更早)
-原始文件处理
数据库管理系统(20世纪70年代)
-层次、网状、关系数据库系统
-数据建模工具:实体-联系(E-R)模型等
-索引和数据组织技术
-查询语言:SQL 、用户界面:表单、报告等
-查询处理和查询优化、事务并发控制等
-联机事务处理(OLTP)
高级数据库系统( 80年代中期—现在)
-高级数据模型: 扩充关系、面向对象、对象-关系
-面向应用:空间的、时间的、多媒体的、主动的、科学的、知识库
数据仓库和数据挖掘(80年代后期—现在)
-数据仓库和OLAP技术
-数据挖掘和知识发现
基于Web的数据库系统(90年代—现在)
-基于XML的数据库系统
-Web 挖掘
数据库应用中存在的问题
“数据丰富,信息贫乏”。存储了大量数据的数据库变成了“数据坟墓”——难以再访问的数据档案;
在大型数据库中快速增长着海量数据,理解数据的含义已经远远超出了人的能力;
领导者的重要决策往往无法、及时获得信息,因为缺乏从海量数据中提取有价值知识的工具;若在当前运行的操作数据库中获取信息,则影响数据库的使用和性能。
海量数据要求强有力的数据分析工具
以前的专家系统依赖用户或某领域的专家人工地将知识输入知识库;这一过程常常有偏差和错误,并且耗时、费用高;
使用数据挖掘工具进行数据分析;可以发现重要的数据模式,对商务决策、知识库、科学和医学研究作出了巨大贡献;
数据和信息之间的差距,要求系统地开发数据挖掘工具,将沉寂的数据转换成宝贵的知识。
(4) 传统数据库使用OLTP联机事务处理方式,进行数据组织时考虑记录每一笔业务的情况;
数据仓库使用OLAP联机分析处理方式,进行数据分析处理,以主题为单位组织数据,例如:供应商、商品、顾客等。
(5) 面向主题的数据组织方式要求将数据组织成主题域,各主题域之间有明确的界限(独立性),在某一主题内的数据应该包括分析处理所要求的一切数据(完备性)。
集成的(integrated):
(1) 构造数据仓库是将多个不同的数据源,如关系数据库、一般文件和联机事务处理记录,集成在一起。
(2) 将多个系统的数据进行计算和整理,保证DW的数据是关于整个系统的、一致的、全局的。
使用数据清理和数据集成技术,确保命名约定、编码结构、属性等的数据结构一致性。
保证各数据源中数据的一致性。
不更新的(nonvolatile):
(1)访问数据仓库主要是两种方式:数据的插入和查询。修改和删除操作很少。
(2) DW的数据与操作环境下的应用数据分开存放。因此,数据仓库不需要在操作环境下事务处理、恢复和并发控制等机制。