文档介绍：第6章 数据挖掘的基本概念与常用方法
从OLTP到数据挖掘
联机分析处理(OLAP)
数据挖掘的基本概念
数据挖掘过程
数据挖掘的常用方法
数据挖掘的类型
1
从OLTP到数据挖掘
数据库应用的规模和深度
点线面互联网
在线分析处理(OLAP) 在线事务处理决策支持(DS)
(OLTP) 数据挖掘(Data Mining)
2
事务型处理与分析型处理
事务型处理:即操作型处理,是指对数据库的联机操作处理。事务型处理是用来协助企业对响应事件或事务的日常商务活动进行处理。它是事件驱动、面向应用的,通常是对一个或一组纪录的增、删、改以及简单查询等。事务型处理的应用程序和数据是紧紧围绕着所管理的事件来构造的。在事务型处理环境中,数据库要求能支持日常事务中的大量事务,用户对数据的存取操作频率高而每次操作处理的时间短。
3
分析型处理
分析型处理:用于管理人员的决策分析,例如DSS、 EIS、和多维分析等。它帮助决策者分析数据以察看趋向、判断问题。分析型处理经常要访问大量的历史数据,支持复杂的查询。在分析型处理中,并不是对从事务型处理环境中得到的细节数据进行分析。细节数据量太大,会严重影响分析的效率,而且太多的细节数据不利于分析人员将注意力集中于有用的信息。分析型处理过程中经常用到外部数据,这部分数据不是由事务型处理系统产生的,而是来自于其他外部数据源。
4
事务型处理数据和分析型处理数据的区别
事务型处理数据分析型处理数据
细节的综合的,或提炼的
在存取瞬间是准确的代表过去的数据
可更新不可更新,只读的
操作需求事先可知道操作需求事先不知
生命周期符合SDLC 完全不同的生命周期
对性能要求高对性能要求宽松
一个时刻操作一个单元 一个时刻操作一个
事务驱动分析驱动
面向应用面向分析
一次操作数据量小一次操作数据量大
支持日常操作支持管理需求
5
数据库系统的局限性
E-R模型适于描述高度结构化的日常事务细节数据,而决策型数据多为历史性、汇总性或计算性数据,多表现为静态数据,不需直接更新,但可周期性刷新。
决策分析型数据是多维性,分析内容复杂。
在事务处理环境中,决策者可能并不关心具体的细节信息,在决策分析环境中,如果这些细节数据量太大一方面会严重影响分析效率,另一方面这些细节数据会分散决策者的注意力。
6
数据库系统的局限性
当事务型处理环境和分析型处理环境在同一个数据库系统中,事务型处理对数据的存取操作频率高,操作处理的时间短,而分析型处理可能需要连续运行几个小时,从而消耗大量的系统资源。
决策型分析数据的数据量大,这些数据有来自企业内部的,也有来自企业外部的。来自企业外部的数据又可能来自不同的数据库系统,在分析时如果直接对这些数据操作会造成分析的混乱。对于外部数据中的一些非结构化数据,数据库系统常常是无能为力的。
7
多库系统的限制
可用性:源站点或通信网络故障将导致系统瘫痪, 源站点不能通过网络在线联入多库系统;
响应速度:全局查询多级转换和通信传输, 延迟和低层效率影响响应速度;
系统性能: 总体性能取决于源站点中性能最低的系统, 影响系统性能的发挥;
系统开销:每次查询要启动多个局部系统, 通信和运行开销大
8
数据仓库系统的结构
最终用户
可视化工具
数据挖掘工具
多维分析工具
多维数据
数
据
仓
库
工
具
层
数
据
仓
库
层
9
数据仓库工具
查询型工具:对分析结果(发展趋势或模式总结)的查询简单的多维查询+查询报告工具+RBDMS
验证型工具:用户提出假设,利用各种工具,通过反复,递归的检索查询以验证或否定自己的假设,从数据仓库中发现事实
多维分析工具(OLAP):可为查询,报告,图形以及基本的多维操作提供接口
挖掘型工具:从大量数据中发现数据模式,预测趋势和行为的数据挖掘工具
10