文档介绍：自动化前沿
第四讲数据挖掘技术及其应用
宋执环
浙江大学工业控制研究所
控制科学与工程学系研究生课程
工业控制技术研究所
主要内容
数据挖掘概述
数据预处理
数据挖掘算法-分类与预测
数据挖掘算法-聚类
数据挖掘算法-关联分析
序列模式挖掘
数据挖掘软件
数据挖掘应用
工业控制技术研究所
一、数据挖掘概述
工业控制技术研究所
数据挖掘概念
数据挖掘--从大量数据中寻找其规律的技术,是统计学、数据库技术和人工智能技术的综合。
数据挖掘是从数据中自动地抽取模式、关联、变化、异常和有意义的结构;
数据挖掘大部分的价值在于利用数据挖掘技术改善预测模型。
数据挖掘与KDD
工业控制技术研究所
数据挖掘与KDD
知识发现(KD)
输出的是规则
数据挖掘(DM)
输出的是模型
共同点
两种方法输入的都是学****集(learning sets)
目的都是尽可能多的自动化数据挖掘过程
数据挖掘过程并不能完全自动化,只能半自动化
工业控制技术研究所
数据挖掘的社会需求
国民经济和社会的信息化
社会信息化后,社会的运转是软件的运转
社会信息化后,社会的历史是数据的历史
工业控制技术研究所
数据挖掘的社会需求
数据挖掘
数据库越来越大
有价值的知识
可怕的数据
工业控制技术研究所
数据挖掘的社会需求
数据爆炸,知识贫乏
苦恼: 淹没在数据中; 不能制定合适的决策!
数据
知识
决策
模式
趋势
事实
关系
模型
关联规则
序列
目标市场
资金分配
贸易选择
在哪儿做广告
销售的地理位置
金融
经济
政府
POS.
人口统计
生命周期
工业控制技术研究所
数据挖掘的发展
1989 IJCAI会议: 数据库中的知识发现讨论专题
Knowledge Discovery in Databases (G. Piatetsky-Shapiro and W. Frawley, 1991)
1991-1994 KDD讨论专题
Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, 1996)
1995-1998 KDD国际会议(KDD’95-98)
Journal of Data Mining and Knowledge Discovery (1997)
1998 ACM SIGKDD, SIGKDD’1999-2002 会议,以及SIGKDD Explorations
数据挖掘方面更多的国际会议
PAKDD, PKDD, SIAM-Data Mining, (IEEE) ICDM, DaWaK, SPIE-DM, etc.
工业控制技术研究所
数据挖掘技术
技术分类
预言(Predication):用历史预测未来
描述(Description):了解数据中潜在的规律
数据挖掘技术
关联分析
序列模式
分类(预言)
聚集
异常检测
工业控制技术研究所