文档介绍：数据库技术数据挖掘
2012年4月北京
内容提要
基本概念
主要算法和功能
应用和数据库营销
2/2/2018
数据库技术
2
工业控制技术研究所
数据挖掘概念
数据挖掘--从大量数据中寻找其规律的技术,是统计学、数据库技术和人工智能技术的综合。
数据挖掘是从数据中自动地抽取模式、关联、变化、异常和有意义的结构;
数据挖掘大部分的价值在于利用数据挖掘技术改善预测模型。
工业控制技术研究所
数据挖掘与KDD
知识发现(KD)
输出的是规则
数据挖掘(DM)
输出的是模型
共同点
两种方法输入的都是学****集(learning sets)
目的都是尽可能多的自动化数据挖掘过程
数据挖掘过程并不能完全自动化,只能半自动化
工业控制技术研究所
数据挖掘的社会需求
国民经济和社会的信息化
社会信息化后,社会的运转是软件的运转
社会信息化后,社会的历史是数据的历史
工业控制技术研究所
数据挖掘的社会需求
数据挖掘
数据库越来越大
有价值的知识
可怕的数据
工业控制技术研究所
数据挖掘的社会需求
数据爆炸,知识贫乏
苦恼: 淹没在数据中; 不能制定合适的决策!
数据
知识
决策
模式
趋势
事实
关系
模型
关联规则
序列
目标市场
资金分配
贸易选择
在哪儿做广告
销售的地理位置
金融
经济
政府
POS.
人口统计
生命周期
工业控制技术研究所
数据挖掘技术
技术分类
预言(Predication):用历史预测未来
描述(Description):了解数据中潜在的规律
数据挖掘技术
关联分析
序列模式
分类(预言)
聚集
异常检测
工业控制技术研究所
异常检测
异常检测是数据挖掘中一个重要方面,用来发现”小的模式”(相对于聚类),即数据集中间显著不同于其它数据的对象。
异常探测应用
电信和信用卡欺骗
贷款审批
药物研究
气象预报
金融领域
客户分类
网络入侵检测
故障检测与诊断等
工业控制技术研究所
什么是异常(outlier)?
Hawkins(1980)给出了异常的本质性的定义:异常是在数据集中与众不同的数据,使人怀疑这些数据并非随机偏差,而是产生于完全不同的机制。
聚类算法对异常的定义:异常是聚类嵌于其中的背景噪声。
异常检测算法对异常的定义:异常是既不属于聚类也不属于背景噪声的点。他们的行为与正常的行为有很大不同。