数据挖掘算法及软件介绍.ppt

文档介绍：数据挖掘算法及软件介绍
第一页，共46页
Page *
主要内容
一、数据挖掘概念及流程
二、数据挖掘方法分类介绍
二-1、分类算法及案例
二-2、聚类分析及案例
二-3、关联规则及案例
二-4、时间序列分析及案例
二-5、回归分析及案例
二-6、异常分析及案例
二-7、文本挖掘
二-8、推荐系统
三、常用数据挖掘软件介绍
四：数据挖掘和分析应避免的误区误区
第二页，共46页
Page *
一、数据挖掘概念及流程
数据挖掘（Data Mining）就是对观测到的数据集（经常是庞大的、不完全的、有噪声的、模糊的、随机的）进行分析，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识，目的是发现未知的关系和以数据拥有者可以理解并对其有价值的新颖方式来总结数据。
第三页，共46页
数据清理筛选
数据
目标数据
预处理及变换
变换后的数据
数据挖掘
解释/评估
一、数据挖掘概念及流程
Page *
第四页，共46页
二：数据挖掘方法分类介绍
数据挖掘
聚类分析
预测
K-means
K-中心点算法
分类分析
KNN算法
Bayes算法
时间序列
统计回归
分类算法
决策树
神经网络
相关性分析
回归分析
关联规则
Apriori算法
线性回归
逻辑回归
序列模式挖掘
异常分析
非时间序列
SLIQ

CART
CHAID
概率回归
统计分析
方差、极差、偏度等统计特征值
异常点分析
Page *
时间序列
决策树算法
第五页，共46页
Page *
挖掘模式
预测型(Predictive)
描述型(Descriptive)
实际功能分为以下几种模式：
分类：对没有分类的数据进行分类；
预测：用历史来预测未来；
关联分析：关联规则；
聚类：物以类聚；
序列模式：在多个数据序列中发现共同的行为模式;
异常分析：从数据分析中发现异常情况。
文本数据挖掘：从大量文字中寻找共性进行分析。
二：数据挖掘方法分类介绍
第六页，共46页
Page *
二-1：分类算法及案例分析
分类：
预测种类字段
基于训练集形成一个模型，训练集中的类标签是已知的。使用该模型对新的数据进行分类
预测:
对连续性字段进行建模和预测。
典型应用
信用评分
Direct Marketing
医疗诊断
性用卡欺诈判断
第七页，共46页
客户ID
年龄
学历
是否有房
是否结婚
变量5
变量6
变量7
……
是否欺诈
训练
数据
1
19
中专
无
1
1
2
30
大学
有
0
0
3
28
高中
有
0
1
测试
数据
4
40
大学
有
1
0
5
18
中专
无
1
1
6
33
大学
无
1
1
客户ID
年龄
学历
是否有房
是否结婚
变量5
变量6
变量7
……
是否欺诈
需要判断的新数据
7
27
高中
有
0
？
8
48
高中
无
1
？
9
34
大学
有
1
？
需要的历史数据表
需要判断的新业务数据表
结论：可以得出ID为7的客户卡属于欺诈的可能性为90%，ID为8和9的客户不是欺诈的可能性为95%。
二-1：分类算法及案例分析
Page *
第八页，共46页
二-1：分类算法及案例分析
Page*
年龄
overcast
学历?
是否结婚?
0
1
0
1
18<=22
30-35
1
0
0
1
0
23-30
决策树
第九页，共46页
结论规则:
第一类: 年龄在18-35岁之间，学历是高中，还没有住房的人群,可能发生信用卡欺诈的概率是97%.
第二类: 年龄在23-45岁之间，学历是本科，有住房的人群,可能发生信用卡欺诈的概率是1%.
第三类: 年龄在30-55岁之间，学历是小学，无住房的人群,可能发生信用卡欺诈的概率是80%.

根据规则去执行相应的措施和政策方针:
一: 第一类和第三类人群,不通过信用