文档介绍：第13章数据挖掘
数据挖掘概述
数据挖掘的基本类型和算法
智能决策与物联网
本章内容
数据挖掘概述
数据挖掘
从大量数据中获取潜在有用的并且可以被人们理解的模式的过程
反复迭代的人机意义
发现信用卡诈骗。通过检测购物地点、商品种类或者购物金额和频率，能够发现与绝大多数正常消费不一样的记录，这种行为就有可能属于信用卡诈骗性使用
预防网络诈骗。在网络销售的时候，诈骗者往往冒充商家，出售报价比正常价格低出许多的商品，这样的行为也是可以通过离群点分析被找到的
离群点分析
寻找离群点的方法
基于统计的方法：需要事先已知数据的分布或概率模型(例如一个正态分布)，然后根据数据点与该模型的不一致性检验来确定离群点
基于距离的方法：不需要数据模型，而是将那些没有足够邻居的数据对象看作是离群点，这里的邻居是基于距给定对象的距离来定义的。现有的基于距离的离群点探测算法又分为基于索引的算法，嵌套循环算法和基于单元的算法，其目的都是为了减小计算和I/O开销
基于偏移的方法：不采用统计检验或基于距离的度量值来确定异常对象。相反，它通过检查数据对象的一组主要特征来确定离群点。偏离事先给出的特征描述的数据对象被认为是离群点
分类和预测
分类和预测是找出描述和区分不同数据类或概念的模型或函数，以便能够使用模型预测数据类或标记未知的对象
所获得的分类模型可以采用多种形式加以描述输出
分类规则
判定树
数学公式
神经网络
…
分类与预测的区别：分类通常指预测数据对象属于哪一类，而当被预测的值是数值数据时，通常称为预测
分类和预测
以判定树为例，简要介绍分类的基本步骤和结果表示
问题实例：假定商场需要向潜在的客户邮寄新产品资料和促销信息。客户数据库描述的客户属性包括姓名、年龄、收入、职业和信用记录。
我们可以按是否会在商场购买计算机将客户分为两类，只将促销材料邮寄给那些会购买计算机的客户，从而降低成本。
分类和预测
用于预测客户是否可能购买计算机的判定树，其中每个非树叶节点表示一个属性上的测试，每个树叶节点代表预测结果
分类和预测
如何构造上述判定树？
基本概念：n个客户中有a个购买了计算机的期望信息
建立树节点时，选取合适的判定属性，以最大化期望信息增益应
某种属性上的信息增益大小反映了该属性区分给定数据的的能力强弱
10条客户记录，其中6人购买了计算机，4人没有购买。这10位客户中有3人的职业是学生，其中有2人购买计算机，而非学生客户购买计算机的有4人。在选择区分属性以前，数据的期望信息为 ，用职业区分之后的期望信息为 ，则选择职业作为区分属性的信息增益为
演化分析
演化分析是挖掘随时间变化的数据对象的变化规律和趋势，并对其建模，进而为相关决策提供参考
演化分析的应用
对股票的演化分析可以得出整个股票市场和特定的公司的股票变化规律，为投资者决策提供帮助
对生态和气候的演化分析可以知道人类活动对自然的影响程度，为环境保护提供重要依据
…
演化分析
与时间相关的数据分析方法
趋势分析：确定趋势的常见方法是计算数据n阶的变化平均值，或者采用最小二乘法等方法平滑数据变化曲线
相似搜索：相似搜索用于找出与给定序列最接近的数据序列
序列模式挖掘：挖掘相对时间或其它维属性出现频率高的模式
周期分析：挖掘具有周期的模式或者关联规则，例如“若每周六公司的下班时间比平时晚半小时以上，则选择打车回家的人数大约增加20%”
数据挖掘概述
数据挖掘的基本类型和算法
智能决策与物联网
本章内容
智能决策与物联网
数据挖掘技术在物联网中的需求
精准农业
市场营销
智能家居
金融安全
产品制造和质量监控
互联网用户行为分析
…
精准农业
通过植入土壤或暴露在空气中的传感器监控土壤性状和环境状况
数据通过物联网传输到远程控制中心，可及时查清当前农作物的生长环境现状和变化趋势，确定农作物的生产目标
通过数据挖掘，得到环境温度湿度和土壤各项参数等因素是如何影响农作物产量的，如何调节它们才能够最大限度地提高农作物产量
市场营销
利用数据挖掘技术通过对用户数据的分析，得到关于顾客购物取向和兴趣的信息，从而为商业决策提供依据
数据库分析
通过交互式查询、数据分割和模型预测等方法来选择潜在的顾客以便向它们推销产品
预测采用何种销售渠道和优惠条件，使得用户最有可能被打动
货篮分析
通过分析市场销售数据(例如POS数据库)来发现顾客的购买行为模式
智能家居
以获取天气信息为例：一方面，智能设备随时关注气象信