1 / 7
文档名称:

数据分析如何处理数据缺失问题.doc

格式:doc   大小:74KB   页数:7页
下载后只包含 1 个 DOC 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

数据分析如何处理数据缺失问题.doc

上传人:xxj165868 2017/5/15 文件大小:74 KB

下载得到文件列表

数据分析如何处理数据缺失问题.doc

文档介绍

文档介绍:数据分析如何处理数据缺失问题造成数据缺失的原因在各种实用的数据库中,属性值缺失的情况经常发全甚至是不可避免的。因此,在大多数情况下,信息系统是不完备的,或者说存在某种程度的不完备。造成数据缺失的原因是多方面的,主要可能有以下几种: 1)有些信息暂时无法获取。例如在医疗数据库中,并非所有病人的所有临床检验结果都能在给定的时间内得到,就致使一部分属性值空缺出来。又如在申请表数据中,对某些问题的反映依赖于对其他问题的回答。 2)有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写了或对数据理解错误而遗漏,也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障、一些人为因素等原因而丢失了。 3)有些对象的某个或某些属性是不可用的。也就是说,对于这个对象来说,该属性值是不存在的,如一个未婚者的配偶姓名、一个儿童的固定收入状况等。 4)有些信息(被认为)是不重要的。如一个属性的取值与给定语境是无关的,或训练数据库的设计者并不在乎某个属性的取值(称为 dont-care value )。 5)获取这些信息的代价太大。 6)系统实时性能要求较高,即要求得到这些信息前迅速做出判断或决策。处理数据缺失的机制在对缺失数据进行处理前,了解数据缺失的机制和形式是十分必要的。将数据集中不含缺失值的变量(属性)称为完全变量,数据集中含有缺失值的变量称为不完全变量,Little 和Rubin 定义了以下三种不同的数据缺失机制: 1)完全随机缺失( pletely atRandom ,MCAR )。数据的缺失与不完全变量以及完全变量都是无关的。 2)随机缺失( Missing atRandom ,MAR )。数据的缺失仅仅依赖于完全变量。 3)非随机、不可忽略缺失( Not Missing atRandom,NMAR ,or nonignorable )。不完全变量中数据的缺失依赖于不完全变量本身,这种缺失是不可忽略的。空值语义对于某个对象的属性值未知的情况,我们称它在该属性的取值为空值(null value) 。空值的来源有许多种,因此现实世界中的空值语义也比较复杂。总的说来,可以把空值分成以下三类: 1)不存在型空值。即无法填入的值,或称对象在该属性上无法取值, 如一个未婚者的配偶姓名等。 2)存在型空值。即对象在该属性上取值是存在的,但暂时无法知道。一旦对象在该属性上的实际值被确知以后,人们就可以用相应的实际值来取代原来的空值,使信息趋于完全。存在型空值是不确定性的一种表征,该类空值的实际值在当前是未知的。但它有确定性的一面,诸如它的实际值确实存在,总是落在一个人们可以确定的区间内。一般情况下,空值是指存在型空值。 3)占位型空值。即无法确定是不存在型空值还是存在型空值,这要随着时间的推移才能够清楚,是最不确定的一类。这种空值除填充空位外,并不代表任何其他信息。空值处理的重要性和复杂性数据缺失在许多研究领域都是一个复杂的问题。对数据挖掘来说, 空值的存在,造成了以下影响:首先,系统丢失了大量的有用信息;第二,系统中所表现出的不确定性更加显著,系统中蕴涵的确定性成分更难把握;第三,包含空值的数据会使挖掘过程陷入混乱,导致不可靠的输出。数据挖掘算法本身更致力于避免数据过分适合所建的模型,这一特性使得它难以通过自身的算法去很好地处理不完整数据。因此,空缺的数据需要通过专门

最近更新

2025年度商场合同管理系统使用指南与小时计费.. 9页

2025年度商业物业租赁合同(含公共区域使用协.. 8页

2025年度员工虚拟股权激励与分红权合同 7页

2025年度员工入股企业股份购买及合作协议书模.. 9页

2025年度合同评审流程图修订稿与合同履行风险.. 8页

2025年度合伙经营挖掘机租赁业务合作协议书 9页

2025年度古建筑修复师承合同协议 9页

2025年度厂房土地转让附带产业链融资合同 9页

2025年度医院医疗设备定期维护与配送服务合同.. 9页

2025年度劳动合同电子版(人工智能技术研发).. 8页

2025年度加油站网络运营解除合同模板 8页

2025年度办公室租赁合同模板:数字化办公环境.. 8页

2025年度分手赔偿及共同子女教育费用协议书模.. 7页

2025年度出租房安全租赁与消防设施检查合同 8页

2025年度农田耕作机械智能化改造与培训合同范.. 9页

2025年度农村房屋买卖协议模板及农村房屋交易.. 10页

鱼骨图分析法实例 15页

2025年数控裁板锯合作协议书 62页

新型利咽成分筛选-全面剖析 35页

区块链在供应链管理中的创新应用-第1篇-全面剖.. 27页

有关校园新闻广播稿(10篇) 24页

水电站运行工作总结(9篇) 31页

一种基于图划分的混合属性数据聚类算法 2页

破产申请(32篇) 42页

考试动员演讲稿4篇 8页

被嘲笑梦想演讲稿(3篇) 14页

读笑猫日记有感300字作文(4篇) 4页

一九七九年四川省煤炭系统科学研究成果简介 2页

2025年大学中国新能源电动汽车消费者调研报告.. 24页

艺术舞蹈老师简历模板 1页