1 / 7
文档名称:

数据分析如何处理数据缺失问题.doc

格式:doc   大小:74KB   页数:7页
下载后只包含 1 个 DOC 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

数据分析如何处理数据缺失问题.doc

上传人:xxj165868 2017/5/15 文件大小:74 KB

下载得到文件列表

数据分析如何处理数据缺失问题.doc

文档介绍

文档介绍:数据分析如何处理数据缺失问题造成数据缺失的原因在各种实用的数据库中,属性值缺失的情况经常发全甚至是不可避免的。因此,在大多数情况下,信息系统是不完备的,或者说存在某种程度的不完备。造成数据缺失的原因是多方面的,主要可能有以下几种: 1)有些信息暂时无法获取。例如在医疗数据库中,并非所有病人的所有临床检验结果都能在给定的时间内得到,就致使一部分属性值空缺出来。又如在申请表数据中,对某些问题的反映依赖于对其他问题的回答。 2)有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写了或对数据理解错误而遗漏,也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障、一些人为因素等原因而丢失了。 3)有些对象的某个或某些属性是不可用的。也就是说,对于这个对象来说,该属性值是不存在的,如一个未婚者的配偶姓名、一个儿童的固定收入状况等。 4)有些信息(被认为)是不重要的。如一个属性的取值与给定语境是无关的,或训练数据库的设计者并不在乎某个属性的取值(称为 dont-care value )。 5)获取这些信息的代价太大。 6)系统实时性能要求较高,即要求得到这些信息前迅速做出判断或决策。处理数据缺失的机制在对缺失数据进行处理前,了解数据缺失的机制和形式是十分必要的。将数据集中不含缺失值的变量(属性)称为完全变量,数据集中含有缺失值的变量称为不完全变量,Little 和Rubin 定义了以下三种不同的数据缺失机制: 1)完全随机缺失( pletely atRandom ,MCAR )。数据的缺失与不完全变量以及完全变量都是无关的。 2)随机缺失( Missing atRandom ,MAR )。数据的缺失仅仅依赖于完全变量。 3)非随机、不可忽略缺失( Not Missing atRandom,NMAR ,or nonignorable )。不完全变量中数据的缺失依赖于不完全变量本身,这种缺失是不可忽略的。空值语义对于某个对象的属性值未知的情况,我们称它在该属性的取值为空值(null value) 。空值的来源有许多种,因此现实世界中的空值语义也比较复杂。总的说来,可以把空值分成以下三类: 1)不存在型空值。即无法填入的值,或称对象在该属性上无法取值, 如一个未婚者的配偶姓名等。 2)存在型空值。即对象在该属性上取值是存在的,但暂时无法知道。一旦对象在该属性上的实际值被确知以后,人们就可以用相应的实际值来取代原来的空值,使信息趋于完全。存在型空值是不确定性的一种表征,该类空值的实际值在当前是未知的。但它有确定性的一面,诸如它的实际值确实存在,总是落在一个人们可以确定的区间内。一般情况下,空值是指存在型空值。 3)占位型空值。即无法确定是不存在型空值还是存在型空值,这要随着时间的推移才能够清楚,是最不确定的一类。这种空值除填充空位外,并不代表任何其他信息。空值处理的重要性和复杂性数据缺失在许多研究领域都是一个复杂的问题。对数据挖掘来说, 空值的存在,造成了以下影响:首先,系统丢失了大量的有用信息;第二,系统中所表现出的不确定性更加显著,系统中蕴涵的确定性成分更难把握;第三,包含空值的数据会使挖掘过程陷入混乱,导致不可靠的输出。数据挖掘算法本身更致力于避免数据过分适合所建的模型,这一特性使得它难以通过自身的算法去很好地处理不完整数据。因此,空缺的数据需要通过专门

最近更新

2025年度新材料研发制造厂租赁合同简易版 9页

2025年度文化旅游合同评审范本 9页

2025年度文化创意产业垫资协议书 8页

2025年度文化产业园开发项目股权转让合同 8页

2025年度数据中心机房租赁经营服务合同 9页

2025年度教育培训机构教育培训品牌入股合同 9页

2025年度教育园区场地租赁合同专业范本 8页

2025年度打架事件私了赔偿协议 7页

2025年度房地产评估中介服务协议 8页

2025年度房地产中介佣金返点及服务合同 8页

2025年度户外广告牌制作及租赁服务协议 9页

2025年度影视创作团队编剧聘用合同 8页

2025年度幼儿园租赁合同及幼儿健康管理服务协.. 8页

2025年度幼儿园合伙人合作协议书——幼儿园教.. 9页

2025年度工程保温砖材购销合同 9页

2025年度工厂货车运输承包合作协议合同 9页

2025年度工伤私了赔偿协议书(工伤事故法律援.. 8页

2025年度岗位股份激励计划变更与续签协议 8页

宠物建议书怎么写(4篇) 5页

寒假周记范文【集合】 19页

小学优秀教师法学习心得(3篇) 9页

小学生5月份升旗演讲稿(5篇) 7页

2025年度小产权房手房买卖合同交易双方资金监.. 8页

2025年度对赌协议审核要点与投资合作合同 10页

2025年度家电行业市场调研与数据分析合同 9页

幼儿园新年创意方案 37页

2025年度家政服务中介独家代理合同 9页

感恩老师为话题的作文500字四篇 6页

齐齐哈尔市出租车驾驶员岗前培训试卷及答案 5页

2024年4月江苏省事业单位考试《综合知识和能力.. 16页