1 / 4
文档名称:

数据清洗数据分析数据挖掘.docx

格式:docx   大小:73KB   页数:4页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

数据清洗数据分析数据挖掘.docx

上传人:宝哥 2022/7/10 文件大小:73 KB

下载得到文件列表

数据清洗数据分析数据挖掘.docx

文档介绍

文档介绍:This manuscript was revised by the office on December 10, 2020.
数据清洗数据分析数据挖掘
数据清洗

数据清洗从名字上也看的出就是把 This manuscript was revised by the office on December 10, 2020.
数据清洗数据分析数据挖掘
数据清洗

数据清洗从名字上也看的出就是把"脏"的"洗掉",指发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性,处理无效值和缺失值等。因为中的数据是面向某一主题的数据的集合,这些数据从多个业务系统中抽取而来而且包含历史数据,这样就避免不了有的数据是错误数据、有的数据相互之间有冲突,这些错误的或有冲突的数据显然是我们不想要的,称为""。我们要按照一定的规则把"""洗掉",这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据,将过滤的结果交给业务主管部门,确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同,录入后的数据清理一般是由计算机而不是人工完成。
主要类型
残缺数据
这一类数据主要是一些应该有的信息缺失,如的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来,按缺失的内容分别写入不同Excel文件向客户提交,要求在规定的时间内补全。补全后才写入。
错误数据
这一类错误产生的原因是业务系统不够健全,在接收输入后没有进行判断直接写入造成的,比如数值数据输成全角数字、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类,对于类似于、数据前后有不可见字符的问题,只能通过写语句的方式找出来,然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败,这一类错误需要去业务用SQL的方式挑出来,交给业务主管部门要求限期修正,修正之后再抽取。
重复数据
对于这一类数据--特别是维表中会出现这种情况--将重复数据记录的所有字段导出来,让客户确认并整理。
数据清洗是一个反复的过程,不可能在几天内完成,只有不断的发现问题,解决问题。对于是否过滤,是否修正一般要求客户确认,对于过滤掉的数据,写入Excel文件或者将过滤数据写入数据表,在ETL开发的初期可以每天向业务单位发送过滤数据的邮件,促使他们尽快地修正错误,同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉,对于每个过滤规则认真进行验证,并要用户确认。
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是的支持过程。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。
类型
在统计学领域,有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析;其中,探索性数据分析侧重于在数据之中发现新的特征,而验证性数据分析则侧重于已有假设的证实或证伪。
探索性数据分析是指为了形成值得假设

最近更新

二零二五年度亲子游乐中心合伙经营合同 9页

二零二五年度交通事故责任主体赔偿协议 6页

二零二五年度互联网平台合伙退伙运营合同 8页

2025年减肥塑形营养攻略 100页

2025年感恩亲情200字作文大全 14页

二零二五年度临时工聘用协议(医疗保健) 9页

二零二五年度个体用工教育培训合同(职业技能.. 9页

二零二五年度个体工商户体育用品店经营权及赛.. 9页

二零二五年度个人车位租赁及转让综合服务协议.. 8页

二零二五年度个人租房水电费缴纳协议 8页

二零二五年度个人用水量控制与管理合同 8页

2025年情人节朋友圈官宣脱单文案 18页

二零二五年度个人承包合同(房地产经纪服务).. 8页

二零二五年度个人房屋买卖协议书(含产权纠纷.. 8页

二零二五年度个人对公司农业科技借款合同 7页

二零二五年度个人地皮转让及环境保护与生态修.. 8页

二零二五年度个人出租车承包车辆租赁与销售合.. 9页

2025年思想品德学习心得 19页

二零二五年度个人与学校教育信息化建设合作协.. 9页

二零二五年度两人合资购置写字楼并设立合资企.. 9页

二零二五年度业主与房东租赁合同(含租赁合同.. 9页

2025年怎么学习高一数学?高一数学学法指导(2.. 4页

二零二五年度三人合营文化旅游项目合伙经营协.. 9页

二零二五年度XX工厂生产线转让与配套设施建设.. 9页

二零二五年吊车租赁与施工资料归档合同 9页

2025年怎么做会计简历 2页

艺术舞蹈老师简历模板 1页

服装设计合作协议书 5页

煤炭资源地质勘查设计编写提纲 14页

硫酸铵生产硫酸钾的可行性方案 31页