文档介绍：华南理工大学
硕士学位论文
电信经营分析系统中数据质量控制子系统的设计与实现
姓名:陈卫文
申请学位级别:硕士
专业:计算机技术
指导教师:张凌;缪翀莺
20061203
摘要电信经营分析系统利用电信业务过程中产生的大量数据,对其进行挖掘和分析,为电信运营商的决策和内部规范管理提供充分的依据。在系统运作的过程中,数据质量问题直接影响分析结果,因此对电信经营分析系统的数据质量进行控制,具有重要的实用价值。系统初期的数据源采集处理只有一个转发功能,数据源前端机接收来自各电信生产系统提供的文本文件数据,然后转发到系统的数据源后端机,在这过程中人工进行粗略的格式检查,再提供给衿鞔怼K孀畔低车牟欢侠┐螅菰幢涞迷嚼丛蕉啵并且数据源格式也呈现多样复杂化,初期的处理策略已经跟不上系统的发展,给系统的运作造成了很大的压力。在系统运作过程和数据应用时出现的数据质量问题难于定位,需要花费大量的人力去查找出错或异常的原因,严重影响到数据的处理效率;此外还会降低用户对系统使用的信心和热情。本文根据各业务的数据源格式、业务特征和上传规律,结合实际运作的经验,设计了一个高效的采集模块,来完成数据源的采集、检查和监控。为了提高采集处理的效率,在采集处理流程上进行模块细分,每个模块完成特定的功能,然后采用流水线型并发式处理模式,充分利用系统的资源。将规则引擎嵌入到复杂繁琐的文件检查处理中,通过配置相应业务的检查规则,完成对数据源的数据质量检查及控制,从文件、记录及字段三个级别对文件进行扫描,方便和减轻了数据质量检查的工作。通过高效的采集程序,及时地发现和协助解决问题,缩短了整个电信经营分析系统的数据处理时间。数据质量子系统的实施,提高了系统运作的效率,有利于进一步提高电信经营分析系统的数据质量,从侧面也可协助源系统对数据质量的改善。关键词:数据质量;电信经营分析系统:规则引擎
甌:西,躨,,:瑆..;Ⅱ
.华南理工大学学位论文原创性声明学位论文版权使用授权书日期:矽口舌.,日期:加反作者签名:豫、卫文日期:蛔闕上月本人郑重声明:所呈交的论文是本人在导师的指导下独立进行研究所何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡法律后果由本人承担。有权保存并向国家有关部门或机构送交论文的复印件和电子版,允许学位囱不保密。口同意在校园网上发布,供校内师生和与学校有共享协议的单位浏取得的研究成果。除了文中特别加以标注引用的内容外,本论文不包含任献的个人和集体,均已在文中以明确方式标明。本人完全意识到本声明的本学位论文作者完全了解学校有关保留、使用学位论文的规定,即:研究生在校攻读学位期间论文工作的知识产权单位属华南理工大学。学校论文被查阅诒C芷谀诘谋C苈畚耐;学校可以公布学位论文的全部或部分内容,可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。本人电子文档的内容和纸质论文的内容相一致。本学位论文属于:口保密,在年解密后适用本授权书。学位论文全文电子版提交后:览。朐谝陨舷嘤Ψ娇蚰诖颉”.
第一章绪论电信市场分析系统实施的背景电信市场分析系统的数据质量问题随着电信市场的逐步放开,电信市场的竞争日渐加剧,电信企业的管理者和市场人员有必要及时了解电信业务的经营状况和市场动态,而电信企业自身生产经营过程中具备的数据密集性特点、经营服务对原始数据作深层次分析的依赖性,以及电信企业历来具有的经营分析的良好传统,均对当前电信企业经营服务信息提供的实时性、准确性和深度性提出了迫切的需求。但是在很多情况下生产作业系统产生的大量数据或历史数据都被存储在磁带、光盘中,或是分布在不同的硬件、数据库内,要查询一次历史数据时,费力费时,更不用说把不同业务部门的数据来关联比较分析了,同时也会遇到像数据类型不匹配,数据定义不同,数据不一致数据冗余等问题川。而因无法提炼升华为信息及时提供给管理决策者,使得巨大的信息资源无法在更大的范围内共享和利用,也就不可能真正发挥信息转换为生产力的强大功能【。目前,各大电信运营商纷纷建立了基于数据仓库的经营分析系统,将相关的市场经营数据信息化、系统化,并利用统计分析软件建立分析模型,以展现、挖掘或分析原始信息之间的关系以及更深层次的内容俊N颐窍衷谑凳┑,根据生产经营环境的改变和业务发展的不同阶段,对生产系统的数据提出新要求,规范企业内部的信息采集、处理、标准化规范,最终实现信息在企业的前后台管理信息系统之间有效运转,形成闭环。同时,历史数据的积累和分析,使得企业的决策依据更加充分,从而坚实地支撑业务管理和生产营销>欢系赝晟平ㄉ瑁缧攀谐》治鱿低车娜霾忝数据获取、数