文档介绍：青岛大学
硕士学位论文
基于数据挖掘算法的日志分析系统的设计与实现
姓名:赵庆永
申请学位级别:硕士
专业:计算机技术
指导教师:刘遵仁;陈冬滨
20090510
捅姜关键词:数据挖掘;聚类分析;日志分析;近年来,随着数据采集和存储技术的飞速发展,很多领域都积累了大量的数据。为了从数据中发现有价值的知识和规律,人们结合数据库、统计学及机器学习等技术,提出数据挖掘来解决这一难题。聚类分析技术是数据挖掘中的经典内容,是各学科研究的重要工具。本文对数据挖掘技术,尤其是聚类分析进行了较为系统地分析和研究,主要包括以下一些内容:萃诰蚣际醯母攀觥=樯芰耸萃诰虻幕靖拍睢⒎掷唷⒅饕9δ堋⒐键技术以及典型应用等等。劾喾治龅淖凼觥1疚亩允萃诰蛄煊虻木劾喾治龇椒ḿ按硭惴ń辛分析,提出了数据挖掘对聚类的典型要求,并基于这些要求对数据挖掘中常用的聚类算法作了比较,以便于人们更容易、更快速地选择一种适用于具体问题的聚类算萃诰蛟谑导氏钅恐械挠τ谩8菔导氏钅靠7⒅杏龅降奈侍猓杓屏日志分析系统。通过相关算法,对应用程序产生的日志进行分析,获得有价值效率,降低维护成本;通过日志分析系统可以发现“异常高发’’的程序模块,还可以发现生产环境下用户操作与异常之间的关系,有助于找到某些隐藏的很深的提高程序的稳定性;通过日志分析系统,可以在一定程度上实现系统健康预警的功能。日志分析系统初始版本已经在日常的技术支持中使用。本文从系统的体系结构、功能设计、模块划分、实现技术等方面进行了详细的分析和讨论,并展示了部分已经实现的功能。法。的信息:通过日志分析系统提供的查询功能,开发人员可以快速的定位异常,提高
.琫,,,琧,,,琣;,.,琒瓵琁甌,,琲.:;,琸..
日期:滔年洛日期:洲年痮学位论文独创性声明学位论文知识产权权属声明不保密囱。日期:灿阹月,未经许可,任何单位及任何个人不得擅自使用本人声明,所呈交的学位论文系本人在导师指导下独立完成的研究成果。文中依法引用他人的成果,均已做出明确标注或得到许可。论文内容未包含法律意义上已属于他人的任何形式的研究成果,也不包含本人已用于其他学位申请的论文或成本人如违反上述声明,愿意承担由此引发的一切责任和后果。论文作者签名:本人在导师指导下所完成的学位论文及相关的职务作品,知识产权归属学校。学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权利。本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成果时,署名单位仍然为青岛大学。本学位论文属于:保密口,在年解密后适用于本声明。朐谝陨戏娇蚰诖颉”论文作者签旧鞯陌嫒青岛大学工程硕士学位论文果。导师签名:
第一章引言研究的背景和意义随着计算机科学与技术的发展,计算机被应用到各行各业,计算机软件带来的效率、效益越来越被人们重视。特别是近年来,随着数据库技术和信息技术的不断发展,人们产生和收集数据的能力迅速提高,数据库的规模迅速扩大。无论是商业企业、科研机构或者政府部门,在过去若干年的时间里都积累了海量的、以不同形式存储的数据资料。由于这些资料十分繁杂,如何从中发现有价值的信息或知识,达到为决策服务的目的,成为非常艰巨的任务。当前,人们正逐步陷入“数据丰富,知识贫乏霓限尉车亍S谑牵桓鲂碌奶粽奖惶崃顺隼矗涸谛畔⒈ǖ氖贝何才能使人们不在数据的海洋中迷失方向并且能识别海量数据背后隐藏的重要信息这就迫切要求能够对海量数据进行更高层次的分析。人们结合统计学、数据库、机器学习等技术,提出用数据挖掘来解决这一难题,数据挖掘技术应运而生,并显示出前所未有的强大生命力,从而逐渐成为研究的热褪谴哟罅康氖葜校崛∫谄渲械摹⑷嗣鞘孪任知的、但又是潜在有用的信息和知识的过程,还有很多和这一术语相近似的术语如从数据库中发现知识,、数据分析、数据融合约熬霾咧С等。原始数据可以是结构化的,如关系数据库中的数据,也可以是半结构化的,如文本、图形、图像数据,甚至是分布在网络上的异构型数据。发现知识的方法可以是数学的,也可以是非数学的;可以是演绎的,也可以是归纳的。发现了的知识可以被用于信息管理、查询优化、决策支持、过程控制等,还可以用于数据自身的维护。因此,数据挖掘是交叉学科,它汇聚了不同领域的研究者,尤其是数据库、人工智能、数理统计、并行计算等方在数据挖掘领域中,聚类分析是~项重要的研究课题,它主要是从数据库的记录集中寻找数据间的相似性,并以此对数据进行分类,使得不同类别中的数据尽可能相异,而同一类数据之间尽可能相似,即“物以类聚”,从而发现数据库中隐含的有用的信息;同时它也可以作为其他算法的预处理步骤。聚类分析己经广泛地应用到诸多领域中,包括模式识别、数据分析、图像处理相似性和相异性被分成不同的类,从而发现全局数据的分布模式,以及数据之间的有趣的、隐含的相互联系。在日志分析系