文档介绍：北京交通大学
硕士学位论文
基于挖掘算法的日志分析系统设计与实现
姓名:王潇博
申请学位级别:硕士
专业:软件工程
指导教师:卢苇
20080601
中文摘要摘要:本文根据软件工程的开发指导思想,从软件需求分析、系统概要与详细设计、系统编码、软件测试和项目过程管理等几个方面,设计并实施了基于挖掘算法的日志分析系统——的可升级性与可扩充性;构建合理的数据结构,提高日志格式的转化及处理效率;用,同时提高系统的运行效率和性能;将统计、分析之后的结果用直观的各种报表与图形显示,同时加强人机交互操作功能。罩痉治鱿低骋丫贗中国开发中心、开发中得到应用。通过使用该系统,数据库管理员可以及时优化数据库的参数配置,提高数据库的操作访问性能;开发与测试人员可以发现“运行缓慢”或“异常高关键词:日志分析;数据挖掘;设计模式;软件工程;。该论文主要解决了下列问题,通过合理设计系统的体系架构,实现系统功能分析、优化与实施关联规则算法;采用恰当的设计模式,实现内存空间的高效利∽榈某绦发”的程序模块,修改程序的处理逻辑。疧
,,.琽..劢瓺;,.琣:;,.,瓵,,瓵,疧;
学位论文作者签名:请博竽辍学位论文版权使用授权书签字冢簂本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索,并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。C艿难宦畚脑诮饷芎笫视帽臼谌ㄋ得导师签名:签字同期:
学位论文作者签名:舨?趐年鹿独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果,除了文中特别加以标注和致谢之处外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得北京交通大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签字日期:
致谢个宽松的学习和研究环境,以及良好的实践机会,使我的科研能力在研究生阶段有了很大的提高。卢老师以严谨的治学态度、踏实的工作作风、敏锐的科研思维和和蔼可亲的为人处世赢得了我深深的尊敬。在卢老师身上学到的一切东西都将使我一生受益。在此,我向他表示最衷心最真挚的感谢。感谢钅孔榈娜宄稍保挥兴堑呐ぷ鳎挥兴堑耐献鳎遣豢赡芡瓿傻模鞘侵泄嗣翊笱У恼栽胶捅本┖教旌娇沾笱У恼畔ぁ张晓丹负责页面的设计,并对整个项目提出了许多建设性的意见,赵越负责前端的应用实现,调度程序等任务。在此,我对他们表示最诚挚的谢意。最后,特别要感谢的是我的家人和朋友在学业上的毫无保留的付出和支持,首先我要对导师卢苇教授表示最衷心的感谢。几年来,卢老师给我提供了一同时,我还要对疧∽榈乃行∽槌稍北硎靖行唬行凰对我的工作的支持和帮助。在生活上给与我无微不至的关怀和照顾。
引言髀日志分析工具现状行分析,数据库管理员可以及时优化数据库的参数配置,以提高数据库的操作访“运行缓慢”或“异常高发”的程序模块,以此来修改程序的处理逻辑。与分类;如何从这些海量的数据中,提取出有价值的信息,发现我们感兴趣的规查看、分析日志文件是很乏味的,因为其中包含了太多的信息,经常使数据具,不仅可以利用日志信息进行调试而且可以提供更多的内容。利用它们可以制其中有很多是开放源代码的,褪瞧渲蟹浅S判愕囊桓觥F涮氐闶牵穑⑶液芎玫慕饩隽丝缙教ㄎ侍猓低潮旧砜梢栽诵性贕/匣安装了后7治龅娜罩局苯又С諥袷语言编写的,故运行速度较快,但它只支持日志文件格式,并且它的配置文件非常复杂。它支持标准的网站日志格式,同时支持几种其它的格式。可以通过命令行来产生报告。支持多种语言,如:英语、德语、法语、意大利语、日语、程序在运行的过程中,会产生大量的日志信息。根据对这些日志进行分析与统计,有助于发现程序使用者的行为。通过对网络日志的分析,有利于查询、分析各用户操作,了解用户的访问信息;同时优化站点设计,排除网络故障,实现入侵检测。更为重要的一点是:根据对日志文件的分析,更有利于发现程序自身的设计缺陷,性能的瓶颈以及需要优化配置的模块。通过对数据库所产生的日志文件进问性能;通过对应用软件所产生的日志文件进行分析,开发与测试人员可以发现但是日志的信息数量往往是庞大的。如何对这些海量的数据进行合理的统计则与模式,成为了日志分析中首要解决的问题。库管理员非常头疼。幸运的是,这些枯燥的工作有代劳者,利用一些日志分析工作出有意义的各种报告。随着互联网多年的发展,日志统计工具己经越来越成熟,功能也越来越丰富。和袷需要修改?梢圆罅康耐急砗屯夹瓮臣平峁另外一个非常优秀的开放源代码的日志分析工具是捎谒怯胏.
虽然也有教ò妫壳凹壕狈ξぁ怯肞镅员嘈吹慕疟境绦颍钥梢栽谌魏翁峁㏄肪意的