文档介绍：上海交通大学
硕士学位论文
基于日志采集的分布式网管系统设计与实现
姓名:顾清
申请学位级别:硕士
专业:电子与通信工程
指导教师:金耀辉;孙伟伟
20081001
上海交通大学工程硕士学位论文摘要
基于日志采集的分布式网管系统设计与实现

摘要
随着计算机网络的飞速发展,网络信息流量不断增大,系统日志
的规模也不断扩大,给系统排障以及了解系统运行状态带来了困难。
如何有效利用在运行过程中产生的大量日志信息来分析系统状态和
提升系统预警能力,满足日志服务在性能、健壮性、可扩展性等方面
的迫切要求,是一个具有普遍意义和实用意义的研究课题。
日志分析是跟踪计算机系统和网络运行的一个重要方式。仅利用
日志的自动化分析功能,往往会得到错误的告警。如果用公认的标准
和规则来规范日志则可最大限度的降低误报率。
本文以大规模网络监控为应用背景,研究日志管理软件的问题,
在此基础上设计并实现了一个基于日志的网络管理系统。本文主要工
作包括:
1、首先分析了网络监视系统实现的常用技术,基于包捕获的技
术和基于网关设备日志分析的技术;接着详细分析了通用的网络设备
日志—— syslog 格式日志与 WELF 格式日志;指出了现有网络产品在
管理需求上存在的局限性。
2、介绍了需要日志管理的原因,以及引入日志管理系统的必要
性,分析了日志管理系统的功能需求。
3、在此基础上详细介绍了本文的重点,基于日志分析的分布式
的网络监视系统——LDMS(Log-based work
Management System)的设计和实现。LDMS 整个系统由日志采集、日志
分析、报表生成引擎、报表调度、对外接口和前台 Web 应用程序几个
模块构成。利用正则表达式进行模式匹配提取原始日志有效信息,将
第 I 页
上海交通大学工程硕士学位论文摘要
人工智能技术中专家系统的引入到网络管理系统,通过基于规则推
理,基于事件推理等算法自动生成报警规则。
4、LDMS 以 J2EE 架构并采用 Struts 框架开发,可配置性、通用
性、移植性高,用户通过 Web 浏览器可以方便的访问系统,此外,
LDMS 还提供接口实现同现有的网管系统的整合。
最后,本文从软件工程角度对系统的整个开发流程进行了分析和
总结。
本文的网管系统已在实际中试运行近半年,它提高了网管人员对
故障问题定位的速度,大大降低排障时间。

关键词: syslog,日志采集,日志分析,正则表达式,模式,基于规
则推理

第 II 页
上海交通大学工程硕士学位论文 ABSTRACT
LOG-BASED WORK MANAGEMENT
SYSTEM DESIGN AND IMPLEMENTATION

ABSTRACT

With the rapid development of and the increase work
information, the system log of applications based on very large data
scales up increasingly. Consequently, it brings troubles to the debugging
of system and knowing the status of system. It is a research work of
general and practical significance to solve the problem of using log
information generated by application system effectively for analyzing
system status and enhancing the abilities of per-alarm to satisfy its urgent
demands of performance, robustness and scalability.
Log analysis is an important way to keep track puters and
networks. The use of automated analysis always results in false reports;
however these can be minimized by proper specification of recognition
criteria. Cur