文档介绍：概述日志分析主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。通常,日志被分散的储存不同的设备上,依次登录每台机器查阅日志的传统方法很繁琐并且效率低下。所以将日志集中管理成为运维工作必不可少的手段。开源实时日志分析框架ELK是当前最流行的日志管理架构之一,能够实现对日志集中管理,并提供全文检索功能,组件kibana提供丰富的展示方法。ELK能够起到实时系统监测、应用监测、网络监测、事件管理和发现bug等作用。建设目的 为运维人员提供日志信息,实时了解操作系统、业务、数据库的运行情况。提高解决故障的效率,提升故障预警能力。 为开发人员排查故障提供日志查看和搜索功能。ELK简介ELK是Elasticsearch、Logstash、Kibana的简称。Elasticsearch是实时全文搜索和分析引擎,提供搜集、分析、存储数据三大功能;是一套开放REST和Java API等结构提供高效搜索功能,可扩展的分布式系统。它构建于ApacheLucene搜索引擎库之上。Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志,包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志,这些来源包括syslog、消息传递(例如RabbitMQ)和JMX,它能够以多种方式输出数据,包括电子邮件、websockets和Elasticsearch。Kibana是一个基于Web的图形界面,用于搜索、分析和可视化存储在Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据,不仅允许用户创建他们自己的数据的定制仪表板视图,还允许他们以特殊的方式查询和过滤数据。Beats:包括filebeat和packetbeat,用来取代logstash-forward的轻量级日志代理,相对于logstash占用系统资源少。日志类型MySQL日志:包括MySQL错误、慢查询、MySQLmethods、读写、流量。Redis日志:Nginx日志:按照固定格式输出的日志。Tomcat日志:按照固定格式输出的日志。系统日志messages:整体系统信息,系统层错误、告警、信息等。系统日志secure:验证和授权方面信息。部署架构由于当前日志量不大,所以暂时没有使用redis或kafka等队列工具,也没有使用集群。后续可以根据实际负载情况加入缓存和集群。具体部署方案如下:使用filebeat收集所有服务器的/var/log/messages和/var/log/secure日志,并发送给logstash集中转发给elasticsearch。使用filebeat收集负载均衡访问和WEB服务器的Nginx日志和tomcat日志。并发送给logstash匹配、解析后发送给elasticsearch。使用packetbeat收集数据库MySQL和redis日志,直接发送给elasticsearch。使用kibana做为日志展示与搜索的工具。架构图: