文档介绍：司空科技
[日志模块解决方案]
吉仕军
2017/7/25
签署
撰稿人
吉仕军
撰稿时间
2017年07月25日
编写说明
签字
文件状态
[ √]草稿[ ]正式发布[ ]正在修改
评审人
评审意见
评审时间
签字
审批人
审批时间
审批意见
签字
修订历史记录
日期
版本
说明
作者
文档创建。
吉仕军
目录
1. 前言 5
. 设计目标 5
. 为什么要日志模块 5
. 定义解释 5
. 参考资料 5
2. 需求分析 6
. 参与角色 6
. 技术需求 6
. 业务需求 6
. 运维需求 6
3. 总体系统架构 7
. 开源日志系统比较 7
. 日志收集 8
. 日志过滤转换 8
. 日志存储 9
. 日志查询分析 9
4. 日志系统架构设计 10
. 日志信息流程图 10
. 日志收集 10
. 后台java日志收集 10
. 前端日志收集 11
. 其他日志收集 12
. 日志处理 13
. 日志存储 13
. 日志查询分析 13
. 日志安全 13
. 日志监控告警功能 13
5. 技术框架 15
. 技术服务框架 15
6. 项目实施策略 15
. 网络访问路由策略 15
. 应用功能部署策略 15
. 日志书写规范 16
7. 功能列表和实施计划 16
8. 验收标准 17
. 数据结构 17
. 编码质量 17
. 维护性和扩展性 17
. 功能验收列表 17
前言
设计目标
为什么要日志模块
日志没有集中存放,查看日志不易,追踪问题不易
无法支撑前端开发的日志写入问题
日志无法统计分析
定义解释
Elasticsearch
基于lucene的搜索服务器,提供了分布式的多用户能力的全文搜索引擎基于restful web接口
Logstash
elastic公司出品专门用来处理数据提取、转换、输出功能
Beats
不同的数据搜集器集合如:filebeat专门收集文本文件数据
Kibana
图形化展示elasticsearch索引内容,提供搜索接口,统计,图标展示等。
Xpack
安全性插件,elastic栈使用的补丁包的形式安装
参考资料
https:///
需求分析
参与角色
产品经理:审计日志,操作日志
开发人员:系统日志,自定义日志
运维人员:监控系统,应用性能指标
技术需求
分模块,分等级
前后端通用
方便快速查看检索,生成图表
安全性
监控提醒
日志跟踪链(待讨论)
业务需求
查看操作日志
查看审计日志
运维需求
监控应用
监控系统
监控,到达警告及时通知
总体系统架构
系统涉及到的总体架构主要涉及到日志收集,日志过滤转换,日志存储,日志分析等方面。对比了市面上成熟的日志系统,scribe、chukwa、kafka、flume发现这些系统生态都不是很完整,大部分都需要自己去实现功能,elastic stack有完整的生态圈,整个日志的每个环节都有对应的实现,所以本文以elastic stack为基础来构建司空的日志系统
开源日志系统比较
产品
scribe
Chukwa
kafka
Flume
elastic
公司
facebook
apache
linkin
Cloudera
elastic
实现语言
c/c++
java
scala
java
java
框架
push/push
push/push
push/pull
push/push
push/push
容错性
collector和strore之间有容错机制,agent和collector之间容错需要自己实现
Agent定期发送collector的数据偏移量,一旦故障,可以根据偏移量继续发送数据
agent通过自动识别机制来获取可用的collector,store自己保存已经获取的数据偏移量,一旦collector出现故障,可以根据偏移量继续获取数据
agent ,collector,sotre之间都有容错机制,且提供了三种界别的可靠性保证
通过beats来实现agent搜集数据具有容错机制,collector,store通过elasticsearch集群来保证数据可靠性,
负载均衡
无
无
使用zookeeper
使