芒果tv-elk日志系统实践--刘波涛.pptx

文档介绍：芒果TV ELK日志系统实践
1
讲解：XX
2021/3/10
关于我
刘波涛
芒果TV研发工程师
2
讲解：XX
2021/3/10
日志文件重要性
Linux哲学: 万物皆文件
运维哲学: 日志管理是保障高质量服务的基础
3
讲解：XX
2021/3/10
日志架构演变
4
讲解：XX
2021/3/10
日志系统架构
5
讲解：XX
2021/3/10
ELK系统架构
6
讲解：XX
2021/3/10
Rsyslog
Nginx： 通过syslog模块转发
应用程序: 通过调用syslog函数写入
规范统一格式
v8版本以上(原生支持Kafka)
7
讲解：XX
2021/3/10
Rsyslog-Avoid-Block
关闭HUPIsRestart配置选项(低版本)
监控rsyslog服务,一旦crashes能够马上重启
传输方式由TCP改为UDP(恶性循环)
8
讲解：XX
2021/3/10
Kafka
强大消息堆积能力
日志领域高度成熟
支持Hadoop数据并行加载
高性能(顺序写单机写入TPS约在百万秒/s)
Kafka vs Redis
9
讲解：XX
2021/3/10
Kafka-Options
Partition Number(数量必须大于消费者数量)
Broker Number(配置和内核数相同)


10
讲解：XX
2021/3/10