1 / 10
文档名称:

大数据下的技术运营.docx

格式:docx   大小:59KB   页数:10页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

大数据下的技术运营.docx

上传人:sssmppp 2021/2/25 文件大小:59 KB

下载得到文件列表

大数据下的技术运营.docx

文档介绍

文档介绍:大数据下的技术运营-■"监控系统
技术运营团队的由来
在运维更名为技术运营的两年内,我们对这个团队的工作目标产生了新的理 解,工作内容也逐渐从传统的维护往DevOps方向转化。技术运营,简单地讲 就是利用技术手段,降低资源消耗,提高基础资源的运行效率,提高整个软件生 命周期运行的效率。
这意味着对团队内的每个工程师都提出了更高的要求:一方面我们要支持目 前的系统运行;同时也要针对目前的业务流程去开发自己的工具,让整个基础资 源和能力工具化,把经验和自己对流程的理解变成Web化的工具,提供给程序 员使用。
为什么必须自主研发监控系统
目前在TalkingData的Developer除了负责代码的编写,还要负责生产系统 自己程序的性能指标提供监控接口,以及生产环境程序bug的处理。Developer 能够一定程度的获取生产权限,方便常规的维护和简单故障的处理。这样一来, 技术运营的挑战就来了:权限的管理、性能指标的监控、日志的管理以及资源的 隔离,都需要有成熟的工具去支撑。目前市面上有很多开源的软件可以实现这样 的功能,但是在不同程度上存在各种各样的问题。
以监控为例,开源的监控很多,Zabbix、Nagios、Cacti,都是不错的监控 软件,但是首先它们并不能满足大数据场景下的数据存储;其次,如果监控项和 主机数量过多,数据查询时会出现速度慢等一系列问题。所以技术运营首先选择 在监控上做了全新的设计和开发,新监控命名为OWL(猫头鹰),意思就是在技 术人员睡觉的时候提供值班服务。
自研监控系统的三大技术要点
传统的监控很多还是在停留在设备、网络、系统相关的监控上,重视数据的 采集,但是在数据算法和Role±比较传统。对监控系统简化抽象下,传统监控 可以大致分为三个过程:数据采集、数据存储、响应处理。OWL监控在传统监 控基础上,增加了 Algorithm模块,支持复杂的算法规则报警,如下图所示:
监控数据采集
Data Collection就是数据采集,这里指的数据不光是基础硬件的指标,也 可以是业务指标。下面介绍两个实例。
第一个例子是主机硬盘状态的采集:
下面的数据采集中第一列是硬盘设备标号,第二列是硬盘的状态,在监控的 这个层面,•切都是metric,不同的层级可以抽象到不同的metric,结合metric + timestamp + tagkl + tagvl... + tagkN + tagvN,这样针对相同的 metric 去加 tag,用来标示数据,方便后期的查询。
.1
_12M
:0,
%
1
13n
:0,
M0
1
10M
:0,
M0
1
11M
:0,
°0
1
4”:
0,
M0
1
5”:
0,
M0
1
6”:
8,
M0
1
7M:
0,
M0
1
0n:
0,
“e
1
lr,:
0,
n0
1
2M:
0,
Me
1
3n:
0,
“0
1
8”:
0,
r,0
1
9W:
0

«xxx

x

最近更新

2020年上海市高中学业水平考化学等级考试卷 4页

低渗透岩性油藏的地质建模及综合评价的任务书.. 2页

2021-2022学年武汉江汉区四年级语文上学期期末.. 6页

2021—2022年部编人教版五年级语文上册期末测.. 7页

低层轻钢结构体系抗风设计方法研究的中期报告.. 1页

班组安全自主管理浅谈 43页

2022-2023学年陕西省渭南市九年级上学期期末化.. 6页

2022届安徽省淮南市高三第二次模拟考试语文试.. 17页

2022年4月高等教育自考00147人力资源管理(一).. 8页

2022年上海市黄浦区中考一模理科综合化学部分.. 5页

2022年大学英语第一学期试题答案 10页

班(组)兼职安全员职责 27页

传统景观语汇与城市特色意象塑造研究初探的任.. 2页

奋斗不懈 22页

2023届高考理综生物四省联考适应性试题 6页

爆破安全技术交底卡 33页

天水固化抛光地坪工艺设计 30页

多彩人生的记忆 31页

2023年网店运营专才考试题库答案下发 20页

2023最新-小学体育教学教案(优秀9篇) 11页

App开发的技巧和方法 4页

测尘和测风人员作业指导 25页

Unit 10 Healthy eating 课时练习 牛津上海版.. 11页

[奥鹏]东北师范-马克思主义中国化纵论19秋在线.. 6页

氨水的危害及防护措施 27页

《干法》读书心得体会5篇 14页

案例分析及答案 27页

企业环境贡献评价指标体系研究的中期报告 2页

【课程思政教学案例】《管理学》课程 15页

七上地理名校课堂答案 4页