文档介绍：大数据运维的工作职责
 
   
 
 
 
 
 
 
 
     
 
 
 
 
 
大数据需要分布式系统，也就是集群：Hadoop，Hbase，Spark，Kafka，Redis等大数据生态圈组建。
1>.商用硬件使用故障是常态。
2>.区分故障等级，优先处理影响实时性业务的故障。
1>.以可控的方式，高效的完成变更工作；
2>.包括配置管理和发布管理；
1>.存储空间，允许链接数等都是容量概念；
2>.在多租户环境下，容量管理尤其重要；
1>.不同组建的性能概念不一样，如kafka注重吞吐量，Hbase注重实用性可用性;
2>.需要对组建有深刻的理解
1>.优化大数据平台架构，支持平台能力和产品的不断迭代;
2>.类似架构师的工作；
复制代码
复制代码
DevOps(英文Development和Operations的组合)是一组过程，方法和系统的统称，用于促进开发（应用程序/软件工程），技术运营和质量保障（QA）部门之间的沟通，写作与整合。
，OS，网络，安全的基础知识
大数据平台和组建设计范围广，各种都需要懂一点，这些知识出问题的时候不可能问人，因为别人也有自己的工作要做。
Shell,SQL(DDL),（加分）
设计思想。使用范围，底层架构，常用命令，常用配置或参数，常见问题处理方法。
Zabbix，Open Falcon，Ganglia，ELK等，企业自研工具。我推荐使用集群自带的工具。
shooting能力
搜索能力（搜索引擎，stackoverflow等），java能力（异常堆栈要看得懂，最好能看懂源码），英文阅读能力。
，流程
良好的意识，什么能做什么不能做。同用的流程如ITIL，各企业也有自己的流程。
复制代码
复制代码
三板斧可以解决90%以上的故障处理工作。
1>.重启
重启有问题的机器或经常，使其正常工作。
2>.切换
主备切换或主主切换，链接正常工作的节点。
3>.查杀
查杀有问题的进程，链接等。
4>.三板斧的问题
第一：只能处理故障处理问题，不能解决性能调优，架构优化等问题；
第二：只能治标，不能治本；
5>..大数据运维和传统运维的不同
第一：传统运维面对的底层软硬件基本稳固，大数据运维面对的是商用硬件和复杂linux版本；
第二：传统运维面对的是单机架构为主，大数据运维面对复杂的分布式架构；
第三：传统运维大多维护闭源商业版系统，大数据运维通常面对开源系统，文档手册匮乏，对阅读
源码要求高。
第四：大数据运维对自动化工具的依赖大大增加；
（基础设置及服务）运维工作
一般中大型企业有自己的基础设施维护团队，这部分工作不会交给大数据运维来做。小公司可能需要大数据运维键值这部分工作，主要关注三个方面：
1>.硬件
大数据系统大多使用廉价PC Server或虚拟机，