文档介绍：集群与分布式
We Can Do It
概念
什么是集群
什么分布式
分布式集群
优势
集群
集群是一组相互独立的、通过高速网络互联的计算机,构成的一个组,并以单一系统的模式加以管理。
集群中的各节点都具有相同的业务逻辑,有多个同类任务时,可以并行处理。
集群是通过提高单位时间内执行的任务数来提升效率
分布式
分布式系统是建立在网络之上的软件系统。
分布式系统中的各计算单元都处理不同的子任务,最终协同完成整个任务。
分布式是以缩短单个任务的执行时间来提升效率的
分布式集群
如果用集群来做为分布式的处理单元,就形成了分布式集群。
它可以将任务切分成多个不同的子任务,然后由集群对处理子任务,从而大大提高了任务的执行效率。
通过集群,又可以完成负载均衡、故障转移等功能,提高可靠性和稳定性。
优势
1 提高性能
一些计算密集型应用,如:天气预报、核试验模拟等,需要计算机要有很强的运算处理能力,现有的技术,即使普通的大型机器计算也很难胜任。这时,一般都使用计算机集群技术,集中几十台甚至上百台计算机的运算能力来满足要求。提高处理性能一直是集群技术研究的一个重要目标之一。
2 降低成本
通常一套较好的集群配置,其软硬件开销要超过几百万RMB。但与价值上千万的专用超级计算机相比已属相当便宜。在达到同样性能的条件下,采用计算机集群比采用同等运算能力的大型计算机具有更高的性价比。
3 提高扩展性
用户若想扩展系统能力,不得不购买更高性能的服务器,才能获得额外所需的CPU 和存储器。如果采用集群技术,则只需要将新的服务器加入集群中即可,对于客户来看,服务无论从连续性还是性能上都几乎没有变化,好像系统在不知不觉中完成了升级。
4 增强可靠性
集群技术使系统在故障发生时仍可以继续工作,将系统停运时间减到最小。集群系统在提高系统的可靠性的同时,也大大减小了故障损失。
集群技术
服务发现
负载均衡
故障转移
水平扩展与动态均衡
服务发现
大家有玩过联机游戏吗?
他们是怎么联系起来的呢?
服务发现
服务发现基本功能:获知集群上所有服务的地址
服务发现三种方式:
手动预配
每台服务实例配置文件中都手动配置好了其它服务的IP和端口
服务发现服务
每台服务实例向平台注册自已地址,同时可以获知其它服务地址
广而告之
服务实例主动在网域内广播,收到广播的服务可与之建立互信
服务发现
心跳机制
服务发现的最大难题——识别失效节点
服务需要定时刷新它在服务列表中的状态租约,以证明自己还活着。
基本上高可用集群都有一套心跳机制,专业的服务发现服务(如:Zookeeper、Eureka)也都有这样一套。
而一些集群(如:Helix,Hadoop等),也会实现另一套心跳机制,同时在心跳请求上附加信息(比如任务信息、资源信息等)来提高心跳的价值。