1 / 10
文档名称:

基于Mesos和Docker的分布式计算平台.pdf

格式:pdf   大小:372KB   页数:10页
下载后只包含 1 个 PDF 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

基于Mesos和Docker的分布式计算平台.pdf

上传人:雪雁 2022/2/17 文件大小:372 KB

下载得到文件列表

基于Mesos和Docker的分布式计算平台.pdf

相关文档

文档介绍

文档介绍:基于 Mesos 和 Docker 的分布式计算平台
摘要:Docker 及其相关技术的出现和发展,又给大规模集群管理带来了新的想象空间。如何将
二者进行有效地结合?本文将介绍hon 和 Chronos 等。Spark、Storm 和 Hadoop 这样的计算平
台有任务调度功能,可以直接使用 Mesos SDK 跟 Mesos 请求资源,然后自行调度计算任务,并对硬件
容错。Marathon 针对服务型分布式应用提供任务调度,比如企业网站等这类需要长时间运行的服务。
通常网站应用程序没有任务调度和容错能力,因为网站程序不太会处理某个后台实例挂掉以后要在哪
台机器上重新恢复等这类复杂问题。这类没有任务调度能力的服务型分布式应用,可以由 Marathon
来负责调度。比如,Marathon 调度执行了网站服务的一百个后台实例,如果某个实例挂掉了,Marathon
会在其他服务器上把这个实例恢复起来。Chronos 是针对分布式批处理应用提供任务调度,比如定期
处理日志或者定期调 Hadoop 等离线任务。
Mesos 最大的好处是能够对分布式集群做细粒度资源分配。如图 2 所示,左边是粗粒的资源分配,
右边是细粒的资源分配。图 2 Mesos 资源调度的两种方式
图 2 左边有三个集群,每个集群三台服务器,分别装三种分布式计算平台,比如上面装三台
Hadoop,中间三台是 Spark,下面三台是 Storm,三个不同的框架分别进行管理。右边是 Mesos 集群
统一管理 9 台服务器,所有来自 Spark、Hadoop 或 Storm 的任务都在 9 台服务器上混合运行。Mesos
首先提高了资源冗余率。粗粒资源管理肯定带来一定的浪费,细粒的资源提高资源管理能力。Hadoop
机器很清闲,Spark 没有安装,但 Mesos 可以只要任何一个调度马上响应。最后一个还有数据稳定性,
因为所有 9 台都被 Mesos 统一管理,假如说装的 Hadoop,Mesos 会集群调度。这个计算资源都不共享,
存储之间也不好共享。如果这上面跑了 Spark 做网络数据迁移,显然很影响速度。然后资源分配的方
法就是 resource offers,是在窗口的可调度的资源自己去选,Mesos 是 Spark 或者是 Hadoop 等等。
这种方法,Mesos 的分配逻辑就很简单,只要不停地报告哪些是可用资源就可以了。Mesos 资源分配
方法也有一个潜在的缺点,就是无中心化的分配方式,所以有可能不会带来全局最优的方式。但这个
数据资源缺点对目前