yarn和k8s混合部署初步方案是怎样的

yarn和k8s混合部署初步方案是怎样的，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

创新互联是专业的沂源网站建设公司，沂源接单;提供成都网站制作、网站设计、外贸网站建设,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行沂源网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

版本

yarn 2.6.0
k8s v1.15.2

背景

随着k8s的越来越火热以及k8s的可扩展以及自修复优势，k8s势必是互联网的优势，但是很大一部分公司的资源管理工具依旧是yarn，而且yarn和k8s也必然并行很久一段时间，
但是由于yarn的隔离型相对于k8s来说还是很弱的，好在yarn 2.6.0版本也集成了LinuxContainerExecutor（默认是DefaultContainerExecutor），也就是说yarn在好长一段时间是不支持cpu限制的，LinuxContainerExecutor的利用了cgroup来进行cpu的限制，而memory的隔离是在利用container进行隔离。
我们知道对于多种资源管理工具的混合部署来说，资源的争夺必定是存在的。分析一下k8s，k8s默认是支持docker runtime的，也就是说k8s在支持docker的情况下，是利用docke进行资源隔离的，而docker是利用了liunx 的namespace进行隔离，用cgroup进行资源限制。而相对于yarn，只需要修改配置文件就行。

具体实施以及配置

k8s

对于k8s来说，按照k8s官网，我们把docker cgroups的驱动修改为systemd。具体修改方式参照官网：

# Set up the Docker daemon
cat <
修改完后重启docker，运行docker info会打印出：
...
Cgroup Driver: systemd
...
说明设置成功。
关于cgroup的两种驱动cgroupfs和sysmted的区别：
cgroupfs是直接把pid写入对应的cgroup文件，然后把对应的资源限制也写入相应的cpu memory的cgroup文件。
systemd本身可以提供一个cgroup的管理方式。直接在service的文件中写入对应的资源限制就可以
另外我们得设置dockerd的cgroup-parent和yarn在同一个目录下，这样才能达到yarn和k8s按照配置文件进行资源的分配和管理 按照dockerd官网 直接运行
dockerd --cgroup-parent /path/to/cgroup
yarn
yarn配置支持cpu的限制网上很多资料。如这里关于yarn的linuxcontainerExecutor的jira，参考这里 注意一下这个配置：

  yarn.nodemanager.linux-container-executor.cgroups.mount-path
  /sys/fs/cgroup
这个配置最好和docker的--cgroup-parent一致，这样才能更好的管理和控制资源
关于yarn和k8s混合部署初步方案是怎样的问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注创新互联行业资讯频道了解更多相关知识。
            
            
            
            


            网页题目：yarn和k8s混合部署初步方案是怎样的
            


            文章转载：http://mswzjz.cn/article/pijsgp.html