有状态部署慢？使用openkruise实现容器应用固定ID

背景说明

我们在业务上容器的过程中遇到了如下问题：

十余年的岭东网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。营销型网站的优势是能够根据用户设备显示端的尺寸不同，自动调整岭东建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。创新互联公司从事“岭东网站设计”,“岭东网站推广”以来，每个客户项目都认真落实执行。

  1. 以 deployment 部署的应用 pod，由于 id 经常变更，服务重启，监控变得难以维护。这里只是以监控为切入点，事实上，还有诸多应用需要与id强绑定。
  2. statefulset 可以解决上面的问题，但是引入一个新的问题就是 statefulset 本身为了维护有状态的应用，所有的应用 Pod 启动是有严格的先后顺序，也就是串行启动，对于大规模的应用 pod 来讲，启动消耗时间太长，这是无法忍受的。

为解决以上问题，我们在容器平台当中引入了 openkruise。

openkruise简介

项目地址：https://github.com/openkruise/kruise

详细的说明可以参考这篇文章：

https://yq.aliyun.com/articles/706442

从当前 github 上的文档来看，目前 OpenKruise 支持五种改进的控制器：

  • CloneSet: CloneSet is a workload that mainly focuses on managing stateless applications. It provides full features for more efficient, deterministic and controlled deployment, such as inplace update, specified pod deletion, configurable priority/scatter update, preUpdate/postUpdate hooks.
  • Advanced StatefulSet: An enhanced version of default StatefulSet with extra functionalities such as inplace-update, pause and MaxUnavailable.
  • SidecarSet: A controller that injects sidecar containers into the Pod spec based on selectors and also is able to upgrade the sidecar containers.
  • UnitedDeployment: This controller manages application pods spread in multiple fault domains by using multiple workloads.
  • BroadcastJob: A job that runs Pods to completion across all the nodes in the cluster.

UnitedDeployment 是在 StatefulSet 基础上的更高级抽象，通过一个资源描述可以管理多个 StatefulSet 的实例组，可实现多实例组的灰度发布与滚动升级。

Broadcast Job 实际上就是以 DaemonSet 的方式在所有节点上运行一次性 Job，SidercarSet 用于 Sidercar 注入及管理。

而我们要使用到的正是其 Advanced StatefulSet 的特性。关于Advanced StatefulSet更详细的描述如下：

在kubernetes官方的statefulSet上做了功能扩展，更新策略由原来的只支持recreate，扩展为同时支持recreate和rollingupdate。rollingupdate还支持两种策略，一种是InPlaceIfPossible，另一种是InPlaceOnly。InPlaceIfPossible会尽可能的保证应用在原地升级（只支持镜像的升级，如果修改了yaml中的其他配置项，则无法保证）；InPlaceOnly会保证应用一定在原地升级，但是它也只支持镜像的升级，如果修改了yaml中的其他配置项，会直接抛出异常。另外，原生的StatefulSet只能做到串行启动，Advanced StatefulSet可以做到并行启动。

部署openkruise

官方的安装文档可以直接参考这里：

https://github.com/openkruise/kruise/tree/master/docs/tutorial

我简单写下安装步骤：

 
 
    
  
  
  1. wget https://github.com/openkruise/kruise/releases/download/v0.4.0/kruise-chart.tgz 
    2. 
  
  
  2.  
    3. 
  
  
  3. tar xf kruise-chart.tgz 
    4. 
  
  
  4.  
    5. 
  
  
  5. cd kruise 
    6. 
  
  
  6.  
    7. 
  
  
  7. helm install openkruise ./ -n kube-system 
    8.

目前openkruise已经更新到了v0.5.0的版本。也可以直接通过阿里云的应用目录来完成其安装。

下面说一下更详细的安装过程：

1、获取helm包

 
 
    
  
  
  1. helm repo add incubator http://aliacs-k8s-cn-beijing.oss-cn-beijing.aliyuncs.com/app/charts-incubator/ 
    2. 
  
  
  2.  
    3. 
  
  
  3. helm search repo ack-kruise 
    4. 
  
  
  4.  
    5. 
  
  
  5. helm fetch incubator/ack-kruise 
    6. 
  
  
  6.  
    7. 
  
  
  7. tar xf ack-kruise-0.5.0.tgz 
    8. 
  
  
  8.  
    9. 
  
  
  9. cd ack-kruise 
    10.

修改values.yml文件如下：

 
 
    
  
  
  1. # Default values for kruise. 
    2. 
  
  
  2.  
    3. 
  
  
  3. revisionHistoryLimit: 3 
    4. 
  
  
  4.  
    5. 
  
  
  5. manager: 
    6. 
  
  
  6.  
    7. 
  
  
  7. # settings for log print 
    8. 
  
  
  8.  
    9. 
  
  
  9. log: 
    10. 
  
  
  10.  
    11. 
  
  
  11. # log level for kruise-manager 
    12. 
  
  
  12.  
    13. 
  
  
  13. level: "4" 
    14. 
  
  
  14.  
    15. 
  
  
  15. # image settings 
    16. 
  
  
  16.  
    17. 
  
  
  17. image: 
    18. 
  
  
  18.  
    19. 
  
  
  19. # repository for kruise-manager image 
    20. 
  
  
  20.  
    21. 
  
  
  21. repository: hub.example.com/library/kruise-manager 
    22. 
  
  
  22.  
    23. 
  
  
  23. # tag for kruise-manager image 
    24. 
  
  
  24.  
    25. 
  
  
  25. tag: v0.5.0 
    26. 
  
  
  26.  
    27. 
  
  
  27. # resources of kruise-manager container 
    28. 
  
  
  28.  
    29. 
  
  
  29. resources: 
    30. 
  
  
  30.  
    31. 
  
  
  31. limits: 
    32. 
  
  
  32.  
    33. 
  
  
  33. cpu: 500m 
    34. 
  
  
  34.  
    35. 
  
  
  35. memory: 1Gi 
    36. 
  
  
  36.  
    37. 
  
  
  37. requests: 
    38. 
  
  
  38.  
    39. 
  
  
  39. cpu: 500m 
    40. 
  
  
  40.  
    41. 
  
  
  41. memory: 1Gi 
    42. 
  
  
  42.  
    43. 
  
  
  43. metrics: 
    44. 
  
  
  44.  
    45. 
  
  
  45. addr: localhost 
    46. 
  
  
  46.  
    47. 
  
  
  47. port: 8080 
    48. 
  
  
  48.  
    49. 
  
  
  49. custom_resource_enable: StatefulSet 
    50.

其实这里就改了两个东西：

  • image：默认是docker hub上的地址，我这里改到了私有镜像仓库
  • custom_resource_enable：用于指定启用哪几种资源，如果不指定的话，openkruise支持的五种资源会全部启用，我这里只用到了StatefulSet，所以这里只启用了这一种资源

然后执行安装操作：

 
 
    
  
  
  1. helm install ack-kruise -n kube-system ./ 
    2.

安装完后，会生成以下五种crd：

 
 
    
  
  
  1. # kubectl get crds |grep kruise 
    2. 
  
  
  2.  
    3. 
  
  
  3. broadcastjobs.apps.kruise.io 2020-04-26T10:29:28Z 
    4. 
  
  
  4.  
    5. 
  
  
  5. clonesets.apps.kruise.io 2020-04-26T10:29:28Z 
    6. 
  
  
  6.  
    7. 
  
  
  7. sidecarsets.apps.kruise.io 2020-04-26T10:29:28Z 
    8. 
  
  
  8.  
    9. 
  
  
  9. statefulsets.apps.kruise.io 2020-04-26T10:29:28Z 
    10. 
  
  
  10.  
    11. 
  
  
  11. uniteddeployments.apps.kruise.io 2020-04-26T10:29:28Z 
    12.

同时会创建一个 kruise-system 的命名空间，并在里面生成一个 pod：

 
 
    
  
  
  1. # kubectl get pods -n kruise-system 
    2. 
  
  
  2.  
    3. 
  
  
  3. NAME READY STATUS RESTARTS AGE 
    4. 
  
  
  4.  
    5. 
  
  
  5. kruise-controller-manager-0 1/1 Running 0 55m 
    6.

验证 statefulset 资源的 webhook 是否被正常创建：

 
 
    
  
  
  1. # kubectl get mutatingwebhookconfiguration -o yaml 
    2. 
  
  
  2.  
    3. 
  
  
  3. apiVersion: v1 
    4. 
  
  
  4.  
    5. 
  
  
  5. items: 
    6. 
  
  
  6.  
    7. 
  
  
  7. - apiVersion: admissionregistration.k8s.io/v1 
    8. 
  
  
  8.  
    9. 
  
  
  9. kind: MutatingWebhookConfiguration 
    10. 
  
  
  10.  
    11. 
  
  
  11. metadata: 
    12. 
  
  
  12.  
    13. 
  
  
  13. creationTimestamp: "2020-04-26T10:29:28Z" 
    14. 
  
  
  14.  
    15. 
  
  
  15. generation: 3 
    16. 
  
  
  16.  
    17. 
  
  
  17. name: kruise-mutating-webhook-configuration 
    18. 
  
  
  18.  
    19. 
  
  
  19. resourceVersion: "622944921" 
    20. 
  
  
  20.  
    21. 
  
  
  21. selfLink: /apis/admissionregistration.k8s.io/v1/mutatingwebhookconfigurations/kruise-mutating-webhook-configuration 
    22. 
  
  
  22.  
    23. 
  
  
  23. uid: 303a7b7f-3a62-49d7-8ef6-082ea288eeb2 
    24. 
  
  
  24.  
    25. 
  
  
  25. webhooks: 
    26. 
  
  
  26.  
    27. 
  
  
  27. - admissionReviewVersions: 
    28. 
  
  
  28.  
    29. 
  
  
  29. - v1beta1 
    30. 
  
  
  30.  
    31. 
  
  
  31. clientConfig: 
    32. 
  
  
  32.  
    33. 
  
  
  33. caBundle: xxxxx 
    34. 
  
  
  34.  
    35. 
  
  
  35. service: 
    36. 
  
  
  36.  
    37. 
  
  
  37. name: kruise-webhook-server-service 
    38. 
  
  
  38.  
    39. 
  
  
  39. namespace: kruise-system 
    40. 
  
  
  40.  
    41. 
  
  
  41. path: /mutating-create-update-statefulset 
    42. 
  
  
  42.  
    43. 
  
  
  43. port: 443 
    44. 
  
  
  44.  
    45. 
  
  
  45. failurePolicy: Fail 
    46. 
  
  
  46.  
    47. 
  
  
  47. matchPolicy: Exact 
    48. 
  
  
  48.  
    49. 
  
  
  49. name: mutating-create-update-statefulset.kruise.io 
    50. 
  
  
  50.  
    51. 
  
  
  51. namespaceSelector: 
    52. 
  
  
  52.  
    53. 
  
  
  53. matchExpressions: 
    54. 
  
  
  54.  
    55. 
  
  
  55. - key: control-plane 
    56. 
  
  
  56.  
    57. 
  
  
  57. operator: DoesNotExist 
    58. 
  
  
  58.  
    59. 
  
  
  59. objectSelector: {} 
    60. 
  
  
  60.  
    61. 
  
  
  61. reinvocationPolicy: Never 
    62. 
  
  
  62.  
    63. 
  
  
  63. rules: 
    64. 
  
  
  64.  
    65. 
  
  
  65. - apiGroups: 
    66. 
  
  
  66.  
    67. 
  
  
  67. - apps.kruise.io 
    68. 
  
  
  68.  
    69. 
  
  
  69. apiVersions: 
    70. 
  
  
  70.  
    71. 
  
  
  71. - v1alpha1 
    72. 
  
  
  72.  
    73. 
  
  
  73. operations: 
    74. 
  
  
  74.  
    75. 
  
  
  75. - CREATE 
    76. 
  
  
  76.  
    77. 
  
  
  77. - UPDATE 
    78. 
  
  
  78.  
    79. 
  
  
  79. resources: 
    80. 
  
  
  80.  
    81. 
  
  
  81. - statefulsets 
    82. 
  
  
  82.  
    83. 
  
  
  83. scope: '*' 
    84. 
  
  
  84.  
    85. 
  
  
  85. sideEffects: Unknown 
    86. 
  
  
  86.  
    87. 
  
  
  87. timeoutSeconds: 30 
    88. 
  
  
  88.  
    89. 
  
  
  89. ...... 
    90.

也是确保其他未用到的相关 mutatingwebhook 是关闭的。在实际测试中，SidecarSet 资源的 mutatingwebhook 可能会导致创建的 pod 出不来。

这些webhook本质上都是kubernetes的admissioncontrol，只要你安装了，哪怕没有使用，当你在执行相关操作时，都需要被所有的adminssioncontrol检测，如果admissioncontrol本身出了问题，就会导致请求无法响应的状态。同时这些webhook类型的adminssioncontrol也会拖慢响应速度。

用法示例

下面是官方提供的一个基于 openkruise 提供的 statefulset 资源的部署文件示例：

 
 
    
  
  
  1. apiVersion: apps.kruise.io/v1alpha1 
    2. 
  
  
  2.  
    3. 
  
  
  3. kind: StatefulSet 
    4. 
  
  
  4.  
    5. 
  
  
  5. metadata: 
    6. 
  
  
  6.  
    7. 
  
  
  7. name: demo-v1-guestbook-kruise 
    8. 
  
  
  8.  
    9. 
  
  
  9. labels: 
    10. 
  
  
  10.  
    11. 
  
  
  11. app.kubernetes.io/name: guestbook-kruise 
    12. 
  
  
  12.  
    13. 
  
  
  13. app.kubernetes.io/instance: demo-v1 
    14. 
  
  
  14.  
    15. 
  
  
  15. spec: 
    16. 
  
  
  16.  
    17. 
  
  
  17. replicas: 3 
    18. 
  
  
  18.  
    19. 
  
  
  19. serviceName: demo-v1-guestbook-kruise 
    20. 
  
  
  20.  
    21. 
  
  
  21. selector: 
    22. 
  
  
  22.  
    23. 
  
  
  23. matchLabels: 
    24. 
  
  
  24.  
    25. 
  
  
  25. app.kubernetes.io/name: guestbook-kruise 
    26. 
  
  
  26.  
    27. 
  
  
  27. app.kubernetes.io/instance: demo-v1 
    28. 
  
  
  28.  
    29. 
  
  
  29. template: 
    30. 
  
  
  30.  
    31. 
  
  
  31. metadata: 
    32. 
  
  
  32.  
    33. 
  
  
  33. labels: 
    34. 
  
  
  34.  
    35. 
  
  
  35. app.kubernetes.io/name: guestbook-kruise 
    36. 
  
  
  36.  
    37. 
  
  
  37. app.kubernetes.io/instance: demo-v1 
    38. 
  
  
  38.  
    39. 
  
  
  39. spec: 
    40. 
  
  
  40.  
    41. 
  
  
  41. readinessGates: 
    42. 
  
  
  42.  
    43. 
  
  
  43. # A new condition that ensures the pod remains at NotReady state while the in-place update is happening 
    44. 
  
  
  44.  
    45. 
  
  
  45. - conditionType: InPlaceUpdateReady 
    46. 
  
  
  46.  
    47. 
  
  
  47. containers: 
    48. 
  
  
  48.  
    49. 
  
  
  49. - name: guestbook-kruise 
    50. 
  
  
  50.  
    51. 
  
  
  51. image: openkruise/guestbook:v1 
    52. 
  
  
  52.  
    53. 
  
  
  53. imagePullPolicy: Always 
    54. 
  
  
  54.  
    55. 
  
  
  55. ports: 
    56. 
  
  
  56.  
    57. 
  
  
  57. - name: http-server 
    58. 
  
  
  58.  
    59. 
  
  
  59. containerPort: 3000 
    60. 
  
  
  60.  
    61. 
  
  
  61. podManagementPolicy: Parallel # allow parallel updates, works together with maxUnavailable 
    62. 
  
  
  62.  
    63. 
  
  
  63. updateStrategy: 
    64. 
  
  
  64.  
    65. 
  
  
  65. type: RollingUpdate 
    66. 
  
  
  66.  
    67. 
  
  
  67. rollingUpdate: 
    68. 
  
  
  68.  
    69. 
  
  
  69. # Do in-place update if possible, currently only image update is supported for in-place update 
    70. 
  
  
  70.  
    71. 
  
  
  71. podUpdatePolicy: InPlaceIfPossible 
    72. 
  
  
  72.  
    73. 
  
  
  73. # Allow parallel updates with max number of unavailable instances equals to 2 
    74. 
  
  
  74.  
    75. 
  
  
  75. maxUnavailable: 3 
    76.

执行部署之后，启动 pod 示例如下：

 
 
    
  
  
  1. # kubectl get pods |grep demo-v1 
    2. 
  
  
  2.  
    3. 
  
  
  3. demo-v1-guestbook-kruise-0 1/1 Running 0 62s 
    4. 
  
  
  4.  
    5. 
  
  
  5. demo-v1-guestbook-kruise-1 1/1 Running 0 62s 
    6. 
  
  
  6.  
    7. 
  
  
  7. demo-v1-guestbook-kruise-2 1/1 Running 0 62s 
    8.

也可通过如下操作查看资源状态：

 
 
    
  
  
  1. # kubectl get sts.apps.kruise.io 
    2. 
  
  
  2.  
    3. 
  
  
  3. NAME DESIRED CURRENT UPDATED READY AGE 
    4. 
  
  
  4.  
    5. 
  
  
  5. demo-v1-guestbook-kruise 3 3 3 3 56s 
    6. 
  
  
  6.  
    7. 
  
  
  7. openkruise提供的statefulset的资源名为sts.apps.kruise.io 
    8.

更详细的用法可参考：

Advanced StatefulSet具体的使用方法：https://github.com/openkruise/kruise/blob/master/docs/concepts/astatefulset/README.md

Advanced StatefulSet示例文件：https://github.com/openkruise/kruise/blob/master/docs/tutorial/v1/guestbook-statefulset.yaml

UnitedDeployment具体的使用方法：https://github.com/openkruise/kruise/blob/master/docs/tutorial/uniteddeployment.md

UnitedDeployment示例文件：https://raw.githubusercontent.com/kruiseio/kruise/master/docs/tutorial/v1/uniteddeployment.yaml

标题名称：有状态部署慢？使用openkruise实现容器应用固定ID
链接地址：http://www.mswzjz.cn/qtweb/news18/499168.html

攀枝花网站建设、攀枝花网站运维推广公司-贝锐智能，是专注品牌与效果的网络营销公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 贝锐智能

贝锐智能技术为您推荐以下文章

解决方案知识

同城分类信息

成都微信小程序开发　　 　小谭网创广告　　 　成都营销网站建设　　 　郫县明安消防器材　　 　贵阳联通机房　　 　网站建设公司　　 　手机网站制作　　 　眉山网站建设　　 　成都网络推广　　 　主动防护网　　 　网站SEO优化排名　　 　成都雪糕加盟　　 　成都柴油发电机组　　 　成都移动托管　　 　成都网站推广　　 　成都网站营销推广　　 　成都移动主机托管　　 　营销型网站建设　　 　无边发光字　　 　鳄鱼养殖