KubectlForeach在多个集群中执行Kubectl命令

kubectl Foreach 在多个集群中执行 Kubectl 命令

作者：Addo Zhang 2022-12-02 19:37:36

云计算

云原生今天偶然间发现了一个 kubectl 插件 kubectl foreach ，可以在多个集群（contexts）上执行 kubectl 命令。比如 kubectl foreach cluster-1 cluster-2 -- get po -n kube-system 。

上周在写 K8s 多集群的流量调度的 demo 部分时需要不停地在多个集群中安装组件、部署应用，或者执行各种命令。当时是通过 Linux shell 脚本并通过工具 kubectx 进行集群的切换，像这样：

或者这样：

操作繁琐，很是痛苦。

今天偶然间发现了一个 kubectl 插件 kubectl foreach ，可以在多个集群（contexts）上执行 kubectl 命令。比如 kubectl foreach cluster-1 cluster-2 -- get po -n kube-system 。

插件安装和使用很简单，通过 krew 进行安装：

kubectl krew install foreach

使用也很简单：

kubectl foreach -h
Usage:
    kubectl foreach [OPTIONS] [PATTERN]... -- [KUBECTL_ARGS...]

Patterns can be used to match context names from kubeconfig:
      (empty): matches all contexts
         NAME: matches context with exact name
    /PATTERN/: matches context with regular expression
        ^NAME: remove context with exact name from the matched results
   ^/PATTERN/: remove contexts matching the regular expression from the results

Options:
    -c=NUM     Limit parallel executions (default: 0, unlimited)
    -I=VAL     Replace VAL occurring in KUBECTL_ARGS with context name
    -q         Disable and accept confirmation prompts ($KUBECTL_FOREACH_DISABLE_PROMPTS)
    -h/--help  Print help

Examples:
    # get nodes on contexts named a b c
    kubectl foreach a b c -- get nodes

    # get nodes on all contexts named c0..9 except c1 (note the escaping)
    kubectl foreach '/^c[0-9]/' ^c1  -- get nodes

    # get nodes on all contexts that has "prod" but not "foo"
    kubectl foreach /prod/ ^/foo/ -- get nodes

    # use 'kubectl tail' plugin to follow logs of pods in contexts named *test*
    kubectl foreach -I _ /test/ -- tail --cnotallow=_ -l app=foo

接下来测试下，使用 k3d 创建 3 个集群（k3d 貌似不支持同时创建多个集群，还是需要 for 脚本来操作）：

for CLUSTER_NAME in cluster-1 cluster-2 cluster-3
do
  k3d cluster create ${CLUSTER_NAME} \
    --image docker.io/rancher/k3s:v1.23.8-k3s2 \
    --servers-memory 4g \
    --k3s-arg "--disable=traefik@server:0" \
    --no-lb \
    --timeout 120s \
    --wait
done

集群安装完成：

k3d cluster list
NAME        SERVERS   AGENTS   LOADBALANCER
cluster-1   1/1       0/0      false
cluster-2   1/1       0/0      false
cluster-3   1/1       0/0      false

注意，k3d 安装的集群的 context 都带有前缀 k3d- ，在使用 kubectl foreach 的时候要注意：

kubectx
k3d-cluster-1
k3d-cluster-2
k3d-cluster-3

比如查看各个集群中的 kube-sysmte 下的 pod：

kubectl foreach -q k3d-cluster-1 k3d-cluster-2 k3d-cluster-3 -- get po -n kube-system

或者试试创建 deployment，这次我们不列出完整的 context name，而是使用正则 /cluster/：

kubectl foreach -q /cluster/ -- create deploy pipy --image flomesh/pipy -n default
Will run command in context(s):
  - k3d-cluster-1
  - k3d-cluster-2
  - k3d-cluster-3
k3d-cluster-1 | deployment.apps/pipy created
k3d-cluster-3 | deployment.apps/pipy created
k3d-cluster-2 | deployment.apps/pipy created

然后查看下 pod：

kubectl foreach -q /cluster/ -- get pod -n default
Will run command in context(s):
  - k3d-cluster-1
  - k3d-cluster-2
  - k3d-cluster-3
k3d-cluster-1 | NAME                   READY   STATUS    RESTARTS   AGE
k3d-cluster-1 | pipy-df659b55f-bnr27   1/1     Running   0          25s
k3d-cluster-3 | NAME                   READY   STATUS    RESTARTS   AGE
k3d-cluster-3 | pipy-df659b55f-p9j49   1/1     Running   0          25s
k3d-cluster-2 | NAME                   READY   STATUS    RESTARTS   AGE
k3d-cluster-2 | pipy-df659b55f-9bjgf   1/1     Running   0          25s

查看日志：

kubectl foreach -q /cluster/ -- logs -l app=pipy -n default --tail 3
Will run command in context(s):
  - k3d-cluster-1
  - k3d-cluster-2
  - k3d-cluster-3
k3d-cluster-2 | 2022-11-30 10:40:56.520 [INF] [listener] Listening on TCP port 8080 at 0.0.0.0
k3d-cluster-2 | 2022-11-30 10:40:56.520 [INF] [listener] Listening on TCP port 8081 at 0.0.0.0
k3d-cluster-2 | 2022-11-30 10:40:56.520 [INF] [listener] Listening on TCP port 8082 at 0.0.0.0
k3d-cluster-1 | 2022-11-30 10:40:56.551 [INF] [listener] Listening on TCP port 8080 at 0.0.0.0
k3d-cluster-1 | 2022-11-30 10:40:56.551 [INF] [listener] Listening on TCP port 8081 at 0.0.0.0
k3d-cluster-1 | 2022-11-30 10:40:56.551 [INF] [listener] Listening on TCP port 8082 at 0.0.0.0
k3d-cluster-3 | 2022-11-30 10:40:55.813 [INF] [listener] Listening on TCP port 8080 at 0.0.0.0
k3d-cluster-3 | 2022-11-30 10:40:55.813 [INF] [listener] Listening on TCP port 8081 at 0.0.0.0
k3d-cluster-3 | 2022-11-30 10:40:55.813 [INF] [listener] Listening on TCP port 8082 at 0.0.0.0

注意，多集群的操作要谨慎，尤其是使用正则来匹配 context name；还有 -q 参数会跳过要操作的集群提醒，直接执行命令。

当前名称：KubectlForeach在多个集群中执行Kubectl命令
本文地址：http://www.csdahua.cn/qtweb/news21/479771.html

网站建设、网络推广公司-快上网，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：快上网

成都快上网为您推荐相关内容