2.3.3 创建服务目录（官方文档，还不知道干什么用）
# mkdir -p /etc/systemd/system/docker.service.d
修改docker服务文件(/usr/lib/systemd/system/docker.service)，docker的iptables的FORWARD默认策略为DROP,可能会影响集群通信，需要修改原有的docker.service文件，在"ExecStart=/usr/bin/docker"之后新增一行：
ExecStartPost=/usr/sbin/iptables -P FORWARD ACCEPT
2.3.4 开启Docker服务
# systemctl daemon-reload
# systemctl start docker
# systemctl enable docker
2.4 配置运行Kubernets
2.4.1 生成kubernets的仓库配置文件
# cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
2.4.2 安装kubeadm、kubelet、kubectl
# yum install kubeadm kubelet kubectl
2.4.3（可选）拉取初始化所需组件
运行镜像列表命令获取所需组件列表
#kubeadm config images list
运行镜像拉取命令直接获取组件
# kubeadm config images pull
如果没有改仓库则默认从k8s.gcr.io去获取，国内环境时获取不到，因此采用一个变通的方法
# vim k8s-pull-images.sh
#!/bin/bash
REGISTRY=gcr.azk8s.cn/google-containers
images=(
kube-apiserver:v1.15.3
kube-controller-manager:v1.15.3
kube-scheduler:v1.15.3
kube-proxy:v1.15.3
pause:3.1
etcd:3.3.10
coredns:1.3.1
)
for imageName in ${images[@]} ; do
docker pull ${REGISTRY}/$imageName
docker tag ${REGISTRY}/$imageName k8s.gcr.io/$imageName
docker rmi ${REGISTRY}/$imageName
done说明： REGISTRY还可以使用dockerhub中的镜像，具体修改：REGISTRY=mirrorgooglecontainers。
其中组件包列表可以通过命令"kubeadm config images list"获取。
# chmod +x k8s-pull-images.sh
# ./k8s-pull-images.sh
上述脚本保存执行后可以通过"docker image list"查看结果。
2.4.4 kubeadm初始化master节点
初始化命令‘kubeadm’可以使用参数传递和yaml配置文件，测试实验推荐第一种，生产部署推荐第二种。
1) 命令行参数进行初始化
# kubeadm init --kubernetes-version="1.15.3" --pod-network-cidr="10.244.0.0/16" --service-cidr="10.96.0.0/12" --ignore-preflight-errors=Swap --ignore-preflight-errors=NumCPU --image-reporitory "gcr.azk8s.cn" --dry-run
其中
--kubernete-version="1.15.3"指定了kubernete的具体版本，默认的“stable-1”，这里是1.15.0，不符合规定需要修改成当前的版本，此处时1.15.3（查询命令"rpm -qa|grep kubeadm"）。
--pod-network-cidr="10.244.0.0/16"是自定义的Pod的网络，通常与要部署的网络插件（如：flannel和calico）保持一致，此处使用的时flannel，flannel的默认地址为:10.244.0.0/16，calico的默认地址为:192.168.0.0/16。
--ignore-preflight-errors=,这里有两项一个是Swap，一个是NumCPU，他们分别忽略了swap不为0的报错和CPU没有大于2的报错。因为这里我用的是虚拟机，只有1G的内存，因此没有关闭swap；同时虚拟机之分配了一个vCPU。若未禁用swap,则需要编辑kubelet的配置文件/etc/sysconfig/kubelet，忽略swap启用状态错误。
KUBELET_EXTRA_ARGS="--fail-swap-on=false"
--server-cidr指定service分配的网络地址，由kubernete管理，默认地址为10.96.0.0/12。
--image-reporitory指定组件仓库地址代替默认的"k8s.gcr.io"，比如此处国内的gcr.azk8s.cn。
--dry-run 只是试运行看有没有什么错误，并没有实际初始化。
最后显示初始化结果
...
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.122.10:6443 --token kt9uzn.793zkkepgvup3jg8 \
--discovery-token-ca-cert-hash sha256:1b00c8c653c5573ff89c134bd1e62a54f3640813b0e26b79f387fddb402b0b48
2) 命令行参数进行初始化（离线环境）
1.打包拉取的kubeadm初始化所需要的镜像
所需的命令和格式
docker save -o
需要打包的组件列表（部署时的具体版本以实际部署时的版本为标准，注意检查）
可以单个打包，也可以按照节点类型进行批量打包，单个打包可以应对多种架构的部署（主要时etcd从master分离）
单个打包举例（以打包kube-apiserver为例）：
docker save -o kube-apiserver:v1.15.3 k8s.gcr.io/kube-apiserver:v1.15.3
批量打包master（含etcd）
docker save -o k8s-master-1.15.3.tar\
k8s.gcr.io/kube-apiserver:v1.15.3\
k8s.gcr.io/kube-controller-manager:v1.15.3\
k8s.gcr.io/kube-scheduler:v1.15.3\
k8s.gcr.io/kube-proxy:v1.15.3\
k8s.gcr.io/pause:3.1\
k8s.gcr.io/etcd:3.3.10\
k8s.gcr.io/coredns:1.3.1
批量打包node
docker save -o k8s-node-1.15.3.tar\
k8s.gcr.io/kube-proxy
k8s.gcr.io/pause
加载初始化所需要的镜像
docker load -i k8s-master-1.15.3.tar
或
docker load -i kube-apiserver:v1.15.13
docker load -i kube-controller:v1.15.3
docker load -i kube-scheduler:v1.15.3
docker load -i kube-proxy:v1.15.3
docker load -i pause:3.3
docker load -i etcd:3.3.10
docker load -i coredns:1.3.1
然后使用kubeadm init进行初始化（略）
3) 使用配置文件进行初始化
获取配置文件
kubeadm config print init-defaults > kubeadm-init-config.yaml
修改配置文件(检查以下部分)
...
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
...
dns:
type: CoreDNS
etcd:
local:
dataDir: /var/lib/etcd
...
kind: ClusterConfiguration
kubernetesVersion: v1.16.2
networking:
dnsDomain: cluster.test
serviceSubnet: 10.96.0.0/16
podSubnet: 10.244.0.0/16
...
kind: KubeProxyConfiguration
imageRepository: gcr.k8s.io
kubeProxy:
config:
featureGates:
SupportIPVSProxyMode: true
mode: ipvs
使用命令进行初始化
kubeadm init -f kubeadm-init-config.yaml
4) 使用配置文件进行初始化（离线环境）
离线环境使用配置文件进行初始化与在线环境一样，只是还是要先加载初始化所需的镜像。
参考：
kubeadm-config.yaml配置语法参考： https://godoc.org/k8s.io/kubernetes/cmd/kubeadm/app/apis/kubeadm/v1beta2
kubeadm-config.yaml配置主节点：https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/control-plane-flags/
kube-proxy开启ipvs： https://github.com/kubernetes/kubernetes/blob/master/pkg/proxy/ipvs/README.md
kubelet的配置示例参考： https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/kubelet-integration/#configure-kubelets-using-kubeadm
补充说明：
kubeadm-config.yaml组成部署说明：
InitConfiguration： 用于定义一些初始化配置，如初始化使用的token以及apiserver地址等
ClusterConfiguration：用于定义apiserver、etcd、network、scheduler、controller-manager等master组件相关配置项
KubeletConfiguration：用于定义kubelet组件相关的配置项
KubeProxyConfiguration：用于定义kube-proxy组件相关的配置项
可以看到，在默认的kubeadm-config.yaml文件中只有InitConfiguration、ClusterConfiguration 两部分。我们可以通过如下操作生成另外两部分的示例文件：
# 生成KubeletConfiguration示例文件
kubeadm config print init-defaults --component-configs KubeletConfiguration
# 生成KubeProxyConfiguration示例文件
kubeadm config print init-defaults --component-configs KubeProxyConfiguration
kubeadm初始化时kubernete认可的docker版本问题
[WARNING SystemVerification]: this docker version is not on the list of validated version: 19.01.1. Latest validated version: 18.06
以上版本根据自身环境的报告版本有所不同，可以参看kubernetes在git仓库中的changelog文件来确定支持的docker本版，然后根据命令
# yum list docker-ce.x86_64 --showduplicates | sort -r
获取版本列表，然后选取特定的版本进行安装
sudo yum -y install docker-ce-[VERSION]
kubeadm初始化时kubelet没有设置自启动
[WARNING Service-Kubelet]: kubelet service is not enabled, please run 'systemctl enable kubelet.service'
解决：执行自启动命令'systemctl enable kubelet.service'
kubeadm初始化时没有禁用swap：
[ERROR Swap]: running with swap on is not enabled, please disable swap
[preflight] If you know what you are doing, you can make a check non-fatal with '--ignore-preflight-errors=...'
解决：可以在kubeadm的命令末尾加上参数'--ignore-preflight-errors=Swap'。
查看初始化后的kubeadm的配置
kubeadm config view
4) 初始化后续操作
接下来按照上述初始化结果的提示后续还需要为当前master节点的用户准备kubectl环境和安装网络
创建文件夹
$ mkdir -p ~/.kube
$ cp /etc/kubernetes/admin.conf ~/.kube/config
安装网络插件
语法："kubectl apply -f [podnetwork].yaml"
此处我们使用的flannel（由coreos研发）。在github的页面上有具体的安装说明，地址https://github.com/coreos/flannel。
# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
如果是离线安装可以先下载打包flannel镜像及kube-flannel.yml文件，然后使用kubectl安装。具体如下：
下载flannel
docker pulll query.io/coreos/flannel
打包flannel并保存到本地
docker save query.io/coreos/flannel -o /flannel:0.11.0-amd.tar
装载flannel镜像
docker load -i /flannel:0.11.0-amd
下载kube-flannel.yml文件
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
安装flannel
kubectl apply -f kube-flannel.yml
而后可以使用命令"kubectl get pods -n kube-system"进行查看。
2.4.5 初始化计算节点
计算结点的初始化和主节点类似，执行相同的命令，在安装完kubeadm、kubelet、kubectl后，设置kubelet服务自启动"systemctl enable kubelet"，然后执行主节点初始化后的的提示命令加入机群。
# kubeadm join 192.168.122.10:6443 --token i75tol.nbptvcjp8x8yx2lo \
--discovery-token-ca-cert-hash sha256:eeb70912425f575b47d9b0a2830feb18b7d1ef2807bf454656b2903f04cc472c
加入的过程可能需要点时间，因为加入的节点需要从主节点中拉取所需要的镜像，所需组件如下：
kubeproxy
pause
网络镜像（此处用的时flannel）
离线环境（没有私有库的情况下）需要自己手动加载上述三个镜像的tar包，命令：docker load -i <导出的tar包>（tar由docker save -o导出）。使用命令"docker image list"可以查看已有组件。
忘记加入命令或者token的情况
默认情况下生成加入集群的token有效时间为24小时，使用下面的命令可以查看现有的token
kubeadm token list
如果没有失效则生成现有token的SHA256的值，命令如下
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
然后使用kubeadm join 加入，举例如下：
kubeadm join 10.167.11.153:6443 --token o4avtg.65ji6b778nyacw68 --discovery-token-ca-cert-hash sha256:2cc3029123db737f234186636330e87b5510c173c669f513a9c0e0da395515b0
如果token失效则需要重新生成，命令如下：
kubeadm token create --print-join-command [--ttl 0]
“--ttl 0”可选项，表示token的有效时间，0表示永远有效。上述命令的结果即加入集群需要的命令。
注：
如果初始化有问题或者要回退使用下面的命令进行重置
# kubeadm reset
同时使用ip link delete删除相应的网路。
补充说明：
另外对于docker镜像的导入和导出还有docker export/import
# docker export -o
类似于docker save,指定要输出的文件路径和文件名,后面跟上要导出的容器的名称或者id。
# docker import
“如何在CentOS上安装Kubernetes集群”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！
本文题目：如何在CentOS上安装Kubernetes集群
网站URL：http://csdahua.cn/article/jhpehg.html
