本页内容
- 先决条件
- 配置系统
- 配置 /etc/hosts 文件
- 配置 Firewalld 规则
- 配置 SELinux、内核模块并禁用 SWAP
- 安装容器运行时:Containerd
- 安装 Kubernetes 软件包
- 安装 CNI 插件:Flannel
- 初始化 Kubernetes 控制平面
- 将工作节点加入 Kubernetes
- 结论
Kubernetes(或称 k8s)是一个开源的容器编排平台,可自动完成容器化应用的部署、管理和扩缩容。Kubernetes 是由 Google 创建的容器编排工具,如今已成为开源项目,并成为现代应用部署与计算平台的标准。
Kubernetes 是面向现代容器部署时代的解决方案。它提供服务发现与负载均衡、存储编排、自动上线与回滚、自愈服务,以及机密与配置管理。Kubernetes 让高性价比的云原生开发成为可能。
在本教程中,你将通过以下步骤搭建 Kubernetes 集群:
- 配置系统,包括 - 配置 /etc/hosts 文件、配置 SELinux、启用内核模块以及禁用 SWAP。
- 配置 Firewalld,添加 Kubernetes 所需的一些端口。
- 安装 containerd 作为 Kubernetes 的容器运行时。
- 安装 Kubernetes 软件包,例如 kubelet、kubeadm 和 kubectl。
- 为 Kubernetes Pod 安装 Flannel 网络插件。
- 初始化一个控制平面节点并添加两个工作节点。
先决条件
要完成本教程,你需要满足以下要求:
- 三台或更多 Rocky Linux 服务器。
- 一个具备 root/管理员权限的非 root 用户。
配置系统
在开始安装 Kubernetes 部署所需的任何软件包之前,你需要按照 Kubernetes Deployment 的要求配置所有系统。这包括以下配置:
- 配置正确的 /etc/hosts 文件:每台服务器的主机名必须解析到正确的 IP 地址。实现方式有多种,但最简单直接的一种是在所有服务器上使用 /etc/hosts 文件。
- 配置 Firewalld:对于生产环境,始终建议在控制平面节点和工作节点上都启用防火墙。
- 配置 SELinux:在本示例中,我们将把 SELinux 的默认规则改为 "permissive"。
- 启用内核模块:Kubernetes 需要启用 Linux 系统上的一些内核模块。内核模块 "overlay" 和 "br_netfilter" 是让 iptables 能够看到桥接流量所必需的。
- 禁用 SWAP:这是强制要求,你必须在所有 Kubernetes 节点(控制平面节点和工作节点)上禁用 SWAP。否则,kubelet 服务将运行异常。
配置 /etc/hosts 文件
在第一步中,你将在所有服务器上设置系统主机名和 /etc/hosts 文件。本演示将使用以下服务器。
Hostname IP Address Used as ------------------------------------------------------- kube-master 192.168.5.10 control-plane kube-kube-worker1 192.168.5.15 worker node kube-kube-worker2 192.168.5.16 worker node
运行下面的 hostnamectl 命令,在每台服务器上设置系统主机名。
对于控制平面节点,运行以下命令将系统主机名设置为 "kube-master"。
sudo hostnamectl set-hostname kube-master
对于 Kubernetes 工作节点,运行以下 hostnamectl 命令。
# setup hostname kube-worker1
sudo hostnamectl set-hostname kube-worker1
# setup hostname kube-worker2
sudo hostnamectl set-hostname kube-worker2
接下来,使用以下命令在所有服务器上修改 /etc/hosts 文件。
sudo nano /etc/hosts
将以下配置添加到该文件中。请确保每个主机名都指向正确的 IP 地址。
192.168.5.10 kube-master 192.168.5.15 kube-worker1 192.168.5.16 kube-worker2
完成后保存并关闭文件。
最后,如果你对每个主机名运行 ping 命令,将指向 /etc/hosts 文件中定义的正确 IP 地址。
ping kube-master -c3
ping kube-worker1 -c3
ping kube-worker2 -c3
配置 Firewalld 规则
Kubernetes 需要在所有系统上开放一些端口。在默认的基于 RHEL 的系统上,Firewalld 是默认的防火墙应用程序。你将为 Kubernetes 部署向 Firewalld 添加一些端口。
对于 Kubernetes 控制平面,你需要开放以下端口:
Protocol Direction Port Range Purpose Used By ----------------------------------------------- TCP Inbound 6443 Kubernetes API server All TCP Inbound 2379-2380 etcd server client API kube-apiserver, etcd TCP Inbound 10250 Kubelet API Self, Control plane TCP Inbound 10259 kube-scheduler Self TCP Inbound 10257 kube-controller-manager Self
对于 Kubernetes 工作节点,你需要开放以下端口:
Protocol Direction Port Range Purpose Used By -------------------------------------------------- TCP Inbound 10250 Kubelet API Self, Control plane TCP Inbound 30000-32767 NodePort Services† All
在控制平面节点 "kube-master" 上,运行以下 firewall-cmd 命令开放 Kubernetes 控制平面端口。然后,重新加载 Firewalld 规则并验证可用规则列表。
sudo firewall-cmd --add-port=6443/tcp --permanent
sudo firewall-cmd --add-port=2379-2380/tcp --permanent
sudo firewall-cmd --add-port=10250/tcp --permanent
sudo firewall-cmd --add-port=10259/tcp --permanent
sudo firewall-cmd --add-port=10257/tcp --permanent
sudo firewall-cmd --reload
sudo firewall-cmd --list-all

在工作节点 "kube-worker1" 和 "kube-worker2" 上,运行以下 firewall-cmd 命令开放一些 Kubernetes 工作节点端口。然后,重新加载 Firewalld 并验证 Firewalld 上的可用规则列表。
sudo firewall-cmd --add-port=10250/tcp --permanent
sudo firewall-cmd --add-port=30000-32767/tcp --permanent
sudo firewall-cmd --reload
sudo firewall-cmd --list-all

配置 SELinux、内核模块并禁用 SWAP
为了让 Kubernetes 服务 kubelet 正常工作,你需要将默认的 SELinux 改为 "permissive",或者完全禁用 SELinux。在本示例中,你将把 SELinux 策略从 "enforcing" 改为 "permissive",这意味着你只会收到来自 SELinux 的通知。
运行以下命令将默认 SELinux 策略改为 "permissive"。然后,检查并验证 SELinux 策略的当前状态。你应该看到 SELinux 仍处于启用状态,但策略为 "permissive"。
sudo setenforce 0
sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
sestatus

接下来,Kubernetes 需要在所有服务器上启用内核模块 "overlay" 和 "br_netfilter"。这将让 iptables 能够看到桥接流量。此外,你还需要启用端口转发并禁用 SWAP。
运行以下命令启用内核模块 "overlay" 和 "br_netfilter"。
sudo modprobe overlay
sudo modprobe br_netfilter
为使其永久生效,创建配置文件 "/etc/modules-load.d/k8s.conf"。这将使 Linux 系统在系统启动时能够启用内核模块。
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

接下来,使用以下命令创建所需的 systemctl 参数。
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
EOF
要在不重启的情况下应用新的 sysctl 配置,请使用以下命令。你将获得系统上默认 sysctl 参数的列表,并确认其中包含你刚刚添加到文件 "k8s.conf" 中的 sysctl 参数。
sudo sysctl --system

要禁用 SWAP,你需要注释掉 "/etc/fstab" 文件中的 SWAP 配置。这可以通过 sed(流编辑器)使用单条命令完成,也可以手动编辑 /etc/fstab 文件。
sudo sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
或者
sudo nano /etc/fstab
现在使用下面的命令关闭当前会话中的 SWAP。然后,使用 "free -m" 命令验证 SWAP 已关闭。你应该看到 SWAP 的值为 "0",这表示它现在已被禁用。
sudo swapoff -a
free -m

安装容器运行时:Containerd
要搭建 Kubernetes Cluster,你必须在所有服务器上安装容器运行时,以便 Pod 能够运行。Kubernetes 部署可以使用多种容器运行时,例如 containerd、CRI-O、Mirantis Container Runtime 以及 Docker Engine(通过 cri-dockerd)。
在本示例中,我们将使用 "containerd" 作为 Kubernetes 部署的容器。因此,你将在所有 Kubernetes 节点上安装 containerd。安装 containerd 有多种方式,最简单的方式是使用 Docker 仓库提供的预构建二进制包。
在添加仓库之前,运行下面的 DNF 命令安装附加工具 "dnf-utils"。
sudo dnf install dnf-utils
现在运行以下命令,为基于 CentOS 的系统添加 Docker 仓库。
sudo yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
运行以下命令检查并验证 Rocky Linux 系统上的仓库。然后,生成新的元数据缓存。你将看到 Docker 仓库已添加到 Rocky Linux。
sudo dnf repolist
sudo dnf makecache

接下来,使用下面的 DNF 命令安装 containerd 软件包。输入 Y 确认安装并按 ENTER,安装将开始。当提示导入 Docker GPG 密钥时,输入 y 以添加。
sudo dnf install containerd.io

安装完成后,运行以下命令备份默认的 containerd 配置并生成新的 containerd 配置文件。
sudo mv /etc/containerd/config.toml /etc/containerd/config.toml.orig
sudo containerd config default > /etc/containerd/config.toml
现在使用以下命令修改 containerd 配置文件 "/etc/containerd/config.toml"。
sudo nano /etc/containerd/config.toml
将 cgroup driver 的值 "SystemdCgroup = false" 改为 "SystemdCgroup = true"。这将为 containerd 容器运行时启用 systemd cgroup driver。
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc] ... [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options] SystemdCgroup = true
完成后保存并关闭文件。
接下来,运行以下 systemctl 命令启动并启用 containerd 服务。这将使 containerd 服务在系统启动时自动运行。
sudo systemctl enable --now containerd
最后,使用下面的命令检查并验证 containerd 服务。你应该看到 containerd 已启用并将在系统启动时自动运行,且 containerd 服务当前状态为 running。
sudo systemctl is-enabled containerd
sudo systemctl status containerd

安装 Kubernetes 软件包
你已经安装了 containerd 容器运行时。现在你将在所有 Rocky Linux 系统上安装 Kubernetes 软件包。这包括用于引导 Kubernetes 集群的 kubeadm、Kubernetes Cluster 的主要组件 kubelet,以及用于管理 Kubernetes 集群的命令行工具 kubectl。
在本示例中,我们将使用 Kubernetes 提供的仓库安装 Kubernetes 软件包。因此,你将把 Kubernetes 仓库添加到所有 Rocky Linux 系统。
运行以下命令,为基于 RHEL/CentOS 的操作系统添加 Kubernetes 仓库。
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-\$basearch
enabled=1
gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
exclude=kubelet kubeadm kubectl
EOF
现在使用下面的 dnf 命令检查仓库列表并生成新的元数据缓存。你应该看到 Kubernetes 仓库已添加到 Rocky Linux 系统。
sudo dnf repolist
sudo dnf makecache

接下来,使用以下 dnf 命令安装 Kubernetes 软件包。输入 Y 确认安装并按 ENTER 继续,安装将开始。
sudo dnf install kubelet kubeadm kubectl --disableexcludes=kubernetes

安装完成后,运行以下 systemctl 命令启动并启用 kubelet 服务。然后,检查 kubelet 服务,确保它在所有节点上均已启用并正在运行。
该服务是 Kubernetes 的主服务,当你初始化集群或将节点加入集群时,它会等待任意事件。
sudo systemctl enable --now kubelet
安装 CNI 插件:Flannel
Kubernetes 支持多种容器网络插件,例如 AWS VPC for Kubernetes、Azure CNI、Cilium、Calico、Flannel 等等。在本示例中,我们将使用 Flannel 作为 Kubernetes 部署的 CNI 插件。这要求你在所有 Kubernetes 节点上安装 Flannel 的二进制文件。
运行下面的命令创建新目录 "/opt/bin"。然后,将 Flannel 的二进制文件下载到该目录中。
mkdir -p /opt/bin/
sudo curl -fsSLo /opt/bin/flanneld https://github.com/flannel-io/flannel/releases/download/v0.19.0/flanneld-amd64
现在使用下面的命令更改文件权限,使 "flanneld" 二进制文件可执行。当你设置 Pod network addon 时,这个 "flanneld" 二进制文件将被自动执行。
sudo chmod +x /opt/bin/flanneld

初始化 Kubernetes 控制平面
你已经完成了部署 Kubernetes Cluster 的所有依赖项和准备工作。现在你将通过首次初始化 Control Plane 节点来启动 Kubernetes Cluster。在本示例中,Kubernetes Control Plane 将安装在 IP 地址为 "192.168.5.10" 的 "kube-master" 服务器上。
在初始化 Control Plane 节点之前,运行以下命令检查 "br_netfilter" 内核模块是否已启用。如果命令有输出,则表示 "br_netfilter" 模块已启用。
lsmod | grep br_netfilter
接下来,运行以下命令下载 Kubernetes Cluster 所需的镜像。该命令将下载创建 Kubernetes Cluster 所需的全部容器镜像,例如 coredns、kube-api server、etcd、kube-controller、kube-proxy 以及 pause 容器镜像。
sudo kubeadm config images pull

下载完成后,运行以下 "kubeadm init" 命令在 "kube-master" 服务器上初始化 Kubernetes Cluster。由于这是首次初始化集群,节点 "kube-master" 将自动被选为 Kubernetes Control Plane。
- 此外,在本示例中,我们将 Pod 的网络指定为 "10.244.0.0/16",这是 Flannel CNI 插件的默认网络范围。
- "--apiserver-advertise-address" 决定 Kubernetes API server 将在哪个 IP 地址上运行,本示例使用内部 IP 地址 "192.168.5.10"。
- 对于此处的 "--cri-socket" 选项,我们将 CRI socket 指定为位于 "/run/containerd/containerd.sock" 的容器运行时 socket。如果你使用不同的 Container Runtime,则必须更改 socket 文件的路径,或者直接移除 "--cri-socket" 选项,因为 kubeadm 会自动检测 Container Runtime socket。
sudo kubeadm init --pod-network-cidr=10.244.0.0/16 \
--apiserver-advertise-address=192.168.5.10 \
--cri-socket=unix:///run/containerd/containerd.sock
初始化完成后,你会看到诸如 "Your Kubernetes control-plane has initialized successfully!" 的消息,以及一些重要的输出信息,用于设置 Kubernetes 凭据、部署 Pod network add-on,以及如何将工作节点添加到 Kubernetes Cluster。

在开始使用 Kubernetes Cluster 之前,你需要设置 Kubernetes 凭据。运行以下命令设置 Kubernetes 凭据。
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
现在你可以使用 "kubectl" 命令与 Kubernetes 集群交互。运行以下 "kubectl" 命令检查 Kubernetes Cluster 信息。你应该看到 Kubernetes control plane 和 coredns 正在运行。
kubectl cluster-info
要获取有关 Kubernetes 的完整信息,你可以使用 dump 选项,即 "kubectl cluster-info dump"。

在 Kubernetes Control Plane 运行后,运行以下命令安装 Flannel Pod 网络插件。该命令将自动运行 "flanneld" 二进制文件并启动一些 flannel pod。
kubectl apply -f https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml

使用以下命令检查 Kubernetes 上正在运行的 pod 列表。如果你的 Kubernetes 安装成功,你应该看到 Kubernetes 的所有主要 pod(包括 Flannel pod)都在运行。
kubectl get pods --all-namespaces

将工作节点加入 Kubernetes
在 "kube-master" 服务器上初始化 Kubernetes Control Plane 之后,你将把工作节点 "kube-worker1" 和 "kube-worker2" 添加到 Kubernetes Cluster。
切换到 "kube-worker1" 服务器并运行下面的 "kubeadm join" 命令,将 "kube-worker1" 添加到 Kubernetes Cluster。你的 token 和 ca-cert-hash 可能不同,你可以在初始化 Control Plane 节点时的输出消息中查看这些信息的详细内容。
kubeadm join 192.168.5.10:6443 --token wlg23u.r5x2nxw2vdu95dvp \
--discovery-token-ca-cert-hash sha256:71fd28ac2b8108a3d493648a9c702acd2e39a8a0e7efc07326d7b0384c929066
在以下输出中,你可以看到 "kube-worker1" 服务器已被加入 Kubernetes Cluster。

接下来,切换到 "kube-worker2" 服务器并运行 "kubeadm join" 命令,将 "kube-worker2" 添加到 Kubernetes Cluster。
kubeadm join 192.168.5.10:6443 --token wlg23u.r5x2nxw2vdu95dvp \
--discovery-token-ca-cert-hash sha256:71fd28ac2b8108a3d493648a9c702acd2e39a8a0e7efc07326d7b0384c929066
该过程完成后,你将看到相同的输出消息。

现在回到 Control Plane 服务器 "kube-master",运行以下命令检查 Kubernetes Cluster 上所有命名空间中所有正在运行的 pod。你应该看到每个 Kubernetes 组件上都有额外的 pod。
kubectl get pods --all-namespaces

最后,使用下面的 "kubectl" 命令检查并验证 Kubernetes Cluster 上所有可用节点。你应该看到 "kube-master" 服务器作为 Kubernetes Control Plane 运行,而 "kube-worker1" 和 "kube-worker2" 服务器作为工作节点运行。
kubectl get nodes -o wide

结论
通过本教程,你已经使用三台 Rocky Linux 服务器完成了 Kubernetes Cluster 的部署。该 Kubernetes Cluster 以一个控制平面和两个工作节点运行,使用 containerd 作为 Kubernetes Cluster 的 Container Runtime,并使用 Flannel 网络插件为集群中的 Pod 提供网络。你已经完整配置好 Kubernetes Cluster,可以开始将应用部署到 Kubernetes Cluster,或尝试安装 Kubernetes Dashboard 以进一步了解你的 Kubernetes 环境。