本页内容

  • 前提条件
  • 设置系统
  • 设置 /etc/hosts 文件
  • 配置 UFW 防火墙
  • 启用内核模块并禁用 SWAP
  • 安装容器运行时:Containerd
  • 安装 Kubernetes 软件包
  • 安装 CNI (Container Network Interface) 插件:Flannel
  • 初始化 Kubernetes 控制平面
  • 向 Kubernetes 添加工作节点
  • 结论

Kubernetes(或 k8s)是一个用于容器编排的开源平台,可自动完成容器化应用的部署、管理和扩缩容。Kubernetes 是由 Google 创建的容器编排工具,如今已成为一个开源项目,并成为现代应用部署和计算平台的标准。

Kubernetes 是面向现代容器部署时代的解决方案。它提供服务发现与负载均衡、存储编排、自动上线与回滚、自愈服务、密钥与配置管理。Kubernetes 让经济高效的云原生开发成为可能。

在本教程中,你将通过以下方式搭建 Kubernetes 集群:

  • 设置系统,包括 - 设置 /etc/hosts 文件、启用内核模块以及禁用 SWAP。
  • 通过添加 Kubernetes 所需的一些端口来设置 UFW 防火墙。
  • 安装 containerd 作为 Kubernetes 的容器运行时。
  • 安装 Kubernetes 软件包,例如 kubelet、kubeadm 和 kubectl。
  • 为 Kubernetes Pod 安装 Flannel 网络插件。
  • 初始化一个控制平面节点并添加两个工作节点。

前提条件

要完成本教程,你需要满足以下要求:

  • 三台或更多 Ubuntu 22.04 服务器。
  • 一个具有 root/管理员权限的非 root 用户。

设置系统

在开始安装用于 Kubernetes 部署的任何软件包之前,你需要按照 Kubernetes 部署的要求设置好所有系统。这包括以下配置:

  • 设置正确的 /etc/hosts 文件:每台服务器的主机名必须解析到正确的 IP 地址。实现方式有多种,但最简单便捷的一种是在所有服务器上使用 /etc/hosts 文件。
  • 设置 UFW 防火墙:对于生产环境,始终建议在控制平面节点和工作节点上都启用防火墙。
  • 启用内核模块:Kubernetes 需要在 Linux 系统上启用某些内核模块。需要 " overlay " 和 " br_netfilter " 内核模块,以便让 iptables 看到桥接流量。
  • 禁用 SWAP:这是强制要求,你必须在所有 Kubernetes 节点(控制平面节点和工作节点)上禁用 SWAP。否则,kubelet 服务运行时会出现问题。

设置 /etc/hosts 文件

在第一步中,你将在所有服务器上设置系统主机名和 /etc/hosts 文件。在本次演示中,我们将使用以下服务器。

Hostname    IP Address        Used as
--------------------------------------------
cplane1     192.168.5.10      control-plane
worker1     192.168.5.25      worker node
worker2     192.168.5.26      worker node

运行以下 hostnamectl 命令,在每台服务器上设置系统主机名。

对于控制平面节点,运行以下命令将系统主机名设置为 " cplane1 "。

sudo hostnamectl set-hostname cplane1

对于 Kubernetes 工作节点,运行以下 hostnamectl 命令。

# setup hostname worker1
sudo hostnamectl set-hostname worker1
# setup hostname worker2
sudo hostnamectl set-hostname worker2

接下来,使用以下命令修改所有服务器上的 /etc/hosts 文件。

sudo nano /etc/hosts

将以下配置添加到该文件中。请确保每个主机名都指向正确的 IP 地址。

192.168.5.10 cplane1
192.168.5.25 worker1
192.168.5.26 worker2

完成后保存并关闭文件。

最后,如果你对每个主机名运行 ping 命令,将会指向 /etc/hosts 文件中定义的正确 IP 地址。

ping cplane1 -c3
ping worker1 -c3
ping worker2 -c3

配置 UFW 防火墙

Kubernetes 需要在所有系统上开放一些端口。在默认的 Ubuntu 系统中,UFW 防火墙被用作默认防火墙。你将为 Kubernetes 部署向 UFW 防火墙添加一些端口。

对于 Kubernetes 控制平面,你需要开放以下端口:

Protocol  Direction Port Range  Purpose Used By
-----------------------------------------------
TCP       Inbound   6443        Kubernetes API server All
TCP       Inbound   2379-2380   etcd server client API  kube-apiserver, etcd
TCP       Inbound   10250       Kubelet API Self, Control plane
TCP       Inbound   10259       kube-scheduler  Self
TCP       Inbound   10257       kube-controller-manager Self

对于 Kubernetes 工作节点,你需要开放以下端口:

Protocol  Direction Port Range  Purpose Used By
--------------------------------------------------
TCP       Inbound   10250       Kubelet API Self, Control plane
TCP       Inbound   30000-32767 NodePort Services†  All

在添加 UFW 规则之前,请务必使用以下命令将 OpenSSH 应用添加到防火墙中。然后启用 UFW 防火墙。当出现确认提示时,输入 " y " 以启用并运行 UFW 防火墙。

sudo ufw allow "OpenSSH"
sudo ufw enable

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

在控制平面节点 " cplane1 " 上,运行以下 ufw 命令来开放端口。

sudo ufw allow 6443/tcp
sudo ufw allow 2379:2380/tcp
sudo ufw allow 10250/tcp
sudo ufw allow 10259/tcp
sudo ufw allow 10257/tcp
sudo ufw status

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

在工作节点 " worker1 " 和 " worker2 " 上,运行以下 ufw 命令来开放一些端口。

sudo ufw allow 10250/tcp
sudo ufw allow 30000:32767/tcp
sudo ufw status

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

启用内核模块并禁用 SWAP

Kubernetes 需要在所有服务器上启用 " overlay " 和 " br_netfilter " 内核模块。这将让 iptables 看到桥接流量。此外,你还需要启用端口转发并禁用 SWAP。

运行以下命令来启用 " overlay " 和 " br_netfilter " 内核模块。

sudo modprobe overlay
sudo modprobe br_netfilter

为使其永久生效,请创建配置文件 " /etc/modules-load.d/k8s.conf "。这将使 Linux 系统在系统启动时启用内核模块。

cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

接下来,使用以下命令创建所需的 systemctl 参数。

cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF

要在不重启的情况下应用新的 sysctl 配置,请使用以下命令。你将看到系统上的默认 sysctl 参数列表,并请确认其中包含你刚刚添加到 " k8s.conf " 文件中的 sysctl 参数。

sudo sysctl --system

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

要禁用 SWAP,你需要注释掉 " /etc/fstab " 文件中的 SWAP 配置。这可以通过使用 sed(流编辑器)的单条命令来完成,也可以手动编辑 /etc/fstab 文件。

sudo sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

或者

sudo nano /etc/fstab

现在使用以下命令关闭当前会话中的 SWAP。然后,使用 " free -m " 命令验证 SWAP 已关闭。你应该看到 SWAP 的值为 " 0 ",这意味着它现在已被禁用。

sudo swapoff -a
free -m

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

安装容器运行时:Containerd

要搭建 Kubernetes 集群,你必须在所有服务器上安装容器运行时,以便 Pod 能够运行。Kubernetes 部署可以使用多种容器运行时,例如 containerd、CRI-O、Mirantis Container Runtime 以及 Docker Engine(通过 cri-dockerd)。

在本次演示中,我们将使用 "containerd" 作为 Kubernetes 部署的容器。因此,你将在所有服务器、控制平面节点和工作节点上安装 containerd。

安装 containerd 有多种方式,最简单的方式是使用 Docker 仓库提供的预构建二进制软件包。

现在运行以下命令来添加 Docker 仓库和 GPG 密钥。

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker.gpg
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

使用以下命令更新并刷新 ubuntu 系统上的软件包索引。

sudo apt update

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

现在使用以下 apt 命令安装 containerd 软件包,安装将开始。

sudo apt install containerd.io

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

安装完成后,运行以下命令停止 containerd 服务。

sudo systemctl stop containerd

使用以下命令备份默认的 containerd 配置并生成一份全新的配置。

sudo mv /etc/containerd/config.toml /etc/containerd/config.toml.orig
sudo containerd config default > /etc/containerd/config.toml

现在使用以下命令修改 containerd 配置文件 " /etc/containerd/config.toml "。

sudo nano /etc/containerd/config.toml

将 cgroup driver 的值由 " SystemdCgroup = false " 改为 " SystemdCgroup = true "。这将为 containerd 容器运行时启用 systemd cgroup driver。

[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
  ...
  [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
    SystemdCgroup = true

完成后,保存并关闭文件。

接下来,运行以下 systemctl 命令来启动 containerd 服务。

sudo systemctl start containerd

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

最后,使用以下命令检查并验证 containerd 服务。你应该看到 containerd 已启用,并将在系统启动时自动运行,且 containerd 服务当前状态为正在运行。

sudo systemctl is-enabled containerd
sudo systemctl status containerd

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

安装 Kubernetes 软件包

你已经安装了 containerd 容器运行时。现在你将在所有 Ubuntu 系统上安装 Kubernetes 软件包。其中包括用于引导 Kubernetes 集群的 kubeadm、作为 Kubernetes 集群主要组件的 kubelet,以及用于管理 Kubernetes 集群的命令行工具 kubectl。

在本示例中,我们将使用 Kubernetes 提供的仓库来安装 Kubernetes 软件包。因此,你需要将 Kubernetes 仓库添加到所有 ubuntu 系统中。

运行以下 apt 命令来安装一些软件包依赖。

sudo apt install apt-transport-https ca-certificates curl -y

现在使用以下命令添加 Kubernetes 仓库和 GPG 密钥。

sudo curl -fsSLo /usr/share/keyrings/kubernetes-archive-keyring.gpg https://packages.cloud.google.com/apt/doc/apt-key.gpg
echo "deb [signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list

更新并刷新你的 Ubuntu 仓库和软件包索引。

sudo apt update

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

更新完成后,使用以下 apt 命令安装 Kubernetes 软件包。输入 Y 确认安装并按 ENTER 继续,安装将开始。

sudo apt install kubelet kubeadm kubectl

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

安装完成后,运行以下命令锁定 Kubernetes 软件包的当前版本。这将防止 Kubernetes 软件包被自动更新,并防止 Kubernetes 各软件包之间出现版本偏差。

sudo apt-mark hold kubelet kubeadm kubectl

安装 CNI (Container Network Interface) 插件:Flannel

Kubernetes 支持多种容器网络插件,例如 AWS VPC for Kubernetes、Azure CNI、Cilium、Calico、Flannel 等等。在本示例中,我们将使用 Flannel 作为 Kubernetes 部署的 CNI 插件。这要求你在所有 Kubernetes 节点上安装 Flannel 的二进制文件。

运行以下命令创建一个新目录 " /opt/bin "。然后,将 Flannel 的二进制文件下载到该目录中。

mkdir -p /opt/bin/
sudo curl -fsSLo /opt/bin/flanneld https://github.com/flannel-io/flannel/releases/download/v0.19.0/flanneld-amd64

现在使用以下命令更改文件权限,使 "flanneld" 二进制文件可执行。当你设置 Pod 网络插件时,这个 " flanneld " 二进制文件将被自动执行。

sudo chmod +x /opt/bin/flanneld

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

初始化 Kubernetes 控制平面

你已经完成了部署 Kubernetes 集群所需的所有依赖项和前置条件。现在你将通过首次初始化控制平面节点来启动 Kubernetes 集群。在本示例中,Kubernetes 控制平面将安装在 IP 地址为 " 192.168.5.10 " 的 " cplane1 " 服务器上。

在初始化控制平面节点之前,运行以下命令检查 " br_netfilter " 内核模块是否已启用。如果该命令有输出,则表示 " br_netfilter " 模块已启用。

lsmod | grep br_netfilter

接下来,运行以下命令下载 Kubernetes 集群所需的镜像。该命令将下载创建 Kubernetes 集群所需的全部容器镜像,例如 coredns、kube-api server、etcd、kube-controller、kube-proxy 以及 pause 容器镜像。

sudo kubeadm config images pull

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

下载完成后,运行以下 " kubeadm init " 命令在 " cplane1 " 服务器上初始化 Kubernetes 集群。由于这是首次初始化集群,节点 " cplane1 " 将被自动选为 Kubernetes 控制平面。

  • 此外,在本示例中,我们将 Pod 的网络指定为 " 10.244.0.0/16 ",这是 Flannel CNI 插件的默认网络范围。
  • "- -apiserver-advertise-address " 决定 Kubernetes API server 将在哪个 IP 地址上运行,本示例使用内部 IP 地址 " 192.168.5.10 "。
  • 对于此处的 " --cri-socket " 选项,我们将 CRI socket 指定为 "/run/containerd/containerd.sock" 上可用的容器运行时 socket。如果你使用不同的容器运行时,则必须更改该 socket 文件的路径,或者也可以直接移除 " --cri-socket" 选项,因为 kubeadm 会自动检测容器运行时 socket。
sudo kubeadm init --pod-network-cidr=10.244.0.0/16 \
--apiserver-advertise-address=192.168.5.10 \
--cri-socket=unix:///run/containerd/containerd.sock

下面是在 " cplane1 " 服务器上初始化 Kubernetes 集群时的输出。

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

初始化完成后,你会看到类似 " Your Kubernetes control-plane has initialized successfully! " 的消息,以及一些重要的输出信息,用于设置 Kubernetes 凭据、部署 Pod 网络插件,以及如何将工作节点添加到 Kubernetes 集群。

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

在开始使用 Kubernetes 集群之前,你需要设置 Kubernetes 凭据。运行以下命令来设置 Kubernetes 凭据。

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

现在你可以使用 "kubectl" 命令与 Kubernetes 集群交互。运行以下 " kubectl " 命令查看 Kubernetes 集群信息。你应该会看到 Kubernetes 控制平面和 coredns 正在运行。

kubectl cluster-info

要获取有关 Kubernetes 的完整信息,可以使用 dump 选项 - 即 " kubectl cluster-info dump "。

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

在 Kubernetes 控制平面运行之后,运行以下命令安装 Flannel Pod 网络插件。该命令将自动运行 " flanneld " 二进制文件并启动一些 flannel pod。

kubectl apply -f https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

使用以下命令检查 Kubernetes 上正在运行的 pod 列表。如果 Kubernetes 安装成功,你应该会看到 Kubernetes 的所有主要 pod 都在运行。

kubectl get pods --all-namespaces

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

向 Kubernetes 添加工作节点

在 " cplane1 " 服务器上初始化 Kubernetes 控制平面之后,你将把工作节点 " worker1 " 和 " worker2 " 添加到 Kubernetes 集群中。

切换到 " worker1 " 服务器并运行以下 " kubeadm join " 命令,将 "worker1" 添加到 Kubernetes 集群中。你的 token 和 ca-cert-hash 可能不同,你可以在初始化控制平面节点时的输出消息中查看这些信息的详细内容。

kubeadm join 192.168.5.10:6443 --token po3sb1.oux4z76nwb0veuna \
--discovery-token-ca-cert-hash sha256:f5068150fabaf85f3d04e19a395c60d19298ba441e2d9391e20df3267ea6cd28

在以下输出中,你可以看到 " worker1 " 服务器已被加入 Kubernetes 集群。

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

接下来,切换到 " worker2 " 服务器并运行 " kubeadm join " 命令,将 " worker2 " 添加到 Kubernetes 集群中。

kubeadm join 192.168.5.10:6443 --token po3sb1.oux4z76nwb0veuna \
--discovery-token-ca-cert-hash sha256:f5068150fabaf85f3d04e19a395c60d19298ba441e2d9391e20df3267ea6cd28

该过程完成后,你将看到相同的输出消息。

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

现在回到控制平面服务器 'cplane1",运行以下命令检查 Kubernetes 集群上所有正在运行的 pod。你应该会看到每个 Kubernetes 组件上都多了一些 pod。

kubectl get pods --all-namespaces

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

最后,使用以下 ' kubectl " 命令检查并验证 Kubernetes 集群上所有可用节点。你应该会看到 ' cplane1 " 服务器作为 Kubernetes 控制平面运行,而 " worker1 " 和 " worker2 " 服务器作为工作节点运行。

kubectl get nodes -o wide

在 Ubuntu 22.04 系统上使用 kubeadm 完整部署 Kubernetes 集群教程

结论

通过本教程,你已经完成了由三节点 Ubuntu 22.04 服务器组成的 Kubernetes 集群的部署。该 Kubernetes 集群以一个控制平面和两个工作节点运行。它使用 containerd 作为 Kubernetes 集群的容器运行时,并使用 Flannel 网络插件为集群中的 Pod 提供网络。你已经完整配置了 Kubernetes 集群,可以开始将应用部署到 Kubernetes 集群,或尝试安装 Kubernetes Dashboard 以进一步了解你的 Kubernetes 环境。