本页内容

  • 前提条件
  • 第 1 步 - 配置防火墙
  • 第 2 步 - 安装 Docker 和 Docker Compose
  • 第 3 步 - 配置 Docker Registry 创建用户目录 创建 Amazon S3 Bucket 创建 Docker Compose 文件 设置身份验证
  • 第 4 步 - 安装 SSL 将 Dhparam 文件复制到容器
  • 第 5 步 - 配置 Nginx
  • 第 6 步 - 启动 Docker Registry
  • 第 7 步 - 从客户端机器访问并使用 Docker Registry
  • 结论
  • 创建用户目录
  • 创建 Amazon S3 Bucket
  • 创建 Docker Compose 文件
  • 设置身份验证
  • 将 Dhparam 文件复制到容器

如果你在一家组织工作,并希望将 Docker 镜像保存在内部以便快速部署,那么托管一个私有 Docker 仓库是理想之选。拥有私有 Docker Registry 可以让你掌控自己的镜像分发流程,并对镜像存储和分发进行更严格的控制。你可以将你的镜像仓库与 CI/CD 系统集成,从而改进你的工作流。

本教程将教你如何在基于 Rocky Linux 8 的服务器上,使用 Amazon S3 作为存储位置来搭建并使用私有 Docker Registry。

前提条件

  • 两台装有 Rocky Linux 8 的 Linux 服务器。一台服务器将作为镜像仓库主机,另一台将用作客户端,用于向主机发送请求并从主机接收镜像。
  • 一个指向该主机服务器的已注册域名。本教程中我们将使用 registry.example.com。
  • 两台机器上都有一个具备 sudo 权限的非 root 用户。

第 1 步 - 配置防火墙

第一步是配置防火墙。Rocky Linux 使用 Firewalld 防火墙。检查防火墙的状态。

$ sudo firewall-cmd --state
running

防火墙通过不同的区域工作,public 区域是我们将使用的默认区域。列出防火墙上所有处于活动状态的服务和端口。

$ sudo firewall-cmd --permanent --list-services

它应显示以下输出。

cockpit dhcpv6-client ssh

放行 HTTP 和 HTTPS 端口。

$ sudo firewall-cmd --permanent --add-service=http
$ sudo firewall-cmd --permanent --add-service=https

重新检查防火墙的状态。

$ sudo firewall-cmd --permanent --list-services

你应该会看到类似的输出。

cockpit dhcpv6-client http https ssh

重新加载防火墙以使更改生效。

$ sudo firewall-cmd --reload

第 2 步 - 安装 Docker 和 Docker Compose

此步骤在服务器和客户端机器上都需要执行。

安装官方 Docker 仓库。

$ sudo dnf install yum-utils
$ sudo yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo

安装 Docker。

$ sudo dnf install docker-ce docker-ce-cli containerd.io

启用并运行 Docker 守护进程。

$ sudo systemctl enable docker --now

将你的系统用户添加到 Docker 组,以避免使用 sudo 来运行 Docker 命令。

$ sudo usermod -aG docker $(whoami)

注销后重新登录你的服务器以使更改生效。

下载并安装 Docker Compose 的最新稳定版本。

$ sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

为下载的二进制文件添加可执行权限。

$ sudo chmod +x /usr/local/bin/docker-compose

安装 Docker-compose Bash Completion 脚本。

$ sudo curl \
    -L https://raw.githubusercontent.com/docker/compose/1.29.2/contrib/completion/bash/docker-compose \
    -o /etc/bash_completion.d/docker-compose

重新加载你的 profile 设置以使 bash-completion 生效。

$ source ~/.bashrc

第 3 步 - 配置 Docker Registry

创建用户目录

为镜像仓库配置创建一个目录。

$ mkdir ~/docker-registry

切换到 docker-registry 目录。

$ cd ~/docker-registry

创建一个目录,用于存放 HTTP 身份验证密码、Nginx 配置文件和 SSL 证书。

$ mkdir auth

创建另一个目录来存放 Nginx 日志。

$ mkdir logs

创建 Amazon S3 Bucket

你可以将镜像仓库数据和镜像存储在你的服务器上,也可以使用云托管服务。在本教程中,我们将使用 Amazon S3 云服务。

下一步是通过几个重要设置来建立配置文件。这些设置也可以在 docker-compose.yml 文件中定义,但使用单独的文件要好得多。

使用以下设置创建一个存储桶。

  • 应禁用 ACL。
  • 应禁用对存储桶的公开访问。
  • 应禁用存储桶版本控制。
  • 使用 Amazon S3 托管密钥启用存储桶加密。(SSE-S3)
  • 应禁用对象锁定。

使用以下策略创建一个 IAM 用户。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket",
        "s3:GetBucketLocation",
        "s3:ListBucketMultipartUploads"
      ],
      "Resource": "arn:aws:s3:::S3_BUCKET_NAME"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject",
        "s3:ListMultipartUploadParts",
        "s3:AbortMultipartUpload"
      ],
      "Resource": "arn:aws:s3:::S3_BUCKET_NAME/*"
    }
  ]
}

将 S3_BUCKET_NAME 替换为你的 S3 存储桶的名称。

记下你的存储桶的 secret key、secret value 和存储桶区域,以便稍后使用。

创建 Docker Compose 文件

创建 docker-compose.yml 文件并打开它进行编辑。

$ nano docker-compose.yml

将以下代码粘贴进去。

version: '3.3'
services:
  registry:
    image: registry:2 
    restart: always
    environment:
      - REGISTRY_STORAGE=s3
      - REGISTRY_STORAGE_S3_REGION=us-west-2
      - REGISTRY_STORAGE_S3_BUCKET=hf-docker-registry
      - REGISTRY_STORAGE_S3_ENCRYPT=true
      - REGISTRY_STORAGE_S3_CHUNKSIZE=5242880
      - REGISTRY_STORAGE_S3_SECURE=true
      - REGISTRY_STORAGE_S3_ACCESSKEY=AKIA3FIG4NVFCJ6STMUA
      - REGISTRY_STORAGE_S3_SECRETKEY=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
      - REGISTRY_STORAGE_S3_V4AUTH=true
      - REGISTRY_STORAGE_S3_ROOTDIRECTORY=/image-registry
      - REGISTRY_STORAGE_CACHE_BLOBDESCRIPTOR=inmemory
      - REGISTRY_HEALTH_STORAGEDRIVER_ENABLED=false
  nginx:  
    image: "nginx:alpine"
    ports:
      - 443:443
    links:
      - registry:registry
    volumes:
      - ./auth:/etc/nginx/conf.d
      - ./auth/nginx.conf:/etc/nginx/nginx.conf:ro
      - ./logs:/var/log/nginx
      - /etc/letsencrypt:/etc/letsencrypt

按 Ctrl + X 并在出现提示时输入 Y 来保存文件。

让我们来梳理一下在 compose 文件中设置的内容。

  • 第一步是从 hub 获取 Docker Registry version 2 的最新镜像。我们没有使用 latest 标签,因为在主版本升级的情况下它可能引发问题。将它设置为 2 可以让你获取所有 2.x 更新,同时防止被自动升级到下一个主版本,而下一个主版本可能引入破坏性变更。
  • 镜像仓库容器被设置为在发生故障或意外关闭时始终重启。
  • 我们为 Amazon S3 存储设置了各种环境变量。让我们快速过一遍。 REGISTRY_STORAGE 设置存储类型。由于我们使用的是 Amazon S3,因此选择了 s3。 REGISTRY_STORAGE_S3_REGION 设置你的 S3 存储桶的区域。 REGISTRY_STORAGE_S3_BUCKET 设置你的 S3 存储桶的名称。 REGISTRY_STORAGE_S3_ENCRYPT - 如果你启用了存储桶加密,则将其设置为 true。 REGISTRY_STORAGE_S3_CHUNKSIZE 设置上传分块的大小。它应大于 5MB (5 * 1024 * 1024)。 REGISTRY_STORAGE_S3_SECURE - 如果你打算使用 HTTPS,则将其设置为 true。 REGISTRY_STORAGE_S3_ACCESSKEY 和 REGISTRY_STORAGE_S3_SECRETKEY - 你在创建 IAM 用户后获取的用户凭据。 REGISTRY_STORAGE_S3_V4AUTH - 如果你使用 v4 版本的 AWS 身份验证,则将其设置为 true。如果遇到与 S3 登录相关的错误,则将其设置为 false。 REGISTRY_STORAGE_S3_ROOTDIRECTORY - 设置存储桶中的根目录,你的镜像仓库数据将存储在该目录下。 REGISTRY_STORAGE_CACHE_BLOBDESCRIPTOR - 设置 Cache 的位置。在我们的例子中,我们将它存储在内存中。你也可以将它设置为使用 Redis。 REGISTRY_HEALTH_STORAGEDRIVER_ENABLED - 将其设置为 false 可禁用镜像仓库的存储健康检查服务。镜像仓库存在一个 bug,如果不将其设置为 false,可能会引发问题。
  • Docker Registry 通过端口 5000 通信,我们已在服务器上将该端口暴露给 docker。
  • ./auth:/etc/nginx/conf.d 映射确保所有 Nginx 的设置都在容器中可用。
  • ./auth/nginx.conf:/etc/nginx/nginx.conf:ro 以只读模式将系统中的 Nginx 设置文件映射到容器中的文件。
  • ./logs:/var/log/nginx 通过映射到容器中的 Nginx 日志目录,使系统上的 Nginx 日志可被访问。
  • Docker Registry 的设置存储在容器中的 /etc/docker/registry/config.yml 文件里,我们已将它映射到当前目录中的 config.yml 文件,该文件将在下一步创建。

第一步是从 hub 获取 Docker Registry version 2 的最新镜像。我们没有使用 latest 标签,因为在主版本升级的情况下它可能引发问题。将它设置为 2 可以让你获取所有 2.x 更新,同时防止被自动升级到下一个主版本,而下一个主版本可能引入破坏性变更。

镜像仓库容器被设置为在发生故障或意外关闭时始终重启。

我们为 Amazon S3 存储设置了各种环境变量。让我们快速过一遍。

  • REGISTRY_STORAGE 设置存储类型。由于我们使用的是 Amazon S3,因此选择了 s3。
  • REGISTRY_STORAGE_S3_REGION 设置你的 S3 存储桶的区域。
  • REGISTRY_STORAGE_S3_BUCKET 设置你的 S3 存储桶的名称。
  • REGISTRY_STORAGE_S3_ENCRYPT - 如果你启用了存储桶加密,则将其设置为 true。
  • REGISTRY_STORAGE_S3_CHUNKSIZE 设置上传分块的大小。它应大于 5MB (5 * 1024 * 1024)。
  • REGISTRY_STORAGE_S3_SECURE - 如果你打算使用 HTTPS,则将其设置为 true。
  • REGISTRY_STORAGE_S3_ACCESSKEY 和 REGISTRY_STORAGE_S3_SECRETKEY - 你在创建 IAM 用户后获取的用户凭据。
  • REGISTRY_STORAGE_S3_V4AUTH - 如果你使用 v4 版本的 AWS 身份验证,则将其设置为 true。如果遇到与 S3 登录相关的错误,则将其设置为 false。
  • REGISTRY_STORAGE_S3_ROOTDIRECTORY - 设置存储桶中的根目录,你的镜像仓库数据将存储在该目录下。
  • REGISTRY_STORAGE_CACHE_BLOBDESCRIPTOR - 设置 Cache 的位置。在我们的例子中,我们将它存储在内存中。你也可以将它设置为使用 Redis。
  • REGISTRY_HEALTH_STORAGEDRIVER_ENABLED - 将其设置为 false 可禁用镜像仓库的存储健康检查服务。镜像仓库存在一个 bug,如果不将其设置为 false,可能会引发问题。

Docker Registry 通过端口 5000 通信,我们已在服务器上将该端口暴露给 docker。

./auth:/etc/nginx/conf.d 映射确保所有 Nginx 的设置都在容器中可用。

./auth/nginx.conf:/etc/nginx/nginx.conf:ro 以只读模式将系统中的 Nginx 设置文件映射到容器中的文件。

./logs:/var/log/nginx 通过映射到容器中的 Nginx 日志目录,使系统上的 Nginx 日志可被访问。

Docker Registry 的设置存储在容器中的 /etc/docker/registry/config.yml 文件里,我们已将它映射到当前目录中的 config.yml 文件,该文件将在下一步创建。

设置身份验证

要设置 HTTP 身份验证,你需要安装 httpd-tools 软件包。

$ sudo dnf install httpd-tools

在 ~/docker-registry/auth 目录中创建密码文件。

$ htpasswd -Bc ~/docker-registry/auth/nginx.htpasswd user1
New password:
Re-type new password:
Adding password for user user1

-c 标志指示该命令创建一个新文件,-B 标志用于使用 Docker 支持的 bcrypt 算法。将 user1 替换为你选择的用户名。

如果你想添加更多用户,请再次运行该命令,但不要带 -c 标志。

$ htpasswd -B ~/docker-registry/auth/registry.password user2

现在,该文件将被映射到镜像仓库容器以用于身份验证。

第 4 步 - 安装 SSL

要使用 Let's Encrypt 安装 SSL 证书,我们需要下载 Certbot 工具,它可从 Epel 仓库获取。

安装 EPEL 仓库和 Certbot。

$ sudo dnf install epel-release 
$ sudo dnf install certbot

生成 SSL 证书。

$ sudo certbot certonly --standalone --agree-tos --no-eff-email --staple-ocsp --preferred-challenges http -m 
[email protected]
 -d registry.example.com

上述命令会将证书下载到你服务器上的 /etc/letsencrypt/live/registry.example.com 目录。

生成 Diffie-Hellman group 证书。

$ sudo openssl dhparam -out /etc/ssl/certs/dhparam.pem 4096

测试证书的续期。

$ sudo certbot renew --dry-run

如果 dry run 成功,则意味着你的证书将被自动续期。

将 Dhparam 文件复制到容器

将 Diffie-Hellman group 证书复制到 ~/docker-registry/auth 目录,该目录将被映射到容器。

$ sudo cp /etc/ssl/certs/dhparam.pem ~/docker-registry/auth

第 5 步 - 配置 Nginx

下一步涉及将 Nginx 服务器配置为 Docker Registry 服务器的前端代理。Docker Registry 自带一个运行在端口 5000 的内置服务器。我们将把它放在 Nginx 后面。

创建并打开文件 ~/docker-registry/auth/nginx.conf 进行编辑。

$ sudo nano ~/docker-registry/auth/nginx.conf

将以下代码粘贴进去。

events {
    worker_connections  1024;
}

http {

  upstream docker-registry {
    server registry:5000;
  }

  ## Set a variable to help us decide if we need to add the
  ## 'Docker-Distribution-Api-Version' header.
  ## The registry always sets this header.
  ## In the case of nginx performing auth, the header is unset
  ## since nginx is auth-ing before proxying.
  map $upstream_http_docker_distribution_api_version $docker_distribution_api_version {
    '' 'registry/2.0';
  }

  server {
    listen 443 ssl http2;
    server_name registry.example.com;

    # SSL
    ssl_certificate /etc/letsencrypt/live/registry.example.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/registry.example.com/privkey.pem;
    ssl_trusted_certificate /etc/letsencrypt/live/registry.example.com/chain.pem;

    access_log  /var/log/nginx/registry.access.log;
    error_log   /var/log/nginx/registry.error.log;

    # Recommendations from https://raymii.org/s/tutorials/Strong_SSL_Security_On_nginx.html
    ssl_protocols TLSv1.2 TLSv1.3;
    ssl_ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384;
    ssl_prefer_server_ciphers on;
    ssl_ecdh_curve X25519:prime256v1:secp384r1:secp521r1;
    ssl_session_cache shared:SSL:10m;
    ssl_dhparam /etc/nginx.d/conf.d/dhparam.pem;
    resolver 8.8.8.8;

    # disable any limits to avoid HTTP 413 for large image uploads
    client_max_body_size 0;

    # required to avoid HTTP 411: see Issue #1486 (https://github.com/moby/moby/issues/1486)
    chunked_transfer_encoding on;

    location /v2/ {
      # Do not allow connections from docker 1.5 and earlier
      # docker pre-1.6.0 did not properly set the user agent on ping, catch "Go *" user agents
      if ($http_user_agent ~ "^(docker\/1\.(3|4|5(?!\.[0-9]-dev))|Go ).*$" ) {
        return 404;
      }

      # To add basic authentication to v2 use auth_basic setting.
      auth_basic "Registry realm";
      auth_basic_user_file /etc/nginx/conf.d/nginx.htpasswd;

      ## If $docker_distribution_api_version is empty, the header is not added.
      ## See the map directive above where this variable is defined.
      add_header 'Docker-Distribution-Api-Version' $docker_distribution_api_version always;

      proxy_pass                          http://docker-registry;
      proxy_set_header  Host              $http_host;   # required for docker client's sake
      proxy_set_header  X-Real-IP         $remote_addr; # pass on real client's IP
      proxy_set_header  X-Forwarded-For   $proxy_add_x_forwarded_for;
      proxy_set_header  X-Forwarded-Proto $scheme;
      proxy_read_timeout                  900;
    }
  }
}

完成后按 Ctrl + X 并在出现提示时输入 Y 来保存文件。

配置 SELinux 以允许私有 Docker Registry 的网络连接。

$ sudo setsebool -P httpd_can_network_connect on

第 6 步 - 启动 Docker Registry

切换到 Docker Registry 的目录。

$ cd ~/docker-registry

启动 Docker 容器。

$ docker-compose up -d

检查容器的状态。

$ docker ps
CONTAINER ID   IMAGE          COMMAND                  CREATED         STATUS         PORTS                                           NAMES
88d6addc1687   nginx:alpine   "/docker-entrypoint.…"   5 minutes ago   Up 5 minutes   80/tcp, 0.0.0.0:443->443/tcp, :::443->443/tcp   docker-registry_nginx_1
2b112edc1c72   registry:2     "/entrypoint.sh /etc…"   5 minutes ago   Up 5 minutes   5000/tcp                                        docker-registry_registry_1

登录 Docker Registry。

$ docker login -u=testuser -p=testpassword https://registry.example.com

你也可以在浏览器中打开 URL https://registry.example.com/v2/,它会要求输入用户名和密码。你应该会看到一个显示 {} 的空页面。

你也可以在终端上使用 curl 检查该 URL。

$ curl -u testuser -X GET https://registry.nspeaks.xyz/v2/
Enter host password for user 'testuser':
{}

下载最新的 Ubuntu Docker 镜像。

$ docker pull ubuntu:latest

为该镜像打上私有镜像仓库的标签。

$ docker tag ubuntu:latest registry.example.com/ubuntu2004

将该镜像推送到镜像仓库。

$ docker push registry.example.com/ubuntu2004

测试推送是否成功。

$ curl -u testuser -X GET https://registry.nspeaks.xyz/v2/_catalog
Enter host password for user 'testuser':
{"repositories":["ubuntu2004"]}

在出现提示时输入你的 Nginx 身份验证密码,然后你将看到通过镜像仓库可用的仓库列表。

检查当前可供使用的 Docker 镜像列表。

$ docker images
REPOSITORY                            TAG       IMAGE ID       CREATED       SIZE
registry                              2         d3241e050fc9   5 days ago    24.2MB
nginx                                 alpine    53722defe627   5 days ago    23.4MB
httpd                                 2         118b6abfbf55   5 days ago    144MB
ubuntu                                latest    ff0fea8310f3   2 weeks ago   72.8MB
registry.nspeaks.xyz/ubuntu2004       latest    ff0fea8310f3   2 weeks ago   72.8MB

第 7 步 - 从客户端机器访问并使用 Docker Registry

登录到你的客户端服务器。在第 1 步中,我们在客户端机器上安装了 Docker。

从客户端机器登录私有 Docker Registry。

$ docker login -u=testuser -p=testpassword https://registry.example.com

从镜像仓库拉取 Ubuntu 镜像。

$ docker pull registry.example.com/ubuntu2004

列出你的客户端机器上的所有镜像。

$ docker images
REPOSITORY                        TAG        IMAGE ID       CREATED         SIZE
registry.nspeaks.xyz/ubuntu2004   latest     ff0fea8310f3   2 weeks ago     72.8MB

使用下载的镜像创建并启动一个容器。

$ docker run -it registry.example.com/ubuntu2004 /bin/bash

你将登录到 Ubuntu 容器内的 Shell。

root@a2da49fdbea9:

运行以下命令来检查 Linux 版本。

root@a2da49fdbea9$ cat /etc/os-release
NAME="Ubuntu"
VERSION="20.04.4 LTS (Focal Fossa)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 20.04.4 LTS"
VERSION_ID="20.04"
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
VERSION_CODENAME=focal
UBUNTU_CODENAME=focal

现在,你可以从客户端机器开始使用你的 Docker Registry 了。

结论

关于在基于 Rocky Linux 8 并使用 Amazon S3 作为存储的服务器上搭建私有 Docker Registry 的教程到此结束。如果你有任何问题,请在下面的评论中发表。