其他
懵了,构建一个 Docker 镜像花 60 分钟?如何提高效率?
关注公众号并添加到“星标⭐”,防止错过消息
后台回复【资料包】获取学习资料
最近,有一个需求:向镜像构建管道添加一个参数,以允许用户在构建时配置超时时间。
我们计划在构建时配置 10 分钟的默认超时,并且允许用户覆盖此配置,因为他们的某些镜像构建需要长达 60 分钟才能完成。而且每天都在进行多次构建。
为了便于阅读,我删除了一些内容,Dockerfile 看起来像这样:
FROM ubuntu:focal-20210119
RUN apt-get -y update && \
apt-get -y upgrade && \
apt-get install -y --no-install-recommends \
dos2unix \
jq \
libpython3.10 \
python3-pip \
software-properties-common \
tar \
unzip \
wget \
zip && \
echo "Cleaning up" && \
rm -rf /var/lib/apt/lists/* && \
apt-get clean
RUN pip3 install boto3 flask
RUN echo "Installing AWS CLIv2" && \
TMPDIR=$(mktemp -d) && \
wget -P $TMPDIR --no-check-certificate "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" && \
unzip $TMPDIR/awscli-exe-linux-x86_64.zip -d $TMPDIR && \
$TMPDIR/aws/install && \
rm -rf /usr/local/aws-cli/v2/dist/awscli/examples/ && \
rm -rf $TMPDIR
RUN echo "Installing kubectl" && \
wget -P /usr/bin/ --no-check-certificate https://storage.googleapis.com/kubernetes-release/release/$(wget --no-check-certificate -O - https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl && \
chmod +x /usr/bin/kubectl
# Install the app
COPY dummyapp.py /app/
rebuild 的重点是应用程序更改,而不是对底层依赖项的更改。
由于 Dockerfile 已被精简,现在大约 5 分钟内构建完成。但讲真,这时间仍然很长,因为通常可能只要几秒钟。
这是我构建的部分输出:
# time docker build --no-cache --progress=plain -t test:test .
Sending build context to Docker daemon 3.072kB
Step 1/5 : FROM ubuntu:focal-20210119
---> f63181f19b2f
Step 2/5 : RUN apt-get -y update && apt-get -y upgrade && apt-get install -y --no-install-recommends dos2unix jq libpython3.10 python3-pip software-properties-common tar unzip wget zip && echo "Cleaning up" && rm -rf /var/lib/apt/lists/* && apt-get clean
---> Running in 37bff266446e
Get:1 http://security.ubuntu.com/ubuntu focal-security InRelease [114 kB]
Get:2 http://security.ubuntu.com/ubuntu focal-security/main amd64 Packages [1470 kB]
<snip>
45400K .......... .......... .......... .......... .......... 99% 2.31M 0s
45450K .......... .......... .......... .......... ...... 100% 8.05M=18s
2022-01-28 19:37:06 (2.40 MB/s) - '/usr/bin/kubectl' saved [46587904/46587904]
Removing intermediate container 86223b438cef
---> b8f9a2cc1d9a
Step 6/6 : COPY dummyapp.py /app/
---> b95d22cdca6f
Successfully built b95d22cdca6f
Successfully tagged test:test
real 5m11.679s
user 0m1.248s
sys 0m1.961s
怎样才能让这个构建更快?
每次构建这个 Dockerfile 时,都会重复很多处理,其结果不太可能经常改变。
更新 ubuntu 软件包列表 升级 ubuntu 软件包 安装一些额外的软件包 使用 pip3 安装一些 python 包 安装 AWS CLI 安装 kubectl 安装应用程序
还 FROM 一个相当旧的 Ubuntu 版本,需要升级更多的包,因此升级步骤将花费更长的时间。
此镜像的大多数重新 build 的目的是合并应用程序更改(即仅 Dockerfile 中的最后一行)。因此,最明显的变化是将此 Dockerfile 拆分为 2 个(或更多)Dockerfile,并且将 FROM 语句更改为使用最新的 Ubuntu 基础镜像。
第一个 Dockerfile 看起来像这样:
FROM ubuntu:latest
RUN apt-get -y update && \
apt-get -y upgrade && \
apt-get install -y --no-install-recommends \
dos2unix \
jq \
libpython3.10 \
python3-pip \
software-properties-common \
tar \
unzip \
wget \
zip && \
echo "Cleaning up" && \
rm -rf /var/lib/apt/lists/* && \
apt-get clean
RUN pip3 install boto3 flask
RUN echo "Installing AWS CLIv2" && \
TMPDIR=$(mktemp -d) && \
wget -P $TMPDIR --no-check-certificate "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" && \
unzip $TMPDIR/awscli-exe-linux-x86_64.zip -d $TMPDIR && \
$TMPDIR/aws/install && \
rm -rf /usr/local/aws-cli/v2/dist/awscli/examples/ && \
rm -rf $TMPDIR
RUN echo "Installing kubectl" && \
wget -P /usr/bin/ --no-check-certificate https://storage.googleapis.com/kubernetes-release/release/$(wget --no-check-certificate -O - https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl && \
chmod +x /usr/bin/kubectl
第二个 Dockerfile 可能看起来像这样:
FROM dummyapp-dependencies:latest
# Install the app
COPY dummyapp.py /app/
构建第一个 Dockerfile 并没有为我们节省任何时间,虽然需要大约 5 分钟,但只需要相对不频繁地构建第一个 Dockerfile。
然而,构建第二个 Dockerfile 的效果要好得多,只需要大约 2 秒:
# time docker build --no-cache --progress=plain -t tes
t:test -f Dockerfile.app .
Sending build context to Docker daemon 5.12kB
Step 1/2 : FROM dummyapp:1.0.0
pull access denied for dummyapp, repository does not exist or may require 'docker login': denied: requested access to the resource is denied
real 0m2.125s
user 0m0.043s
sys 0m0.030s
鉴于应用程序的更改比底层依赖项更频繁,刚刚节省了大量时间。
推荐阅读
还怕记不住 Kubectl 命令?K9s 太强大了快速上手Thanos:高可用的 Prometheus
Docker 出了个新玩意:软件物料清单
Kubernetes 微服务最佳实践
Argo CD 出现严重漏洞,黑客可能拔掉你的底裤
Kubernetes Pod 删除操作源码解析
使用 Lux 下载B站视频,真强大
38 万K8s API 服务暴露在公网上可能被攻击?
大规模 K8s 集群性能瓶颈和调优实践
优雅的跨 Namespace 同步 Secret 和 ConfigMap?
Kruise 轻松让 K8S 应用实现渐进式交付图解 Kubernetes Pod 如何获取 IP 地址使用 Telepresence 轻松在本地调试 k8s 应用程序GitOps 工具选型,33 款工具任你挑!就在刚刚 k8s 1.24 正式发布,来看功能总览Nomad 会替代 Kubernetes 吗?两者如何选择?Docker 入门终极指南,详细版!漫画轻松看懂如何用 Kubernetes 实现 CI/CD阿里开源的低代码引擎,已收获 4.5K 星星新手必须知道的 Kubernetes 架构Kubernetes 架构核心点详细总结!