查看原文
其他

懵了,构建一个 Docker 镜像花 60 分钟?如何提高效率?

Andy 进击云原生 2022-11-10

关注公众号并添加到“星标⭐”,防止错过消息

后台回复【资料包】获取学习资料


最近,有一个需求:向镜像构建管道添加一个参数,以允许用户在构建时配置超时时间。

我们计划在构建时配置 10 分钟的默认超时,并且允许用户覆盖此配置,因为他们的某些镜像构建需要长达 60 分钟才能完成。而且每天都在进行多次构建。

为了便于阅读,我删除了一些内容,Dockerfile 看起来像这样:

FROM ubuntu:focal-20210119
RUN apt-get -y update && \
    apt-get -y upgrade && \
    apt-get install -y --no-install-recommends \
        dos2unix \
        jq \
        libpython3.10 \
        python3-pip \
        software-properties-common \
        tar \
        unzip \
        wget \
        zip && \
    echo "Cleaning up" && \
    rm -rf /var/lib/apt/lists/* && \
    apt-get clean

RUN pip3 install boto3 flask

RUN echo "Installing AWS CLIv2" && \
    TMPDIR=$(mktemp -d) && \
    wget -P $TMPDIR --no-check-certificate "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" && \
    unzip $TMPDIR/awscli-exe-linux-x86_64.zip -d $TMPDIR && \
    $TMPDIR/aws/install && \
    rm -rf /usr/local/aws-cli/v2/dist/awscli/examples/ && \
    rm -rf $TMPDIR

RUN echo "Installing kubectl" && \
    wget -P /usr/bin/ --no-check-certificate https://storage.googleapis.com/kubernetes-release/release/$(wget --no-check-certificate -O -    https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl && \
    chmod +x /usr/bin/kubectl

# Install the app
COPY dummyapp.py /app/

rebuild 的重点是应用程序更改,而不是对底层依赖项的更改。

由于 Dockerfile 已被精简,现在大约 5 分钟内构建完成。但讲真,这时间仍然很长,因为通常可能只要几秒钟。

这是我构建的部分输出:

# time docker build --no-cache --progress=plain -t test:test .
Sending build context to Docker daemon  3.072kB
Step 1/5 : FROM ubuntu:focal-20210119
 ---> f63181f19b2f
Step 2/5 : RUN apt-get -y update &&     apt-get -y upgrade &&     apt-get install -y --no-install-recommends         dos2unix         jq         libpython3.10         python3-pip         software-properties-common         tar         unzip         wget         zip &&     echo "Cleaning up" &&     rm -rf /var/lib/apt/lists/* &&     apt-get clean
 ---> Running in 37bff266446e
Get:1 http://security.ubuntu.com/ubuntu focal-security InRelease [114 kB]
Get:2 http://security.ubuntu.com/ubuntu focal-security/main amd64 Packages [1470 kB]
<snip>
45400K .......... .......... .......... .......... .......... 992.310s
 45450K .......... .......... .......... .......... ......    1008.05M=18s
2022-01-28 19:37:06 (2.40 MB/s) - '/usr/bin/kubectl' saved [46587904/46587904]
Removing intermediate container 86223b438cef
 ---> b8f9a2cc1d9a
Step 6/6 : COPY dummyapp.py /app/
 ---> b95d22cdca6f
Successfully built b95d22cdca6f
Successfully tagged test:test
real    5m11.679s
user    0m1.248s
sys     0m1.961s

怎样才能让这个构建更快?

每次构建这个 Dockerfile 时,都会重复很多处理,其结果不太可能经常改变。

  • 更新 ubuntu 软件包列表
  • 升级 ubuntu 软件包
  • 安装一些额外的软件包
  • 使用 pip3 安装一些 python 包
  • 安装 AWS CLI
  • 安装 kubectl
  • 安装应用程序

还 FROM 一个相当旧的 Ubuntu 版本,需要升级更多的包,因此升级步骤将花费更长的时间。

此镜像的大多数重新 build 的目的是合并应用程序更改(即仅 Dockerfile 中的最后一行)。因此,最明显的变化是将此 Dockerfile 拆分为 2 个(或更多)Dockerfile,并且将 FROM 语句更改为使用最新的 Ubuntu 基础镜像。

第一个 Dockerfile 看起来像这样:

FROM ubuntu:latest
RUN apt-get -y update && \
    apt-get -y upgrade && \
    apt-get install -y --no-install-recommends \
        dos2unix \
        jq \
        libpython3.10 \
        python3-pip \
        software-properties-common \
        tar \
        unzip \
        wget \
        zip && \
    echo "Cleaning up" && \
    rm -rf /var/lib/apt/lists/* && \
    apt-get clean

RUN pip3 install boto3 flask

RUN echo "Installing AWS CLIv2" && \
    TMPDIR=$(mktemp -d) && \
    wget -P $TMPDIR --no-check-certificate "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" && \
    unzip $TMPDIR/awscli-exe-linux-x86_64.zip -d $TMPDIR && \
    $TMPDIR/aws/install && \
    rm -rf /usr/local/aws-cli/v2/dist/awscli/examples/ && \
    rm -rf $TMPDIR

RUN echo "Installing kubectl" && \
    wget -P /usr/bin/ --no-check-certificate https://storage.googleapis.com/kubernetes-release/release/$(wget --no-check-certificate -O -    https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl && \
    chmod +x /usr/bin/kubectl

第二个 Dockerfile 可能看起来像这样:

FROM dummyapp-dependencies:latest
# Install the app
COPY dummyapp.py /app/

构建第一个 Dockerfile 并没有为我们节省任何时间,虽然需要大约 5 分钟,但只需要相对不频繁地构建第一个 Dockerfile。

然而,构建第二个 Dockerfile 的效果要好得多,只需要大约 2 秒:

# time docker build --no-cache --progress=plain -t tes
t:test -f Dockerfile.app .
Sending build context to Docker daemon   5.12kB
Step 1/2 : FROM dummyapp:1.0.0
pull access denied for dummyapp, repository does not exist or may require 'docker login': denied: requested access to the resource is denied
real    0m2.125s
user    0m0.043s
sys     0m0.030s

鉴于应用程序的更改比底层依赖项更频繁,刚刚节省了大量时间。

- END -



后台回复“加群”,带你进入高手交流群


推荐阅读
还怕记不住 Kubectl 命令?K9s 太强大了快速上手Thanos:高可用的 Prometheus
Docker 出了个新玩意:软件物料清单
Kubernetes 微服务最佳实践
Argo CD 出现严重漏洞,黑客可能拔掉你的底裤
Kubernetes Pod 删除操作源码解析
使用 Lux 下载B站视频,真强大
38 万K8s API 服务暴露在公网上可能被攻击?
大规模 K8s 集群性能瓶颈和调优实践
优雅的跨 Namespace 同步 Secret 和 ConfigMap?
Kruise 轻松让 K8S 应用实现渐进式交付图解 Kubernetes Pod 如何获取 IP 地址使用 Telepresence 轻松在本地调试 k8s 应用程序GitOps 工具选型,33 款工具任你挑!就在刚刚 k8s 1.24 正式发布,来看功能总览Nomad 会替代 Kubernetes 吗?两者如何选择?Docker 入门终极指南,详细版!漫画轻松看懂如何用 Kubernetes 实现 CI/CD阿里开源的低代码引擎,已收获 4.5K 星星新手必须知道的 Kubernetes 架构Kubernetes 架构核心点详细总结!


全网粉丝20W的头部大号,专注云原生、Golang、Linux实用脚本,效率工具,免费CSDN下载,回复【go】获取近 6 万 Star 的资源回复【1024】获取全种类IT资料,回复【红包封面】获取超好看封面,回复【加群】进入高手如云技术交流群

分享、点赞和在看
支持我们分享更多好文章,谢谢!
                
 点个在看集群永保稳定👇

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存