从特定步骤重建 docker 镜像

Question

我有以下 Dockerfile。

FROM ubuntu:14.04
MAINTAINER Samuel Alexander <samuel@alexander.com>

RUN apt-get -y install software-properties-common
RUN apt-get -y update

# Install Java.
RUN echo oracle-java8-installer shared/accepted-oracle-license-v1-1 select true | debconf-set-selections
RUN add-apt-repository -y ppa:webupd8team/java
RUN apt-get -y update
RUN apt-get install -y oracle-java8-installer
RUN rm -rf /var/lib/apt/lists/*
RUN rm -rf /var/cache/oracle-jdk8-installer

# Define working directory.
WORKDIR /work

# Define commonly used JAVA_HOME variable
ENV JAVA_HOME /usr/lib/jvm/java-8-oracle

# JAVA PATH
ENV PATH /usr/lib/jvm/java-8-oracle/bin:$PATH

# Install maven
RUN apt-get -y update
RUN apt-get -y install maven

# Install Open SSH and git
RUN apt-get -y install openssh-server
RUN apt-get -y install git

# clone Spark
RUN git clone https://github.com/apache/spark.git
WORKDIR /work/spark
RUN mvn -DskipTests clean package

# clone and build zeppelin fork
RUN git clone https://github.com/apache/incubator-zeppelin.git
WORKDIR /work/incubator-zeppelin
RUN mvn clean package -Pspark-1.6 -Phadoop-2.6 -DskipTests

# Install Supervisord
RUN apt-get -y install supervisor
RUN mkdir -p var/log/supervisor

# Configure Supervisord
COPY conf/supervisord.conf /etc/supervisor/conf.d/supervisord.conf

# bash
RUN sed -i s#/home/git:/bin/false#/home/git:/bin/bash# /etc/passwd

EXPOSE 8080 8082
CMD ["/usr/bin/supervisord"]

在构建图像时，它在步骤 23 中失败，即

RUN mvn clean package -Pspark-1.6 -Phadoop-2.6 -DskipTests

现在，当我重建它时，它从第 23 步开始构建，因为 docker 正在使用缓存。

但是如果我想从第 21 步即重建图像

RUN git clone https://github.com/apache/incubator-zeppelin.git

我怎样才能做到这一点？ 删除缓存的图像是唯一的选择吗？ 是否有任何额外的参数来做到这一点？

Answer 1

您可以通过执行以下操作，在不使用缓存的情况下重建整个事物

docker build --no-cache -t user/image-name

要强制从特定行开始重新运行，您可以传递一个未使用的 arg。 Docker 将 ARG 值作为环境变量传递给您的 RUN 命令，因此更改 ARG 就是更改会破坏缓存的命令。 甚至不需要在 RUN 行上自己定义它。

FROM ubuntu:14.04
MAINTAINER Samuel Alexander <samuel@alexander.com>

RUN apt-get -y install software-properties-common
RUN apt-get -y update

# Install Java.
RUN echo oracle-java8-installer shared/accepted-oracle-license-v1-1 select true | debconf-set-selections
RUN add-apt-repository -y ppa:webupd8team/java
RUN apt-get -y update
RUN apt-get install -y oracle-java8-installer
RUN rm -rf /var/lib/apt/lists/*
RUN rm -rf /var/cache/oracle-jdk8-installer

# Define working directory.
WORKDIR /work

# Define commonly used JAVA_HOME variable
ENV JAVA_HOME /usr/lib/jvm/java-8-oracle

# JAVA PATH
ENV PATH /usr/lib/jvm/java-8-oracle/bin:$PATH

# Install maven
RUN apt-get -y update
RUN apt-get -y install maven

# Install Open SSH and git
RUN apt-get -y install openssh-server
RUN apt-get -y install git

# clone Spark
RUN git clone https://github.com/apache/spark.git
WORKDIR /work/spark
RUN mvn -DskipTests clean package

# clone and build zeppelin fork, changing INCUBATOR_VER will break the cache here
ARG INCUBATOR_VER=unknown
RUN git clone https://github.com/apache/incubator-zeppelin.git
WORKDIR /work/incubator-zeppelin
RUN mvn clean package -Pspark-1.6 -Phadoop-2.6 -DskipTests

# Install Supervisord
RUN apt-get -y install supervisor
RUN mkdir -p var/log/supervisor

# Configure Supervisord
COPY conf/supervisord.conf /etc/supervisor/conf.d/supervisord.conf

# bash
RUN sed -i s#/home/git:/bin/false#/home/git:/bin/bash# /etc/passwd

EXPOSE 8080 8082
CMD ["/usr/bin/supervisord"]

然后使用唯一的参数运行它：

docker build --build-arg INCUBATOR_VER=20160613.2 -t user/image-name .

要在每次构建时更改参数，您可以将时间戳作为参数传递：

docker build --build-arg INCUBATOR_VER=$(date +%Y%m%d-%H%M%S) -t user/image-name .

或者：

docker build --build-arg INCUBATOR_VER=$(date +%s) -t user/image-name .

---

顺便说一句，我建议进行以下更改以保持您的图层更小，下载和安装后，您可以在单个RUN命令上合并清理和删除步骤的次数越多，最终映像将越小。 否则，您的层将包括下载和清理之间的所有中间步骤：

FROM ubuntu:14.04
MAINTAINER Samuel Alexander <samuel@alexander.com>

RUN DEBIAN_FRONTEND=noninteractive \
    apt-get -y install software-properties-common && \
    apt-get -y update

# Install Java.
RUN echo oracle-java8-installer shared/accepted-oracle-license-v1-1 select true | debconf-set-selections && \
    add-apt-repository -y ppa:webupd8team/java && \
    apt-get -y update && \
    DEBIAN_FRONTEND=noninteractive \
    apt-get install -y oracle-java8-installer && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/* && \
    rm -rf /var/cache/oracle-jdk8-installer && \

# Define working directory.
WORKDIR /work

# Define commonly used JAVA_HOME variable
ENV JAVA_HOME /usr/lib/jvm/java-8-oracle

# JAVA PATH
ENV PATH /usr/lib/jvm/java-8-oracle/bin:$PATH

# Install maven
RUN apt-get -y update && \
    DEBIAN_FRONTEND=noninteractive \
    apt-get -y install 
      maven \
      openssh-server \
      git \
      supervisor && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/*

# clone Spark
RUN git clone https://github.com/apache/spark.git
WORKDIR /work/spark
RUN mvn -DskipTests clean package

# clone and build zeppelin fork
ARG INCUBATOR_VER=unknown
RUN git clone https://github.com/apache/incubator-zeppelin.git
WORKDIR /work/incubator-zeppelin
RUN mvn clean package -Pspark-1.6 -Phadoop-2.6 -DskipTests

# Configure Supervisord
RUN mkdir -p var/log/supervisor
COPY conf/supervisord.conf /etc/supervisor/conf.d/supervisord.conf

# bash
RUN sed -i s#/home/git:/bin/false#/home/git:/bin/bash# /etc/passwd

EXPOSE 8080 8082
CMD ["/usr/bin/supervisord"]

Answer 2

一种解决方法：

1. 找到要从中执行的步骤。
2. 在这一步之前放一个简单的虚拟操作，比如“RUN pwd”

然后只需构建您的 Dockerfile。 它将从缓存中提取到该步骤的所有内容，然后在虚拟命令之后执行这些行。

Answer 3

要完成 Dmitry 的回答，您可以使用像date +%s这样的 uniq arg 来始终保持相同的命令行

docker build --build-arg DUMMY=`date +%s` -t me/myapp:1.0.0

Dockerfile ：

...
ARG DUMMY=unknown
RUN DUMMY=${DUMMY} git clone xxx
...

Answer 4

一种更简单的技术。

Dockerfile：
在您希望开始跳过缓存的位置添加此行。

COPY marker /dev/null

然后构建使用

date > marker && docker build .

Answer 5

另一种选择是删除要重建的缓存中间映像。

在构建输出中找到要重建的中间映像的哈希值：

Step 27/42 : RUN lolarun.sh
 ---> Using cache
 ---> 328dfe03e436

然后删除该图像：

$ docker image rmi 328dfe03e436

或者，如果它给您一个错误并且您可以强制执行它：

$ docker image rmi -f 328dfe03e436

最后，重新运行您的构建命令，它将需要从该点重新启动，因为它不在缓存中。

Answer 6

如果将ARG INCUBATOR_VER=unknown放在顶部，则在从命令行更改INCUBATOR_VER情况下将不会使用缓存（刚刚测试了构建）。 对我来说工作：

# The rebuild starts from here
ARG INCUBATOR_VER=unknown
RUN INCUBATOR_VER=${INCUBATOR_VER} git clone https://github.com/apache/incubator-zeppelin.git

Answer 7

由于没有官方方法可以做到这一点，最简单的方法是临时更改特定的 RUN 命令以包含一些无害的东西，例如 echo：

RUN echo && apt-get -qq update && \
    apt-get install nano

建立后删除它。