k8s+jenkins中使用自定义maven镜像
点击上方蓝色字体,关注我们
读完需 10 分钟
速读需 5 分钟
在k8s中使用工具不能像传统方式那样,在宿主机yum或编译安装,然后再挂载到容器中使用了;因为pod运行的节点不是固定的,如果继续按照传统方式,需要在pod可能运行的每个节点上都安装工具,这无疑非常繁琐!
好在,现在的工具基本都支持docker部署,这样只需将工具的docker化添加到pod中,k8s就可以灵活使用了。
需求
k8s+jenkins中直接使用官方maven
镜像虽然也可以打包,但是打包过程中下载存储在/root/.m2/repository中的依赖会随着容器的销毁而丢失,这样在下次打包时需要重新下载,严重影响CI/CD的效率。
另外由于项目的多样性,还可能使用maven artifactory私服、阿里镜像库、harbor仓库等,继续使用官方的maven
镜像是无法满足项目需求的,还好官方提供的maven镜像只是一个基础镜像,此时我们可以按需自定义maven镜像,并将其集成内部的harbor或其他docker仓库中。
因此我们对maven的需求如下:
本地持久化存储repository
集成maven artifactory私服
集成harbor仓库
自定义maven镜像原理
1.持久化存储repository
docker-maven中Packaging a local repository with the image
部分说明以下几点:
默认的repository在/root/.m2容器目录中,容器销毁后,无法持久化存在;
settings-docker.xml
作用是将本地化repository更改至/usr/share/maven/ref/repository
;/usr/share/maven/ref/
下的内容在容器启动时全部copy到/root/.m2中,因此可以将repository及其他配置文件放在此目录下;
我们可以通过直接启动maven容器确认下:
# docker run -it maven:3.6.3-jdk-8 /bin/bash
root@86af4d73fb83:/# ls /usr/share/maven/ref/
settings-docker.xml
root@86af4d73fb83:/# ls /root/.m2/
copy_reference_file.log repository settings-docker.xml
# copy过程的日志
root@86af4d73fb83:~/.m2# cat copy_reference_file.log
--- Copying all files to /root/.m2 at Fri Aug 7 06:54:56 UTC 2020
'./settings-docker.xml' -> '/root/.m2/./settings-docker.xml'
其实以上copy操作是通过容器的entrypoint /usr/local/bin/mvn-entrypoint.sh
执行的,一旦容器启动此脚本就会执行:
root@86af4d73fb83:/# cat /usr/local/bin/mvn-entrypoint.sh
#! /bin/sh -eu
# Copy files from /usr/share/maven/ref into ${MAVEN_CONFIG}
# So the initial ~/.m2 is set with expected content.
# Don't override, as this is just a reference setup
copy_reference_files() {
local log="$MAVEN_CONFIG/copy_reference_file.log"
local ref="/usr/share/maven/ref"
if mkdir -p "${MAVEN_CONFIG}/repository" && touch "${log}" > /dev/null 2>&1 ; then
cd "${ref}"
local reflink=""
if cp --help 2>&1 | grep -q reflink ; then
reflink="--reflink=auto"
fi
if [ -n "$(find "${MAVEN_CONFIG}/repository" -maxdepth 0 -type d -empty 2>/dev/null)" ] ; then
# destination is empty...
echo "--- Copying all files to ${MAVEN_CONFIG} at $(date)" >> "${log}"
cp -rv ${reflink} . "${MAVEN_CONFIG}" >> "${log}"
else
# destination is non-empty, copy file-by-file
echo "--- Copying individual files to ${MAVEN_CONFIG} at $(date)" >> "${log}"
find . -type f -exec sh -eu -c '
log="${1}"
shift
reflink="${1}"
shift
for f in "$@" ; do
if [ ! -e "${MAVEN_CONFIG}/${f}" ] || [ -e "${f}.override" ] ; then
mkdir -p "${MAVEN_CONFIG}/$(dirname "${f}")"
cp -rv ${reflink} "${f}" "${MAVEN_CONFIG}/${f}" >> "${log}"
fi
done
' _ "${log}" "${reflink}" {} +
fi
echo >> "${log}"
else
echo "Can not write to ${log}. Wrong volume permissions? Carrying on ..."
fi
}
owd="$(pwd)"
copy_reference_files
unset MAVEN_CONFIG
cd "${owd}"
unset owd
exec "$@"
现在/root/.m2
下的内容来源可解释如下:
copy_reference_file.log:/usr/local/bin/mvn-entrypoint.sh脚本生成的日志文件
settings-docker.xml:从/usr/share/maven/ref中复制到/root/.m2下
repository:自动创建,如果/usr/share/maven/ref中有repository存在会全部copy。
既然/root/.m2下的文件会丢失,而这些文件可以从/usr/share/maven/ref
复制且该目录下的内容是在一直存在的,那么我们可以将存储挂载到/usr/share/maven/ref/repository
实现本地持久化存储了。
2.集成私服、harbor
/usr/share/maven/ref
目录下的只有settings-docker.xml,而要集成镜像库需要更改全局配置文件settings.xml
,因此我们需要在镜像中新增settings.xml
,前提是保证本地化repository为/usr/share/maven/ref/repository
。
# 添加setttings.xml
# vim setttings.xml
# 1.添加localRepository
# 和settings-docker.xml中localRepository配置一致
<localRepository>/usr/share/maven/ref/repository</localRepository>
# 2.添加mvn artifactory私服和harbor,请根据实际情况添加
<server>
<id>central</id>
<username>readonly</username>
<password>{HMpWmDY+asd=}</password>
</server>
<server>
<id>snapshots</id>
<username>readonly</username>
<password>{HMpWmDY+asd=}</password>
</server>
<server>
<id>docker-harbor</id>
<username>admin</username>
<password>WnrCdA1NZLBfyfE121230</password>
<configuration>
<email>test@test.cn</email>
</configuration>
</server>
</servers>
# 添加私服密码加密文件settings-security.xml
# vim settings-security.xml
<settingsSecurity>
<master>{hSYsdfasUoHyhvNN3Lwxf1Mfh/TBHLOCw=}</master>
</settingsSecurity>
3.小结
我们在/usr/share/maven/ref
中其实新增了以下内容:
setttings.xml 全局配置文件
settings-security.xml 私服密码加密文件
repository 持久化仓库,可通过在k8s内pv直接挂载到repository
创建自定义maven镜像
# 1.创建配置目录
# mkdir maven
# ls
Dockerfile settings-security.xml settings-security.xml
# 2.Dockerfile配置
# vim Dockerfile
# 基于maven:3.6.3-jdk-8构建公司内部可以使用maven私服、harbor的镜像
From maven:3.6.3-jdk-8
MAINTAINER test test@test.cn
COPY settings.xml /usr/share/maven/ref/
COPY settings-security.xml /usr/share/maven/ref/
# 3.构建镜像并推送到harbor
docker build --tag tools/maven:v1 .
docker tag tools/maven:v1 harbor.test.cn/tools/maven:v1
docker push harbor.test.cn/tools/maven:v1
jenkins设置
本文基于使用"Jenkins master位于k8s集群外,实现jenkins slave的动态构建"一文提供的基础环境。
1.添加新的container template
maven 和 jenkins-slave在同一个pod中
名称:pod中maven容器名称
Docker镜像:存放在harbor中自定义maven镜像
工作目录:默认工作目录,不是关键配置,可更换;
运行的命令:即容器的entrypoint,必须为空,如果添加会覆盖容器默认的
/usr/local/bin/mvn-entrypoint.sh
,导致/usr/share/maven/ref
下的内容无法copy到/root/.m2
;命令参数:可有可无;
2.挂载卷
默认情况下,maven容器没有有效存储挂载,为实现repository的本地持久化存储,我们将在NFS主目录下创建repository子目录并挂载到/usr/share/maven/ref/repository
下,maven容器启动将会copy到默认的/root/.m2
中。
3.流水线
pipeline {
agent {
label 'jenkins-slave-k8s'
}
stages {
stage('test') {
steps{
git credentialsId: 'git-auth', url: 'http://x.x.x.x/source/test.git'
}
}
stage('maven') {
steps {
container('maven') {
sh """
mvn clean install
#mvn clean package docker:build -DdockerImageTags=v3 -DpushImageTag
"""
}
}
}
}
}
如图,我们使用maven artifactory私服打包成功,只有在第一次打包时由于下载依赖jar会比较慢,后续通过本地持久化repository,无须再次下载jar包,因此会更快些。
如果使用maven工具build、push镜像到harbor中,还需在jenkins中做如下设置,否则会报错:
总结
在k8s+jenkins中使用自定义maven镜像时,忽略了entrypoint重写问题,导致容器启动/usr/local/bin/mvn-entrypoint.sh
没有运行,/usr/share/maven/ref
下的内容没有复制到/root/.m2
中,浪费了比较多的时间,希望引起大家注意。