查看原文
其他

Jenkins+Docker+git多分支实现springboot项目多环境快速交付

木讷大叔爱运维 木讷大叔爱运维 2022-07-13



简介

Docker动态构建Jenkins Slave中我们实现了spring项目在jenkins slave上动态构建。但是在实际CI/CD应用过程中,运维可能以下问题:

  1. 环境校验

      springboot项目的多个git分支,不同分支对应不同的环境。例如:develop分支对应测试环境,master分支对应生产环境。运维部署过程中稍有疏忽,可能导致应用错用环境配置,给测试、生产引入不必要的问题。因此我们增加环境校验,来保证不同的分支使用正确的环境配置文件。

  1. 发版/回滚/重启

      发版过程中不仅要考虑版本的正常发布,还要考虑版本的回滚,以防新版本有重大bug能够及时回退历史版本。当然考虑到java可能出现OOM问题导致进程死掉,因此我们最好需要一个重启功能,来方便及时重启。本着“谁开发,谁运行”的理念,我们的CI/CD考虑了以上3种功能。

  1. 操作校验

      发版/回滚会涉及到应用的重启问题,为了避免重复构建导致重启,我们需要验证git分支的版本commitid,防止发版/回滚过程中版本中的重复更新导致的应用重启。

流程

jenkins我们没有使用多分支流水线,因此不同的git分支分别对应不同的任务。如:master分支对应docker-prod-xxxx;develop分支对应docker-test-xxxx。

  1. 版本发布在jenkins slave上进行,在master上通过标签将构建任务绑定到指定的slave上;

  2. 环境校验根据git的test/master分支,分别对应任务名称中的test/prod,以此来实现环境校验;

  3. 操作校验分为发版/回滚/重启,分别实现不同的功能需求;

发版/回滚/重启在服务器上执行的docker操作不一样,如发版/回滚涉及到镜像及容器的停止删除,而重启操作则不需要。

规范

为了保证运维的正确操作,我们制定了docker项目部署的规范:

  1. JOB_NAME命名规范

格式规范:docker-环境-项目名

生产:docker-prod-xxxx

测试:docker-test-xxxx

  1. 全局变量

APP_NAME 项目名称

IMAGE_NAME 镜像名称,格式:业务/系统

MONITOR_URL 监控URL

  1. 环境校验

通过JOB_NAME提取prod/test关键字,与git分支master/develop匹配,用以进行环境校验。

  1. 操作校验

发版:git有新版本时,进行发版操作;

回滚:将镜像回滚至任一版本

重启:重启容器

  1. docker 相关规范

(1) 镜像命名规范,格式:业务/系统

如:helloworld/helloworld

(2)容器命名规范, 格式:系统名,如helloworld

(3)tag规范,格式:commitid,如7e2c56522188c98f6294d91c8568dfcedf994e42

具体实现

  1. jenkins新建自由风格的job,名称为docker-test-helloworld

  2. 参数化构建

  1. 插入全局环境变量及设置Build Name

(1)全局变量存在于整个job构建周期,我们只需根据项目实际情况在此设置变量即可,其他内容无需改变。

(2)Build Name是构建名称,通过jenkins内置变量BUILD_NUMBER和GIT_COMMIT组成,帮助我们识别构建任务基于git哪个版本,方便排查问题。

  1. Build-环境校验、操作校验

Build过程主要进行环境校验、操作校验操作,用于

(1)环境校验,判断git分支与当前job-test/prod是否一致,不一致则停止后续发版操作;

(2)操作校验

发版:git对应分支是否有更新,防止在没有更新时构建多次,导致应用多次重启;

主要利用jenkins内置变量:

GIT_PREVIOUS_SUCCESSFUL_COMMIT 上次构建成功后的git版本号

GIT_COMMIT 当前构建任务的git版本号

回滚:判断远程分支是否有与参数匹配的版本号,没有则说明不合法,停止回滚;

代码如下:

#!/bin/bashCHECK_ENV(){#判断git分支是否与项目匹配,避免环境与项目混用ENV=`echo ${JOB_NAME}|awk -F'-' '{print $2}'`#测试分支develop,生产分支masterBRANCH=${GIT_BRANCH}if [ $BRANCH = "origin/develop" ];then [ $ENV="test" ] && echo -e "\033[34m$ENV environment is in building \033[0m" || { echo -e "\033[31m git branch is $BRANCH, not match environment $ENV \033[0m" exit 1 }else echo -e "\033[31m git branch is $BRANCH, not match environment $ENV \033[0m" exit 1fi}
#环境校验CHECK_ENV
#操作校验if [ "${deploy_env}" = "deploy" ];then echo -e "\033[34mstart ${deploy_env}\033[0m" echo ${GIT_PREVIOUS_SUCCESSFUL_COMMIT} echo ${GIT_COMMIT} [ "${GIT_PREVIOUS_SUCCESSFUL_COMMIT}" != "${GIT_COMMIT}" ] && echo -e "\033[34mstart maven package\033[0m" || { #版本未更新,停止发版 echo -e "\033[31mRepositories not update, stop ${deploy_env}\033[0m" exit 1 } /usr/local/maven/bin/mvn clean package docker:build -DdockerImageTags=${GIT_COMMIT} -Dmaven.test.skip=true -DpushImageTag [ $? -eq 0 ] && echo -e "\033[32mmaven package success\033[0m" || { echo -e "\033[31mmaven package fail\033[0m" exit 1 } elif [ "${deploy_env}" = "rollback" ];then echo -e "\033[34mstart ${deploy_env}\033[0m" #查看远程分支是否有此版本 git branch -r --contains $version [ $? -eq 0 ] && echo -e "\033[34mstart docker steps\033[0m" || { echo -e "\033[31mverison is wrong,please check version\033[0m" exit 1 }fi

  1. Build-远程服务器构建


通过“SSH Publishers”插件登录远程服务器执行docker相关操作。

#!/bin/bash#服务器ipIN_FACE=`/sbin/route -n |awk '{if($4~/UG/){print $8}}'|head -n 1`LOCAL_IP=`/sbin/ip addr show "${IN_FACE}" | grep -w 'inet' | awk '{print $2}'`
#容器名称及环境CONTAINER_NAME=`echo ${IMAGE_NAME} | awk -F/ '{print $2}'`ENV=`echo ${JOB_NAME}|awk -F'-' '{print $2}'`
#健康检查HEALTHCHECK() { timeout=180 echo -e "\033[34mhealth check\033[0m" for (( i=1;i<=$timeout;i++ )) do status=$(sudo docker inspect --format='{{json .State.Health}}' ${CONTAINER_NAME}|grep -Po '"Status[":]+\K[^"]+') echo $status if [ $status = 'healthy' ];then echo -e "\033[32m${LOCAL_IP} ${CONTAINER_NAME} status is ${status}\033[0m" exit 0 elif [ $status = 'starting' ];then sleep 23 else echo -e "\033[31m${LOCAL_IP} ${CONTAINER_NAME} status is ${status}\033[0m" exit 1 fi done}
#启动容器START() { echo -e "\033[34mstart ${CONTAINER_NAME}\033[0m" sudo docker start ${CONTAINER_NAME} [ $? -eq 0 ] && echo -e "\033[32mstart ${CONTAINER_NAME} succss \033[0m" || { echo -e "\033[31mstart ${CONTAINER_NAME} fail \033[0m" exit 1 }}
#停止容器STOP() { echo -e "\033[34mstop ${CONTAINER_NAME}\033[0m" sudo docker stop ${CONTAINER_NAME} [ $? -eq 0 ] && echo -e "\033[32mstop ${CONTAINER_NAME} succss \033[0m" || { echo -e "\033[31mstop ${CONTAINER_NAME} fail \033[0m" exit 1 }}
#删除容器DEL_CONTAINER() { echo -e "\033[34mrm container ${CONTAINER_NAME}\033[0m" sudo docker rm ${CONTAINER_NAME} -v [ $? -eq 0 ] && echo -e "\033[32mrm ${CONTAINER_NAME} succss \033[0m" || { echo -e "\033[31mrm ${CONTAINER_NAME} fail \033[0m" exit 1 }}
#删除镜像DEL_IMAGE() { echo -e "\033[34mrm image ${IMAGE_NAME}\033[0m" sudo docker image rm `sudo docker image ls harbor.cityre.cn/${IMAGE_NAME} -q` --no-prune [ $? -eq 0 ] && echo -e "\033[32mrm ${IMAGE_NAME} succss \033[0m" || { echo -e "\033[31mrm ${IMAGE_NAME} fail \033[0m" exit 1 }}
#登录harborLOGIN_HARBOR() { echo -e "\033[34mlogin harbor\033[0m" sudo docker login harbor.cityre.cn [ $? -eq 0 ] && echo -e "\033[32mlogin harbor.cityre.cn success\033[0m" || { echo -e "\033[31mlogin harbor.cityre.cn fail\033[0m" exit 1 } echo -e "\033[34mpull image\033[0m"}
#拉取镜像PULL() { sudo docker pull harbor.cityre.cn/${IMAGE_NAME}:$1 [ $? -eq 0 ] && echo -e "\033[32mpull image $1 success\033[0m" || { echo -e "\033[31mpull image $1 fail\033[0m" exit 1 } }
#运行容器RUN() { sudo docker run $(cat /etc/hosts|grep -v ^#|grep -v ^$|awk -F ' ' '{if(NR>2){print "--add-host "$2":"$1}}') -v /etc/timezone:/etc/timezone:ro -v /etc/localtime:/etc/localtime:ro -e JAVA_OPTS="-Xmx512m -Xms512m -Dspring.profiles.active=$ENV" -v /App/java_app/${APP_NAME}/logs:/logs -p 8080:8080 -d --restart=always \ --health-cmd="curl --silent --fail ${MONITOR_URL} || exit 1"\ --health-retries=3\ --health-interval=5s\ --health-timeout=5s\ --health-start-period=15s\ --name ${CONTAINER_NAME} harbor.test.cn/${IMAGE_NAME}:$1 [ $? -eq 0 ] && echo -e "\033[32mrun container ${CONTAINER_NAME} success\033[0m" || { echo -e "\033[31mrun container ${CONTAINER_NAME} fail\033[0m" exit 1 }}
case ${deploy_env} indeploy) echo -e "\033[34mstart docker steps\033[0m" LOGIN_HARBOR PULL ${GIT_COMMIT} RUN ${GIT_COMMIT} HEALTHCHECK ;;rollback) STOP DEL_CONTAINER DEL_IMAGE PULL $version RUN $version HEALTHCHECK ;;restart) STOP START HEALTHCHECK ;;*) exit 1 ;;esac

远程仓库:我们的tag使用git的commitid,用于区分镜像基于的sprintboot版本;

发版:我们直接使用GIT_COMMIT,作为镜像的tag;

回滚:我们通过填写的version到远程harbor 匹配合适的版本;

健康检查:docker内置的healthcheck来帮助我们检查本次发版/回滚/重启,是否成功;

  1. Post-build Actions

#删除jenkins slave服务上新构建镜像echo -e "\033[34mrm old image on jenkins slave\033[0m"if [ $(docker image ls harbor.cityre.cn/${IMAGE_NAME} -q|wc -l) -ne 0 ];then docker image rm `docker image ls harbor.cityre.cn/${IMAGE_NAME} -q` -f --no-prunefidocker image prune -f

删除jenkins slave服务上新构建的镜像及虚悬镜像,保持slave上的环境纯净。

总结

以上是我结合docker+jenkins对持续集成/交付过程的一些理解,通过对docker的不断摸索实践,希望能够持续优化此方案。我认为最终登录远程服务器的操作过程还是太繁琐,发版/回滚过程中需要不断的停止、删除容器、删除镜像,因此后续会通过docker-compose去优化,带来更简洁的配置管理。

另,以上是通过ssh登录远程主机进行docker单机部署,但docker的server-client架构,应该还有更便捷的方式如swarm、k8s,这些是需要在日后不断学习总结的。


Docker动态构建Jenkins Slave

从socket权限问题重新认识docker架构

离了蓝鲸也能交付虚拟机

蓝鲸实现虚拟机交付-配置平台(CMDB)

蓝鲸实现虚拟机交付-跳板机管理(JUMP)

蓝鲸实现vsphere虚拟机交付 -虚拟机管理(VSPHERE)

腾讯蓝鲸实现vsphere虚拟机交付



关注我们




您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存