发布时间:2020-03-04 11:16:56编辑:admin阅读(3180)
maven项目部署流程图如下:
操作系统 | ip | 角色 | 版本 |
ubuntu-16.04.4-server-amd64 | 192.168.10.122 | Jenkins+harbor | Jenkins 2.176.2,harbor 1.8.1 |
ubuntu-16.04.4-server-amd64 | 192.168.10.134 | gitlab | gitlab-ce_12.1.4 |
ubuntu-16.04.4-server-amd64 | 192.168.10.130 | k8s master | kubernetes 1.15.2 |
ubuntu-16.04.4-server-amd64 | 192.168.10.131 | k8s node | kubernetes 1.15.2 |
由于资源紧张,Jenkins+harbor合并为一台了。实际上,应该是要单独部署的。
k8s安装,请参考链接:
https://www.cnblogs.com/xiao987334176/p/11317844.html
gitlab安装,请参考链接:
https://www.cnblogs.com/xiao987334176/p/11329018.html
harbor安装,请参考链接:
https://www.cnblogs.com/xiao987334176/p/11326467.html
Jenkins安装,请参考链接:
https://www.cnblogs.com/xiao987334176/p/11323795.html
注意:Jenkins安装之后,还需要做以下配置。否则无法实现本文章的功能!!!
Jenkins基于https的k8s配置,请参考链接:
https://www.cnblogs.com/xiao987334176/p/11338827.html
GitLab+Jenkins持续集成,请参考链接:
https://www.cnblogs.com/xiao987334176/p/11425560.html
Jenkins配置maven,请参考链接:
https://www.cnblogs.com/xiao987334176/p/11433636.html
首先从github上面,找一个基于maven的项目,地址如下:
https://github.com/solochen84/SpringBootDemo
使用git客户端,下载此项目代码
登录gitlab,创建一个项目springbootdemo
点击 设置--> 成员
添加2个成员,一个是jenkins用户,用来拉取代码的。一个是我,用来提交代码的。
注意:我的账号,权限要高一些,可以直接提交到master分支。
将github下载的代码,提交到刚刚创建的项目中。效果如下:
登录到harbor后台,点击创建用户
注意,每一项都填写一项。尤其是密码,必须符合密码复杂性要求。
点击新建项目
输入名字,java。这就是私有项目。
点击java
点击成员-->用户
输入jenkins,会有提示的。角色选择 开发人员。
使用jenkins执行shell命令时,可能会出现权限不足的情况。
cat /etc/default/jenkins
内容如下:
# pulled in from the init script; makes things easier. NAME=jenkins # arguments to pass to java # Allow graphs etc. to work even when an X server is present JAVA_ARGS="-Djava.awt.headless=true" #JAVA_ARGS="-Xmx256m" # make jenkins listen on IPv4 address #JAVA_ARGS="-Djava.net.preferIPv4Stack=true" PIDFILE=/var/run/$NAME/$NAME.pid # user and group to be invoked as (default to jenkins) JENKINS_USER=$NAME JENKINS_GROUP=$NAME ...
可以发现JENKINS_USER和JENKINS_GROUP变量的值是jenkins
将下面2个变量,修改为root
JENKINS_USER=root JENKINS_GROUP=root
service jenkins restart
为什么要和k8s master做ssh免密呢?因为jenkins需要登录到k8s master,做一些pod操作。
登录到jenkins服务器,生成秘钥
ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
ssh-copy-id 192.168.10.130
测试root免密
ssh 192.168.10.130
如果没有提示输入密码,说明成功了!
修改docker配置文件,添加harbor地址
vim /etc/docker/daemon.json
内容如下:
{"insecure-registries": ["192.168.10.122"]}
重新加载docker配置
/etc/init.d/docker reload
测试登录
root@ubuntu:~/docker_dir# docker login 192.168.10.122 -u jenkins -p Jenkins@1234 WARNING! Using --password via the CLI is insecure. Use --password-stdin. WARNING! Your password will be stored unencrypted in /root/.docker/config.json. Configure a credential helper to remove this warning. See https://docs.docker.com/engine/reference/commandline/login/#credentials-store Login Succeeded
如果出现
Error response from daemon: Get https://192.168.10.122/v2/: dial tcp 192.168.10.122:443: connect: connection refused
表示 /etc/docker/daemon.json 文件修改不正确
登录到jenkins后台,点击 新建Item
输入名称,选择构建一个maven项目。注意:任务名称最好是项目名,因为下面的deploy_docker.sh脚本,会调用这个变量。
丢弃旧的构建,保留2天
输入仓库下载地址,选择用户root
输入命令:clean package
mvn clean package依次执行了clean、resources、compile、testResources、testCompile、test、jar(打包)等7个阶段。
package命令完成了项目编译、单元测试、打包功能,但没有把打好的可执行jar包(war包或其它形式的包)布署到本地maven仓库和远程maven私服仓库
build完成之后,选择执行shell命令
将下面的内容,贴过去
#!/bin/bash jarName=spring-boot-demo-0.0.1-SNAPSHOT.jar jarFolder=$JOB_NAME harborPro=java projectName=$JOB_NAME docker_path=${WORKSPACE} cp ${WORKSPACE}/target/${jarName} ${docker_path} bash -x /root/docker_dir/deploy_docker.sh ${harborPro} ${projectName} ${docker_path} ${jarName}
内容解释:
jarName jar包的文件名,名字随便
jarFolder jar包的文件夹
harborPro harbor里面的项目,在上面步骤中,创建java私有项目。
projectName 项目名,名字随便
docker_path docker命令的工作目录
最后一步,会执行一个shell脚本。下面说到!
效果如下:
登录到jenkins服务器,创建目录
mkdir /root/docker_dir
编辑deploy_docker.sh脚本
cd /root/docker_dir/ vim deploy_docker.sh
内容如下:
#!/bin/bash # maven $workspace $jarname # ${harborPro} ${projectName} ${docker_path} ${jarName} set -e harbor_project=$1 projectName=$2 docker_path=$3 appName=$4 # harbor认证用户 user_name=jenkins password=Jenkins@1234 # harbor地址以及tag tag=$(date +%s) harbor_server=192.168.10.122 server_path=${harbor_server} taget_image=${projectName}:${tag} #${BUILD_NUMBER} echo ${taget_image} # 登录docker cd ${docker_path} sudo docker login ${harbor_server} -u ${user_name} -p ${password} # 生成镜像并推送到harbor,最后删除本地镜像 sudo docker build --build-arg app=${appName} -t ${taget_image} . sudo docker tag ${taget_image} ${server_path}/${harbor_project}/${projectName} echo "The name of image is ${server_path}/${harbor_project}/${projectName}" sudo docker push ${server_path}/${harbor_project}/${projectName}:latest sudo docker rmi -f $(docker images|grep ${projectName}|grep ${tag}|awk '{print $3}'|head -n 1)
添加执行权限
chmod 755 /root/docker_dir/deploy_docker.sh
登录到k8s master,创建目录
mkdir kube-conf
删除gitlab springbootdemo项目中的kube.yaml,新增2个yaml文件。
ph-service.yaml
apiVersion: v1 kind: Service metadata: name: ph-service spec: type: NodePort ports: - name: ph port: 8080 nodePort: 31002 targetPort: 8080 protocol: TCP selector: app: ph
ph-rc.yaml
apiVersion: v1 kind: ReplicationController metadata: name: ph-rc spec: replicas: 1 template: metadata: labels: app: ph spec: imagePullSecrets: - name: harborsecret containers: - name: ph image: 192.168.10.122/java/ph:latest imagePullPolicy: Always ports: - containerPort: 8080 env: - name: key value: "value"
将2个yaml文件提交到gitlab
k8s 生成imagePullSecrets,请参考以下链接
https://www.cnblogs.com/xiao987334176/p/11434326.html
注意:使用docker登录用户时,指定jenkins
docker login 192.168.10.122 -u jenkins -p Jenkins@1234
登录到jenkins服务器,新增重启应用脚本
cd /root/docker_dir vim reboot_app.sh
内容如下:
#!/bin/bash MASTER="192.168.10.130" CONF_DIR="/root/kube-conf" ProJ=${JOB_NAME} scp ${WORKSPACE}/*.yaml ${MASTER}:${CONF_DIR} # Pod running process RUN=$(ssh $MASTER kubectl get po|grep -w ${ProJ}|wc -l) if [ $RUN -eq 0 ];then ssh ${MASTER} kubectl apply -f ${CONF_DIR}/${ProJ}-rc.yaml ssh ${MASTER} kubectl apply -f ${CONF_DIR}/${ProJ}-service.yaml else # Delete pod podname=$(ssh ${MASTER} kubectl get po|grep -w ${ProJ}|awk '{print $1}') ssh ${MASTER} kubectl delete po $podname --grace-period=0 --force ssh ${MASTER} kubectl get po|grep ${ProJ} fi
添加执行权限
chmod 755 /root/docker_dir/reboot_app.sh
添加执行shell命令
将下面的内容,贴过去
#!/bin/bash bash -x /root/docker_dir/reboot_app.sh
效果如下:
点击Build Now
点击#1
点击控制台输出
它会自己下载一些组件,需要等待一段时间。
出现spring图标,表示应用开始启动构建了。
最后出现错误
为啥呢? 查看springbootdemo 的Dockerfile文件,查看第一行
FROM registry-scu.cloudtogo.cn/ubuntu:jdk
需要把 registry-scu.cloudtogo.cn 添加到 /etc/docker/daemon.json中
登录到jenkins服务器,修改 /etc/docker/daemon.json
vim /etc/docker/daemon.json
内容如下:
{"insecure-registries": ["192.168.10.122","registry-scu.cloudtogo.cn"]}
重新加载docker
/etc/init.d/docker reload
再次手动构建一次,点击Build Now
查看构建过程
出现以下提示,说明正在下载镜像 registry-scu.cloudtogo.cn/ubuntu:jdk
最后提示执行完成
会发现多了一个镜像,这个镜像,就是刚刚构建时,提交的。
root@k8s-master:~# kubectl get pods -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES ph-rc-nj7j2 0/1 ImagePullBackOff 0 5m19s 192.168.36.68 k8s-node1 <none> <none>
发现pod运行在k8s-node1 这台服务器,状态是ImagePullBackOff
查看pod详细信息
kubectl describe po maven-deployment-7bd87867f8-6tlgp
输出:
Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal Scheduled 7m15s default-scheduler Successfully assigned default/maven-deployment-7bd87867f8-6tlgp to k8s-node1 Normal Pulling 5m49s (x4 over 7m14s) kubelet, k8s-node1 Pulling image "192.168.10.122/maven:latest" Warning Failed 5m49s (x4 over 7m14s) kubelet, k8s-node1 Failed to pull image "192.168.10.122/maven:latest": rpc error: code = Unknown desc = Error response from daemon: Get https://192.168.10.122/v2/: dial tcp 192.168.10.122:443: connect: connection refused Warning Failed 5m49s (x4 over 7m14s) kubelet, k8s-node1 Error: ErrImagePull Normal BackOff 5m36s (x6 over 7m13s) kubelet, k8s-node1 Back-off pulling image "192.168.10.122/maven:latest" Warning Failed 2m11s (x20 over 7m13s) kubelet, k8s-node1 Error: ImagePullBackOff
出现
Get https://192.168.10.122/v2/: dial tcp 192.168.10.122:443: connect: connection refused
说明,k8s-node1 这台服务器的 /etc/docker/daemon.json 没有更改
登录到k8s-node1 这台服务器,修改文件
vim /etc/docker/daemon.json
内容如下:
{"insecure-registries": ["192.168.10.122"]}
重新加载docker
/etc/init.d/docker reload
登录到k8s master服务器,删除pod,重新应用
root@k8s-master:~# cd /root/kube-conf/ root@k8s-master:~/kube-conf# kubectl delete -f ph-rc.yaml service "maven-service" deleted deployment.extensions "maven-deployment" deleted root@k8s-master:~/kube-conf# kubectl apply -f ph-rc.yaml service/maven-service created deployment.extensions/maven-deployment created
再次查看状态
root@k8s-master:~/kube-conf# kubectl get pods -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES ph-rc-7bd7475544-q9b6j 1/1 Running 0 27s 192.168.36.77 k8s-node1 <none> <none>发现处于Running状态了
查看svc暴露的端口
root@k8s-master:~/kube-conf# kubectl get svc|grep maven ph-service NodePort 10.98.152.31 <none> 8080:31002/TCP 4m
可以发现,暴露的端口是31002
使用谷歌访问页面
http://192.168.10.130:31002/
效果如下:
使用k8s-node1 的ip
http://192.168.10.131:31002/
效果同上!
打开本地的项目springbootdemo,修改文件IndexController.java
路径如下:
springbootdemo\src\main\java\com\example\demo\web\controller
修改下面2行内容,把数字加1
jsonObject.put("welcome2", "2"); jsonObject.put("welcome7", "7");
重新提交到gitlab,然后重新构建一次,点击Build Now
等待构建成功后,刷新页面
发现内容已经更新了!
文本参考链接:
https://linux265.com/news/3465.html
https://www.cnblogs.com/aguncn/p/9789320.html
https://juejin.im/post/5c07b1126fb9a049e82b4cfe
上一篇: Jenkins配置maven
47569
45926
36869
34433
29043
25681
24530
19685
19205
17717
5542°
6119°
5653°
5708°
6663°
5449°
5454°
5961°
5934°
7265°