工具選型
image.png
一期使用FTP郑口，由于Jfrog企業(yè)版收費，F(xiàn)TP目前已完全滿足需求吊履。
架構(gòu)設(shè)計
image.png
目前Jenkins服務(wù)由一個Matser和一個Agent組成耀盗。
Jenkins Agent1 同時作為SaltStack Master角色。
流程圖
image.png
jenkins調(diào)用SaltStack
jenkins調(diào)用SaltStack腳本房匆，需傳入3個參數(shù)：
SaltStack ID：匹配部署目標(biāo)機器耸成，可正則匹配报亩。
SaltStack腳本編號：SaltStack為每一個服務(wù)編寫唯一腳本，并分配一個編號井氢，ftp路徑寫在目錄中弦追。
版本標(biāo)簽：與ftp包匹配，jenkins觸發(fā)CI/CD時傳入版本標(biāo)簽變量花竞。
在Agent1上執(zhí)行SaltStack腳本執(zhí)行自動化部署動作骗卜。
回滾：可直接指定版本標(biāo)簽觸發(fā)自動化部署。
發(fā)布目錄存儲規(guī)范
選擇FTP存儲左胞，后續(xù)如果有好的版本包管理工具寇仓，再行評估。
{版本標(biāo)簽}.zip 內(nèi)無需嵌套文件夾烤宙，直接放置程序文件即可遍烦。
jenkins/dev/{服務(wù)標(biāo)準(zhǔn)命名}/{版本標(biāo)簽}.zip
Pipeline流水線設(shè)計
Jenkins提交流水線示例
import groovy.json.JsonSlurper
node('agent') {
try
{
stage('拉取代碼') {
git branch: '$branch', credentialsId: 'jenkins-node2', url: 'git@dev.yutong.com:yutongiot/realtime-processor.git'
}
gitlabBuilds(builds: ["編譯打包", "質(zhì)量掃描"]) {
gitlabCommitStatus(name:"編譯打包") {
stage('編譯打包') {
sh 'gradle sparkDeployZip'
}
}
gitlabCommitStatus(name:"質(zhì)量掃描") {
stage('質(zhì)量掃描') {
echo '質(zhì)量掃描'
// SonarQubeServer為系統(tǒng)配置的SonarQube servers的名稱
withSonarQubeEnv('SonarQube') {
sh '/usr/local/sonar-runner-2.4/bin/sonar-runner -Dsonar.projectKey=gemini -Dsonar.projectName=gemini -Dsonar.projectVersion=${branch} -Dsonar.sourceEncoding=UTF-8 -Dsonar.sources=./ -Dsonar.java.binaries=./'
}
script {
timeout(5) {
//單位，分鐘躺枕，利用sonar webhook功能通知pipeline代碼檢測結(jié)果服猪，未通過質(zhì)量閾，pipeline將會fail
println('等待代碼分析拐云，sonar平臺地址=http://10.66.221.187:9000')
def qg = waitForQualityGate()
println('qg.status: ' + qg.status)
if (qg.status != 'OK') {
error "未通過Sonarqube的代碼質(zhì)量閾檢查罢猪，請及時修改！failure: ${qg.status}"
}
}
}
}
}
}
}
catch (err)
{
stage('失敗通知')
{
mail to: 'lubing@yutong.com,mapfd@yutong.com',subject: "【DevOps通知】Jenkins流水線任務(wù)-${JOB_NAME}-(${BUILD_NUMBER})叉瘩，執(zhí)行失敗",body: "請訪問 ${BUILD_URL} 查看執(zhí)行結(jié)果膳帕！"
}
throw err
}
}
Jenkins驗收流水線示例
import groovy.json.JsonSlurper
timestamps {
node('agent') {
try
{
stage('拉取代碼') {
checkout([$class: 'GitSCM', branches: [[name: '${branch}']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: 'jenkins-node2', url: 'git@dev.yutong.com:yutongiot/realtime-processor.git']]])
}
}
stage('編譯打包') {
echo '編譯打包'
sh 'gradle sparkDeployZip'
}
stage('單元測試') {
echo '單元測試'
}
/*
stage('質(zhì)量掃描') {
echo '質(zhì)量掃描'
// SonarQubeServer為系統(tǒng)配置的SonarQube servers的名稱
withSonarQubeEnv('SonarQube') {
sh '/usr/local/sonar-runner-2.4/bin/sonar-runner -Dsonar.projectKey=gemini -Dsonar.projectName=gemini -Dsonar.projectVersion=${branch} -Dsonar.sourceEncoding=UTF-8 -Dsonar.sources=./ -Dsonar.java.binaries=./'
}
script {
timeout(5) {
//單位，分鐘薇缅，利用sonar webhook功能通知pipeline代碼檢測結(jié)果危彩，未通過質(zhì)量閾，pipeline將會fail
println('等待代碼分析泳桦，sonar平臺地址=http://10.66.221.187:9000')
def qg = waitForQualityGate()
println('qg.status: ' + qg.status)
if (qg.status != 'OK') {
error "未通過Sonarqube的代碼質(zhì)量閾檢查汤徽，請及時修改！failure: ${qg.status}"
}
}
}
}
*/
def file_md5 = '';
stage('上傳制品庫') {
echo '移動制品文件'
sh 'rm -rf ${WORKSPACE}/ftp_upload'
sh 'mkdir -p ${WORKSPACE}/ftp_upload'
sh 'cp ${WORKSPACE}/deploy/gemini.zip ${WORKSPACE}/ftp_upload/${branch}.zip'
echo '讀取md5'
sh 'md5sum ${WORKSPACE}/ftp_upload/${branch}.zip |cut -d " " -f1 > md5.txt'
file_md5 = readFile('md5.txt').trim()
echo "md5: ${file_md5}"
echo '上傳FTP'
ftpPublisher alwaysPublishFromMaster: false, continueOnError: false, failOnError: false, publishers: [[configName: 'TEST_FTP', transfers: [[asciiMode: false, cleanRemote: false, excludes: '', flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '/jenkins/test/gemini/', remoteDirectorySDF: false, removePrefix: 'ftp_upload', sourceFiles: 'ftp_upload/']], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false]]
}
stage('自動部署') {
echo '自動部署'
sh 'salt -N gemini_test state.sls saltenv=test pillar="{ zip_name: ${branch}.zip }" sls.gemini_update'
}
stage('發(fā)出通知') {
echo '發(fā)出通知'
echo "制品庫版本：${branch}, 制品文件包md5：${file_md5}, 請訪問 ${BUILD_URL} 查看執(zhí)行結(jié)果灸撰！"
mail to: 'zhangzhia@yutong.com,zouhl@yutong.com,zhaorp@yutong.com,wangmian@yutong.com,nidaxia@yutong.com,wxzhangxw@yutong.com',subject: "【DevOps通知】Jenkins流水線任務(wù)-${JOB_NAME}-(${BUILD_NUMBER})谒府，執(zhí)行成功",body: "制品庫版本：${branch}, 制品文件包md5：${file_md5}, 請訪問 ${BUILD_URL} 查看執(zhí)行結(jié)果！"
}
}
catch (err)
{
stage('失敗通知')
{
mail to: 'zhangzhia@yutong.com,zouhl@yutong.com,zhaorp@yutong.com,wangmian@yutong.com,nidaxia@yutong.com,wxzhangxw@yutong.com',subject: "【DevOps通知】Jenkins流水線任務(wù)-${JOB_NAME}-(${BUILD_NUMBER})浮毯，執(zhí)行失敗",body: "請訪問 ${BUILD_URL} 查看執(zhí)行結(jié)果完疫！"
}
throw err
}
finally
{
}
}
}
Salt自動部署腳本
sls腳本
script腳本
