[TOC]

經(jīng)常在開(kāi)發(fā)的時(shí)候,測(cè)試/產(chǎn)品/運(yùn)營(yíng)等人員會(huì)來(lái)要求安裝一下軟件,這時(shí)候不得不停下手中的事情來(lái)打包安裝,但終歸不是長(zhǎng)久之計(jì):

1. 自己開(kāi)發(fā)時(shí)被經(jīng)常打斷思路;
2. 停下來(lái)手頭的工作來(lái)打包,每次怎么也得浪費(fèi)個(gè)幾分鐘,長(zhǎng)期下來(lái)不劃算;
3. 開(kāi)發(fā)中的代碼經(jīng)常不是穩(wěn)定或者未經(jīng)過(guò)自測(cè)的代碼,冒然給人安裝總是容易發(fā)生問(wèn)題,徒增bug;

作為一個(gè) '懶人' ,這種重復(fù)性的工作腫么能每次都自己動(dòng)手呢,另外最好再有個(gè)地方能提供穩(wěn)定分支代碼的安裝包供人下載安裝,省得有人說(shuō)不會(huì)安裝apk ==!...
話說(shuō)前公司就提供有自動(dòng)打包功能,以前不覺(jué)得有什么,等到?jīng)]有的時(shí)候才發(fā)覺(jué)它的好...無(wú)奈,只能自己動(dòng)手搭一套;

圖侵刪

基于:
系統(tǒng): mac 10.12.4(Sierra)
Jenkins: 2.46.1
Git: 2.10.0
Python: 3.x

Jenkins的基本使用

安裝運(yùn)行Jenkins

1. 到 官網(wǎng) 下載軟件,應(yīng)該是一個(gè) jenkins.war 單文件;
2. 運(yùn)行:

// 方式1: 假如系統(tǒng)中安裝有Tomcat,就把它當(dāng)做普通的war包放置到 webapps/ 下運(yùn)行即可;
// 方式2: (假設(shè) jenkins.war 放置在 ~/Downloads/ 目錄下)
cd  ~/Downloads/
nohup java -jar jenkins.war & // 后臺(tái)運(yùn)行jenkins.war程序,默認(rèn)使用8080端口
// 指定端口
--httpPort=8080 // 用來(lái)設(shè)置jenkins運(yùn)行時(shí)的web端口,避免沖突

3. 安裝運(yùn)行成功后在瀏覽器中打開(kāi) localhost:8080 (端口號(hào)請(qǐng)按需修改),第一次會(huì)要求輸入賬號(hào)密碼, jenkins 提供了一個(gè)初始密碼,可以根據(jù)頁(yè)面提示在文件 initialAdminPassword 中獲取:

 sudo cat /Users/***/initialAdminPassword // 提示路徑可能不同,根據(jù)頁(yè)面提示修改

initialAdminPassword

4. 初始化后就會(huì)彈出添加賬號(hào)的界面,按需設(shè)置一個(gè)新的賬號(hào)密碼,也可以后續(xù)在 Manage Users 中進(jìn)行創(chuàng)建或修改;
5. 登錄成功后會(huì)有個(gè)安裝插件提示頁(yè)面,選擇 Install suggested plugins :
   
   安裝插件

后續(xù)也可在 jenkins首頁(yè) - Manage Jenkins - Manage Plugins 中安裝插件,主要是 Gradle Plugin Android Signing Plugin Git Parameter Plug-In GitHub Authentication plugin Gitlab Authentication plugin Git plugin等

6. 安裝完重啟就可以在首頁(yè)添加任務(wù) New Item ,添加完成后會(huì)在右側(cè)顯示已添加的 job 列表:
   
   new item

初始化配置

開(kāi)始打包發(fā)布Android應(yīng)用前需要進(jìn)行如下環(huán)境的設(shè)置:Android/Git/Gradle/Python等

指定ANDROID_HOME全局變量

==! 不知道咋回事,沒(méi)有識(shí)別到我配置在 ~/.bash_profile 中的ANDROID_HOME環(huán)境變量,最后折騰了好久才發(fā)現(xiàn)要在jenkins中手動(dòng)指定一個(gè)

在 Manage Jenkins - Configure System - Global properties 勾選 Environment variables ,并添加一個(gè):

Name : ANDROID_HOME
Value : /Users/***/Applications/AndroidSDK

ANDROID_HOME

配置JDK/Git/Gradle

在 Manage Jenkins - global tool configuration 中按需選擇工具 , name 隨意指定,其他的參考下圖:

// 配置JDK主目錄
name:     MAC_JDK
path:     /Library/Java/JavaVirtualMachines/jdk1.8.0_101.jdk/Contents/Home

// 配置Git運(yùn)行路徑
name:    Default
path:    /usr/bin/git

// 配置Gradle主目錄
name:    gradle3.5
path:    /Users/lynxz/.sdkman/candidates/gradle/current/bin
// 注意: 在 `gradle /current/bin/bin`中需存在 `gradle` 可執(zhí)行文件;
// 備注: 我之前是使用 `sdkman` 來(lái)安裝的 `gradle` ,所以路徑比較奇怪
curl -s https://get.sdkman.io | bash
sdk install gradle 3.5

Home指定

創(chuàng)建和配置job

1. 在jenkins首頁(yè)左側(cè)導(dǎo)航欄中點(diǎn)擊 new item , 輸入名稱, 選擇 Freestyle project ,點(diǎn)擊 ok 按鈕即可;
2. 創(chuàng)建完成后,在首頁(yè)右側(cè)的 Job 列表中選擇剛才創(chuàng)建的job,然后選擇 Configure 進(jìn)行配置;
3. 在 General 中按需輸入 project name 和 Description ;
   另外,這個(gè)tab頁(yè)面中比較常用的還有參數(shù)化設(shè)置( This project is parameterized ), 后續(xù)會(huì)講到;
4. 在 Source Code Management 中指定版本管理類型/倉(cāng)庫(kù)地址/認(rèn)證信息等;
   
   Source Code Management
5. 在 Build 中選擇 Invoke Gradle Script ,在 Gradle Version 下拉列表中選擇自定義的本機(jī)Gradle版本;并在 Tasks 中輸入打包命令:

// 默認(rèn)未做多渠道多版本配置時(shí),打包release類型的命令:
clean assembleRelease  --stacktrace --debug

如果有需要將 general 標(biāo)簽也中定義的變量注入到項(xiàng)目中讓 gradle 腳本使用,則請(qǐng)勾選 Pass job parameters as Gradle properties ,則gradle腳本中用到的同名自定義變量就會(huì)使用jenkins中指定的值;

build.png

參數(shù)化構(gòu)建

有時(shí)候需要在構(gòu)建的時(shí)候進(jìn)行一些定制化操作,比如指定編譯的代碼分支,增加打包版本說(shuō)明等,又或者項(xiàng)目中使用了私有倉(cāng)庫(kù),而倉(cāng)庫(kù)的登錄賬號(hào)名(如mavenUser)以及密碼(mavenPassword)存儲(chǔ)于 gradle.properties (不同步到gitlab倉(cāng)庫(kù)中),這時(shí)就需要添加參數(shù),并將該參數(shù)注入到Android項(xiàng)目中了,以便gradle腳本能獲取到正確的值,具體操作如下:

1. 在job頁(yè)面的 Configure - General 面板中勾選 This project is parameterized;
2. 在 Add Parameter 下拉列表中就可以選擇對(duì)應(yīng)的類型變量
   
   參數(shù)化構(gòu)建

注意: 若參數(shù)需要注入到Android項(xiàng)目構(gòu)建腳本中,則需要勾選 configure - Build - Pass job parameters as Gradle properties ;

3. 比如選擇添加一個(gè) String Parameter
   
   String Parameter
4. 比如增加一個(gè) Choice Parameter ,用于指定要打包的版本:
   
   Choice Parameter
   
   圖中指定的三個(gè)choice是我在Android項(xiàng)目 app/build.gradle 中定義過(guò)的,用于后續(xù)的打包命令:

android{
    buildTypes {
        release {
            signingConfig signingConfigs.release
        }
        //不能以"test"開(kāi)頭
        tstEnv {
            debuggable true
            signingConfig signingConfigs.release
        }
        debug {
            versionNameSuffix "-dev"
            debuggable true
            signingConfig signingConfigs.release
        }
    }
}

效果

上面指定的 choice parameter 類型參數(shù) buildTypes 便可用在 Build 命令中:

使用

簽名

還沒(méi)去研究過(guò)jenkins簽名插件,一般直接在Android項(xiàng)目中配置好腳本即可:

1. 將簽名文件 *.jks 放置于 app/ 目錄下;
2. 在 app/build.gradle 中配置簽名參數(shù),這樣jenkins打包出來(lái)的apk就是簽名過(guò)的:

android{
  signingConfigs {
        release {
            keyAlias '***'
            keyPassword '***'
            storeFile file('*.jks')
            storePassword '***'
        }
    }

 buildTypes {
        release {
            signingConfig signingConfigs.release
        }

        debug {
            signingConfig signingConfigs.release
      }
  }
}

P.S. 不過(guò)總覺(jué)得這樣直接公開(kāi)簽名文件到倉(cāng)庫(kù)中不太好,在打包服務(wù)器上進(jìn)行控制會(huì)更合適點(diǎn),畢竟知曉的人更少,這個(gè)后續(xù)再研究,先占個(gè)位;

獲取當(dāng)前用戶的名稱等信息

1. 需要安裝插件 user build vars plugin ,可在插件列表中直接獲取安裝 或者到 這里 下載插件包;
2. 安裝后等待jenkins重啟,并找到 job - configure - Build Environment - Set jenkins user build variables,勾選此項(xiàng)后才生效;
3. 在 shell 中便可像jenkins自帶的變量那樣使用,如 echo "$BUILD_USER":

Build History 定制

默認(rèn)的job構(gòu)建歷史命名( 如 #3?5 Apr 27, 2017 11:15 AM )不容易理解記憶,我們可以自定義,加入構(gòu)建者姓名,版本等信息;
定制包括"build name" 和 "build description" 兩部分的定制,效果如下

默認(rèn) -> 定制

構(gòu)建名稱定制

1. 下載 Build Name Setter Plugin 插件;
2. 手動(dòng)安裝: manage jenkins - manage plugins - Advanced 在 upload plugin 中選擇剛才下載的插件,提交后重啟jenkins即可;
3. 選擇一個(gè) job 進(jìn)入 Configure - Build Environment ,就會(huì)多出一個(gè) Set Build Name 復(fù)選項(xiàng),勾選后即可定制;
   
   定制build名稱

構(gòu)建描述定制

1. 安裝插件 description setter plugin (可以在jenkins的 manage plugins 中找到);

2. 重啟jenkins后,進(jìn)入 job 的 Configure - post-build Actions ,選擇 Add post-build action - set build description 即可定制;
   

   Add post-build action

3. 為了顯示蒲公英的二維碼圖片,需要先在 manage jenkins - Configure global security ,找到 Markup Formatter ,將默認(rèn)的 plain text 改為 safe html;
   

   safe html

4. 在 job - configure - post-build actions - set build description 中就可以輸入html標(biāo)簽了,比如我設(shè)置了:

// 這里的${pgyerNotes}是我在general中添加的參數(shù)
<p>${pgyerNotes}</p><br/>![](https://static.pgyer.com/app/qrcode/Cb6T)<br/><a >Download Directly</a>

構(gòu)建完成后打包記錄并顯示在 job 首頁(yè)面,便于下載

1. 進(jìn)入 job - Configure - Post-Build Actions
2. 在 Add post-build action 列表中選擇 Archive the artifacts 輸入要存檔的文件路徑,可使用通配符,比如我輸入的是 app/build/outputs/apk/Sb*.apk ,就會(huì)在job項(xiàng)目首頁(yè)看到存檔記錄,可以直接下載;
   
   Archive the artifacts
   
   注意:這里不能使用 ${WORKSPACE} 等變量,貌似就是直接以當(dāng)前工作空間為根目錄的;</br>
   
   效果

使用shell上傳apk到蒲公英

請(qǐng)首先到 蒲公英 上注冊(cè)賬號(hào),并認(rèn)證,若不認(rèn)證則上傳失敗;
蒲公英上傳文件接口
蒲公英的key值可在 賬戶設(shè)置 - API信息 中查看到
由于我是mac系統(tǒng),因此在 Job - Configure - Build - Add build step 列表中選擇 Execute shell,運(yùn)行shell腳本
P.S. 若是對(duì)shell不熟悉,可參考 教程
另外,由于我在項(xiàng)目中根據(jù)版本號(hào)(vesionName)重命名了生成的apk,因此需要在shell腳本中提取版本號(hào)以便獲得apk全稱,進(jìn)而上傳蒲公英

app/build.gradle

自定義apk名稱,這里用到了versionName

# build -> Add build step -> Execute shell
pgyerApiKey="******"
pgyerUKey=="******"
echo "獲取apk版本號(hào)..."
#  ${WORKSPACE} 是jenkins提供的環(huán)境變量,表示當(dāng)前項(xiàng)目跟目錄路徑
#  下面的命令是獲取 app/build.gradle 的第17行內(nèi)容,然后按照雙引號(hào)進(jìn)行切換,提取第2部分內(nèi)容,即上面圖示中的  1.1.4
versionName=`sed -n '17p' ${WORKSPACE}/app/build.gradle | cut -d \" -f 2`
echo "獲取apk所在路徑..."
# _360 是項(xiàng)目中定義了多渠道,但由于之前在 Build - Task 中設(shè)置的打包命令,直接指定了渠道號(hào),因此這里也直接固定寫(xiě)好就可以;
apkAbsPath="${WORKSPACE}/app/build/outputs/apk/SonicMoving_${buildTypes}_[_360]_v${versionName}.apk"
echo "上傳apk到蒲公英進(jìn)行發(fā)布..."
response=$(curl -F "file=@${apkAbsPath}" -F "uKey=${pgyerUKey}" -F "_api_key=${pgyerApiKey}" https://qiniu-storage.pgyer.com/apiv1/app/upload)
echo "上傳結(jié)束"

# 原本上傳結(jié)束后想要使用 jq 工具 (`brew install jq`) 對(duì)蒲公英上傳時(shí)返回的response進(jìn)行json處理的,結(jié)果在電腦的shell中測(cè)試可行,但寫(xiě)到這里就一直不成功,無(wú)奈,只好放棄
# 提取蒲公英返回的json數(shù)據(jù)中的 appShortcutUrl 字段值,可拼接成下載地址
#responseCode=$(echo -E "${response}" | jq .code) 
#if [ $((responseCode)) == 0 ] 
#then
#   echo "上傳結(jié)束,處理返回相應(yīng)..."
#   appShortcutUrl=$(echo -E "${response}" | jq ".data.appShortcutUrl" | cut -d \" -f 2)
#   apkOnlineUrl="https://www.pgyer.com/${appShortcutUrl}"
#else
#   echo "上傳失敗,返回碼為: ${responseCode} ,具體請(qǐng)看日志"
#fi

jenkins報(bào)錯(cuò)

使用python上傳apk到蒲公英

最早之前我也是嘗試直接使用python插件的,操作如下:

1. 安裝 Python Plugin;
2. 在 job 的 Configure - Build 中就會(huì)多一個(gè)選項(xiàng) Execute python script;

import os
# 獲取jenkins變量 'BUILD_NUMBER'
print("build_number is ==> ",os.getenv("BUILD_NUMBER"))

但是由于我是mac,系統(tǒng)中默認(rèn)的python是2.7.x,而我又裝了其他版本的python,雖然在jenkins的全局變量中指定了python版本,但實(shí)際執(zhí)行的時(shí)候卻用的不是它,大致的錯(cuò)誤如下:

python插件執(zhí)行錯(cuò)誤信息

默認(rèn)的python版本

解決方案

使用python多版本問(wèn)題的常用方法 virtualenv,最后演變成通過(guò)shell來(lái)啟用版本隔離,然后手動(dòng)調(diào)用python命令加載腳本:
在 Build - add build step - execute shell 中寫(xiě)入如下腳本:

# 如果當(dāng)前無(wú)指定的環(huán)境目錄存在,則創(chuàng)建,并指定python版本
if [ ! -d ".env" ]; then
    virtualenv -p /usr/local/bin/python3 .env
fi
# 啟動(dòng)virtualenv
source .env/bin/activate
echo "當(dāng)前操作的用戶是 : $BUILD_USER "

#requestsLibName="requests"
#isInstallRequest=$(pip freeze | grep $requestsLibName)
#if [[ $isInstallRequest =~ "*requests*" ]];then
#   pip install requests
#fi
# 安裝所需要的第三方庫(kù),若已安裝,則不會(huì)重新安裝
pip install requests
# 運(yùn)行指定路徑下的python腳本
python3 ~/Desktop/upload.py

上面shell腳本中的 upload.py 內(nèi)容如下(可考慮將其放在Android項(xiàng)目中,上傳gitlab):

#!/usr/local/bin/python3.5
# -*- coding: utf-8 -*-

'''
jenkins 打包線上代碼生成apk后發(fā)布到蒲公英
本腳本路徑:  ~/Desktop/upload.py
'''

import os
import io
import re
import requests
import json

WORKSPACE = os.getenv("WORKSPACE")  # 獲取jenkins環(huán)境變量
userName = os.getenv("BUILD_USER")  # 獲取用戶名
buildTypes = os.getenv("buildTypes")  # 獲取用戶選擇的編譯版本
pgyerNotes = os.getenv("pgyerNotes")  # 獲取用戶填寫(xiě)的版本說(shuō)明

# 重置默認(rèn)編碼為utf8
import sys
default_encoding = 'utf-8'
if sys.getdefaultencoding() != default_encoding:
    reload(sys)
    sys.setdefaultencoding(default_encoding)
# 確認(rèn)下當(dāng)前python版本
print("當(dāng)前編譯器版本: %s " % sys.version)
print("python編譯器詳細(xì)信息: ", sys.version_info)

# 獲取版本號(hào)
# guild.gralde文件所在路徑
buildGradleFilePath = "%s/app/build.gradle" % (WORKSPACE)  # 指定文件所在的路徑
print("build.gradle路徑是: ", buildGradleFilePath)

# 讀取build.gradle并獲取versionName值 
with open(buildGradleFilePath, 'r', encoding='utf-8') as buildGradleFile:
    line = buildGradleFile.readlines()[16:17][0] # 讀取第17行數(shù)據(jù), 切片從0開(kāi)始;
    print("line 17 is .... ", line)
    versionName = re.split(r'\"', line)[1]
    print("版本號(hào)為: %s" % versionName)

# "獲取apk所在路徑..."
apkAbsPath = "%s/app/build/outputs/apk/SonicMoving_%s_[_360]_v%s.apk" % (WORKSPACE, buildTypes, versionName)
print("準(zhǔn)備上傳apk到蒲公英進(jìn)行發(fā)布,apk所在路徑為: %s" % apkAbsPath)

# 上傳結(jié)束后發(fā)出請(qǐng)求通知服務(wù)端,進(jìn)而由服務(wù)端發(fā)送釘釘消息
def notify_upload_result(msg):
    headers = {'user-agent': 'jenkins_upload_pgyer'}
    params = {'userName': userName, 'msg': msg}  # 字段中值為None的字段不會(huì)被添加到url中
    response = requests.get('http://btcserver.site:8080/WebHookServer_war', params=params, headers=headers)
    #response = requests.get('http://localhost:8081', params=params, headers=headers)
    print("通知webhook服務(wù)器結(jié)果: ", response.text)

# 蒲公英賬號(hào)信息
pgyerApiKey = "******"
pgyerUKey = "******"

# response=$(curl -F "file=@${apkAbsPath}" -F "uKey=${pgyerUKey}" -F "_api_key=${pgyerApiKey}" -F "updateDescription=${pgyerNotes}" https://qiniu-storage.pgyer.com/apiv1/app/upload | jq .)
# post請(qǐng)求中所需攜帶的信息
data = {
    '_api_key': pgyerApiKey,
    'uKey': pgyerUKey,
    'updateDescription': pgyerNotes
}

files = {'file': open(apkAbsPath, 'rb')}
uploadUrl = 'https://qiniu-storage.pgyer.com/apiv1/app/upload'
response = requests.post(uploadUrl, data=data, files=files)
print(response.status_code, response.text)
if response.status_code == 200:
    print("上傳成功,通知webhook服務(wù)器...")
    notify_upload_result(response.text)
else:
    print("上傳失敗,狀態(tài)碼為: %s" % (response.status_code))

蒲公英發(fā)布成功后通知釘釘

參考 打通Gitlab與釘釘之間的通訊
這里有兩種方式通知服務(wù)器后臺(tái):

1. 使用蒲公英項(xiàng)目中自帶的webhook功能,但是這個(gè)通知無(wú)法具體得知是誰(shuí)進(jìn)行的這次打包發(fā)布,并且若上傳蒲公英失敗的話也不會(huì)進(jìn)行webhook通知,因此不太方便:

   
   
   蒲公英webhook設(shè)置
2. 如上面python腳本中寫(xiě)那樣,在上傳返回后,主動(dòng)調(diào)用服務(wù)器接口,將response和jenkins相關(guān)信息上傳,然后后臺(tái)有針對(duì)性的發(fā)送消息;

碰到的異常

1. Failed to connect to repository : Command "git ls-remote -h https://git.***.git HEAD" returned status code 143:

需要在倉(cāng)庫(kù)中添加公鑰;

//獲取公鑰
ssh-keygen -t rsa -f ~/.ssh/id_rsa.pub

測(cè)試時(shí)用的是 coding.net , 因此在 coding.net 對(duì)應(yīng)項(xiàng)目的 設(shè)置 - 部署公鑰 - 新建部署公鑰 將剛才輸出的公鑰粘貼進(jìn)去即可;

2. token-macro v1.5.1 is missing. To fix, install v1.5.1 or later

token-macro-plugin
到插件管理頁(yè)面中搜索 Token Macro Plugin 安裝即可;