原創(chuàng)文章傻谁，轉(zhuǎn)載請(qǐng)保留出處
最近剛剛忙完Spark 2.2.0的性能測(cè)試及Bug修復(fù)，社區(qū)又要發(fā)布2.1.2了，國(guó)慶期間剛好有空岂座，過(guò)了一遍2.1.2的相關(guān)JIRA步绸，發(fā)現(xiàn)有不少重要修復(fù)2.2.0也能用上，接下來(lái)需要將有用的PR合到我們內(nèi)部維護(hù)的2.2.0分支上了瓤介。
經(jīng)常有朋友問(wèn)我是怎么把社區(qū)的PR合到自己分支上的，我之前跟他們介紹的做法是基于PR拉分支氯质，在IDEA中單個(gè)文件diff合并祠斧。如果是偶爾合下社區(qū)代碼，這種方式也不算太費(fèi)事琢锋。但是如果PR中改動(dòng)的文件較多，或者要合并多個(gè)PR過(guò)來(lái)钉嘹，這種方式也挺麻煩鲸阻。
廢話(huà)到此，這篇文章是介紹鸟悴，如何高效地合并Spark社區(qū)PR到自己維護(hù)的分支(常說(shuō)的打Patch)，當(dāng)然沛贪，針對(duì)其他開(kāi)源項(xiàng)目震贵，該方法同樣適用。
PR：Pull Request是GitHub上的一個(gè)功能屏歹，開(kāi)源代碼的貢獻(xiàn)者，通過(guò)發(fā)起一個(gè)Pull Request向社區(qū)貢獻(xiàn)代碼季希。
準(zhǔn)備Spark代碼
一般來(lái)說(shuō)，自己維護(hù)一套Spark代碼式塌，需要Fork下社區(qū)項(xiàng)目峰尝，在clone自己Fork的代碼，進(jìn)行開(kāi)發(fā)武学。我這里以Spark 2.2.0為例祭往。
-
clone自己Fork的倉(cāng)庫(kù)到本地
# stanzhai是我的GitHub賬號(hào)，大家需要換成自己的倉(cāng)庫(kù)地址 git clone https://github.com/stanzhai/spark.git cd spark -
添加一個(gè)名為upstream的遠(yuǎn)程倉(cāng)庫(kù)指向社區(qū)的版本庫(kù)
git remote add upstream https://github.com/apache/spark.git -
設(shè)置PR引用硼补，編輯git配置
vi .git/config熏矿，找到upstream，添加最后一行fetch[remote "upstream"] url = https://github.com/apache/spark.git fetch = +refs/heads/*:refs/remotes/upstream/* fetch = +refs/pull/*/head:refs/remotes/upstream/pr/* # 注意添加這行 -
同步遠(yuǎn)端庫(kù)票编，更新分支引用（每次合并前都需要執(zhí)行）
git remote update -
checkout一個(gè)2.2.0的維護(hù)分支
git checkout -b my-2.2.0 v2.2.0
我們創(chuàng)建了一個(gè)基于2.2.0的my-2.2.0分支慧域，下面的示例是將社區(qū)PR合并到my-2.2.0分支中。
提交給社區(qū)的PR大致分為2類(lèi)：
- PR被接受吊趾，且被合并到社區(qū)的倉(cāng)庫(kù)
- PR沒(méi)有合并到社區(qū)倉(cāng)庫(kù)瑟啃，(代碼沒(méi)問(wèn)題，有可能commiter還沒(méi)來(lái)得及處理)
整合已被社區(qū)合并的PR
被合并到社區(qū)的PR已經(jīng)做了rebase處理屁奏，對(duì)于這種PR错负，合并到自己的分支中是非常簡(jiǎn)單的事情，直接使用git的cherry-pick就可以搞定犹撒。
我們以這個(gè)卡片為例：https://issues.apache.org/jira/browse/SPARK-22083
這個(gè)卡片被標(biāo)記為resolved，而且PR也被合到社區(qū)倉(cāng)庫(kù)了：https://github.com/apache/spark/pull/19311诚镰，我們打開(kāi)這個(gè)鏈接，到頁(yè)面下方清笨，找到這個(gè)位置：
打開(kāi)后抠艾，會(huì)跳轉(zhuǎn)到這個(gè)地址：https://github.com/apache/spark/commit/2c5b9b1173c23f6ca8890817a9a35dc7557b0776，地址中后面的一長(zhǎng)串就是我們需要的commit-id检号，得到這個(gè)就可以直接合并代碼了：
git remote update
git cherry-pick 2c5b9b1173c23f6ca8890817a9a35dc7557b0776
執(zhí)行完谨敛，提示以下信息就表示合并成功了：
? spark git:(my-2.2.0) ? git cherry-pick 2c5b9b1173c23f6ca8890817a9a35dc7557b0776
[my-2.2.0 529f5ea55ff] [SPARK-22083][CORE] Release locks in MemoryStore.evictBlocksToFreeSpace
Author: Imran Rashid <irashid@cloudera.com>
Date: Mon Sep 25 12:02:30 2017 -0700
2 files changed, 153 insertions(+), 13 deletions(-)
如果合并的代碼恰好也被你改過(guò)了，那么有可能會(huì)出現(xiàn)沖突脸狸，這種情況正常解決沖突，然后git commit就可以了泥彤。
整合尚未合并到社區(qū)的PR
由于一個(gè)PR可能包含多次提交卿啡，整合未合并到社區(qū)的PR就比較麻煩了。Spark的主干代碼每天都有變動(dòng)颈娜，直接對(duì)比兩個(gè)不同的分支變動(dòng)通常會(huì)比較大，我們需要將PR中n次提交的代碼的所有變更梳理出來(lái)蛹磺，然后在做整合同仆。
我們以這個(gè)PR為例：https://github.com/apache/spark/pull/19301，這個(gè)PR實(shí)現(xiàn)上還有待改進(jìn)俗批，但可以正常工作，因此還沒(méi)合入社區(qū)辛慰，我們將這個(gè)PR合并到my-2.2.0分支干像，需要進(jìn)行以下操作：
# 更新遠(yuǎn)程倉(cāng)庫(kù)及版本引用信息
git remote update
# 基于某個(gè)PR創(chuàng)建一個(gè)分支辱志，這里的19301是這個(gè)PR在GitHub上的id
git checkout -b pr-19301 upstream/pr/19301
git checkout pr-19301
# PR分支大都基于master開(kāi)發(fā)狞膘，以u(píng)pstream/master分支為基準(zhǔn)，重新apply PR分支上的修改
git rebase upstream/master
# 通過(guò)diff提取這次PR的patch文件
git diff upstream/master > pr-19301.patch
# 到目標(biāo)分支打patch
git checkout my-2.2.0
git apply --reject pr-19301.patch
# 查看上一步apply的狀態(tài)
git status
# apply有可能會(huì)不成功已球，尚未apply的patch被存放到*.rej文件中辅愿，需要手動(dòng)處理，最后提交即可
git commit -a
# 清理
rm pr-19301.patch
rm *.rej
git branch -D pr-19301
參考
最后
上述方法不能保證合PR 100%成功点待，原則上你的分支和社區(qū)代碼約近，沖突越少状原，越容易處理苗踪。Spark 2.x的代碼有很大的變動(dòng)，把針對(duì)2.x的PR打到1.6的分支上毕莱，往往是個(gè)麻煩事颅夺。
據(jù)說(shuō)看完這篇文章給個(gè)贊的同學(xué)，打Patch都不會(huì)遇到?jīng)_突 (≧▽≦)/
