我發(fā)現(xiàn)了袱瓮，大家極度關(guān)心自動(dòng)化測(cè)試或油，尤其是UI自動(dòng)化測(cè)試，雖然現(xiàn)在作為專項(xiàng)測(cè)試上鞠，離開(kāi)這些越來(lái)越遠(yuǎn)了际邻，但總能遙想以前，我總能想起自己做nokia的WindowsLive的ui自動(dòng)化芍阎，做web的自動(dòng)化測(cè)試世曾，后面加入騰訊，寫(xiě)過(guò)pc的自動(dòng)化谴咸，作為早期的終端測(cè)試度硝，做android的自動(dòng)化，然后mac的寿冕，然后ios。 先不說(shuō)有多少成功經(jīng)驗(yàn)椒袍，但是確實(shí)有一些感悟驼唱，現(xiàn)在分享給大家，希望能幫助大家思考驹暑，少走彎路玫恳。
*UI自動(dòng)化測(cè)試的真實(shí)價(jià)值
測(cè)試生命中三大幻覺(jué):
今天能發(fā)布
明天能發(fā)布
UI自動(dòng)化實(shí)現(xiàn)了辨赐，測(cè)試就可以不用測(cè)了
正正是第三點(diǎn)賦予了ui自動(dòng)化測(cè)試錯(cuò)誤的價(jià)值。讓UI自動(dòng)化測(cè)試驗(yàn)證UI, 利用圖片比較去做自動(dòng)驗(yàn)證京办，甚至利用截圖定位按鈕掀序。真是找死的節(jié)奏呀。 現(xiàn)在我?guī)Т蠹艺J(rèn)識(shí)下它的真正價(jià)值惭婿。
1. 驗(yàn)證邏輯而非UI
UI的驗(yàn)證會(huì)引入大量的不穩(wěn)定因素不恭。換句話說(shuō)，像當(dāng)年的測(cè)試大牛段念說(shuō)的财饥，你跑過(guò)了UI自動(dòng)化换吧，你就相信沒(méi)問(wèn)題了嗎？不會(huì)相信钥星，原因是啥沾瓦？因?yàn)槁斆鞯哪銜?huì)發(fā)現(xiàn)，你驗(yàn)證的東西越多谦炒，例如界面的每個(gè)按鈕贯莺，顏色，排布宁改，互聯(lián)網(wǎng)應(yīng)用變化最大的就是UI, 你的用例就越不穩(wěn)定缕探，所以你最終肯定不會(huì)驗(yàn)證全部UI。那結(jié)果就是"然并卵"了, 你根本不會(huì)相信這個(gè)用例真的通過(guò)了透且。因此給大家定個(gè)UI自動(dòng)化能做的撕蔼，驗(yàn)證邏輯（另外一種說(shuō)法，說(shuō)這種叫功能自動(dòng)化）秽誊。什么叫驗(yàn)證邏輯鲸沮？例如驗(yàn)證qq是否登錄成功，驗(yàn)證到了好友列表锅论，就是登錄成功讼溺，甚至有登錄成功的日志都可以，怎么穩(wěn)定怎么行最易。
2.代替大量的UI重復(fù)操作
簡(jiǎn)單來(lái)說(shuō)就是UI自動(dòng)化你要投入5元怒坯，只是執(zhí)行4次，每次賺5毛的話藻懒，那你還虧3元的問(wèn)題剔猿。什么時(shí)候會(huì)大量呢？像手Q, 編譯百個(gè)市場(chǎng)的包嬉荆，每個(gè)包要驗(yàn)證核心功能归敬。或者像性能ui自動(dòng)化監(jiān)控，同一個(gè)用例為了多次采樣汪茧，也會(huì)執(zhí)行多次椅亚。還有每日構(gòu)建，集成舱污，都可以呀舔。關(guān)鍵點(diǎn)就是用次數(shù)來(lái)增加價(jià)值，UI自動(dòng)化能幫你確保不出死人的問(wèn)題扩灯，如登錄不了媚赖，登錄了又卡死，或者是監(jiān)控UI之外的其他驴剔，如性能省古。這些都有機(jī)會(huì)讓其價(jià)值高于成本的。
*最大難點(diǎn)丧失，維護(hù)
無(wú)間道: 出來(lái)混豺妓，遲早要還的。 這句話布讹，最好用來(lái)說(shuō)明琳拭，為什么自動(dòng)化測(cè)試構(gòu)造得越快越隨便，未來(lái)的維護(hù)成本也就越大描验。更甚者白嘁，腳本依賴錄制得來(lái)的，也是找死的節(jié)奏膘流。 無(wú)數(shù)的故事告訴我絮缅，很多UI自動(dòng)化都是死在一開(kāi)始就寫(xiě)或者錄一堆腳本，結(jié)果每天都要花大量時(shí)間排查錯(cuò)誤呼股，錯(cuò)誤有腳本錯(cuò)誤耕魄，有功能的變更，有bug彭谁，甚至問(wèn)題是隨機(jī)出現(xiàn)的吸奴，但是無(wú)論你的問(wèn)題或者是功能的問(wèn)題，反正你排查錯(cuò)誤的時(shí)間是花進(jìn)去了缠局，哪怕你不用改腳本则奥。所以這里看來(lái)，
要解決維護(hù)的難點(diǎn)狭园，終極招數(shù)就是不要碰UI自動(dòng)化读处。其實(shí)很多大牛都是說(shuō)不要做ui自動(dòng)化的，或者這個(gè)事情不是最高優(yōu)先級(jí)唱矛，但是現(xiàn)實(shí)是档泽，大家都做了俊戳，優(yōu)先級(jí)還不低。所以我當(dāng)然不說(shuō)不做了馆匿，要做就只能要狠狠地干一場(chǎng)，要成功燥滑，不要失敗渐北。下面給大家有兩點(diǎn)建議，一是策略铭拧，二是技術(shù)赃蛛。
策略上，維護(hù)成本的控制搀菩，腳本要慢慢上呕臂，先做核心的BVT，人均維護(hù)的腳本1~2個(gè)肪跋，定目標(biāo)歧蒋，如穩(wěn)定運(yùn)營(yíng)1個(gè)月，后面增加的腳本要在測(cè)試環(huán)境穩(wěn)定跑上一周州既，才能切換到正式環(huán)境谜洽。 組織培訓(xùn)，知識(shí)分享吴叶，分享寫(xiě)自動(dòng)化遇到的坑阐虚，沉淀最佳的實(shí)踐，讓大家知道寫(xiě)UI自動(dòng)化也是在自我提升蚌卤，而不是簡(jiǎn)單的工作任務(wù)实束。
技術(shù)上，降低維護(hù)成本的方法逊彭，
1.腳本里不要有坐標(biāo)咸灿，圖像識(shí)別這些，想都別想诫龙，想都別想析显，想都別想！這些都是不穩(wěn)定的因素签赃。
2.腳本里不要有sleep谷异。sleep就是UI自動(dòng)化的穩(wěn)定性的克星，絕對(duì)不能有锦聊。一方面歹嘹，如果幫助建立或者直接使用UI自動(dòng)化測(cè)試等待界面穩(wěn)定的阻塞方法，例如waitForIdle孔庭，等待控件出現(xiàn)和消失的方法尺上，如waitForInvisiable之類的材蛛。另外一種，就是封裝一個(gè)timeout的類怎抛，里面包含重試和sleep的策略卑吭，讓腳本直接使用。反正马绝，不要看到sleep豆赏。
3.要用腳本要基于面向?qū)ο?/b>。腳本不需要編譯富稻，調(diào)試方便掷邦，學(xué)習(xí)門(mén)檻低，像python椭赋，能使用的庫(kù)也豐富抚岗。所以自動(dòng)化測(cè)試最佳的使用Python，再配合pydev哪怔，用起來(lái)還是很舒服的宣蔚。而說(shuō)到面向?qū)ο螅袀€(gè)作用蔓涧，就是通過(guò)隔離變化來(lái)提升代碼的可維護(hù)性件已。說(shuō)多了，可能你都不明白元暴， 我舉個(gè)例子來(lái)說(shuō)說(shuō), 用了面向?qū)ο蟮腢I自動(dòng)化腳本的樣子(python的哈）篷扩。
qqApp = Application("QQ")
loginPanel = qqApp.launch()
buddylistPanel = loginPanel.login("27373636","ffssdd")
aioPanel = buddylistPanel.findAndOpenAIO("28282828")
aioPanel.sendMsg("hi")
好，這個(gè)偽腳本茉盏，有什么特點(diǎn)呢鉴未？對(duì)，沒(méi)有見(jiàn)到控件鸠姨⊥眩控件要封裝到界面類里面。具體一下說(shuō)讶迁，自動(dòng)化腳本的隔離變化基本上可以分四個(gè)層次连茧，
a. 用例邏輯，通常有個(gè)用于繼承的TestCaseBase巍糯， 用來(lái)封裝用例的邏輯啸驯，類似teardown, setup，run之類祟峦。
b. 業(yè)務(wù)邏輯罚斗，通常就是繼承TestCaseBase，用例實(shí)現(xiàn)的本身宅楞。封裝業(yè)務(wù)邏輯的變化针姿。c. 界面邏輯袱吆，通常就是界面類，例如上面的LoginPanel距淫。隔離了控件與業(yè)務(wù)邏輯绞绒，讓控件位置，ID的變化榕暇，可以控制在界面類中处铛。
d. 控件驅(qū)動(dòng)，通常就是基本的獲取控件樹(shù)拐揭，檢索控件。封裝控件獲取方式奕塑。
3.控件定位要用類似XPath的方式堂污。這種方式的好處就是方便閱讀，把復(fù)雜的位置描述封裝到一條短短的字符串里面了龄砰。（有寫(xiě)朋友誤會(huì)了盟猖，是XPATH, 是類似XPATH的東西，但是要把他比較復(fù)雜的部分去掉换棚，只支持屬性式镐，節(jié)點(diǎn)的簡(jiǎn)單定位就行。不然跟正則表達(dá)式一樣固蚤，又是一對(duì)學(xué)習(xí)成本了）
4.通過(guò)分Step的腳本化繁為簡(jiǎn)娘汞。UI自動(dòng)化腳本都有個(gè)特色。長(zhǎng)～夕玩！一個(gè)腳本通常我們希望驗(yàn)證好幾點(diǎn)你弦，登錄，打開(kāi)聊天窗口就不容易了燎孟，因此除了驗(yàn)證發(fā)消息禽作，我們還希望可以發(fā)圖，發(fā)表情揩页，那么這個(gè)時(shí)候旷偿，最好可以把用例分割成幾個(gè)Step。出了問(wèn)題爆侣，就集中排查某個(gè)Step的日志就OK了萍程。補(bǔ)充一下， 大家肯定想個(gè)一個(gè)問(wèn)題累提，每個(gè)用例都要獨(dú)立的尘喝，要互不影響，重新登錄斋陪，為了穩(wěn)定朽褪，多補(bǔ)點(diǎn)時(shí)間我不在意置吓，但是現(xiàn)實(shí)你有發(fā)現(xiàn)這些時(shí)間會(huì)增加用例出錯(cuò)之后的修復(fù)，驗(yàn)證的時(shí)間成本缔赠。所以“分Step”無(wú)疑意思是給大家一個(gè)合并用例來(lái)提升用例執(zhí)行速度衍锚，但是又不影響用例與用例之間的獨(dú)立性。
5.不要再給UI操作/驗(yàn)證本身壓力了嗤堰。例如輸入文本這些操作戴质，也沒(méi)有必要用鍵盤(pán)事件來(lái)觸發(fā)，如果你是注入方式的踢匣，獲取到控件對(duì)象告匠，直接setText吧，這樣會(huì)穩(wěn)定很多离唬。還有端到端的UI自動(dòng)化后专，如QQ發(fā)消息到另外一端的QQ的測(cè)試，我們就可以利用網(wǎng)絡(luò)協(xié)議输莺，發(fā)送消息戚哎，另外一端用UI驗(yàn)證接收消息。
6.定時(shí)重啟手機(jī)和嫂用，出錯(cuò)的用例再跑一次型凳，可能會(huì)幫助回避一些問(wèn)題，可以做嘱函。但是不能以此來(lái)麻木自己對(duì)錯(cuò)誤的敏感的感覺(jué)甘畅。
7. 穩(wěn)定你的環(huán)境，這些環(huán)境包括網(wǎng)絡(luò)实夹，系統(tǒng)橄浓，賬號(hào)資源，電腦/手機(jī)亮航。
a. 網(wǎng)絡(luò), 假如我們的UI自動(dòng)化是驗(yàn)證功能邏輯的荸实，那網(wǎng)絡(luò)就一定要被牢牢地控制，獨(dú)立的路由器缴淋，并且監(jiān)控著網(wǎng)絡(luò)情況准给，如果存在嚴(yán)重的丟包和斷連，這信息一定要及時(shí)同步出來(lái)重抖，甚至可以自動(dòng)控制你的用例露氮，在網(wǎng)絡(luò)差時(shí)暫停，網(wǎng)絡(luò)回復(fù)后再跑钟沛。
b. 系統(tǒng), 系統(tǒng)經(jīng)常有各種更新的彈窗畔规，特別是IOS。利用網(wǎng)絡(luò)恨统，屏蔽這些無(wú)用的推送把叁扫。android則是找個(gè)穩(wěn)定的ROM三妈。
c. 賬號(hào)資源，有很多軟件賬號(hào)資源都是不能重用的莫绣，或者重用了之后畴蒲，用例之間會(huì)相互影響。這里需要有賬號(hào)資源池的概念对室，類似SVN, 通過(guò)CGI, 來(lái)取了資源模燥，可以加鎖，還回去掩宜，再解鎖蔫骂。
d. 手機(jī)與電腦，肯定不能長(zhǎng)時(shí)間運(yùn)行牺汤，不然他們也會(huì)發(fā)脾氣纠吴。所以定期重啟手機(jī)和電腦，似乎是必不可少的一步慧瘤。
*UI自動(dòng)化測(cè)試的未來(lái)
有很多人問(wèn), UI自動(dòng)化應(yīng)不應(yīng)該投入，有沒(méi)有前途固该。這個(gè)問(wèn)題沒(méi)有絕對(duì)的锅减，要看項(xiàng)目的類型，像做Android手機(jī)的伐坏，因?yàn)轫?xiàng)目相對(duì)來(lái)說(shuō)比較穩(wěn)定怔匣，CTS本身就有一定的用例量，幾千個(gè)UI自動(dòng)化測(cè)試桦沉，都能維護(hù)過(guò)來(lái)每瞒，而且通過(guò)率極高。做前端應(yīng)用的纯露，像我們PC QQ剿骨，開(kāi)發(fā)在控件唯一標(biāo)識(shí)的問(wèn)題上，給予了不少支持埠褪，因此用例的量和穩(wěn)定性也是非常高浓利。說(shuō)虛一點(diǎn)的，如果這個(gè)事情至上而下都是支持的钞速，想做的贷掖，投入的方向沒(méi)有錯(cuò)，價(jià)值認(rèn)識(shí)正確渴语，肯定是有積極的產(chǎn)出的苹威。另外，UI自動(dòng)化是測(cè)試生來(lái)無(wú)法回避的一種能力驾凶，可以不依賴他牙甫，但是你需要他掷酗。
下面我們來(lái)開(kāi)開(kāi)腦洞，大家有木有想過(guò)用例可以生成腹暖，生成用例自動(dòng)化：
最簡(jiǎn)單的用例生成就是基于數(shù)據(jù)驅(qū)動(dòng)的自動(dòng)化測(cè)試汇在，生成基于不同的數(shù)據(jù)輸入的用例。當(dāng)然脏答，用例的邏輯肯定要是一致的糕殉，就如QQ的狀態(tài)變更能力，用例用選擇輸入不同的狀態(tài)變更殖告，如離線阿蝶，繁忙，在線等等黄绩，最后檢查狀態(tài)欄的情況羡洁。如果輸入之間有排列組合的關(guān)系，則可以利用pairwise來(lái)減少用例的個(gè)數(shù)爽丹，但是保持一定的覆蓋率筑煮。
另外一種用例生成，則是用例邏輯的自動(dòng)生成粤蝎，想想真仲，只要定義好每個(gè)Action在不同狀態(tài)下切換到的新?tīng)顟B(tài)，狀態(tài)機(jī)算法就幫助我們生成一系列的用例初澎。這個(gè)技術(shù)叫MBT, Model Base Testing〗沼Γ現(xiàn)在各種語(yǔ)言都有Model Base Testing的庫(kù)，跟UI自動(dòng)化結(jié)合起來(lái)就可以了碑宴。python的就例如pyModel软啼。但是為什么這么好的東西一直沒(méi)有做起來(lái)呢? 1. 入門(mén)稍微困難了一點(diǎn)俄删，需要理解一下?tīng)顟B(tài)機(jī)本身的算法庞萍。這個(gè)對(duì)測(cè)試本身的素質(zhì)要求更高 2. 如果說(shuō)UI自動(dòng)化測(cè)試的維護(hù)大部分在于排錯(cuò)，那么基于MBT的自動(dòng)化原环，則排錯(cuò)更加困難了贞间。原因是什么呢匕积？因?yàn)槟_本邏輯是生成的，所以對(duì)于依賴固定邏輯的Assert會(huì)變得非常復(fù)雜榜跌，但是也不是不可行闪唆。況且，退一步說(shuō)钓葫，驗(yàn)證CRASH這種簡(jiǎn)單的Assert是沒(méi)有問(wèn)題的悄蕾。只要能把排查錯(cuò)誤的能力在普通UI自動(dòng)化測(cè)試下做到極致，排查時(shí)間能夠控制在幾分鐘之內(nèi)，那么結(jié)合MBT當(dāng)然也就不是夢(mèng)想了帆调。另外奠骄，最能證實(shí)可行性的證據(jù)，應(yīng)該就是“即時(shí)戰(zhàn)略”游戲里面的電腦番刊，他們就是狀態(tài)機(jī)編程的結(jié)果含鳞，比一個(gè)應(yīng)用復(fù)雜得多，都尚且能無(wú)差無(wú)錯(cuò)的完成芹务。
再開(kāi)個(gè)腦洞蝉绷，前面說(shuō)的UI自動(dòng)化都是長(zhǎng)長(zhǎng)的用例，所以才有了分Step枣抱。但是這些UI自動(dòng)化測(cè)試的用例有沒(méi)有可能變短熔吗，例如我們測(cè)試QQ聊天，我們不需要在界面上登陸佳晶，我們直接打開(kāi)就是聊天窗口桅狠，甚至里面各種類型的消息都準(zhǔn)備好了。要做到這不需要什么轿秧，只需要一點(diǎn)中跌，“解耦”，聊天窗口跟別的類的關(guān)聯(lián)是清晰的菇篡，簡(jiǎn)單的晒他。如果能，例如在android逸贾，用接口測(cè)試操作，獲取QQ聊天窗口必須的SKEY等等資源津滞，然后繞過(guò)登陸铝侵，搜索好友這些步驟，直接起來(lái)QQ聊天界面触徐， 簡(jiǎn)單咪鲜，快捷，穩(wěn)定撞鹉∨北可惜解耦不是開(kāi)發(fā)天然做到的，需要逼鸟雏， 國(guó)外用來(lái)逼的方式就是UnitTest享郊，國(guó)內(nèi)呢？
總結(jié)
UI自動(dòng)化是一種能力孝鹊，常常無(wú)法回避炊琉。
UI自動(dòng)化會(huì)給人幻覺(jué)，要看清現(xiàn)實(shí)與價(jià)值。
UI自動(dòng)化最適合一句話苔咪，喜歡是放肆锰悼，愛(ài)是克制。而克制是UI自動(dòng)化能發(fā)揮作用的關(guān)鍵团赏。
