最近微信的跳一跳小程序火了一把，所以前天也更新了微信玩了幾盤汽久，最多手動(dòng)到200左右就不行了。
后來(lái)準(zhǔn)備用代碼寫個(gè)輔助工具，上Github一查，已經(jīng)有人做出來(lái)了滚婉，17年12月29號(hào)的項(xiàng)目刀脏，不到5天差不多5K的stars古戴，以后還會(huì)更多，簡(jiǎn)直可怕。
https://github.com/wangshub/wechat_jump_game
具體思路都差不多：
- 用adb調(diào)試手機(jī)，獲取截圖散劫；
- 從截圖中識(shí)別棋子和目標(biāo)塊的中心點(diǎn)位置；
- 根據(jù)距離計(jì)算長(zhǎng)按時(shí)間幕帆，系數(shù)和屏幕分辨率相關(guān)获搏；
- 用adb模擬長(zhǎng)按，完成跳躍失乾。
唉常熙，多么可惜，錯(cuò)過(guò)了一個(gè)好項(xiàng)目碱茁。
既然別人已經(jīng)實(shí)現(xiàn)了裸卫，那就嘗試點(diǎn)不一樣的，用 深度學(xué)習(xí) 解決一下早芭。
基本思路
基本流程類似彼城，唯一的區(qū)別在于如何獲取棋子和目標(biāo)塊的中心位置。
假如長(zhǎng)按時(shí)間只取決于棋子和目標(biāo)塊的水平位置退个，那么只需要知道它們水平方向上的坐標(biāo)即可。
可以看作一個(gè) 物體檢測(cè) 問(wèn)題调炬，檢測(cè)出截圖中的棋子等物體语盈，這里假設(shè)共包含七類物體：
- 棋子：chess
- 彩蛋塊：包括污水 waste、魔方 magic缰泡、商店 shop刀荒、音樂(lè)盒 music
- 普通塊：包括矩形塊 rect代嗤、圓形塊 circle
模型實(shí)現(xiàn)
我手動(dòng)標(biāo)注了500張截圖，基于ssd_mobilenet_v1_coco模型和TensorFlow物體檢測(cè)API缠借，訓(xùn)練好的模型跑起來(lái)是這么個(gè)結(jié)果干毅。
可以看到截圖中的棋子、魔方泼返、矩形塊硝逢、圓形塊都被檢測(cè)了出來(lái)，每個(gè)檢測(cè)結(jié)果包括三部分內(nèi)容：
- 物體位置绅喉，用矩形標(biāo)注渠鸽，對(duì)應(yīng)四元組 ymin、xmin柴罐、ymax徽缚、xmax；
- 物體類別革屠，為以上七類中的一種凿试；
- 檢測(cè)置信度，越高說(shuō)明模型對(duì)檢測(cè)結(jié)果越有把握似芝。
這不僅僅是簡(jiǎn)單的規(guī)則檢測(cè)那婉，而是 真正看到了截圖中共有哪幾個(gè)物體，以及每個(gè)物體分別是什么国觉。
所以接下來(lái)吧恃，就只需從檢測(cè)結(jié)果中取出棋子的位置，以及最上面一個(gè)非棋子物體麻诀，即目標(biāo)塊的位置痕寓。
有了物體的邊界輪廓，取中點(diǎn)即可得到棋子和目標(biāo)塊的水平坐標(biāo)蝇闭，這里進(jìn)行了歸一化呻率，即屏幕寬度為1，距離在0至1之間呻引。然后將距離乘以一個(gè)系數(shù)礼仗，作為長(zhǎng)按時(shí)間并模擬執(zhí)行即可。
運(yùn)行結(jié)果
看起來(lái)很不錯(cuò)逻悠，實(shí)際跑分結(jié)果如何呢元践？
大概只能達(dá)到幾百分，問(wèn)題出在哪童谒？
主要是標(biāo)注數(shù)據(jù)太少单旁，模型訓(xùn)練得不夠充分，所以檢測(cè)結(jié)果不夠準(zhǔn)確饥伊，有時(shí)候檢測(cè)不出棋子和目標(biāo)塊象浑，而一旦出現(xiàn)這類問(wèn)題蔫饰，分?jǐn)?shù)必然就斷了。
嘗試了以下方法愉豺，將一張截圖朝不同的方向平移篓吁，從而得到九張截圖，希望提高檢測(cè)結(jié)果的召回率蚪拦，但仍然有檢測(cè)不出來(lái)的情況杖剪，也許只有靠更多的標(biāo)注數(shù)據(jù)才能解決這一問(wèn)題。
規(guī)則檢測(cè)
模型訓(xùn)練了20W輪外盯，依舊存在檢測(cè)不出來(lái)的情況摘盆，郁悶得很，干脆也寫一個(gè)基于規(guī)則的 簡(jiǎn)單版代碼 好了饱苟。
花了不到20分鐘寫完代碼孩擂，用OpenCV提取邊緣，然后檢測(cè)棋子和目標(biāo)塊的水平中心位置箱熬，結(jié)果看起來(lái)像這樣类垦。
事實(shí)證明，最后跑出來(lái)的分?jǐn)?shù)城须，比之前的模型要高多了……
說(shuō)好的深度學(xué)習(xí)呢蚤认？
總結(jié)
面對(duì)以下情況時(shí)，基于人工經(jīng)驗(yàn)定義規(guī)則糕伐，比用深度學(xué)習(xí)訓(xùn)練模型要省力砰琢、有效很多：
- 問(wèn)題本身比較簡(jiǎn)單，不需要復(fù)雜的抽象良瞧；
- 標(biāo)注數(shù)據(jù)比較有限陪汽，難以充分訓(xùn)練模型；
- 錯(cuò)誤懲罰很高褥蚯，對(duì)錯(cuò)誤不能容忍挚冤。即便模型在99%的情況下能完美運(yùn)行，1%的錯(cuò)誤立馬讓游戲直接結(jié)束了赞庶，此時(shí)反而不如hard code的規(guī)則靠譜训挡。
當(dāng)然，如果大家能一起努力歧强，多弄些標(biāo)注數(shù)據(jù)出來(lái)澜薄，說(shuō)不定還有些希望。
代碼在Github上：https://github.com/Honlan/wechat_jump_tensorflow
不說(shuō)了摊册，我繼續(xù)刷分去了表悬，用后面寫的不到一百行的代碼……
