讓一個(gè)機(jī)器狗擔(dān)當(dāng)足球守門員，靠譜嗎榄笙？靠不靠譜邪狞，我們先看看效果在下結(jié)論。
工作人員一次很溫和的進(jìn)攻茅撞，機(jī)器狗攔住了球
加點(diǎn)難度帆卓，來個(gè)拋物線進(jìn)球，也不再話下：
用手拋球有作弊嫌疑米丘？用腳試試剑令，機(jī)器狗也能把球門守的死死的
有趣的是，該研究還嘗試讓一只機(jī)器狗踢球拄查，另一只當(dāng)守門員吁津，兩只機(jī)器狗自己也能玩挺好：
看完效果，感覺機(jī)器狗當(dāng)守門員還挺靠譜堕扶。這款機(jī)器狗是MIT 在 2019 年研發(fā)的 Mini Cheetah腺毫，現(xiàn)在來自加州大學(xué)伯克利分校等機(jī)構(gòu)的研究者為 Mini Cheetah 部署了一個(gè)新的強(qiáng)化學(xué)習(xí)框架癣疟，讓它完成足球守門任務(wù)，守門成功率高達(dá) 87.5%
論文地址https://arxiv.org/pdf/2210.04435.pdf
4 米開外踢球
Mini Cheetah 僅用不到 1 秒成功守門
讓Mini Cheetah 學(xué)會守門還是一件比較難的事潮酒，因?yàn)檫@涉及物體（例如球）拋出的高度以及動態(tài)移動的位置，具體而言邪蛔，一方操縱一個(gè)快速移動的球急黎，球的方向和位置不確定，而另一方需要迅速判斷球的位置以阻止進(jìn)球侧到。想要完成這一任務(wù)勃教，需要教會機(jī)器人動態(tài)移動它的身體，同時(shí)確保它的腳 (或臉) 到達(dá)它們需要及時(shí)阻擋球的地方匠抗，這基本上是將兩個(gè)難題結(jié)合在一起故源。
該研究的解決辦法是將運(yùn)動控制器與末端執(zhí)行器軌跡規(guī)劃相結(jié)合，這樣一來就可以找到最佳的方法讓Mini Cheetah 在球到達(dá)目標(biāo)不到一秒的時(shí)間內(nèi)汞贸，進(jìn)行阻擋绳军。
完成上述過程，還需要訓(xùn)練Mini Cheetah 掌握一套有用的守門員技能矢腻，例如 Mini Cheetah 需要掌握在地面附近和靠近地面的地方對球進(jìn)行側(cè)身攔截门驾、掌握俯沖到達(dá)球門的下角技術(shù)、跳躍到球門的頂部和上角多柑。做完這些動作奶是，Mini Cheetah 都可以恢復(fù)并最終安全著陸。每個(gè)技能的參考動作都是手動編程的竣灌，在模擬中進(jìn)行訓(xùn)練聂沙，然后直接遷移到機(jī)器人上。
Mini Cheetah 防守的球門寬 1.5m初嘹，高 0.9m及汉，球（3 號）從約 4m 外踢出，球被外部跟蹤削樊，然后 Mini Cheetah 攔球豁生。讓這么小的機(jī)器狗完成攔球動作，其表現(xiàn)是令人印象深刻的漫贞。
該研究表明甸箱，這款機(jī)器狗系統(tǒng)可以將在仿真中學(xué)習(xí)到的動態(tài)動作和守門員技能遷移到一個(gè)真正的四足機(jī)器人上，在現(xiàn)實(shí)世界中迅脐，對隨機(jī)射門的守門成功率為87.5%芍殖。而人類足球守門員的平均成功率是 69%。研究人員表示谴蔑，他們所提出的框架可以擴(kuò)展到其他場景豌骏，例如多技能足球龟梦。
下面我們來看看支持這款機(jī)器狗的背后框架。
分層強(qiáng)化學(xué)習(xí)框架
首先窃躲，讓四足機(jī)器人做足球守門員是一個(gè)很有挑戰(zhàn)性的問題计贰，因?yàn)樗仨氁瑫r(shí)解決預(yù)測物體運(yùn)動軌跡和機(jī)器人捕獲非抓握物體（球體）兩個(gè)實(shí)際問題。機(jī)器人需要在很短的時(shí)間內(nèi)（通常不到一秒）對空中飛行的球做出反應(yīng)并攔截蒂窒。
為了完成這個(gè)挑戰(zhàn)躁倒，研究團(tuán)隊(duì)提出了一個(gè)分層無模型強(qiáng)化學(xué)習(xí)(RL) 框架。該框架包含一個(gè)針對不同運(yùn)動技能的多個(gè)控制策略洒琢，覆蓋了目標(biāo)的不同區(qū)域秧秉。
這些控制策略讓機(jī)器人能夠跟蹤隨機(jī)參數(shù)化末端執(zhí)行器的軌跡，同時(shí)執(zhí)行特定的運(yùn)動技能衰抑，例如跳躍攔球象迎、撲球和順勢攔住地面滾動的球。
RL 框架中包含一個(gè)高級規(guī)劃器呛踊，它幫助機(jī)器人確定所需的運(yùn)動技能和規(guī)劃末端執(zhí)行器軌跡砾淌，以攔截飛向不同目標(biāo)區(qū)域的球。
該研究在MIT 2019 年提出的 Mini Cheetah 四足機(jī)器人上部署了上述 RL 框架恋技，實(shí)驗(yàn)表明這種 RL 框架能夠讓四足機(jī)器人有效攔截現(xiàn)實(shí)世界中快速移動的球拇舀。
此前對四足機(jī)器人RL 框架的研究主要集中在低級運(yùn)動控制上，例如讓機(jī)器人按要求速度步行蜻底、模仿參考運(yùn)動骄崩。而該研究提出的框架將學(xué)習(xí)到的運(yùn)動技能擴(kuò)展到更高級別的任務(wù)上，成功使用高級規(guī)劃讓四足機(jī)器人以敏捷的動作精確攔截快速移動的足球薄辅。這對四足機(jī)器人的高級規(guī)劃控制具有重要意義要拂。
參考鏈接：https://link.zhihu.com/?target=https%3A//spectrum.ieee.org/football-robot-mini-cheetah
