編譯 | 智東西 劉柏涵
編輯 | 程茜
智東西10月20日消息,近日,美國(guó)論文預(yù)印本發(fā)布平臺(tái)arXiv收錄了一篇關(guān)于四足機(jī)器人攔截足球的論文,美國(guó)加州大學(xué)伯克利分校等學(xué)校的研究人員為名叫迷你獵豹的四足機(jī)器人部署了一個(gè)強(qiáng)化學(xué)習(xí)(Reinforcement Learning)框架,能夠讓它完成足球守門任務(wù)。該四足機(jī)器人對(duì)隨機(jī)射門的成功攔截率高達(dá)87.5%,而人類足球運(yùn)動(dòng)員的平均成功率為69%。
▲四足機(jī)器人攔截足球?qū)嶒?yàn)
這項(xiàng)研究通過使用分層次強(qiáng)化學(xué)習(xí)框架,在四足機(jī)器人上結(jié)合了高動(dòng)態(tài)運(yùn)動(dòng)和精確的物體感知方法。四足機(jī)器人在進(jìn)行運(yùn)動(dòng)時(shí),能用其末端執(zhí)行器跟蹤自身運(yùn)動(dòng)軌跡,并完成一系列的截球動(dòng)作。
研究人員在麻省理工學(xué)院實(shí)驗(yàn)室進(jìn)行了攔截足球的相關(guān)實(shí)驗(yàn),并發(fā)表了名為《Creating a Dynamic Quadrupedal Robotic Goalkeeper with Reinforcement Learning(使用強(qiáng)化學(xué)習(xí)創(chuàng)建動(dòng)態(tài)四足機(jī)器人守門員)》的論文,研究實(shí)驗(yàn)展示了四足機(jī)器人能夠有效地?cái)r截快速移動(dòng)的球。
▲論文鏈接:https://arxiv.org/pdf/2210.04435.pdf
01.四足機(jī)器人成為足球守門員要分“三步走”
如何讓四足機(jī)器人成為足球守門員,這個(gè)問題要分三個(gè)步驟解決:操縱四足機(jī)器人攔截快速移動(dòng)物體、控制四足機(jī)器人進(jìn)行高動(dòng)態(tài)運(yùn)動(dòng),以及擊中高速運(yùn)動(dòng)的足球。
▲四足機(jī)器人攔截足球過程
1、四足機(jī)器人對(duì)快速移動(dòng)物體的捕捉、打擊
在機(jī)器人操縱領(lǐng)域,人們已經(jīng)廣泛地研究了如何讓機(jī)器人捕捉或擊打快速移動(dòng)的物體這一課題。球是比較常見的用于研究的快速移動(dòng)物體。
處理機(jī)器人接球任務(wù)有兩種常見方法,一是估計(jì)球的位置和速度,利用球的動(dòng)力學(xué)模型預(yù)測(cè)球的軌跡,并根據(jù)機(jī)器人的動(dòng)力學(xué)模型或無模型強(qiáng)化學(xué)習(xí)框架生成機(jī)器人末端執(zhí)行器的軌跡,讓機(jī)器人在預(yù)測(cè)的攔截點(diǎn)接球。另一種方法是在模擬中學(xué)習(xí)端到端的策略,研究人員直接輸入球的預(yù)測(cè)軌跡圖像,然后在模擬中進(jìn)行微調(diào)。
然而,由于四足機(jī)器人動(dòng)力學(xué)模型非常復(fù)雜,以往基于模型的方法需要對(duì)球和機(jī)器人進(jìn)行精確建模,這種方法難以在四足機(jī)器人上應(yīng)用,而無模型強(qiáng)化學(xué)習(xí)框架方法,還沒有被應(yīng)用于控制四足機(jī)器人運(yùn)動(dòng)的先例。
2、四足機(jī)器人通過高動(dòng)態(tài)動(dòng)作攔截足球
近幾年來,因?yàn)樗淖銠C(jī)器人的硬件和控制算法有了長(zhǎng)足的進(jìn)步,四足機(jī)器人能夠在現(xiàn)實(shí)世界中完成高動(dòng)態(tài)的運(yùn)動(dòng),如跳躍或跑步。實(shí)現(xiàn)這一目標(biāo)共有兩種方法:
一種方法是利用四足機(jī)器人動(dòng)力學(xué)模型的優(yōu)化控制框架,這些模型可以在四足機(jī)器人的全部模型上進(jìn)行離線優(yōu)化,也可以在其簡(jiǎn)化模型上進(jìn)行在線部署。
另一種方法是利用無模型強(qiáng)化學(xué)習(xí)框架,先在模擬中通過跟蹤和錯(cuò)誤訓(xùn)練四足機(jī)器人,然后把其學(xué)習(xí)經(jīng)驗(yàn)轉(zhuǎn)移到真實(shí)的四足機(jī)器人上。
然而,以前的研究大多只關(guān)注特定的動(dòng)態(tài)運(yùn)動(dòng)技能,比如跑步、跳躍等,而沒有讓四足機(jī)器人在學(xué)習(xí)技能的基礎(chǔ)上,完成更豐富的動(dòng)作,如在跟蹤不同的擺腿軌跡時(shí)完成跳躍,并攔截一個(gè)球。
▲四足機(jī)器人守門員防守人類進(jìn)攻
3、四足機(jī)器人能在三維和高速運(yùn)動(dòng)下完成攔截
開發(fā)未來能與人類在足球比賽中競(jìng)爭(zhēng)的機(jī)器人一直是機(jī)器人研究學(xué)界的一個(gè)長(zhǎng)久目標(biāo),在設(shè)計(jì)機(jī)器人足球守門員方面,有一些研究是在工程學(xué)的輪式機(jī)器人的基礎(chǔ)之上進(jìn)行開發(fā)。
以前關(guān)于四足機(jī)器人的研究,大多只考慮讓它們?cè)诙S平面內(nèi)移動(dòng)并攔截從地面上低速滾動(dòng)的球,而沒有考慮讓四足機(jī)器人在三維中和高速運(yùn)動(dòng)情況下去攔截球。
最近,利用強(qiáng)化學(xué)習(xí)框架,一個(gè)四足機(jī)器人展示了在低速行走時(shí)將足球運(yùn)往球門的能力,另一個(gè)四足機(jī)器人能在站立時(shí)用單一的射擊技能,將足球精確地射向一個(gè)隨機(jī)的給定目標(biāo)。然而,四足機(jī)器人進(jìn)行多種高動(dòng)態(tài)運(yùn)動(dòng)技能,去精確踢快速移動(dòng)的足球還沒有得到證明。
02.強(qiáng)化學(xué)習(xí)框架讓四足機(jī)器人攔截成功率高達(dá)87.5%
研究實(shí)驗(yàn)是在麻省理工學(xué)院的迷你獵豹四足機(jī)器人上進(jìn)行的。它重9公斤,高0.4米,有12個(gè)驅(qū)動(dòng)電機(jī)和6個(gè)自由度的浮動(dòng)底座,能夠進(jìn)行平移、滾動(dòng)和俯仰等動(dòng)作。
▲迷你獵豹四足機(jī)器人
以往的四足機(jī)器人的強(qiáng)度學(xué)習(xí)框架主要集中在低層次的運(yùn)動(dòng)控制研究,如計(jì)算行走速度或模仿參照物運(yùn)動(dòng)等,沒有將學(xué)到的運(yùn)動(dòng)技能擴(kuò)展到更高層次的任務(wù),比如讓四足機(jī)器人通過敏捷的動(dòng)作去精確攔截快速移動(dòng)的足球。
▲四足機(jī)器人攔截足球?qū)嶒?yàn)設(shè)計(jì)
研究人員在論文中寫道:“將低層次運(yùn)動(dòng)控制和高層次精確攔截結(jié)合起來,這很有挑戰(zhàn)性,單獨(dú)研究其中一種就已經(jīng)很困難了?!?/p>
為了解決上述問題,研究人員提出了一個(gè)無模型的強(qiáng)化學(xué)習(xí)框架,將四足機(jī)器人動(dòng)態(tài)的腿部運(yùn)動(dòng)和快速、精確的部分手臂操縱結(jié)合起來,以應(yīng)對(duì)飛來的球。
▲強(qiáng)化學(xué)習(xí)框架
該框架共包含兩個(gè)部分,第一部分是低層次的運(yùn)動(dòng)控制,包含了跳躍、俯沖和側(cè)身等不同運(yùn)動(dòng)技能的多種控制策略,這些策略可以覆蓋球門的不同區(qū)域。每個(gè)控制策略都能使四足機(jī)器人在執(zhí)行一種特定的運(yùn)動(dòng)技能時(shí),跟蹤末端效應(yīng)器,記錄其運(yùn)動(dòng)軌跡。
第二部分是一個(gè)高級(jí)規(guī)劃器,它能夠確定末端效應(yīng)器軌跡和決定所需的技能,從而攔截飛向球門不同區(qū)域的球。
在麻省理工學(xué)院的實(shí)驗(yàn)證明,多技能強(qiáng)化學(xué)習(xí)框架明顯優(yōu)于以往基于模型的計(jì)劃器,并且能夠充分地利用每種技能的特殊性。
分層次的強(qiáng)化學(xué)習(xí)框架可以直接將四足機(jī)器人在模擬中學(xué)習(xí)到的動(dòng)態(tài)動(dòng)作和守門員的技能轉(zhuǎn)移到現(xiàn)實(shí)中的四足機(jī)器人上,實(shí)驗(yàn)中的四足機(jī)器人對(duì)隨機(jī)射門的成功攔截率為87.5%,而人類足球運(yùn)動(dòng)員的平均成功率為69%。
03.多技能組合促四足機(jī)器人快速動(dòng)態(tài)反應(yīng)
因?yàn)榍虻膹椀揽倳r(shí)間通常在1秒以內(nèi),所以四足機(jī)器人需要快速反應(yīng)。從球門中間的初始站立姿勢(shì)開始,四足機(jī)器人需要執(zhí)行非常動(dòng)態(tài)的機(jī)動(dòng)動(dòng)作來攔截球。受到人類守門員的啟發(fā),研究人員提出了一套攔截飛向球門不同區(qū)域的球的技能——側(cè)身、俯沖和跳躍。
▲側(cè)身、俯沖和跳躍示意圖
1、快速側(cè)部攔截,無法覆蓋球門下角、上部區(qū)域
當(dāng)球在地上滾動(dòng)或以低角度飛向球門時(shí),四足機(jī)器人采取快速側(cè)步,在橫向方向上攔截球。在只需要邁開較小步幅時(shí),四足機(jī)器人可能只需要擺動(dòng)起一條前腿,而其余的腿可以使其保持在站立狀態(tài)。但對(duì)于較大的步幅,它需要進(jìn)行一個(gè)小的側(cè)跳。然而,側(cè)跳技能可能無法覆蓋離四足機(jī)器人較遠(yuǎn)的區(qū)域,如球門的下角或上部區(qū)域。
▲四足機(jī)器人在使用側(cè)身技能
2、俯沖技能一氣呵成,轉(zhuǎn)移重心、轉(zhuǎn)動(dòng)身體、跳躍夠球
俯沖技能是基于四足跳躍之上的運(yùn)動(dòng),它使得四足機(jī)器人可以攔截更大的球門面積。在使用俯沖技能時(shí),四足機(jī)器人應(yīng)首先將身體重心移至后腿上,然后朝著球的運(yùn)動(dòng)方向轉(zhuǎn)動(dòng)身體,在跳躍的同時(shí)伸出兩條前腿去夠球,最后落地。在俯沖過程中,它的后腿是否離開地面,取決于它需要走多遠(yuǎn)。俯沖技能使四足機(jī)器人能夠迅速封鎖球門的下角。
▲四足機(jī)器人在使用俯沖技能
3、跳躍攔截高處足球,還能穩(wěn)定降落
跳躍與俯沖技能類似,跳躍技能也要求四足機(jī)器人以最快的速度抬起身體并向上擺動(dòng)前腿。但在跳躍時(shí),它還需要將其前腿伸得更高,以便攔截在球門上部區(qū)域的球。為了進(jìn)行這種動(dòng)態(tài)跳躍,四足機(jī)器人需要用它的后腿將身體推離地面,以便讓它的前腿夠到更高區(qū)域。在球被攔截后,四足機(jī)器人需要在空中重新調(diào)整自己,以達(dá)到更穩(wěn)定的降落姿勢(shì)。
▲四足機(jī)器人在使用跳躍技能
04.結(jié)語:強(qiáng)化學(xué)習(xí)框架未來可應(yīng)用于更多場(chǎng)景
近年來,機(jī)器人應(yīng)用研究在不斷擴(kuò)展,本篇論文為機(jī)器人研究學(xué)界提供了一個(gè)新的四足機(jī)器人研究方向,將分層次的強(qiáng)化學(xué)習(xí)框架應(yīng)用到驅(qū)動(dòng)控制方面,或許對(duì)未來四足機(jī)器人的高級(jí)規(guī)劃控制產(chǎn)生重要意義。
此外,在這項(xiàng)研究中,研究人員只關(guān)注了守門員的工作,但論文所提出的框架可以擴(kuò)展到其他的場(chǎng)景,比如說多技能足球等。如果未來該強(qiáng)化學(xué)習(xí)模型能夠成功應(yīng)用,讓機(jī)器人與人類運(yùn)動(dòng)員進(jìn)行足球比賽的想法或許真的能夠?qū)崿F(xiàn)。
來源:TechCrunch、arXiv