一、賽事介紹
機(jī)器人應(yīng)用是人工智能時(shí)代最具有挑戰(zhàn)性的前沿科學(xué)技術(shù)難題之一,它彙集了人工智能和機(jī)器人核心技術(shù),包括人工智能學(xué)的智能感知、認(rèn)知和決策的各種算法能力,以及機(jī)器人學(xué)在傳感器、控制器和執(zhí)行器的高可靠、高精確的運(yùn)動(dòng)和控制能力。
預(yù)訓(xùn)練大模型GPT技術(shù)的突破,可以為機(jī)器人提供智慧的大腦。同時(shí),具身智能機(jī)器人是一個(gè)具有物理實(shí)體、可與真實(shí)世界進(jìn)行多模態(tài)交互,像人類一樣感知和理解環(huán)境,並通過(guò)自主學(xué)習(xí)完成任務(wù)的智能體。二者的結(jié)合將使機(jī)器人做到「心靈手巧」。
達(dá)闥雲(yún)端機(jī)器人國(guó)家新一代人工智能開放創(chuàng)新平臺(tái)與中國(guó)計(jì)算機(jī)學(xué)會(huì)、AITISA聯(lián)盟、OpenI啟智、CCF開源發(fā)展委員會(huì)、北京大學(xué)、復(fù)旦大學(xué)、北京航空航天大學(xué)、中山大學(xué)、北京郵電大學(xué)、北京智譜聯(lián)合,共同舉辦達(dá)闥杯「機(jī)器人大模型與具身智能挑戰(zhàn)賽」,旨在鼓勵(lì)開發(fā)者能夠利用大模型技術(shù)和具身智能技術(shù),實(shí)現(xiàn)跨模態(tài)人機(jī)交互、並能自主完成各種複雜任務(wù)的機(jī)器人應(yīng)用。
為此,我們提供一個(gè)比賽平臺(tái),在模擬環(huán)境中實(shí)現(xiàn)機(jī)器人(Agent)的各項(xiàng)任務(wù)?;侗荣惼脚_(tái),參賽者可以結(jié)合大規(guī)模視覺(jué)和語(yǔ)言預(yù)訓(xùn)練模型(LLMs, CLIP等)算法來(lái)訓(xùn)練機(jī)器人完成複雜的任務(wù)。大賽鼓勵(lì)參賽者採(cǎi)用各種人工智能技術(shù)和工具,包括但不限於大語(yǔ)言模型(LLMs)、多模態(tài)視覺(jué)理解模型、深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí),來(lái)提高機(jī)器人的具身智能能力。
「機(jī)器人具身智能挑戰(zhàn)賽」作為CCF中國(guó)軟件大會(huì)的賽事內(nèi)容,向來(lái)自學(xué)術(shù)界、工業(yè)界和研究機(jī)構(gòu)的團(tuán)隊(duì)開放。參賽者需要提交詳細(xì)的技術(shù)報(bào)告,描述他們系統(tǒng)的設(shè)計(jì)、實(shí)現(xiàn)和評(píng)估。通過(guò)本次比賽,參賽者既可以學(xué)習(xí)和提升人工智能和機(jī)器人領(lǐng)域的知識(shí)與技術(shù),還可以與頂級(jí)專家直接交流,共同探討通用人工智能的未來(lái)發(fā)展。另外,大賽配備了免費(fèi)的算力支撐,各路勇士們,還在猶豫什麼,快快組隊(duì)參賽吧!
二、獎(jiǎng)項(xiàng)設(shè)置
根據(jù)組委會(huì)和評(píng)委評(píng)分,大賽將選出一、二、三等獎(jiǎng)以及專項(xiàng)獎(jiǎng),具體獎(jiǎng)勵(lì)金額如下表所示:
獎(jiǎng)項(xiàng) | 名額 | 獎(jiǎng)金 |
一等獎(jiǎng) | 1 | ¥30000 |
二等獎(jiǎng) | 2 | ¥20000 |
三等獎(jiǎng) | 3 | ¥10000 |
專項(xiàng)獎(jiǎng) | 4 | ¥10000 |
三、賽題設(shè)計(jì)
大賽包含規(guī)定任務(wù)和開放任務(wù)兩個(gè)賽道,有關(guān)各賽道的詳細(xì)賽題、仿真環(huán)境與技術(shù)支持的說(shuō)明,請(qǐng)通過(guò)最下方「閱讀原文」鏈接到大會(huì)網(wǎng)站,或參見文末「比賽指南」鏈接。
總體目標(biāo)任務(wù)
在仿真環(huán)境中,參賽者通過(guò)大模型訓(xùn)練機(jī)器人在咖啡廳場(chǎng)景成為合格的咖啡廳服務(wù)員。這項(xiàng)比賽的考核要點(diǎn)是將大語(yǔ)言模型(LLMs)整合到機(jī)器人系統(tǒng)中,開發(fā)能夠理解自然語(yǔ)言並以友好和有效的方式與人類互動(dòng),並能在咖啡店仿真場(chǎng)景中自主完成各種服務(wù)任務(wù)的智能機(jī)器人。
選手可以按照一般常識(shí)性理解,進(jìn)行機(jī)器人任務(wù)設(shè)定和訓(xùn)練。在仿真場(chǎng)景中,機(jī)器人可以與可交互的物品和NPC進(jìn)行互動(dòng)操作的訓(xùn)練,比如:咖啡店服務(wù)員與顧客(NPC)互動(dòng)、接受和執(zhí)行訂單以及回答有關(guān)菜單的問(wèn)題、導(dǎo)航、操作咖啡機(jī)、清理桌子/地面、開空調(diào)/開燈、遞送咖啡/飲料/食物等。
考核要點(diǎn)
主動(dòng)探索和記憶(Active Exploration and Memorization):機(jī)器人在環(huán)境中通過(guò)主動(dòng)探索獲得各種環(huán)境信息,實(shí)現(xiàn)對(duì)位置環(huán)境的感知,形成以環(huán)境感知信息以及運(yùn)動(dòng)軌跡等歷史信息維護(hù)一個(gè)機(jī)器人自身的記憶庫(kù)。
場(chǎng)景多輪對(duì)話(Grouded Question Answering):多輪對(duì)話要求機(jī)器人智能體具有與人進(jìn)行流暢的交流能力,具身對(duì)話是機(jī)器人利用視覺(jué)等傳感器獲得的場(chǎng)景信息基礎(chǔ)上,完成於場(chǎng)景相關(guān)的對(duì)話。
視覺(jué)語(yǔ)言導(dǎo)航(Vision Language Navigation):機(jī)器人要在不同的場(chǎng)景下承擔(dān)多種複雜的導(dǎo)航任務(wù)。我們的模擬器支持多任務(wù)的現(xiàn)實(shí)世界導(dǎo)航和物體互動(dòng)??梢岳梦覀兊沫h(huán)境完成簡(jiǎn)單到複雜的視覺(jué)語(yǔ)言導(dǎo)航,並有不同難度的指示,以及交流導(dǎo)航,機(jī)器人智能體可以在導(dǎo)航中尋求幫助。
視覺(jué)語(yǔ)言操作(Vision Language Manipulation):要求機(jī)器人按照視覺(jué)和語(yǔ)言的場(chǎng)景描述來(lái)抓取一個(gè)物體。參賽者需要根據(jù)大語(yǔ)言模型提供的指令,解決在不同場(chǎng)景下抓取不同物體的問(wèn)題。具體抓取物品的技能需要參賽者基於提供的環(huán)境和工具接口,通過(guò)強(qiáng)化學(xué)習(xí)等方式進(jìn)行訓(xùn)練。
評(píng)估
參賽隊(duì)必須將LLMs納入其機(jī)器人系統(tǒng),以促進(jìn)自然語(yǔ)言的理解和互動(dòng)。比賽將根據(jù)以下標(biāo)準(zhǔn)來(lái)評(píng)估機(jī)器人系統(tǒng)的性能:
任務(wù)完成的準(zhǔn)確性和效率:參賽者將被評(píng)估任務(wù)完成的準(zhǔn)確性和效率,包括物體操作、導(dǎo)航到準(zhǔn)確位置的精度,執(zhí)行推理速度,訂單執(zhí)行和人機(jī)互動(dòng)。機(jī)器人必須準(zhǔn)確、高效地完成任務(wù),才能獲得分?jǐn)?shù)。
人與機(jī)器人的互動(dòng):參賽者將被評(píng)估其機(jī)器人與顧客和工作人員互動(dòng)的自然度和友好度。機(jī)器人必須以自然和友好的方式進(jìn)行交流,以獲得積分。
時(shí)間限制:參賽者將有規(guī)定的時(shí)間來(lái)完成任務(wù),在規(guī)定時(shí)間內(nèi)得分最高的團(tuán)隊(duì)將被宣布為獲勝者。
四、賽事安排
參賽對(duì)象
機(jī)器人具身智能挑戰(zhàn)賽對(duì)來(lái)自全球?qū)W術(shù)界、工業(yè)界和研究機(jī)構(gòu)的團(tuán)隊(duì)開放,包括:
在機(jī)器人和人工智能方面有專長(zhǎng)的大學(xué)和研究機(jī)構(gòu)
專門從事機(jī)器人和人工智能應(yīng)用的初創(chuàng)企業(yè)和公司
獨(dú)立的機(jī)器人愛好者和業(yè)餘愛好者
比賽過(guò)程和時(shí)間安排
機(jī)器人具身智能挑戰(zhàn)賽將在CCF中國(guó)軟件大會(huì)會(huì)議期間舉行比賽頒獎(jiǎng)。
作品提交截止日期:2023年11月20日
公布比賽結(jié)果和頒獎(jiǎng)日期:2023年12月3日
參賽作品提交與評(píng)分規(guī)則
除挑戰(zhàn)賽統(tǒng)一要求文檔外,提交內(nèi)容還包括方案設(shè)計(jì)文檔、RDK技能開發(fā)藍(lán)圖源文件,以及錄製的運(yùn)行結(jié)果視頻。凡提交的參賽作品,賽事組織方擁有永久的使用權(quán),如經(jīng)過(guò)審核后發(fā)佈到海睿機(jī)器人技能應(yīng)用商店(Robot Skill Store),獲得的收益將按一定比例和平臺(tái)分成(具體細(xì)節(jié)以最終官方公布為準(zhǔn))。作品提交具體方式和技術(shù)交流社區(qū)請(qǐng)通過(guò)「點(diǎn)擊此處」鏈接到大會(huì)網(wǎng)站,或參見文末「作品提交說(shuō)明」與「比賽指南」鏈接。
評(píng)分規(guī)則:分為總分排行與單項(xiàng)排行兩種名次。
1)總分排行規(guī)則:場(chǎng)景下有多個(gè)任務(wù),任務(wù)得分為完成這些任務(wù)的分?jǐn)?shù)相加;每位選手按比賽要求提交設(shè)計(jì)文檔、錄製視頻、藍(lán)圖源文件等內(nèi)容,組委會(huì)進(jìn)行評(píng)審打分。
2)單項(xiàng)排行規(guī)則:場(chǎng)景下有多個(gè)任務(wù),每個(gè)任務(wù)單獨(dú)進(jìn)行分?jǐn)?shù)排行;每位選手按比賽要求提交設(shè)計(jì)文檔、錄製視頻、藍(lán)圖源文件等內(nèi)容,組委會(huì)進(jìn)行評(píng)審打分。
3)決賽:賽事評(píng)委按照大賽組委會(huì)的相關(guān)規(guī)定和要求,對(duì)選手的作品進(jìn)行計(jì)分、排名。當(dāng)分?jǐn)?shù)相同時(shí),文檔質(zhì)量等將成為附加排序依據(jù)。約前 30% 的隊(duì)伍進(jìn)入答辯環(huán)節(jié),參加答辯的隊(duì)伍最終排名依據(jù)測(cè)試排名(權(quán)重 65%)與答辯排名(權(quán)重 35%)的綜合排名。
4)如果因題目難度過(guò)大或版本等不可抗因素,導(dǎo)致無(wú)團(tuán)隊(duì)完成任意一個(gè)任務(wù),組委會(huì)重新評(píng)審后,設(shè)定新的打分標(biāo)準(zhǔn),按新的標(biāo)準(zhǔn)重新打分。如違背大賽規(guī)定規(guī)範(fàn),可能會(huì)被取消參賽資,具體內(nèi)容由大賽組委會(huì)規(guī)定。
五、組織架構(gòu)
主辦單位:
中國(guó)計(jì)算機(jī)學(xué)會(huì)
承辦單位:
中國(guó)計(jì)算機(jī)學(xué)會(huì)軟件工程專委會(huì)、系統(tǒng)軟件專委會(huì)、開源發(fā)展委員會(huì)、達(dá)闥機(jī)器人
協(xié)辦單位:
AITISA聯(lián)盟、OpenI啟智、北京大學(xué)、復(fù)旦大學(xué)、北京航空航天大學(xué)、中山大學(xué)、北京郵電大學(xué)、北京智譜華章科技有限公司
名譽(yù)主任:
梅 宏——中國(guó)科學(xué)院院士
黃曉慶——達(dá)闥機(jī)器人創(chuàng)始人、董事長(zhǎng)兼CEO
主任:
金 芝——中國(guó)計(jì)算機(jī)學(xué)會(huì)常務(wù)理事及系統(tǒng)軟件專委會(huì)主任、北京大學(xué)教授
執(zhí)行主任:
彭 鑫—— CCF軟件工程專委會(huì)副主任、CCF開源發(fā)展委員會(huì)常務(wù)委員、復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院副院長(zhǎng)
副主任:
余 躍——新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟(AITISA)、OpenI啟智開源平臺(tái)運(yùn)營(yíng)中心主任
郭 耀——北京大學(xué)計(jì)算機(jī)學(xué)院副院長(zhǎng),CCF系統(tǒng)軟件專業(yè)委員會(huì)執(zhí)行委員
胡春明——北京航空航天大學(xué)軟件學(xué)院院長(zhǎng),CCF系統(tǒng)軟件專業(yè)委員會(huì)委員、青年計(jì)算機(jī)科學(xué)家論壇學(xué)術(shù)委員會(huì)委員
王 斌——達(dá)闥機(jī)器人副總裁
委員:
董 震——復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院青年副研究員
梁小丹——中山大學(xué)智能工程學(xué)院副教授
郭 迪——北京郵電大學(xué)人工智能學(xué)院教授
馬世奎——達(dá)闥機(jī)器人研發(fā)副總裁
劉德兵——北京智譜華章科技有限公司董事長(zhǎng)
六、賽事報(bào)名
掃描下方二維碼添加工作人員邀請(qǐng)入群
宣講預(yù)告:本周日(9月17日)下午將舉行比賽宣講會(huì),請(qǐng)各位預(yù)報(bào)名選手添加我們工作人員入群關(guān)注通知,屆時(shí)將有眾多大咖及技術(shù)專家在線交流!
賽事諮詢
黃老師 17777791807
了解詳情
1)您可點(diǎn)擊https://chinasoft.ccf.org.cn/notice/Robot.html查看賽事官網(wǎng)。
2)比賽指南:
http://chinasoft.ccf.org.cn/notice/賽題指南.pdf
3)作品提交說(shuō)明:
http://chinasoft.ccf.org.cn/notice/作品提交說(shuō)明文檔.pdf