AI 幫助家庭機器人將規劃時間縮短一半

PIGINet 利用機器學習來簡化和增強家庭機器人的任務和運動規劃，通過評估和過濾複雜環境中可行的解決方案。

作者: Rachel Gordon | MIT CSAIL 發表日期: 2023年 7月14日

你的全新家庭機器人被送到你家，你讓它為你沏一杯咖啡。雖然它在模擬廚房中的練習中學到了一些基本技能，但它可能會有太多可能的行動 – 打開水龍頭，沖馬桶，倒出麵粉容器等等。但只有很少數的行動可能是有用的。機器人如何在新的情況下找出哪些步驟是明智的呢？

它可以使用 PIGINet，這是一個旨在有效增強家庭機器人解決問題能力的新系統。麻省理工學院計算機科學和人工智能實驗室（CSAIL）的研究人員正在使用機器學習來縮短考慮所有可能行動的典型迭代式任務規劃過程。PIGINet消除了無法滿足無碰撞要求的任務計劃，並在僅訓練300-500個問題時將規劃時間減少50-80％。

通常，機器人會嘗試各種任務計劃，並迭代地改進它們的動作，直到找到一個可行的解決方案，這可能是低效和耗時的，尤其是當存在可移動和可調節的障礙物時。例如，在烹飪之後，你可能想把所有的醬汁放在櫥櫃裡。根據當時的世界狀況，這個問題可能需要兩到八個步驟。機器人需要打開多個櫥櫃門嗎？櫥櫃裡是否有需要重新安置的障礙物以便腾出空間？你不希望你的機器人動作緩慢 – 如果它在思考的時候燒掉了晚餐，那就更糟了。

家庭機器人通常被認為是按照預定的配方執行任務，這在多樣化或變化的環境下並不總是適用。那麼，PIGINet如何避免這些預定的規則呢？PIGINet是一個神經網絡，它接受“計劃，圖像，目標和初始事實”並預測一個任務計劃能否被改進以找到可行的運動計劃的概率。簡單地說，它使用了一個轉換編碼器，這是一個多功能且最先進的模型，設計用於操作數據序列。在這種情況下，輸入序列是有關它正在考慮的任務計劃的信息，環境的圖像以及初始狀態和期望目標的符號編碼。編碼器將任務計劃、圖像和文本結合起來生成對所選任務計劃的可行性的預測。

在廚房方面，團隊創建了數百個模擬環境，每個環境都有不同的佈局和需要在櫃台、冰箱、櫥櫃、水槽和烹飪鍋之間重新排列物品的特定任務。通過測量解決問題所需的時間，他們將 PIGINet 與先前的方法進行了比較。一個正確的任務計劃可能包括打開左邊的冰箱門，取下一個鍋蓋，將包菜從鍋子移到冰箱，將馬鈴薯移到冰箱，從水槽中拿起瓶子，將瓶子放在水槽中，拿起番茄或放下番茄。PIGINet 在簡單情景中將規劃時間減少了80％，在更複雜的情景中，規劃時間減少了20-50％，這些情景具有更長的計劃序列和較少的訓練數據。

麻省理工學院教授和 CSAIL 主要研究員 Leslie Pack Kaelbling 表示：“像 PIGINet 這樣的系統，它利用數據驅動方法的優勢來高效處理熟悉的情況，但仍然可以借助“第一原理”規劃方法來驗證基於學習的建議並解決新問題，提供了最佳的解決方案，可為各種問題提供可靠和高效的通用解決方案。”

PIGINet 在輸入序列中使用多模態嵌入，可以更好地表示和理解複雜的幾何關係。使用圖像數據可以幫助模型理解空間佈局和物體配置，而無需知道精確的碰撞檢查的物體3D網格，從而在不同環境中實現快速的決策。

在開發 PIGINet 過程中面臨的主要挑戰之一是良好訓練數據的稀缺性，因為所有可行和不可行的計劃都需要由傳統規劃器生成，而這本身就很慢。然而，通過使用預訓練的視覺語言模型和數據增強技巧，團隊能夠應對這一挑戰，展示了在看到的物體問題以及對以前未見過的物體的零樣本泛化上令人印象深刻的計劃時間減少。

麻省理工學院 CSAIL 博士生和該項工作的主要作者楊竹天表示：“因為每個人的家都是不同的，機器人應該是適應性的問題解決者，而不僅僅是按照配方執行者。我們的關鍵想法是讓一個通用的任務規劃器生成候選的任務計劃，並使用深度學習模型選擇有前途的計劃。結果是一個更高效、適應性和實用的家庭機器人，可以靈活地在複雜和動態的環境中運動。此外，PIGINet 的實際應用不僅限於家庭。”

韓國科學技術高等研究院（KAIST）人工智能研究生院助理教授 Beomjoon Kim 博士表示：“這篇論文解決了實現通用機器人的基本挑戰：如何從過去的經驗中學習，以加快在充滿大量可調節和可移動障礙物的非結構化環境中的決策過程。這類問題的核心瓶頸在於如何確定一個高層次的任務計劃，使得存在一個實現高層計劃的低層運動計劃。通常，你必須在運動和任務規劃之間來回擺動，這導致了顯著的計算效率低下。楊竹天的工作通過使用學習來消除不可行的任務計劃，是朝著一個有希望的方向邁出的一步。”

楊與NVIDIA研究科學家Caelan Garrett SB ’15，MEng ’15，PhD ’21；麻省理工學院電機工程與計算機科學系教授和CSAIL成員Tomás Lozano-Pérez和Leslie Kaelbling；以及NVIDIA機器人研究高級總監兼華盛頓大學教授Dieter Fox一起撰寫了這篇論文。該團隊得到了新加坡人工智能和國家科學基金會，空軍科學研究辦公室和陸軍研究辦公室的資助。楊在NVIDIA研究實習期間部分進行了這項研究。他們的研究將於七月在《機器人：科學與系統》會議上發表。