什麼是 SimReady 3D?
SimReady 3D 資源將幾何形狀和外觀與模擬所需的結構和物理屬性結合。它們有助於將視覺場景轉變為機器人可以感知並與之互動的環境。
SimReady 是什麼意思?
SimReady 表示模擬就緒。 SimReady 3D 資源包含模擬器可用來解釋物件及其行為的訊息,以及其可見的幾何形狀和材質。根據任務的不同,這些資訊可以包括碰撞形狀、質量、摩擦力、語義標籤和鉸接元件。
SimReady也稱為NVIDIA發起並建立在OpenUSD之上的規範架構。它透過結構化屬性和元資料定義模擬功能。適用的要求取決於 3D 資源的預期用途;用於相機感知的物體和用於機器人操縱的物體需要不同的功能。 NVIDIA 的 SimReady 規範概述 描述了這種方法。
SimReady 3D 資源與常規 3D 模型有何不同?
紋理模型描述物件的形狀和外觀。模擬器還需要知道該物體如何佔據空間、如何回應接觸以及如何移動。真實的廚櫃說明瞭其中的差異:其渲染影象可能顯示門和把手,而機器人互動則要求這些元件具有可用的幾何形狀、碰撞形狀和適當的關節。
遊戲就緒的 3D 資源可能已經包含碰撞和動畫,但其設定是為特定遊戲設計的。機器人學習任務可能需要校準尺寸、物理引數、語義註釋以及針對預期互動作用的驗證。根據該任務和模擬執行時間評估準備。
是什麼讓 3D 資源模擬做好準備?
幾何、比例和材料
尺寸、方向和物件結構需要與預期環境相符。機器人夾具和把手必須以相容的比例表示。視覺材質和紋理支援渲染觀察,而物理材質屬性描述摩擦和彈跳等行為。 NVIDIA 的建模指南強調真實世界的規模和一致的 3D 資源建構。
碰撞幾何和物理特性
碰撞形狀決定了接觸發生的位置。質量和慣性會影響移動物體對力的反應;摩擦力影響表面是否滑動。這些屬性需要適合物件和任務。可見網格和碰撞幾何體可能不同,例如,當更簡單的碰撞表示可以提高模擬效能時。 USD Physics 提供用於描述 OpenUSD 場景中的物理屬性的模式。
語意標籤和有意義的部分
語意資訊識別物件或元件所代表的內容。櫃子、門和把手等標籤支援場景解釋和帶註釋的訓練資料。單獨的零件幾何形狀允許單獨選擇和操作這些元件。 語意標籤也可以支援辨識為機器學習而渲染的影像中的物件。
特定任務的關節和抓點
開啟櫃子的任務需要一個具有合適軸和運動限制的門接頭。拾放任務需要可觸及的接觸面和有用的抓取位置。這些是特定於任務的附加功能:靜態背景物件不需要鉸接式操作 3D 資源所需的所有功能。
為什麼 SimReady 3D 資源對實體 AI 很重要?
Physical AI 系統在物理環境中感知並行動。模擬為機器人開發團隊提供了執行任務、改變條件和收集資料的場所。 3D 資源品質會影響這些實驗:不正確的碰撞器可能會阻止有效的抓取,而錯誤縮放的控制程式碼可能會改變任務是否可達。
結構化 3D 資源也使變化變得更加有用。場景可以變更物件放置、尺寸或材質屬性,同時保留執行任務所需的資訊。這些變化支援機器人學習和評估工作流程,儘管模擬效能仍然需要根據現實世界的目標進行評估。
如何驗證 Isaac Sim 中的 SimReady 3D 資源?
驗證包括檢查 3D 資源的結構並觀察其在目標模擬器中的行為。 Thrixel 的實體 AI 工作流程使用 Isaac Sim 進行測試,例如:
- 靜置:將物件放在預定的支撐面上,檢查它是否如預期般靜止。
- 跌落:檢查物體落地時的接觸響應和穩定性。
- 滑動:檢查表面在運動時如何互相作用。
- 機械關節的移動:檢查門、蓋子或其他鉸接部件的軸線、範圍和移動。
- 抓取和舉起:測試機器人是否能夠接觸、握住和舉起預期物體。
測驗應該反映預期的任務。隔離正確開啟的門還需要檢查其櫃子內部、周圍物體和機器人是否在場。 3D 資源驗證和場景驗證解決不同的故障來源。
AI能否產生SimReady 3D資源和整個場景?
人工智慧可以根據提示或參考影象生成幾何形狀和外觀,然後支援零件、物理和任務資訊的準備。 Thrixel的AI 3D模型產生器為此過程提供了可編輯的3D資源。完整的工作流程還可以組裝環境並在模擬中檢查其行為。 3D 生成式 AI 指南解釋了底層模型生成工作流程。
Thrixel 適用於實體 AI 涵蓋照片和影片的數位孿生重建、結構化場景生成、語義部分、定義的機器人抓取點和模擬驗證。此工作流程使用 PBR 材質和攜帶模擬資訊的 USDA 場景輸出產生三角形網格。它還支援 3D 資源和場景變化以及用於模仿學習的機器人軌跡。
對於使用 AI 程式設計代理程式建立互動式世界,Build World 將 3D 資源產生連線到場景組裝和迭代檢查。 Physical AI 專案新增了機器人任務、物理校準和模擬器特定驗證等要求。 Thrixel 的物理人工智慧專案討論從這些要求和可用的參考輸入開始。
有關 SimReady 3D 資源的常見問題
每個 USD 檔案都是 SimReady 3D 資源嗎?
不會。 OpenUSD 可以描述場景,但不包含任務所需的模擬功能。該檔案需要適當的結構化屬性、語義和驗證。 NVIDIA 的 SimReady 常見問題解答解釋了為什麼僅將資料儲存在 USD 中並不能建立模擬就緒狀態。
SimReady 3D 資源與數位孿生相同嗎?
這些術語描述了 3D 資源的不同面向。數位孿生代表特定的現實世界物件或環境。模擬準備情況描述了在模擬中使用該表示所需的功能。重建的廚房可以準備用於模擬,而生成的 SimReady 廚房不需要對應於一個特定的真實廚房。
現有的 3D 模型可以進行模擬嗎?
是的。現有的網格可以作為起點。準備工作可能包括校正比例、分離移動部件、建立碰撞幾何形狀和物理屬性、新增語義標籤以及在目標模擬器中測試結果。這項工作取決於模型的結構和預期任務。
所有SimReady 3D資源都需要關節或抓點嗎?
不。這些功能取決於互動。地板需要合適的幾何形狀和接觸行為;開啟抽屜需要鉸接;用於抓取的物體需要操縱設定。相關的模擬要求決定了必須編寫和檢查的內容。