Mi az a SimReady 3D?

Mit jelent a SimReady?

A SimReady azt jelenti, hogy szimulációra kész. A SimReady 3D eszközök olyan információkat tartalmaznak, amelyeket a szimulátor felhasználhat az objektum és viselkedésének értelmezésére, látható geometriája és anyagai mellett. A feladattól függően ezek az információk tartalmazhatnak ütközési alakzatokat, tömeget, súrlódást, szemantikai címkéket és artikulált összetevőket.

A SimReady a NVIDIA által kezdeményezett és az OpenUSD-re épített specifikációs keretrendszert is elnevez. Strukturált tulajdonságokon és metaadatokon keresztül határozza meg a szimulációs képességeket. Az alkalmazandó követelmények a 3D-s erőforrás tervezett felhasználásától függenek; a kamera érzékelésére használt tárgynak és egy robotmanipulációhoz használt objektumnak különböző képességekre van szüksége. A NVIDIA SimReady specifikáció áttekintése leírja ezt a megközelítést.

Miben különbözik egy SimReady 3D erőforrás a hagyományos 3D modelltől?

A texturált modell egy objektum alakját és megjelenését írja le. A szimulátornak azt is tudnia kell, hogy az objektum hogyan foglal helyet, hogyan reagál az érintkezésre és hogyan mozog. A valósághű konyhaszekrény jól szemlélteti a különbséget: a renderelt képe egy ajtót és kilincset mutathat, míg a robot interakciója megköveteli, hogy ezek az alkatrészek használható geometriával, ütközési formákkal és megfelelő csatlakozással rendelkezzenek.

A játékra kész 3D-s erőforrások már tartalmazhatnak ütközéseket és animációkat, de a beállításai egy adott játékhoz készültek. A robottanulási feladathoz kalibrált méretekre, fizikai paraméterekre, szemantikai megjegyzésekre és a szándékolt interakcióval szembeni érvényesítésre lehet szükség. A készenlétet a feladat és a szimulációs futtatókörnyezet alapján értékeljük.

Mitől lesz szimulációra kész egy 3D-s erőforrás?

Geometria, méretarány és anyagok

A méreteknek, a tájolásnak és az objektum szerkezetének meg kell felelnie a tervezett környezetnek. A robotfogót és a fogantyút azonos méretarányban kell ábrázolni. A vizuális anyagok és textúrák támogatják a megjelenített megfigyeléseket, míg a fizikai anyagok tulajdonságai olyan viselkedést írnak le, mint a súrlódás és a visszapattanás. A NVIDIA modellezési útmutatója a valós léptéket és a következetes 3D-s erőforrás-konstrukciót hangsúlyozza.

Ütközésgeometria és fizikai tulajdonságok

Az ütközési alakzatok határozzák meg, hol történik az érintkezés. A tömeg és a tehetetlenség befolyásolja, hogy egy mozgó tárgy hogyan reagál az erőkre; A súrlódás befolyásolja a felületek csúszását. Ezeknek a tulajdonságoknak meg kell felelniük az objektumnak és a feladatnak. A látható háló és az ütközési geometria eltérhet, például ha egy egyszerűbb ütközésábrázolás javítja a szimulációs teljesítményt. A USD Physics sémákat biztosít az OpenUSD jelenet fizikai tulajdonságainak leírásához.

Szemantikus címkék és értelmes részek

A szemantikai információ azonosítja, hogy egy objektum vagy komponens mit képvisel. Az olyan címkék, mint a szekrény, az ajtó és a fogantyú, támogatják a jelenetek értelmezését és a megjegyzésekkel ellátott edzésadatokat. A különálló alkatrészgeometria lehetővé teszi az alkatrészek egyenként történő kiválasztását és kezelését. A szemantikus címkézés támogatja az objektumok azonosítását a gépi tanuláshoz renderelt képeken.

Feladatspecifikus ízületek és megfogási pontok

Szekrénynyitási feladathoz megfelelő tengelyű és mozgáskorlátozott ajtócsuklóra van szükség. A pick-and-place feladathoz hozzáférhető érintkezési felületekre és hasznos megfogási helyekre van szükség. Ezek feladatspecifikus kiegészítések: egy statikus háttérobjektumnak nincs szüksége minden képességre, amelyet egy artikulált manipulációs 3D-s erőforrás megkövetel.

Miért fontosak a SimReady 3D erőforrások a fizikai mesterséges intelligencia számára?

A Physical AI rendszerek érzékelik és működnek fizikai környezetben. A szimuláció lehetővé teszi a robotfejlesztő csapatok számára a feladatok elvégzését, a feltételek változtatását és az adatgyűjtést. A 3D-s erőforrás minősége befolyásolja ezeket a kísérleteket: a helytelen ütköztető blokkolhatja az érvényes fogást, a helytelenül méretezett fogantyú pedig megváltoztathatja, hogy a feladat elérhető-e.

A strukturált 3D-s erőforrások a variációt is hasznosabbá teszik. Egy jelenet megváltoztathatja az objektumok elhelyezését, méreteit vagy anyagtulajdonságait, miközben megtartja a feladat futtatásához szükséges információkat. Ezek a változatok támogatják a robottanulási és -kiértékelési munkafolyamatokat, bár a szimulációs teljesítményt még mindig a valós célhoz képest kell értékelni.

Hogyan érvényesíti a SimReady 3D erőforrásokat az Isaac Sim-ben?

Az érvényesítés magában foglalja a 3D erőforrás szerkezetének ellenőrzését és viselkedésének megfigyelését a célszimulátorban. A Thrixel fizikai mesterséges intelligencia munkafolyamata az Isaac Sim-t használja az alábbi tesztekhez:

• Nyugalmi helyzet: helyezzen egy tárgyat a tervezett támaszfelületre, és ellenőrizze, hogy a várt módon nyugalomba kerül-e.
• Ledobás: ellenőrizze az érintkezési reakciót és a stabilitást, amikor az objektum leszáll.
• Csúszás: vizsgálja meg, hogyan hatnak egymásra a felületek mozgás közben.
• A mechanikus kötések mozgása: ellenőrizze az ajtók, tetők vagy más csuklós részek tengelyét, tartományát és mozgását.
• Megfogás és emelés: tesztelje, hogy a robot képes-e érintkezni, tartani és felemelni a kívánt tárgyat.

A teszteknek tükrözniük kell a tervezett feladatot. Az elszigetelten megfelelően nyíló ajtót a szekrény belsejében is ellenőrizni kell, a környező tárgyak és a robot jelenléte mellett. A 3D-s erőforrás-ellenőrzés és a jelenet-ellenőrzés különböző hibaforrásokat kezel.

A mesterséges intelligencia generálhat SimReady 3D erőforrásokat és teljes jeleneteket?

Az AI geometriát és megjelenést generálhat felszólításokból vagy referenciaképekből, majd támogatja az alkatrészek, a fizika és a feladatinformációk előkészítését. A Thrixel AI 3D modellgenerátora szerkeszthető 3D erőforrásokat biztosít ehhez a folyamathoz. Egy teljes munkafolyamat a környezetet is összeállítja, és szimulációban ellenőrzi annak viselkedését. A 3D generatív mesterséges intelligencia útmutató elmagyarázza a mögöttes modellgenerálási munkafolyamatokat.

A Thrixel a fizikai mesterségesintelligencia számára magában foglalja a digitális iker-rekonstrukciót fényképekből és videókból, a strukturált jelenetek generálását, a szemantikai részeket, a meghatározott robotfogási pontokat és a szimuláció érvényesítését. A munkafolyamat háromszög hálókat hoz létre PBR anyagokkal és USDA jelenetkimenettel, amely szimulációs információkat hordoz. Támogatja a 3D-s erőforrás- és jelenetváltoztatást, valamint a robotpályákat az utánzattanuláshoz.

Az AI programozási ügynökkel való interaktív világ létrehozásához a Build World összekapcsolja a 3D erőforrás generálást a jelenet összeállításával és az iteratív vizsgálattal. A Physical AI projektek olyan követelményeket támasztanak, mint a robotfeladatok, a fizikai kalibrálás és a szimulátor-specifikus érvényesítés. A Thrixel fizikai AI projekt megbeszélése ezekkel a követelményekkel és a rendelkezésre álló referencia bemenetekkel kezdődik.

Gyakori kérdések a SimReady 3D eszközökkel kapcsolatban

Minden USD fájl SimReady 3D erőforrás?

Nem. Az OpenUSD képes leírni egy jelenetet anélkül, hogy tartalmazná a feladathoz szükséges szimulációs képességeket. A fájlnak szüksége van a megfelelő strukturált tulajdonságokra, szemantikára és érvényesítésre. A NVIDIA SimReady GYIK elmagyarázza, hogy az adatok USD-ben való tárolása önmagában miért nem hozza létre a szimulációs készenlétet.

A SimReady 3D erőforrások ugyanazok, mint a digitális ikrek?

A kifejezések egy 3D-s erőforrás különböző aspektusait írják le. A digitális iker egy adott valós objektumot vagy környezetet képvisel. A szimulációs készenlét leírja azokat a képességeket, amelyek az ábrázolás szimulációban való használatához szükségesek. Egy rekonstruált konyha felkészíthető szimulációra, míg a generált SimReady konyhának nem kell egy konkrét valós konyhának megfelelnie.

Egy meglévő 3D-s modell szimulációra készsé válhat?

Igen. Egy meglévő háló lehet kiindulópont. Az előkészítés magában foglalhatja a lépték javítását, a mozgó alkatrészek szétválasztását, az ütközési geometria és a fizikai tulajdonságok létrehozását, a szemantikai címkék hozzáadását és az eredmény tesztelését a célszimulátorban. A munka a modell felépítésétől és a tervezett feladattól függ.

Minden SimReady 3D erőforráshoz szükség van illesztésekre vagy megfogási pontokra?

Nem. Ezek a képességek az interakciótól függenek. A padlónak megfelelő geometriára és érintkezési viselkedésre van szüksége; egy nyitható fióknak csuklóra van szüksége; a megragadásra szánt tárgynak manipulációs beállításra van szüksége. A vonatkozó szimulációs követelmények határozzák meg, hogy mit kell létrehozni és ellenőrizni.