Unitree G1 motion imitation MuJoCossa: videosta robotiksi

Avoimen lähdekoodin putki Unitree G1 -liikkeen jäljittelyyn MuJoCossa lähtee videotallenteesta ja päätyy policyyn, joka liikuttaa robotin niveliä. Kyse ei ole valmiista tuotteesta: se on ketju avoimen lähdekoodin työkaluja, joista jokaisella on tarkka syöttömuoto. Tulos riippuu kuvatun liikkeen laadusta.

Unitree G1 motion imitation MuJoCossa: neljä vaihetta

Suoraviivaisin ketju käyttää kolmea erillistä projektia asentoon, uudelleenkohdistukseen ja koulutukseen sekä sen jälkeen Unitreen SDK:ta robottiin. VideoMimic, UC Berkeleyn työ, joka esiteltiin CoRL 2025 -konferenssissa, yhdistää kaksi ensimmäistä vaihetta ja rekonstruoi myös ympäristön, mutta on silti tutkimusprojekti. Laboratoriolle, joka haluaa hallita jokaista vaihetta, komponenteista koottu polku on parempi.

G1 on seisoma-asennossa 1 320 mm korkea ja painaa noin 35 kg perusversiossa, 35 kg tai enemmän EDU-versioissa. Siinä on 23 vapausastetta perusversiossa; EDU-versiot yltävät 43:een käsien kanssa. Uudelleenkohdistuksen on siis päätettävä, mitä sormille tehdään, kun video ei näytä niitä.

Vaihe 1: ihmisen asennon estimointi videolta

GVHMR (SIGGRAPH Asia 2024) johtaa ihmisen liikkeen monokulaarisesta videosta ja palauttaa SMPL-X-parametrit kamerassa sekä globaalin liikeradan maailmassa. Menetelmä estimoi asennon "gravity-view"-järjestelmässä, joka rakennetaan painovoiman suunnasta ja kameran suunnasta, ja tämä vähentää autoregressiivisille menetelmille tyypillistä virheen kertymistä. Projektisivullaan tekijät ilmoittavat 280 ms 1 430 kuvan videolle RTX 4090 -näytönohjaimella, ilman esikäsittelyä (2D-seuranta, piirteet, kameran suhteellinen kierto).

Käytännön raja on kokonaan esikäsittelyssä: 2D-seuranta, piirteet, kameran suhteellinen kierto. Jos kamera liikkuu, mittakaava on epäselvä ja jalat liukuvat, ja uudelleenkohdistus perii virheen. Siksi VideoMimic rekonstruoi ihmisen ja ympäristön yhdessä: kosketuspisteistä tuoleihin ja pöytiin tulee osa ongelmaa, ei yksityiskohta, joka korjataan jälkeenpäin. Repositorio on MIT-lisensoitu ja real2sim-putki hyväksyy eksplisiittisesti robotin g1.

Vaihe 2: uudelleenkohdistus ihmiskehosta G1:lle

GMR (ICRA 2026, MIT-lisenssi) ratkaisee päinvastaisen ongelman: se vie ihmisen liikeradan robotin yleistettyihin koordinaatteihin. Se tukee SMPL-X:ää ja AMASSia, BVH LAFAN1:tä ja Nokovia, FBX OptiTrackia ja PICO-streamingia. G1:llä se kattaa 29 DoF:n ja 43 DoF:n kokoonpanon käsien kanssa. Ratkaisija käyttää mink-kirjastoa ja MuJoCoa, rajoittaa moottorien nopeutta ja näyttää tuloksen MuJoCo-ikkunassa.

Ilmoitettu nopeus on 35-45 FPS Intel i9-13900K:lla ja 60-70 FPS Threadripper 7960X:llä, joten uudelleenkohdistus pyörii CPU:lla ilman GPU:ta. GMR sisältää myös GVHMR:n: komento scripts/gvhmr_to_robot.py --gvhmr_pred_file hmr4d_results.pt --robot unitree_g1 lukee GVHMR:n tuottaman tiedoston ja generoi robotin liikkeen. Tekijät varoittavat, että yksi kokoonpano ei toimi hyvin kaikilla liikkeillä: jotkin klipit on tarkistettava käsin.

Vaihe 3: vahvistusoppiminen MuJoCossa mjlabilla

mjlab (Apache 2.0) yhdistää Isaac Labin manager-pohjaisen rajapinnan MuJoCo Warpiin. Koulutus vaatii NVIDIA-GPU:n; macOS:llä voi vain arvioida policya. Tehtävä Mjlab-Tracking-Flat-Unitree-G1 opettaa G1:n seuraamaan referenssiliikettä; esimerkeissä käynnistetään 4 096 rinnakkaista ympäristöä, ja virallinen opas kuvaa CSV-NPZ-muunnoksen ja WandB-rekisterin.

Käytännön yksityiskohta: NPZ sisältää paikat ja kvaternionit body-numeron mukaan indeksoituna, ja MuJoCo ja PhysX antavat eri indeksit. Jos muunnat liikkeen Isaac Labin skriptillä ja lataat sen mjlabiin, tavoitteet päätyvät vääriin bodyihin eikä koulutus konvergoi. Käytä komentoa mjlab.scripts.csv_to_npz.

Jos haluat Unitreen ylläpitämän version, käytä unitree_rl_mjlabia: samat tracking-tehtävät G1:lle 29 ja 23 DoF:lla sekä liikkumistehtävät Go2:lle, A2:lle, R1:lle ja H1-2:lle; repositorio listaa tuettuihin robotteihin myös As2:n ja H2:n. Projekti pohjautuu mjlapiin, whole_body_trackingiin ja rsl_rliin, ja vie policy.onnx-tiedoston ulos koulutuksen aikana. Teoreettinen perusta on BeyondMimic: tiivis liikkeen seurannan muotoilu, jossa hyperparametrit ovat yhteisiä ja joka kattaa samalla asetelmalla ilmaiset kärrynpyörät, pyörivät potkut ja sprintit.

Vaihe 4: simulaattorista oikeaan G1:een

Käyttöönotto kulkee unitree_sdk2:n ja C++-ohjelman kautta; ohjelma lataa ONNX-policyn ja julkaisee aiheeseen rt/lowcmd. Ensin kokeillaan unitree_mujocossa, sitten ripustetulla robotilla. Unitreen repositoriossa PC:n verkko-osoite on 192.168.123.222 ja aliverkon peite 255.255.255.0; robotti on käynnistettävä zero-torque-tilassa ja vietävä debug-tilaan painamalla L2+R2, muuten sisäänrakennettu motion controller ja policy kilpailevat moottoreista. Verkko- ja debug-menettely on sama kuin G1:n ohjelmointia käsittelevässä oppaassa.

Simulaation ja todellisuuden välistä kuilua ei suljeta paremmalla videolla. ASAP (RSS 2025) lähtee simulaatiossa koulutetuista motion tracking -policyista ja lisää toimintojen residuaalimallin, joka koulutetaan robotilta kerätyllä datalla dynamiikkaeron kompensoimiseksi. Työ on arvioitu G1:llä, ja se ilmoittaa pienemmän tracking-virheen kuin system identification ja domain randomization. Käytännössä: odota toista säätövaihetta robotilla, älä suoraa siirtoa.

Myös fysikaalinen malli on tärkeä. MuJoCo Menagerien G1 on yksinkertaistettu MJCF, joka on johdettu unitree_rosin julkisesta tiedostosta ja lisensoitu BSD-3-Clause-lisenssillä. MJX-malli on siirretty oikealle laitteistolle MuJoCo Playgroundissa: se on hyvä lähtökohta, mutta toimilaitteet ja vahvistukset on tarkistettava omassa kappaleessanne.

Rajoitukset: mitä video ei ratkaise

• Voimat ja kontaktit. Video antaa kinematiikkaa, ei vääntömomentteja, kitkaa tai kontaktivoimia. Manipulointi ja tarttuminen jäävät pelkän motion trackingin putken ulkopuolelle.
• Mittakaava ja kamera. Video, jossa kamera liikkuu tai jossa ei ole metrisiä referenssejä, tuottaa epäselviä liikeratoja; uudelleenkohdistus ei voi keksiä mittakaavaa.
• Yksi klippi, yksi taito. mjlabin tracking-tehtävä kouluttaa yhdellä referenssiliikkeellä. Useampaan taitoon tarvitaan moniklippinen dataset ja koulutus, joka yhdistää ne.
• Uudelleenkohdistuksen laatu. GMR ilmoittaa, että jotkin liikkeet onnistuvat huonosti oletusasetuksilla: ne on tarkistettava MuJoCossa ennen koulutusta.
• Turvallisuus. Policy ei ole turvatoiminto: se ei korvaa suojalaitteita. Ensimmäiset kokeet ripustetulla robotilla, vapaalla alueella ja henkilö kauko-ohjaimessa.

Paljonko aloittaminen maksaa

Tarvitaan G1 EDU: Unitreen tietolehti ilmoittaa oman ohjelmistokehityksen vain tälle versiolle. Hinnastossa G1-perhe vaihtelee 19 809,32 eurosta 90 829,38 euroon, alv 0 %. G1 Edu Standard (G1-U1), jossa on 23 DoF ja Jetson Orin NX -laskentamoduuli, maksaa 38 004,54 €. Erot U1:n, U2:n ja käsillä varustettujen versioiden välillä on oppaassa mikä G1-versio valita; koko valikoima on sivulla Unitree G1.

Abra Robotics toimittaa Unitree-valikoimaa myös Suomeen, ja tuki on englanniksi. G1 EDU -robotit sekä erillisenä palveluna koulutus ja SDK-kehitys kuuluvat tarjontaan. Laboratorioille, jotka aloittavat tyhjästä, opas ROS 2 Unitree-roboteissa kattaa verkon ja ensimmäisen topicin; tutkimuskontekstista kertoo sivu Yliopistot ja tutkimus.