Unitree G1 motion imitation v MuJoCo: z videa na robota

Otevřená pipeline pro Unitree G1 motion imitation v MuJoCo začíná u záznamu a končí u policy, která ovládá klouby robota. Není to hotový produkt: je to řetěz open source nástrojů, každý s přesným vstupním formátem. Výsledek závisí na kvalitě zachyceného pohybu.

Unitree G1 motion imitation v MuJoCo: čtyři fáze

Nejpřímější řetěz používá tři samostatné projekty pro pózu, retargeting a trénink, poté SDK Unitree pro robota. VideoMimic, práce z UC Berkeley představená na CoRL 2025, spojuje první dvě fáze a rekonstruuje i prostředí, zůstává ale výzkumným projektem. Pro laboratoř, která chce kontrolovat každý krok, je výhodnější cesta po komponentech.

G1 měří 1 320 mm ve stoje a váží přibližně 35 kg v základní verzi, 35 kg nebo více ve verzích EDU. Základní verze má 23 stupňů volnosti; EDU se s rukama dostanou na 43. Retargeting proto musí rozhodnout, co dělat s prsty, když je video neukazuje.

Fáze 1: odhad lidské pózy z videa

GVHMR (SIGGRAPH Asia 2024) získává lidský pohyb z monokulárního videa a vrací parametry SMPL-X v kameře a globální trajektorii ve světě. Metoda odhaduje pózu v systému "gravity-view", sestaveném ze směru gravitace a směru kamery, a tím snižuje hromadění chyby typické pro autoregresivní metody. Na stránce projektu autoři uvádějí 280 ms pro video o 1 430 snímcích na RTX 4090, bez předzpracování (2D tracking, příznaky, relativní rotace kamery).

Praktický limit je celý v předzpracování: 2D tracking, příznaky, relativní rotace kamery. Pokud se kamera pohybuje, měřítko je nejednoznačné a nohy kloužou, retargeting chybu přebírá. Proto VideoMimic rekonstruuje osobu i prostředí společně: kontaktní bod se stupni a židlemi se stává součástí problému, ne detailem, který se opravuje dodatečně. Repozitář je pod licencí MIT a pipeline real2sim výslovně přijímá robota g1.

Fáze 2: retargeting z lidského těla na G1

GMR (ICRA 2026, licence MIT) řeší opačný problém: převádí lidskou trajektorii do zobecněných souřadnic robota. Podporuje SMPL-X a AMASS, BVH LAFAN1 a Nokov, FBX OptiTrack a PICO streaming. Pro G1 pokrývá konfiguraci s 29 DoF i s 43 DoF s rukama. Solver používá mink a MuJoCo, omezuje rychlost motorů a výsledek zobrazuje v okně MuJoCo.

Uváděná rychlost je 35-45 FPS na Intel i9-13900K a 60-70 FPS na Threadripper 7960X, retargeting tedy běží na CPU bez GPU. GMR integruje i GVHMR: příkaz scripts/gvhmr_to_robot.py --gvhmr_pred_file hmr4d_results.pt --robot unitree_g1 načte soubor vytvořený GVHMR a vygeneruje motion robota. Autoři upozorňují, že jedna konfigurace nefunguje dobře pro všechny pohyby: některé klipy je třeba zkontrolovat ručně.

Fáze 3: reinforcement learning v MuJoCo s mjlab

mjlab (Apache 2.0) spojuje API s manažery Isaac Lab a MuJoCo Warp. Trénink vyžaduje GPU NVIDIA; na macOS lze policy pouze vyhodnocovat. Task Mjlab-Tracking-Flat-Unitree-G1 trénuje G1 sledovat reference motion; v příkladech se spouští 4 096 paralelních prostředí a oficiální příručka popisuje konverzi CSV-NPZ a registr WandB.

Praktický detail: NPZ obsahuje pozice a kvaterniony indexované podle čísla body a MuJoCo a PhysX přiřazují různé indexy. Pokud motion převedete skriptem z Isaac Lab a načtete v mjlab, cíle skončí na špatných body a trénink nezkonverguje. Použijte mjlab.scripts.csv_to_npz.

Kdo chce verzi udržovanou Unitree, použije unitree_rl_mjlab: stejné tracking tasky pro G1 s 29 a 23 DoF, navíc lokomoční tasky pro Go2, A2, R1 a H1-2; repozitář uvádí mezi podporovanými roboty i As2 a H2. Projekt vychází z mjlab, whole_body_tracking a rsl_rl a během tréninku exportuje policy.onnx. Teoretickým základem je BeyondMimic: kompaktní formulace motion trackingu se sdílenými hyperparametry, která na stejném setupu pokrývá kola ve vzduchu, rotující kopy a sprint.

Fáze 4: ze simulátoru na skutečný G1

Nasazení probíhá přes unitree_sdk2 a program v C++, který načte policy ONNX a publikuje na rt/lowcmd. Nejprve se testuje v unitree_mujoco, poté na zavěšeném robotu. V repozitáři Unitree má síť PC adresu 192.168.123.222 s maskou 255.255.255.0; robota je třeba zapnout v zero-torque a přepnout do debug mode pomocí L2+R2, jinak si vestavěný motion controller a policy konkurují o motory. Postup sítě a debug mode je stejný jako v návodu pro programování G1.

Rozdíl mezi simulací a realitou se neuzavře lepším videem. ASAP (RSS 2025) vychází z policy motion trackingu trénovaných v simulaci a přidává reziduální model akcí, trénovaný s daty sebranými na robotu, aby kompenzoval rozdíl v dynamice. Práce je vyhodnocena na G1 a uvádí nižší chybu trackingu než system identification a domain randomization. V praxi: počítejte s druhou fází ladění na robotu, ne s přímým přenosem.

I fyzický model se počítá. G1 z MuJoCo Menagerie je zjednodušený MJCF, odvozený z veřejného souboru unitree_ros, s licencí BSD-3-Clause. Model MJX byl přenesen na reálný hardware v MuJoCo Playground: je to dobrý výchozí bod, ale aktuátory a zisky je třeba ověřit na vašem exempláři.

Limity: co video neřeší

• Síly a kontakty. Video dává kinematiku, ne točivé momenty, tření nebo kontaktní síly. Manipulace a úchopy zůstávají mimo pipeline samotného motion trackingu.
• Měřítko a kamera. Video s pohybující se kamerou nebo bez metrických referencí vytváří nejednoznačné trajektorie; retargeting měřítko nevymyslí.
• Jeden klip, jedna dovednost. Tracking task v mjlab trénuje na jedné reference motion. Pro více dovedností je potřeba multi-clip dataset a trénink, který je kombinuje.
• Kvalita retargetingu. GMR uvádí, že některé pohyby s výchozí konfigurací vycházejí špatně: před tréninkem je třeba je zkontrolovat v MuJoCo.
• Bezpečnost. Policy není bezpečnostní funkce: nenahrazuje ochranné prostředky. První testy se zavěšeným robotem, volným prostorem a osobou u ovladače.

Kolik stojí začít

Potřebujete G1 EDU: karta Unitree uvádí vlastní vývoj softwaru jen u této verze. V ceníku se rodina G1 pohybuje od 19 809,32 € do 90 829,38 €, bez DPH. G1 Edu Standard (G1-U1) s 23 DoF a výpočetním modulem Jetson Orin NX stojí 38 004,54 €. Rozdíly mezi U1, U2 a verzemi s rukama jsou v návodu kterou verzi G1 zvolit; celá řada je na Unitree G1.

Abra Robotics poskytuje řadu Unitree i v Česku a na Slovensku, s podporou v angličtině, a jako samostatnou službu nabízí školení a vývoj na SDK. Pro laboratoře, které začínají od nuly, návod ROS 2 na robotech Unitree pokrývá síť a první topic; kontext výzkumu najdete na stránce Univerzity a výzkum.