Ingen robot-AI klarade en enda uppgift med humanoiden Unitree G1
I det nya testnätverket RoboColosseum kom den bästa modellen 44 procent av vägen mot att lasta en tvättmaskin i ett riktigt hem.
Fem AI-modeller fick försöka hänga upp nycklar, vika handdukar och lägga kläder i en tvättmaskin med den humanoida roboten Unitree G1. Ingen av dem slutförde en enda av de fem uppgifterna.

Resultatet kommer från RoboColosseum, ett nytt sätt att jämföra AI-modeller för robotar på riktig hårdvara i stället för i simulering. Bakom projektet står MAGIC Lab vid National University of Singapore, Hugging Face, Singapore Embodied AI Centre och BitRobot. Forskarna beskriver upplägget i en studie på arXiv, där Jiafei Duan vid NUS är korresponderande författare.
Fyra robotar och åtta modeller
Testerna gjordes mellan den 17 september och den 28 oktober på fyra robottyper: armen SO-101, Franka-armen i DROID-uppsättningen, den tvåarmade Bimanual-YAM och Unitree G1. Åtta modeller deltog. Fem av dem är så kallade VLA-modeller, som översätter bild och text till robotrörelser: GR00T N1.7, π0.5, MolmoAct2, G0.5 och LingBot-VLA v2. De tre övriga är de generella språkmodellerna GPT-6 Astra, Claude Opus 5.5 och Grok 4.7.
Studien har två delar. I den öppna delen jämfördes modellerna parvis utan att bedömarna visste vilken modell som styrde roboten, totalt 5 699 jämförelser på 124 platser. I den andra delen finjusterades modellerna på 20 uppgifter, fem per robot, med 100 demonstrationer per uppgift och 25 försök per modell och uppgift.
Humanoiden blev svårast
G1-uppgifterna genomfördes i riktiga hem i Malaysia med en tidsgräns på 150 sekunder. Roboten skulle bland annat ställa en tallrik i ett ställ, bära en låda och lasta en tvättmaskin, vilket kräver att den går fram, plockar upp kläderna, byter hand, vänder sig om och lägger in dem.
Ingen av de fem finjusterade modellerna klarade någon G1-uppgift fullt ut. Forskarna mäter därför också hur långt roboten kom. I genomsnitt nådde modellerna mellan 13,3 procent (G0.5) och 23,2 procent (LingBot-VLA v2) av vägen. Bästa enskilda resultatet var 44,0 procent, som π0.5 nådde i tvättmaskinsuppgiften.