MIT -forskare har sammanställt en datamängd som fångar det detaljerade beteendet hos ett robotsystem som fysiskt driver hundratals olika objekt. Med hjälp av datamängden-den största och mest mångsidiga i sitt slag-kan forskare träna robotar för att "lära sig" push-dynamik som är grundläggande för många komplexa objektmanipuleringsuppgifter, inklusive omorientering och inspektion av objekt, och otydliga scener.

För att fånga data, forskarna konstruerade ett automatiserat system bestående av en industriell robotarm med exakt kontroll, ett 3D-rörelsesspårningssystem, djup och traditionella kameror, och programvara som sy ihop allt. Armen skjuter runt modulära föremål som kan justeras för vikt, form, och massdistribution. För varje tryck, systemet fångar hur dessa egenskaper påverkar robotens tryck.

Datauppsättningen, kallad "Omnipush, "innehåller 250 olika tryck på 250 objekt, sammanlagt cirka 62, 500 unika knuffar. Det används redan av forskare för att, till exempel, bygga modeller som hjälper robotar att förutsäga var objekt kommer att landa när de skjuts.

"Vi behöver mycket rik data för att se till att våra robotar kan lära sig, säger Maria Bauza, en doktorand vid Institutionen för maskinteknik (MechE) och första författare till ett papper som beskriver Omnipush som presenteras vid den kommande internationella konferensen om intelligenta robotar och system. "Här, vi samlar in data från ett riktigt robotsystem, [och] föremålen är tillräckligt varierade för att fånga rikheten hos de drivande fenomenen. Detta är viktigt för att hjälpa robotar att förstå hur pushing fungerar, och att översätta den informationen till andra liknande objekt i den verkliga världen. "

Följande Bauza på pappret är:Ferran Alet och Yen-Chen Lin, doktorander i datavetenskap och artificiell intelligenslaboratorium och Institutionen för elektroteknik och datavetenskap (EECS); Tomas Lozano-Perez, ingenjörshögskolan professor i pedagogisk kvalitet; Leslie P. Kaelbling, Panasonic -professor i datavetenskap och teknik; Phillip Isola, en biträdande professor i EECS; och Alberto Rodriguez, docent i MechE.

Diversifiera data

Varför fokusera på att driva beteende? Modellera push -dynamik som involverar friktion mellan föremål och ytor, Rodriguez förklarar, är avgörande för robotuppgifter på högre nivå. Tänk på den visuellt och tekniskt imponerande roboten som kan spela Jenga, som Rodriguez nyligen designade. "Roboten utför en komplex uppgift, men kärnan i mekaniken som driver den uppgiften är fortfarande att skjuta ett föremål som påverkas av, till exempel, friktionen mellan blocken, "Säger Rodriguez.

Omnipush bygger på en liknande dataset som byggts i Manipulation and Mechanisms Laboratory (MCube) av Rodriguez, Bauza, och andra forskare som fångade push -data på endast 10 objekt. Efter att ha gjort datauppsättningen offentlig under 2016, de samlade feedback från forskare. Ett klagomål var brist på objektsdiversitet:Roboter som utbildats i datamängden kämpade med att generalisera information till nya objekt. Det fanns inte heller någon video, vilket är viktigt för datorsyn, video förutsägelse, och andra uppgifter.

För deras nya dataset, forskarna utnyttjar en industriell robotarm med precisionskontroll av hastigheten och positionen för en påskjutare, i princip en vertikal stålstav. När armen skjuter föremålen, ett "Vicon" rörelsesspårningssystem-som har använts i filmer, virtuell verklighet, och för forskning - följer föremålen. Det finns också en RGB-D-kamera, som lägger till djupinformation till inspelad video.

Nyckeln var att bygga modulobjekt. De enhetliga centrala bitarna, tillverkad av aluminium, ser ut som fyrkantiga stjärnor och väger cirka 100 gram. Varje central bit innehåller markörer på dess centrum och punkter, så Vicon -systemet kan upptäcka dess ställning inom en millimeter.

Mindre bitar i fyra former - konkava, triangulär, rektangulär, och cirkulär - kan magnetiskt fästas på valfri sida av mittstycket. Varje bit väger mellan 31 till 94 gram, men extra vikter, från 60 till 150 gram, kan tappas i små hål i bitarna. Alla bitar av de pusselliknande föremålen justeras både horisontellt och vertikalt, vilket hjälper till att efterlikna friktionen ett enda objekt med samma form och massfördelning skulle ha. Alla kombinationer av olika sidor, vikter, och massdistributioner lade upp till 250 unika objekt.

För varje tryck, armen rör sig automatiskt till en slumpmässig position flera centimeter från objektet. Sedan, den väljer en slumpmässig riktning och trycker på objektet i en sekund. Utgående från där det slutade, den väljer sedan en annan slumpmässig riktning och upprepar processen 250 gånger. Varje push registrerar objektets pose och RGB-D-video, som kan användas för olika videoförutsägelser. Uppgifterna tog 12 timmar om dagen, för två veckor, totalt mer än 150 timmar. Människors ingripande behövdes bara när manuellt omkonfigurerade föremålen.

Objekten härmar inte specifikt några verkliga föremål. Istället, de är utformade för att fånga mångfalden av "kinematik" och "massanalyser" som förväntas av verkliga objekt, som modellerar fysiken för rörelse av verkliga objekt. Robotar kan sedan extrapolera, säga, fysikmodellen för ett Omnipush-objekt med ojämn massfördelning till alla verkliga objekt med liknande ojämna viktfördelningar.

"Tänk dig att skjuta ett bord med fyra ben, där mest vikt ligger över ett av benen. När du trycker på bordet, du ser att det roterar på det tunga benet och måste justera om. Förstår att massfördelning, och dess effekt på resultatet av en push, är något robotar kan lära sig med denna uppsättning objekt, "Säger Rodriguez.

Driva ny forskning

I ett experiment, forskarna använde Omnipush för att träna en modell för att förutsäga den slutliga ställningen för skjutna föremål, med endast den första posen och beskrivningen av pushen. De tränade modellen på 150 Omnipush -föremål, och testade den på en utdragen del av föremål. Resultaten visade att den Omnipush-utbildade modellen var dubbelt så exakt som modeller som utbildats på några liknande datauppsättningar. I deras papper, forskarna registrerade också riktmärken i noggrannhet som andra forskare kan använda för jämförelse.

Eftersom Omnipush fångar video av knuffarna, en potentiell applikation är videoförutsägelse. En samarbetspartner, till exempel, använder nu datauppsättningen för att träna en robot för att i huvudsak "föreställa sig" att skjuta objekt mellan två punkter. Efter träning på Omnipush, roboten ges som inmatning två videoramar, visar ett objekt i dess startposition och slutposition. Med startpositionen, roboten förutspår alla framtida videoramar som säkerställer att objektet når sin slutposition. Sedan, det skjuter objektet på ett sätt som matchar varje förutsagd videoram, tills den kommer till ramen med slutpositionen.

"Roboten frågar, "Om jag gör den här åtgärden, var kommer objektet att vara i den här ramen? "Sedan, den väljer den åtgärd som maximerar sannolikheten för att få objektet i den position det vill ha, "Säger Bauza." Den bestämmer hur objekt ska flyttas genom att först föreställa sig hur pixlarna i bilden kommer att förändras efter ett tryck. "

"Omnipush innehåller exakta mätningar av objektrörelser, liksom visuell data, för en viktig klass av interaktioner mellan robot och objekt i världen, "säger Matthew T. Mason, professor i datavetenskap och robotik vid Carnegie Melon University. "Robotforskare kan använda denna data för att utveckla och testa nya metoder för robotinlärning ... som kommer att ge upphov till fortsatta framsteg inom robotmanipulation."

Denna artikel publiceras på nytt med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT -forskning, innovation och undervisning.