Ett nytt inlärningssystem utvecklat av MIT-forskare förbättrar robotars förmåga att forma material till målformer och göra förutsägelser om interaktion med fasta föremål och vätskor. Systemet, känd som en inlärningsbaserad partikelsimulator, kan ge industrirobotar en mer raffinerad touch – och det kan ha roliga tillämpningar inom personlig robotik, som att modellera lerformer eller att rulla klibbigt ris till sushi.

I robotplanering, Fysiska simulatorer är modeller som fångar hur olika material reagerar på kraft. Robotar "tränas" med hjälp av modellerna, att förutsäga resultatet av deras interaktioner med objekt, som att trycka på en solid låda eller peta i deformerbar lera. Men traditionella inlärningsbaserade simulatorer fokuserar främst på stela föremål och klarar inte av att hantera vätskor eller mjukare föremål. Vissa mer exakta fysikbaserade simulatorer kan hantera olika material, men förlitar sig mycket på approximationstekniker som introducerar fel när robotar interagerar med objekt i den verkliga världen.

I ett dokument som presenterades vid den internationella konferensen om läranderepresentationer i maj, forskarna beskriver en ny modell som lär sig att fånga hur små delar av olika material - "partiklar" - interagerar när de petas och stöts. Modellen lär sig direkt av data i de fall där rörelsernas underliggande fysik är osäker eller okänd. Robotar kan sedan använda modellen som en guide för att förutsäga hur vätskor, såväl som styva och deformerbara material, kommer att reagera på kraften av dess beröring. När roboten hanterar föremålen, modellen bidrar också till att ytterligare förfina robotens kontroll.

I experiment, en robothand med två fingrar, kallas "RiceGrip, " exakt format ett deformerbart skum till en önskad konfiguration - som en "T"-form - som fungerar som en proxy för sushi-ris. Kort sagt, forskarnas modell fungerar som en typ av "intuitiv fysik"-hjärna som robotar kan utnyttja för att rekonstruera tredimensionella objekt på något liknande sätt som människor gör.

"Människor har en intuitiv fysikmodell i våra huvuden, där vi kan föreställa oss hur ett föremål kommer att bete sig om vi trycker eller klämmer på det. Baserat på denna intuitiva modell, människor kan utföra fantastiska manipulationsuppgifter som ligger långt utom räckhåll för nuvarande robotar, " säger första författaren Yunzhu Li, en doktorand i datavetenskap och artificiell intelligens Laboratory (CSAIL). "Vi vill bygga den här typen av intuitiv modell för robotar för att göra det möjligt för dem att göra vad människor kan göra."

"När barn är 5 månader gamla, de har redan olika förväntningar på fasta ämnen och vätskor, " tillägger medförfattaren Jiajun Wu, en CSAIL doktorand. "Det är något vi vet i tidig ålder, så det kanske är något vi borde försöka modellera för robotar."

Li och Wu förenar sig på tidningen:Russ Tedrake, en CSAIL-forskare och en professor vid institutionen för elektroteknik och datavetenskap (EECS); Joshua Tenenbaum, en professor vid institutionen för hjärn- och kognitionsvetenskap; och Antonio Torralba, professor i EECS och chef för MIT-IBM Watson AI Lab.

Dynamiska grafer

En nyckelinnovation bakom modellen, kallas "partikelinteraktionsnätverket" (DPI-nät), skapade dynamiska interaktionsdiagram, som består av tusentals noder och kanter som kan fånga komplexa beteenden hos så kallade partiklar. I graferna, varje nod representerar en partikel. Närliggande noder är anslutna till varandra med hjälp av riktade kanter, som representerar interaktionen som går från en partikel till en annan. I simulatorn, partiklar är hundratals små sfärer kombinerade för att utgöra någon vätska eller ett deformerbart föremål.

Graferna är konstruerade som grunden för ett maskininlärningssystem som kallas ett grafneuralt nätverk. I träning, modellen lär sig över tid hur partiklar i olika material reagerar och omformar. Den gör det genom att implicit beräkna olika egenskaper för varje partikel - såsom dess massa och elasticitet - för att förutsäga om och var partikeln kommer att röra sig i grafen när den störs.

Modellen utnyttjar sedan en "förökningsteknik", som omedelbart sprider en signal över hela grafen. Forskarna anpassade tekniken för varje typ av material - styvt, deformerbar, och vätska – för att skjuta en signal som förutsäger partikelpositioner vid vissa inkrementella tidssteg. Vid varje steg, den flyttar och återansluter partiklar, om det behövs.

Till exempel, om en solid låda trycks, störda partiklar kommer att flyttas framåt. Eftersom alla partiklar inuti lådan är styvt förbundna med varandra, varannan partikel i objektet rör sig samma beräknade sträcka, rotation, och vilken annan dimension som helst. Partikelanslutningar förblir intakta och lådan rör sig som en enhet. Men om ett område med deformerbart skum är indraget, effekten blir annorlunda. Störda partiklar rör sig mycket framåt, omgivande partiklar rör sig bara något framåt, och partiklar längre bort kommer inte att röra sig alls. Med vätskor som sköljs runt i en kopp, partiklar kan helt hoppa från ena änden av grafen till den andra. Grafen måste lära sig att förutsäga var och hur mycket alla påverkade partiklar rör sig, vilket är beräkningsmässigt komplicerat.

Forma och anpassa

I deras tidning, forskarna demonstrerar modellen genom att ge den tvåfingrade RiceGrip-roboten i uppdrag att spänna fast målformer av deformerbart skum. Roboten använder först en djupavkännande kamera och objektigenkänningstekniker för att identifiera skummet. Forskarna väljer slumpmässigt partiklar inuti den upplevda formen för att initiera partiklarnas position. Sedan, modellen lägger till kanter mellan partiklar och rekonstruerar skummet till en dynamisk graf anpassad för deformerbara material.

På grund av de lärda simuleringarna, roboten har redan en bra uppfattning om hur varje beröring, med en viss kraft, kommer att påverka var och en av partiklarna i grafen. När roboten börjar dra in skummet, den matchar iterativt partiklarnas verkliga position med partiklarnas målposition. När partiklarna inte är i linje, den skickar en felsignal till modellen. Den signalen justerar modellen för att bättre matcha materialets verkliga fysik.

Nästa, forskarna strävar efter att förbättra modellen för att hjälpa robotar att bättre förutsäga interaktioner med delvis observerbara scenarier, som att veta hur en hög med lådor kommer att röra sig när den trycks, även om bara lådorna vid ytan är synliga och de flesta andra lådorna är dolda.

Forskarna undersöker också sätt att kombinera modellen med en end-to-end perceptionsmodul genom att arbeta direkt på bilder. Detta kommer att vara ett gemensamt projekt med Dan Yamins grupp; Yamin avslutade nyligen sin postdoc vid MIT och är nu biträdande professor vid Stanford University. "Du hanterar de här fallen hela tiden där det bara finns partiell information, " säger Wu. "Vi utökar vår modell för att lära oss dynamiken hos alla partiklar, medan du bara ser en liten del."

Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.