Att packa upp matvaror är en enkel om än tråkig uppgift:du sträcker dig ner i en väska, känna efter ett föremål, och dra ut den. En snabb blick visar dig vad föremålet är och var det ska förvaras.

Nu har ingenjörer från MIT och Princeton University utvecklat ett robotsystem som en dag kan hjälpa till med denna hushållssyssla, samt hjälpa till med andra plock- och sorteringsuppgifter, från att organisera produkter i ett lager till att rensa skräp från en katastrofzon.

Teamets "plock-and-place"-system består av en standard industriell robotarm som forskarna utrustat med en anpassad gripare och sugkopp. De utvecklade en "objekt-agnostisk" gripalgoritm som gör det möjligt för roboten att bedöma en behållare med slumpmässiga föremål och bestämma det bästa sättet att greppa eller suga på ett föremål mitt i röran, utan att behöva veta något om föremålet innan du plockar upp det.

När den väl har fattat ett föremål, roboten lyfter ut den från soptunnan. En uppsättning kameror tar sedan bilder av objektet från olika vinklar, och med hjälp av en ny bildmatchningsalgoritm kan roboten jämföra bilderna av det utvalda objektet med ett bibliotek av andra bilder för att hitta den närmaste matchningen. På det här sättet, roboten identifierar objektet, förvarar den sedan i en separat papperskorg.

I allmänhet, roboten följer ett "greppa-först-sedan-känn igen"-arbetsflöde, vilket visar sig vara en effektiv sekvens jämfört med andra pick-and-place-teknologier.

"Detta kan tillämpas på lagersortering, men kan också användas för att plocka saker från ditt köksskåp eller rensa skräp efter en olycka. Det finns många situationer där plockningstekniker kan ha en inverkan, " säger Alberto Rodriguez, Walter Henry Gale Karriärutvecklingsprofessor i maskinteknik vid MIT.

Rodriguez och hans kollegor vid MIT och Princeton kommer att presentera ett dokument som beskriver deras system vid IEEE International Conference on Robotics and Automation, i maj.

Bygga ett bibliotek av framgångar och misslyckanden

Medan pick-and-place-tekniker kan ha många användningsområden, befintliga system är vanligtvis utformade för att endast fungera i hårt kontrollerade miljöer.

I dag, de flesta industriella plockrobotar är designade för en specifik, upprepad uppgift, till exempel att greppa en bildel från ett löpande band, alltid i samma, noggrant kalibrerad orientering. Dock, Rodriguez arbetar för att designa robotar som mer flexibla, anpassbar, och intelligenta plockare, för ostrukturerade inställningar som detaljhandelslager, där en plockare konsekvent stöter på och måste sortera hundratals, om inte tusentals nya föremål varje dag, ofta mitt i tät röra.

Teamets design är baserad på två allmänna operationer:plocka – handlingen att framgångsrikt greppa ett objekt, och perception – förmågan att känna igen och klassificera ett objekt, en gång fattade.

Forskarna tränade robotarmen att plocka fram nya föremål från en rörig soptunna, använda något av fyra huvudsakliga greppbeteenden:sugning på ett föremål, antingen vertikalt, eller från sidan; gripa objektet vertikalt som klon i ett arkadspel; eller, för föremål som ligger tätt mot en vägg, gripa vertikalt, använd sedan en flexibel spatel för att glida mellan föremålet och väggen.

Rodriguez och hans team visade robotbilder av papperskorgar belamrade med föremål, fångade från robotens utsiktspunkt. De visade sedan roboten vilka föremål som var gripbara, med vilket av de fyra huvudsakliga greppbeteendena, och som inte var, att markera varje exempel som en framgång eller ett misslyckande. De gjorde detta för hundratals exempel, och med tiden, forskarna byggde upp ett bibliotek av framgångar och misslyckanden. De införlivade sedan detta bibliotek i ett "djupt neuralt nätverk" - en klass av inlärningsalgoritmer som gör det möjligt för roboten att matcha det aktuella problemet den står inför med ett framgångsrikt resultat från det förflutna, baserat på dess bibliotek av framgångar och misslyckanden.

"Vi utvecklade ett system där bara genom att titta på en väska fylld med föremål, roboten visste hur man förutsäger vilka som var gripbara eller sugbara, och vilken konfiguration av dessa plockbeteenden som sannolikt skulle bli framgångsrik, " säger Rodriguez. "När den väl var i griparen, föremålet var mycket lättare att känna igen, utan allt skräp."

Från pixlar till etiketter

Forskarna utvecklade ett perceptionssystem på liknande sätt, gör det möjligt för roboten att känna igen och klassificera ett objekt när det väl har greppats.

Att göra så, de sammanställde först ett bibliotek med produktbilder tagna från onlinekällor som återförsäljarwebbplatser. De märkte varje bild med rätt identifiering – till exempel, tejp kontra maskeringstejp – och utvecklade sedan en annan inlärningsalgoritm för att relatera pixlarna i en given bild till rätt etikett för ett givet objekt.

"Vi jämför saker som för människor, kan vara mycket lätt att identifiera som samma, men i verkligheten, som pixlar, de kan se väldigt olika ut, " säger Rodriguez. "Vi ser till att den här algoritmen blir rätt för dessa träningsexempel. Då är förhoppningen att vi har gett den tillräckligt med träningsexempel som när vi ger det ett nytt föremål, det kommer också att förutsäga rätt etikett."

Förra juli, teamet packade ihop 2-tonsroboten och skickade den till Japan, var, en månad senare, de återmonterade den för att delta i Amazon Robotics Challenge, en årlig tävling sponsrad av online-megahandlaren för att uppmuntra innovationer inom lagerteknik. Rodriguez team var ett av 16 som deltog i en tävling för att plocka och stuva föremål från en rörig papperskorg.

I slutet, teamets robot hade en framgångsfrekvens på 54 procent när det gällde att plocka upp föremål med sug och en framgångsfrekvens på 75 procent med att greppa, och kunde känna igen nya föremål med 100 procents noggrannhet. Roboten stuvade också alla 20 föremål inom den tilldelade tiden.

För sitt arbete, Rodriguez tilldelades nyligen ett Amazon Research Award och kommer att arbeta med företaget för att ytterligare förbättra pick-and-place-tekniken – främst, dess hastighet och reaktivitet.

"Att välja i ostrukturerade miljöer är inte tillförlitligt om du inte lägger till en viss nivå av reaktivitet, " säger Rodriguez. "När människor väljer, vi gör liksom små justeringar medan vi plockar. Att ta reda på hur man gör detta mer lyhörda val, Jag tror, är en av nyckelteknologierna vi är intresserade av."

Teamet har redan tagit några steg mot detta mål genom att lägga till taktila sensorer till robotens gripdon och köra systemet genom ett nytt träningsprogram.

"Grippern har nu taktila sensorer, och vi har aktiverat ett system där roboten ägnar hela dagen åt att kontinuerligt plocka saker från en plats till en annan. Det fångar information om när det lyckas och misslyckas, och hur det känns att ta upp, eller misslyckas med att plocka upp föremål, " säger Rodriguez. "Förhoppningsvis kommer den att använda den informationen för att börja ta tag i den reaktiviteten."