En av de viktigaste utmaningarna är att robotar ofta behöver lära sig att använda verktyg med olika orienteringar och storlekar. Dessutom måste de förstå effekterna av deras handlingar på de objekt som manipuleras, vilket kan variera avsevärt beroende på vilket verktyg som används.
För att övervinna dessa utmaningar använder TL;DR en kombination av djup förstärkningsinlärning och naturlig språkbehandling. Algoritmen börjar med att lära sig en allmän förståelse för hur verktyg interagerar med objekt från en uppsättning demonstrationer. Denna kunskap används sedan för att generera textbeskrivningar av de åtgärder som krävs för specifika uppgifter, till exempel "hamra spiken i träet" eller "lyft koppen med gaffeln."
När textinstruktionerna har genererats använder TL;DR en naturlig språkbehandlingsmodell för att extrahera nyckelåtgärderna och objekten. Dessa åtgärder representeras sedan med SMPL-formatet, en standardrepresentation för rörelsedata.
Slutligen använder algoritmen djup förstärkningsinlärning för att finjustera robotens handlingar baserat på dess verkliga erfarenheter. Detta gör att roboten kan anpassa sig till variationer i miljön och lära sig hur man använder verktyg effektivt.
I experiment visade forskarna att TL;DR avsevärt överträffar befintliga metoder för inlärning av robotverktyg, särskilt när de hanterar nya objekt och verktyg. Algoritmen kunde också lära sig hur man använder komplexa verktyg, som pincett, för att manipulera små föremål.
Forskarna förutser att TL;DR kan ha viktiga konsekvenser för robotapplikationer inom olika områden, inklusive tillverkning, sjukvård och autonom utforskning. Genom att göra det möjligt för robotar att lära sig att använda verktyg intuitivt kan TL;DR utöka utbudet av uppgifter som robotar kan utföra och minska behovet av mänskligt ingripande.
Studien var medförfattare av Anirudha Parasuraman, Jialin Se och Peter Fazli. Forskningen stöddes av ONR, NSF, Samsung, Toyota Research Institute och MIT-IBM Watson AI Lab.
