Forskare vid Purdue University vid School of Electrical and Computer Engineering utvecklar integrerande språk- och visionprogramvara som kan göra det möjligt för en autonom robot att interagera med människor i olika miljöer och uppnå navigationsmål.

"Projektets övergripande mål är att berätta för roboten att hitta en viss person, rum eller byggnad och låta roboten interagera med vanliga, otränade människor att be på naturligt språk om vägbeskrivning mot en viss plats, "sa Jeffrey Mark Siskind, en docent som leder forskargruppen. "För att klara denna uppgift, roboten måste fungera säkert i människors närvaro, uppmuntra dem att ge anvisningar och använda sin information för att hitta målet. "

Doktoranderna Thomas Ilyevsky och Jared Johansen arbetar tillsammans med Siskind för att utveckla en robot vid namn Hosh som kan integrera grafisk och språklig data i sin navigationsprocess för att hitta en specifik plats eller person. Teamet utvecklar roboten genom ett bidrag som finansieras av National Science Foundation National Robotics Initiative.

Denna robot kan hjälpa självkörande bilar att kommunicera med passagerare och fotgängare eller kan slutföra småskaliga uppgifter på en affärsplats, till exempel att leverera post. Roboten skulle bidra till den förväntade tillväxten på 14 miljarder dollar för konsumentrobotindustrin år 2025, som projekteras av Boston Consulting Group.

Roboten kommer att få en uppgift att hitta ett specifikt rum, byggnad eller individ på en känd eller okänd plats. Sedan, roboten kommer att förena nytt språk och visuell bearbetning för att navigera i miljön, fråga om vägen, begära att dörrar ska öppnas eller hissknappar trycks in och nå sitt mål.

Forskarna utvecklar mjukvara på hög nivå för att ge roboten "kunskap om sunt förnuft, "förmågan att förstå objekt och miljöer med intuition på mänsklig nivå, gör det möjligt att känna igen navigeringskonventioner. Till exempel, roboten kommer att införliva både talade uttalanden och fysiska gester i sin navigationsprocess.

"Roboten behöver intuition på mänsklig nivå för att förstå navigeringskonventioner, "Ilyevsky sa." Det är här kunskapen om sunt förnuft kommer in. Roboten borde veta att udda och jämna numrerade rum sitter mittemot varandra i en hall eller att rum 317 ska ligga på byggnadens tredje våning. "

För att utveckla robotens sunt förnuft, forskningen kommer att utveckla integrerande programvara för naturligt språk och datorsyn. Vanligtvis, naturlig språkbehandling kommer att göra det möjligt för roboten att kommunicera med människor medan datorsynprogramvaran gör det möjligt för roboten att navigera i sin omgivning. Dock, forskarna utvecklar programvaran för att informera varandra när roboten rör sig.

"Roboten måste förstå språk i ett visuellt sammanhang och vision i ett språkligt sammanhang, "Siskind sa." Till exempel, när du hittar en specifik person, roboten kan ta emot information i en kommentar eller fysisk gest och måste förstå båda inom ramen för sina navigationsmål. "

Till exempel, om svaret är "Sök efter den personen i rum 300, "roboten kommer att behöva bearbeta uttalandet i ett visuellt sammanhang och identifiera i vilket rum det är för närvarande samt den bästa vägen för att nå rum 300. Om svaret är" Den personen är där borta "med en fysisk signal, roboten måste integrera den visuella signalen med uttalandets mening för att identifiera person A.

"Att interagera med människor är ett olöst problem inom artificiell intelligens, "Sa Johansen." För detta projekt, vi försöker hjälpa roboten att förstå vissa konventioner som den kan stöta på eller att förutse att ett dussin olika svar alla kan ha samma innebörd. "

"Vi förväntar oss att denna teknik kommer att vara riktigt stor, eftersom industrin av autonoma robotar och självkörande bilar blir väldigt stor, "Siskind sa." Tekniken kan anpassas till självkörande bilar, låta bilarna be om vägbeskrivning eller passagerare att begära en specifik destination, precis som mänskliga förare gör. "

Forskarna förväntar sig att skicka roboten på autonoma uppdrag med växande komplexitet allt eftersom tekniken utvecklas. Först, roboten lär sig att navigera inomhus på ett enda golv. Sedan, att flytta till andra våningar och byggnader, det kommer att be folk att använda hissen eller öppna dörrar för den. Forskarna hoppas kunna gå vidare till utomhusuppdrag under våren.