En storögd, mjuk-talande robot som heter Pepper-motorer runt Intelligent Systems Lab vid Rensselaer Polytechnic Institute. En av forskarna testar Pepper, gör olika gester när roboten exakt beskriver vad han gör. När han korsar armarna, roboten identifierar från sitt kroppsspråk att något är avstängt.

"Hallå, var vänlig mot mig, säger Pepper.

Peppers förmåga att uppfatta icke-verbala signaler är ett resultat av den förbättrade "vision" som labbets forskare utvecklar. Med hjälp av avancerad datorseende och artificiell intelligensteknik, teamet förbättrar förmågan hos robotar som denna att naturligt interagera med människor.

"Vad vi har gjort hittills är att lägga till visuell förståelse för roboten, så att den kan uppfatta mänsklig handling och naturligt interagera med människor genom dessa icke-verbala beteenden, som kroppsgester, ansiktsuttryck, och kroppsställning, sa Qiang Ji, professor i el, dator, och systemteknik, och chefen för Intelligent Systems Lab.

Med stöd av statliga medel genom åren, forskare vid Rensselaer har kartlagt det mänskliga ansiktet och kroppen så att datorer, med hjälp av kameror inbyggda i robotarna och maskininlärningsteknologier, kan uppfatta icke-verbala signaler och identifiera mänskliga handlingar och känslor.

Bland annat, Pepper kan räkna hur många personer som är i ett rum, skanna ett område för att leta efter en viss person, uppskatta en individs ålder, känna igen ansiktsuttryck, och bibehålla ögonkontakt under en interaktion.

En annan robot, som heter Zeno, ser mer ut som en person och har motorer i ansiktet som gör att den kan spegla mänskligt uttryck. Forskargruppen har finslipat Zenos förmåga att efterlikna mänskligt ansiktskommunikation i realtid ända ner till ögonbryn – och till och med ögonglob – rörelse.

Ji ser datorseende som nästa steg i att utveckla teknologier som människor interagerar med i sina hem varje dag. För närvarande, mest populära AI-aktiverade virtuella assistenter förlitar sig nästan helt på röstinteraktioner.

"Det finns ingen synkomponent. I grund och botten, det är bara en ljudkomponent, " sade Ji. "I framtiden, vi tror att det kommer att bli multimodalt, med både verbal och icke-verbal interaktion med roboten."

Teamet arbetar med andra visionscentrerade utvecklingar, som teknik som skulle kunna spåra ögonrörelser. Sådana verktyg kan användas på smarta telefoner och surfplattor.

Ji sa att forskningen som görs i hans labb för närvarande stöds av National Science Foundation och Defense Advanced Research Projects Agency. Dessutom, Intelligent Systems Lab har fått finansiering genom åren från offentliga och privata källor inklusive det amerikanska försvarsdepartementet, det amerikanska transportdepartementet, och Honda.

Det Jis team utvecklar kan också användas för att göra vägar säkrare, han sa, genom att installera datorseende system i bilar.

"Vi kommer att kunna använda den här tekniken för att i slutändan upptäcka om föraren är trött, eller föraren är distraherad, " sa han. "Den forskning vi gör är mer mänskligt centrerad AI. Vi vill utveckla AI, maskininlärningsteknik, att utöka inte bara människors fysiska förmågor, men också deras kognitiva förmågor."

Det är där Pepper och Zeno kommer in. Ji föreställer sig en tid då robotar kunde hålla människor sällskap och förbättra deras liv. Han sa att det är det ultimata målet.

"Den här roboten kan vara en följeslagare för människor i framtiden, "Ji sa, pekar på Pepper. "Den kunde lyssna på människor, förstå mänskliga känslor, och svara genom både verbala och icke-verbala beteenden för att möta människors behov."