Forskare vid Universitat Autònoma de Barcelona (UAB) har nyligen utvecklat en ansiktsföljande robotarm med emotiondetektering inspirerad av Pixar Animation Studios Luxo Jr.-lampa. Denna robot presenterades av Vernon Stanley Albayeros Duarte, en datavetenskaplig examen vid UAB, i sin slutuppsats.

"Idén bakom vår robot är till stor del baserad på Pixars Luxo Jr. lampshorts, " Albayeros Duarte berättade för TechXplore. "Jag ville bygga en robot som efterliknade lampans beteende i shortsen. Jag är väldigt intresserad av makerscenen och har hållit på med 3D-utskrift i några år, så jag satte mig för att bygga ett slags "husdjur" för att visa några intressanta interaktioner mellan människa och maskin. Det är härifrån hela temat "ansiktsföljning/känsloupptäckt" kommer ifrån, eftersom det visade sig vara väldigt svårt att få lampan att hoppa runt som de i Pixar-shortsen, men behöll ändå känslan av "djurleksak" om projektet."

Eftersom denna studie var en del av Albayeros Duartes kurser, han var tvungen att uppfylla vissa krav som ställdes upp av UAB. Till exempel, det huvudsakliga syftet med uppsatsen var att studenterna skulle lära sig om Googles molntjänster och hur dessa kan användas för att ladda ner datorresurser i projekt som inte är beräkningsmässigt starka för dem.

Raspberry Pi är en liten och prisvärd dator, som har betydande beräkningsbegränsningar. Dessa begränsningar gör det till den perfekta kandidaten att utforska användningen av Googles molnplattform för beräkningstäta uppgifter, t.ex. känsloretektering.

Albayeros Duarte bestämde sig därför för att använda en Raspberry Pi för att utveckla en liten robot med förmåga att upptäcka känslor. Hans robots huvudkropp är LittleArm 2C, en robotarm skapad av Slant Concepts grundare, Gabe Bentz.

"Jag kontaktade Slant Concepts för att be om tillåtelse att modifiera deras robotarm så att den skulle hålla en kamera i slutet, skapade sedan elektronikhöljet och baserar mig själv, "Sa Albayeros Duarte.

Roboten designad av Albayeros Duarte "sveper" en kamera från vänster till höger, ta ett foto och använda OpenCV, ett bibliotek med programmeringsfunktioner som ofta används för datorvisionsapplikationer, för att upptäcka ett ansikte inom dess ram. När roboten når slutet av vardera sidan, den höjer eller sänker kameran ett par grader och återupptar sin svepande rörelse.

"När den hittar ett ansikte, roboten stoppar den svepande rörelsen och kontrollerar om ansiktet håller sig inom synfältet i mer än en handfull ramar, " Albayeros Duarte förklarade. "Detta säkerställer att det inte "leker" med falska positiva i ansiktsdetektering. Om roboten bekräftar att den faktiskt har hittat ett ansikte, den växlar till "ansiktsföljande"-delen av algoritmen, där den försöker hålla ansiktet centrerat inom sitt synfält. Att göra detta, den panorerar och lutar i enlighet med rörelserna hos personen som den observerar."

Medan roboten följer personens rörelser i dess synfält, den tar en bild av deras ansikte och skickar den till Googles Cloud Vision API. Googles plattform analyserar sedan bilden och upptäcker det aktuella känslomässiga tillståndet hos personen i den, klassificera det som ett av 5 känslotillstånd:glädje, ilska, sorg, överraskning eller neutral.

"När roboten får resultaten av denna analys, det härmar vilket känslomässigt tillstånd användaren än befinner sig i, " sa Albayeros Duarte. "Av glädje hoppar den runt lite, för ilska gör den en liten huvudskakning i ogillande, för sorg tappar den ner till marken och ser upp till dig, och för överraskning går den bakåt. Roboten har också en LED-ring som klarar hela RGB-färgomfånget, som den använder för att komplettera dessa åtgärder."

Beroende på vilken känsla den upptäcker, robotens "sopningsbeteende" förändras. Om den upptäcker glädje sveper den lite snabbare, för ilska rör den sig så fort som möjligt (utan att kompromissa med kvaliteten på dess ansiktsdetektion), för sorg sveper den i en nedåtgående eller "hängande" position och för överraskning skakar den slumpmässigt medan den sveper. I vart och ett av dessa "lägen", roboten blinkar olika färger på sin RGB LED -ring:gula och varma färger för glädje, klarröd för ilska, blå och kalla färger för sorg och en blandning av gult och grönt för överraskning.

"Jag tror att det finns en enorm outnyttjad potential för 'husdjursliknande' robotar, ", sa Albayeros Duarte. "Från att göra personliga assistenter som Amazons Alexa och Google Assistant mer interaktiva och naturliga, att potentiellt hjälpa funktionshindrade att bli mer självförsörjande genom sin hjälp, att ha en robot som reagerar på ditt nuvarande känslotillstånd kan ha en enorm inverkan på uppfattningen av dessa enheter. Till exempel, en assistent för äldre personer som kan känna igen känslomässigt lidande skulle kunna skicka ut tidiga varningar om de skulle behöva sanitär hjälp, medan en robot som används för att hjälpa till att utveckla motoriska färdigheter hos barn med rörelsehinder kan upptäcka om barnet tappar intresset eller blir mer engagerat i en aktivitet och anpassa dess svårighetsgrad därefter."

Förutom att vara ett utmärkt exempel på hur Googles molnplattform kan användas för att ladda ner beräkningsresurser, Albayeros Duartes projekt tillhandahåller en uppsättning modeller för 3D-utskrift som kan användas för att reproducera hans robot eller skapa anpassningar av den, tillsammans med räkningen av nödvändigt material. Just nu, forskaren samarbetar också med Fernando Vilariño, Biträdande direktör vid Computer Vision Center (CVC) och ordförande för European Network of Living Labs (ENoLL), på ett projekt som syftar till att inspirera yngre generationer att ta en karriär inom STEM, samt om att bygga den fysiska datorgemenskapen vid UAB, riktar sig till alla som är intresserade av att skapa sina egna projekt.

"Vi har varit på Barcelonas Youth Mobile Festival, en ungdomsorienterad Mobile World Congress (MWC) anordnad av samma personer som MWC, ", sa Albayeros Duarte. "Att doppa tårna i interaktiva robotar som den här är ett bra sätt att både bygga något som omedelbart får skolgruppernas uppmärksamhet vid dessa evenemang och lär oss mer om robotik på konsumentnivå, i motsats till robotik på industriell nivå."

© 2019 Science X Network