Virtual Reality (VR) öppnar nya spännande gränser inom utvecklingen av videospel, banar väg för allt mer realistiska, interaktiva och uppslukande spelupplevelser. VR-konsoler, faktiskt, låt spelare känna att de nästan är inne i spelet, övervinna begränsningar förknippade med bildskärmsupplösning och latensproblem.

En intressant ytterligare integration för VR skulle vara känslomässig igenkänning, eftersom detta skulle kunna möjliggöra utvecklingen av spel som svarar på en användares känslor i realtid. Med detta i åtanke, ett team av forskare vid Yonsei University och Motion Device Inc. har nyligen föreslagit en djupinlärningsbaserad teknik som kan möjliggöra igenkänning av känslor under VR-spelupplevelser. Deras papper presenterades vid 2019 IEEE-konferens om virtuell verklighet och 3D-användargränssnitt.

För att VR ska fungera, användare bär huvudmonterade skärmar (HMDs), så att ett spels innehåll kan presenteras direkt framför deras ögon. Att slå samman verktyg för att känna igen känslor med VR-spelupplevelser har därför visat sig vara utmanande, eftersom de flesta maskininlärningsmodeller för att förutsäga känslor fungerar genom att analysera människors ansikten; i VR, en användares ansikte är delvis tilltäppt av HMD.

Teamet av forskare vid Yonsei University och Motion Device tränade tre konvolutionella neurala nätverk (CNN) – nämligen DenseNet, ResNet och Inception-ResNet-V2 – för att förutsäga människors känslor från partiella bilder av ansikten. De tog bilder från Radbound Faces Dataset (RaFD), som inkluderar 8, 040 ansiktsbilder av 67 motiv, redigerade dem sedan genom att täcka den del av ansiktet som skulle blockeras av HMD när du använder VR.

Bilderna som används för att träna algoritmerna visar mänskliga ansikten, men avsnittet som innehåller ögon, öron och ögonbryn är täckta av en svart rektangel. När forskarna utvärderade sina CNN, de fann att de kunde klassificera känslor även utan att analysera dessa speciella egenskaper i en persons ansikte, som anses vara av avgörande betydelse för att känna igen känslor.

Övergripande, CNN som heter DenseNet presterade bättre än de andra, uppnå en genomsnittlig noggrannhet på över 90 procent. Intressant, dock, ResNet-algoritmen överträffade de två andra när det gällde att klassificera ansiktsuttryck som förmedlade rädsla och avsky.

"Vi har framgångsrikt tränat tre CNN-arkitekturer som uppskattar känslorna från de delvis täckta mänskliga ansiktsbilderna, " skrev forskarna i sin uppsats. "Vår studie visade möjligheten att uppskatta känslor från bilder av människor som bär HMDs med hjälp av maskinseende."

Studien tyder på att i framtiden, verktyg för att känna igen känslor kan integreras med VR-teknik, även om HMD:er blockerar delar av en spelares ansikte. Dessutom, de CNN som forskarna utvecklade skulle kunna inspirera andra forskarlag över hela världen att utveckla nya känsloigenkänningstekniker som kan tillämpas på VR-spel.

Forskarna planerar nu att ersätta de svarta rektanglarna de använde i sin studie med riktiga bilder av människor som bär HDM. Detta borde i slutändan göra det möjligt för dem att träna CNN mer tillförlitligt och effektivt, förbereda dem för verkliga tillämpningar.

© 2019 Science X Network