Att fånga interaktiva handposer i realtid och med realistiska resultat är ett väl undersökt problem inom datoranvändning, speciellt mänskligt centrerad dator- och motion capture-teknik. Människohänder är komplexa – ett invecklat system av flexorer, förlängare, och sensoriska förmågor fungerar som vårt primära sätt att manipulera fysiska föremål och kommunicera med varandra. Den exakta rörelsefångningen av händer är relevant och viktig för många applikationer, som spel, förstärkta och virtuella verklighetsdomäner, robotik, och den biomedicinska industrin.

Ett globalt team av datavetare från ETH Zürich och New York University har vidareutvecklat detta forskningsområde genom att utveckla en användarvänlig, stretch-avkännande datahandske för att fånga realtid, interaktiva handposer med mycket mer precision.

Forskargruppen, inklusive Oliver Glauser, Shihao Wu, Otmar Hilliges, och Olga Sorkine-Hornung från ETH Zürich och Daniele Panozzo från NYU, kommer att visa sin innovativa handske på SIGGRAPH 2019, hölls 28 juli-1 augusti i Los Angeles. Denna årliga sammankomst visar upp världens ledande proffs, akademiker, och kreativa hjärnor i framkant av datorgrafik och interaktiva tekniker.

Den största fördelen med deras stretch-avkännande handskar, säger forskarna, är att de inte kräver en kamerabaserad uppställning – eller någon extra extern utrustning – och kan börja spåra handpositioner i realtid med endast minimal kalibrering.

"Såvitt vi vet, våra handskar är de första exakta handfångande datahandskarna baserade enbart på sträcksensorer, säger Glauser, en huvudförfattare till verket och en Ph.D. student vid ETH Zürich. "Handskarna är mjuka och tunna, vilket gör dem mycket bekväma och diskreta att bära, även med 44 inbyggda sensorer. De kan tillverkas till en låg kostnad med verktyg som vanligtvis finns tillgängliga i tillverkningslaboratorier."

Glauser och medarbetare satte sig för att övervinna några ihållande utmaningar i replikeringen av exakta handställningar. I det här arbetet, de tog upp hinder som att fånga handrörelser i realtid i en mängd olika miljöer och miljöer, samt att endast använda användarvänlig utrustning och ett lättlärt tillvägagångssätt för installation. De visar att deras stretchavkännande mjuka handskar är framgångsrika i att exakt beräkna handställningar i realtid, även när användaren håller ett fysiskt föremål, och under förhållanden som svag belysning.

Forskarna använde en silikonblandning i form av en hand utrustad med 44 stretchsensorer och fäste denna på en handske gjord av mjuk, tunt tyg. För att rekonstruera handställningen från sensoravläsningarna, forskarna använder en datadriven modell som utnyttjar själva sensorns layout. Modellen tränas endast en gång; och att samla in träningsdata, forskarna använder en billig, hyllsystem för rekonstruktion av handposer.

För studien, de jämför noggrannheten hos sina sensorhandskar med två toppmoderna kommersiella handskarprodukter. I alla utom en handposition, forskarnas roman, stretch-avkännande handskar fick lägst felavkastning för varje interaktiv pose.

I framtida arbete, Teamet har för avsikt att utforska hur en liknande sensormetod kan användas för att spåra en hel arm för att få handskens globala position och orientering, eller kanske till och med en helkroppsdräkt. För närvarande har forskarna tillverkat medelstora handskar, och de skulle vilja expandera till andra storlekar och former.

"Detta är ett redan väl studerat problem men vi hittade nya sätt att ta itu med det när det gäller sensorerna som används i vår design och vår datadrivna modell, ", konstaterar Glauser. "Det som också är spännande med detta arbete är den multidisciplinära karaktären av att arbeta med detta problem. Det krävde expertis från olika områden, inklusive materialvetenskap, tillverkning, ellära, Datorgrafik, och maskininlärning."