Ett team av forskare från Rochester Institute of Technology tog topppriset i en internationell tävling som hölls av Facebook Research för att utveckla effektivare eyetracking-lösningar. Laget, ledd av tre Ph.D. studenter från Chester F. Carlson Center for Imaging Science, vann förstaplatsen i OpenEDS Challenge fokuserad på semantisk segmentering.

Virtual reality-produkter som Oculus VR är beroende av eyetracking för att skapa uppslukande upplevelser. Eye tracking måste vara exakt, exakt och fungerar hela tiden, för varje person, i vilken miljö som helst.

"För närvarande görs ögonspårning genom att detektera pupillen och passa in en två- eller tredimensionell modell på data, " sa Aayush Chaudhary, en bildvetenskaplig Ph.D. student från Nepal och en av huvudförfattarna till den prisbelönta uppsatsen. "Det övergripande målet med OpenEDS Challenge var att separera iris, pupill och sclera i bilder av ögat så att 2-D- och 3-D-modeller kan passa ihop med en kompakt modell."

För att hjälpa till att utöka applikationerna där eyetracking kan användas, Facebook Research utfärdade utmaningen att skapa robusta datormodeller som kan fungera i realtid. De krävde att den vinnande lösningen var korrekt, robust och extremt strömsnål.

"När vi pratar om att göra ögonspårning på en enhet som din mobiltelefon, du behöver modeller som är små, som kan köras i realtid, " sa Rakshit Kothari, en bildvetenskaplig Ph.D. student från Indien. "Du måste bara kunna ta fram din mobiltelefon och få den att fungera direkt, utan mycket beräkning."

Med stöd från sina rådgivare, tre bildvetenskaplig Ph.D. studenter – Kothari, Chaudhary, och Manoj Acharya från Nepal – ägnade en månad av sin forskningstid åt att utveckla lösningen. De körde otaliga modeller över det spannet, ständigt förfina sitt tillvägagångssätt och gå vidare i utmaningen den sista tävlingsdagen. Längs vägen, de övervann flera oförutsedda hinder för att bygga en praktisk modell.

"Det finns förhållanden som vi aldrig förutsett som kan komma upp i dessa bilder, som vår modell var tvungen att på ett intelligent sätt ta hand om, sade Acharya. Som ett exempel, om du lärde den här modellen hur man hittar dessa funktioner med hjälp av bilder där människor inte bär någon ögonsmink, och så plötsligt kommer någon in med mycket mascara, som skulle kunna kasta bort det helt. Du behöver en modell för att vara smart och intelligent nog att komma runt det."

Det tvärvetenskapliga projektet krävde samarbete mellan laboratorier och högskolor vid RIT. De tre primära författarna samarbetade med medförfattare inklusive Nitinraj Nair, en doktorand i datavetenskap från Indien, och Sushil Dangi, en bildvetenskaplig Ph.D. student från Nepal. De arbetade nära sina rådgivare:Frederick Wiedman Professor Jeff Pelz, biträdande professor Gabriel Diaz, och biträdande professor Christopher Kanan från College of Science, och professor Reynold Bailey från Golisano College of Computing and Information Sciences.

Forskarna arbetar i fyra RIT-labb – Multidisciplinary Vision Research Laboratory (MVRL), PerForM (Perception for Movement) Lab, Maskin- och neuromorfisk perceptionslaboratoriet (kLab) och Computer Graphics and Applied Perception Lab.

Teammedlemmar kommer att presentera sin lösning på OpenEDS Workshop 2019:Eye Tracking för VR och AR vid International Conference on Computer Vision (ICCV) i Seoul, Korea den 2 november.

Laget vann $5, 000 och kommer att donera prispengarna till det nyligen etablerade Willem "Bill" Brouwer Endowed Fellowship för att stödja doktorandforskning i Chester F. Carlson Center for Imaging Science.

Mer information finns på Facebook Research OpenEDS Challenges webbplats.