Det är ett vardagsscenario:du kör på motorvägen när du i ögonvrån ser en bil som går över i ditt körfält utan att signalera. Hur snabbt kan dina ögon reagera på den där visuella stimulansen? Skulle det göra någon skillnad om den felande bilen var blå istället för grön? Och om den gröna färgen förkortade perioden mellan den första uppkomsten av stimulansen och när ögat började röra sig mot det (känd för forskare som saccade), skulle förare kunna dra nytta av en augmented reality-överlagring som gjorde varje sammansmältande fordon grönt?

Qi Sun, en gemensam professor vid Tandons avdelning för datavetenskap och teknik och Center for Urban Science and Progress (CUSP), samarbetar med neuroforskare för att ta reda på det.

Han och hans Ph.D. student Budmonde Duinkharjav – tillsammans med kollegor från Princeton, University of North Carolina och NVIDIA Research – skrev nyligen uppsatsen "Image Features Influence Reaction Time:A Learned Probabilistic Perceptual Model for Saccade Latency", som presenterar en modell som kan användas för att förutsäga tidsmässigt blickbeteende, särskilt saccadisk latens, som en funktion av statistiken för en visad bild. Inspirerad av neurovetenskap kan modellen i slutändan få stora konsekvenser för motorvägssäkerhet, telemedicin, e-sport och på vilken annan arena som helst där AR och VR utnyttjas.

"Även om AR/VR-teknik kanske inte förvandlar oss till supermänniskor direkt," säger Sun, som leder Immersive Computing Lab vid Tandon, "är potentialen hos dessa nya former av framväxande media för att öka mänsklig prestanda mycket spännande."

"Image Features Influence Reaction Time" fick bästa uppsatsutmärkelser vid Association for Computing Machinery's 2022 SIGGRAPH (Special Interest Group on Computer Graphics and Interactive Techniques), fältets främsta årliga konferens, och en andra tidning som Sun var medförfattare av, "Joint Neural Fashämtning och komprimering för energi- och beräkningseffektiv holografi på kanten," fick ett hedersomnämnande.

I den andra artikeln gräver han och hans medförfattare in i utmaningarna med att skapa holografiska skärmar med hög kvalitet, som kräver större beräkningsbehov och energiförbrukning än vad många enheter kan tillhandahålla; som forskarna påpekar är inte ens att utföra beräkningar helt på en molnserver en effektiv lösning eftersom det kan resultera i oöverkomligt hög latens och lagring. De föreslår istället ett innovativt ramverk som gemensamt genererar och komprimerar högkvalitativa hologram genom att distribuera beräkningen och optimera överföringen – vilket resulterar i en 83 % minskning av energikostnaderna och avsevärt minskade genomsnittliga bithastigheter och avkodningstider.

I ett annat dokument nyligen hävdade Sun, en före detta forskare vid mjukvarujätten Adobe, att vi kan förutsäga och ändra människors uppfattning av tid, även inom ett intervall på flera minuter, genom att ändra olika visuella funktioner som ses i VR-inställningar. "Tidsuppfattning är flytande," förklarar han, "och våra resultat har potential att ha en djupgående inverkan i verkliga situationer. Föreställ dig till exempel att vi skulle kunna minska hur mycket smärta en patient uppfattar under en medicinsk procedur med användningen av VR eller hjälpa en pilot i träning att känna mindre trötthet. Det finns till och med tillämpningar inom ett område som stadsplanering eftersom upplevda väntetider för kollektivtrafik är en källa till missnöje för pendlare i många städer."

När neurovetenskapsmän gör nya upptäckter om hur hjärnan fungerar, hoppas Sun få dem att visa upp sig i framväxande media för att få tillgång till verkliga fördelar. "Tänk på hjärnan som en dator med låg effekt", säger han. "Vi vet att ny teknik har en effekt på vår kognition och vårt beteende, och vi borde utnyttja det för samhällets bästa och hjälpa till att förhindra negativa effekter."