James Camerons 3D-film Avatar försökte revolutionera filmupplevelsen när den först släpptes 2009, skapa en uppslukande värld för tittarna. Men tänk om du också ville känna värmen och vinden, medan du flyger på en banshee, direkt från din biostol?

Medan ett litet antal så kallade "4-D"-filmer som lägger till ett fysiskt element redan finns, forskare från University of Toronto arbetar på ett sätt att tillämpa funktionen bredare.

"Vanligtvis skakar stolen, det kan förekomma stänk eller någon annan typ av interaktion när du tittar på filmen, säger Yuhao Zhou, en fjärdeårig grundutbildning vid Edward S. Rogers Sr.s avdelning för el- och datorteknik, av den framväxande underhållningen. "Just nu skapas alla dessa effekter från den första produktionsfasen. Vi skulle vilja automatisera den här typen av process för filmer som inte ursprungligen skapades för 4-D-biografer."

Zhou arbetar med Makarand Tapaswi, en U of T postdoktor i datavetenskap, och Sanja Fidler, en biträdande professor vid U of T Mississaugas avdelning för matematiska och beräkningsvetenskapliga vetenskaper och forskaravdelningen för datavetenskap på tre campus. De hade nyligen sitt arbete, Now You Shake Me:Towards Automatic 4-D Cinema, med i en rampljuspresentation vid konferensen Computer Vision and Pattern Recognition (CVPR) i Salt Lake City, Utah.

Zhou säger att en 4D-film vanligtvis uppfattas från förstapersonssynpunkt, eller kamera. Om Will Turner i Pirates of the Caribbean känner hur vinden blåser i hans ansikte, och biobesökaren vill uppleva att vara Turner, då de, för, skulle behöva uppleva vind i ansiktet.

"Vi vill ha en funktion där du bara kan vända en strömbrytare och uppleva vad karaktärer känner, " säger Zhou.

För att ta en vanlig eller 3-D-film till 4-D, forskarna använde en frilanswebbplats för att kommentera filmens effekter för deras 4D-prediktionsmodell.

"Till exempel, [i Sagan om ringen:Ringens gemenskap] Frodo drar upp Sam ur vattnet, men det finns flera effekter som händer samtidigt, " säger Zhou, som började arbeta med Fidler under hans tredje år på grundutbildningen. "Först, han drar i honom – det finns en fysisk interaktion med handen. När Sam går ner i vattnet igen, han drar Frodo, och båten skakar.

"Kameran är din input, " tillägger Tapaswi. "Men i det här fallet vill du inte bara uppleva det som kameran ser, men också en av karaktärerna – återupplev hur karaktärerna kände skakningar och så vidare."

Medan 4-D-teknik fortfarande är utanför utbudet av fysiska interaktioner – dvs. en hand som drar – Tapaswi tänker sig trycksensorer för att simulera beröring när tekniken går framåt. Modellen kan visa sig användbar inom andra områden som virtuell verklighet eller förstärkt verklighet.

"Vi samlar in den här typen av kommentarer för framtida studier, " säger Zhou.

För deras dataset, de tillämpade både effektklassificering och detektion. För effektklassificering, Zhou säger att deras neurala nätverk, en funktion av maskininlärning som möjliggör djup analys och inlärning av data, extraherade funktioner från ett kort klipp, inklusive rörelse och ljud. För upptäckt, han säger, det neurala nätet kan förutsäga effekterna, och var de förekommer, i ett långt videoklipp.

"Du vill inte bara veta vad som händer med en karaktär i en viss bild. Du vill kunna säga, '[effekten] är vind nu, inte bara för att jag ser vinden just nu, men [eftersom] det förmodligen blåste förut, "" säger Tapaswi.

Forskarna fann att vissa genrer av filmer tenderade att dela liknande effekter – till exempel, filmer som utspelar sig i rymden som Interstellar eller Gravity. Detta kan ses som ett nytt sätt att klustra, säger Tapaswi.

"Vanligtvis med 3D-filmer, filmbesökare bär glasögon och sitter i en stol, " säger Zhou. "Med automatisk 4-D-bio, det neurala nätverket skulle bearbeta 2-D- och 3-D-filminformation, mata in den i stolen, och simulera effekterna."