När vi tittar på film eller spelar tv-spel, de rätta ljudeffekterna kan hjälpa till att göra scenerna mer realistiska:När en grislad spelare rullar en silverdollar över ett kortbord i en silikonsalong, ljudet verkar röra sig från öra till öra, ett trick som filmskapare kan åstadkomma genom att foga in ett förinspelat ljud som rör sig från högtalare till högtalare.

Men att skapa sådana sensationer i virtuell verklighet har hittills varit praktiskt taget omöjligt eftersom VR är unscripted. Det är svårt att förutsäga vilka ljud ett föremål kan göra, eller där de kan höras. För att få VR att låta realistiskt, ingenjörer skulle behöva skapa ett stort antal "ljudmodeller" - de datoriserade motsvarigheterna till förinspelningar. Varje ljudmodell skulle göra det möjligt för VR-systemet att syntetisera ett visst ljud i det exakta ögonblicket det behövdes. Fram till nu skulle det ha tagit ett kluster av datorer många timmar att skapa ens en enda ljudmodell, och eftersom många olika modeller skulle behövas för att syntetisera många olika potentiella ljud, att skapa realistiskt ljud i interaktiva miljöer har varit ett svårfångat mål.

Nu har datavetare vid Stanford uppfunnit en algoritm som kan skapa ljudmodeller på några sekunder, vilket gör det kostnadseffektivt att simulera ljud för många olika objekt i en virtuell miljö. När en handling inträffar som kräver ett ljud, den här nya modellen kan syntetisera ett ljud lika realistiskt som de ljud som genereras av de mycket långsammare och fortfarande experimentella algoritmerna från det förflutna. "Att göra det enklare att skapa modeller gör det praktiskt att bygga interaktiva miljöer med realistiska ljudeffekter, sa Doug James, en professor i datavetenskap med en artighetsanställning i musik.

Tidigare algoritmer för att skapa ljudmodeller baserades på arbete utfört av 1800-talsforskaren Hermann von Helmholtz, som gav sitt namn till en ekvation som beskriver hur ljud fortplantar sig. Baserat på denna teoretiska grund, forskare designade algoritmer för att skapa 3D-ljudmodeller:mjukvarurutiner som kan syntetisera ljud som verkar realistiskt eftersom ljudets volym och riktning ändras beroende på var åtgärden sker i förhållande till lyssnaren. Hittills har de bästa algoritmerna för att skapa 3D-ljudmodeller förlitat sig på boundary element method (BEM), en långsam process som var alldeles för kostsam för kommersiellt bruk.

James och hans doktorandkollaboratör, Jui-Hsien Wang, utvecklat en algoritm som beräknar ljudmodeller hundratals till tusentals gånger snabbare genom att undvika Helmholtz-ekvationen och BEM. Deras tillvägagångssätt är inspirerat av den österrikiska kompositören Fritz Heinrich Klein från 1900-talet. som hittade ett sätt att blanda väldigt många pianotoner och toner till en singel, behagligt ljud känt som Mother Chord. Forskarna – som döpte sin algoritm till KleinPAT i en nick till hans inspiration – förklarar hur deras tillvägagångssätt skapar ljudmodeller i en vetenskaplig artikel som de presenterar på ACM SIGGRAPH 2019-konferensen om datorgrafik och interaktiva tekniker. "Vi tror att det här är en game changer för interaktiva miljöer, " sa James.