Framsteg inom datorgenererade bilder har gjort levande, realistiska animationer till livet, men ljuden i samband med det vi ser simuleras på skärmen, som att två föremål kolliderar, är ofta inspelningar. Nu har forskare vid Stanford University utvecklat ett system som automatiskt återger exakta ljud för en mängd olika animerade fenomen.

"Det har funnits en helig gral i beräkningen av att kunna simulera verkligheten för människor. Vi kan animera scener och återge dem visuellt med fysik och datorgrafik, men, när det gäller ljud, de är vanligtvis påhittade, "sa Doug James, professor i datavetenskap vid Stanford University. "För närvarande finns det inget sätt att generera realistiska synkroniserade ljud för komplext animerat innehåll, t.ex. stänk av vatten eller föremål som kolliderar, automatiskt. Detta fyller det tomrummet. "

Forskarna kommer att presentera sitt arbete med detta ljudsyntessystem som en del av ACM SIGGRAPH 2018, den ledande konferensen om datorgrafik och interaktiva tekniker. Förutom att levandegöra filmer och virtual reality -världar, detta system kan också hjälpa verkstadsföretag att prototyper hur produkter skulle låta innan de produceras fysiskt, och förhoppningsvis uppmuntra mönster som är tystare och mindre irriterande, sa forskarna.

"Jag har spenderat år på att försöka lösa partiella differentialekvationer - som styr hur ljud sprider sig - för hand, "sa Jui-Hsien Wang, en doktorand i James lab och vid Institute for Computational and Mathematical Engineering (ICME), och huvudförfattare till tidningen. "Det här är faktiskt en plats där du inte bara löser ekvationen utan du kan faktiskt höra den när du väl har gjort det. Det är verkligen spännande för mig och det är kul."

Förutsäger ljud

Informerad av geometri och fysisk rörelse, systemet räknar ut vibrationerna för varje objekt och hur, som en högtalare, dessa vibrationer upphetsar ljudvågor. Den beräknar tryckvågorna som avges av snabbt rörliga och vibrerande ytor men replikerar inte rumsakustik. Så, även om det inte återskapar ekon i en stor katedral, det kan lösa detaljerade ljud från scenarier som en kraschande cymbal, en skål upp och ner som snurrar till ett stopp, ett glas som fylls med vatten eller en virtuell karaktär som pratar in i en megafon.

De flesta ljud som är associerade med animationer är beroende av förinspelade klipp, som kräver stor manuell ansträngning för att synkronisera med åtgärden på skärmen. Dessa klipp är också begränsade till ljud som finns - de kan inte förutsäga något nytt. Andra system som producerar och förutsäger ljud lika exakta som James och hans team fungerar endast i speciella fall, eller anta att geometrin inte deformeras särskilt mycket. De kräver också en lång förberäkningsfas för varje separat objekt.

"Vår är i princip bara en render-knapp med minimal förbehandling som behandlar alla objekt tillsammans i en akustisk vågsimulering, "sa Ante Qu, en doktorand i James lab och medförfattare till uppsatsen.

Det simulerade ljudet från denna metod är mycket detaljerat. Den tar hänsyn till ljudvågorna som produceras av varje objekt i en animering men förutspår också hur dessa vågor böjer sig, studsa eller döda baserat på deras interaktioner med andra föremål och ljudvågor i scenen.

Utmaningar framöver

I sin nuvarande form, gruppens process tar ett tag att skapa den färdiga produkten. Men, nu när de har bevisat denna tekniks potential, de kan fokusera på prestandaoptimeringar, som att implementera sin metod på parallell GPU -hårdvara, det borde göra det drastiskt snabbare.

Och, även i nuvarande tillstånd, resultaten är värda att vänta.

"De första vattenljuden vi genererade med systemet var bland de bästa vi hade simulerat-och vatten är en stor utmaning för datorgenererat ljud, "sa James." Vi trodde att vi kanske skulle få en liten förbättring, men det är dramatiskt bättre än tidigare tillvägagångssätt även direkt ur lådan. Det var verkligen slående. "

Även om gruppens arbete troget har återgivit ljud från olika objekt som snurrar, faller och slår i varandra, mer komplexa föremål och interaktioner - som de ekade tonerna av en Stradivarius -fiol - är fortfarande svåra att modellera realistiskt. Den där, gruppen sa, får vänta på en framtida lösning.