I musik, "portamento" är en term som har använts i hundratals år, hänvisar till effekten av att glida en ton på en tonhöjd till en ton med lägre eller högre tonhöjd. Men bara instrument som kontinuerligt kan variera i tonhöjd – som den mänskliga rösten, stränginstrument, och tromboner—kan dra av effekten.

Nu har en MIT-student uppfunnit en ny algoritm som producerar en portamentoeffekt mellan två valfria ljudsignaler i realtid. I experiment, Algoritmen slog sömlöst samman olika ljudklipp, som en pianoton som glider in i en mänsklig röst, och en låt smälter in i en annan. Hans papper som beskriver algoritmen vann priset "bästa studentuppsats" vid den nyligen genomförda internationella konferensen om digitala ljudeffekter.

Algoritmen förlitar sig på "optimal transport, " ett geometribaserat ramverk som bestämmer de mest effektiva sätten att flytta objekt - eller datapunkter - mellan flera ursprungs- och destinationskonfigurationer. Formulerad på 1700-talet, ramverket har tillämpats på leveranskedjor, vätskedynamik, bildjustering, 3D-modellering, Datorgrafik, och mer.

I arbete som har sitt ursprung i ett klassprojekt, Trevor Henderson, nu doktorand i datavetenskap, tillämpat optimal transport för att interpolera ljudsignaler – eller blanda en signal med en annan. Algoritmen delar först upp ljudsignalerna i korta segment. Sedan, den hittar det optimala sättet att flytta tonhöjderna i varje segment till tonhöjderna i den andra signalen, för att producera portamentoeffektens mjuka glid. Algoritmen inkluderar också specialiserade tekniker för att bibehålla ljudsignalens trohet när den övergår.

"Optimal transport används här för att bestämma hur man mappar tonhöjder i ett ljud till tonhöjderna i det andra, säger Henderson, en klassiskt utbildad organist som framför elektronisk musik och har varit DJ på WMBR 88.1, MIT:s radiostation. "Om det är att förvandla ett ackord till ett ackord med en annan harmoni, eller med fler anteckningar, till exempel, tonerna kommer att delas från det första ackordet och hitta en position att sömlöst glida till i det andra ackordet."

Enligt Henderson, detta är en av de första teknikerna för att tillämpa optimal transport för att transformera ljudsignaler. Han har redan använt algoritmen för att bygga utrustning som sömlöst växlar mellan låtarna i hans radioprogram. DJ:s kan också använda utrustningen för att växla mellan spår under liveframträdanden. Andra musiker kan använda den för att blanda instrument och röst på scenen eller i studion.

Hendersons medförfattare på tidningen är Justin Solomon, en X-Consortium Karriärutveckling biträdande professor vid institutionen för elektroteknik och datavetenskap. Solomon – som också spelar cello och piano – leder Geometric Data Processing Group i Computer Science and Artificial Intelligence Laboratory (CSAIL) och är medlem i Center for Computational Engineering.

Henderson gick Salomons klass, 6.838 (formanalys), som ger eleverna i uppdrag att tillämpa geometriska verktyg som optimal transport till verkliga tillämpningar. Studentprojekt fokuserar vanligtvis på 3D-former från virtuell verklighet eller datorgrafik. Så Hendersons projekt kom som en överraskning för Solomon. "Trevor såg en abstrakt koppling mellan geometri och rörliga frekvenser i ljudsignaler för att skapa en portamentoeffekt, " Solomon säger. "Han var in och ut från mitt kontor hela terminen med DJ-utrustning. Det var inte vad jag förväntade mig att se, men det var ganska underhållande."

För Henderson, det var inte för mycket av en sträcka. "När jag ser en ny idé, Jag frågar, "Gäller det här musik?", säger han. "Så, när vi pratade om optimal transport, Jag undrade vad som skulle hända om jag kopplade den till ljudspektra."

Ett bra sätt att tänka på optimala transporter, Henderson säger, är att hitta "ett lat sätt att bygga ett sandslott." I den analogin, ramverket används för att beräkna sättet att flytta varje sandkorn från sin position i en formlös hög till en motsvarande position i ett sandslott, använda så lite arbete som möjligt. I datorgrafik, till exempel, optimal transport kan användas för att transformera eller förvandla former genom att hitta den optimala rörelsen från varje punkt på en form till den andra.

Att tillämpa denna teori på ljudklipp innebär ytterligare några idéer från signalbehandling. Musikinstrument producerar ljud genom vibrationer av komponenter, beroende på instrument. Violiner använder stråkar, mässingsinstrument använder luft inuti ihåliga kroppar, och människor använder stämband. Dessa vibrationer kan fångas som ljudsignaler, där frekvensen och amplituden (topphöjden) representerar olika tonhöjder.

Konventionellt, övergången mellan två ljudsignaler görs med en toning, där en signal minskar i volym medan den andra stiger. Hendersons algoritm, å andra sidan, glider smidigt frekvenssegment från ett klipp till ett annat, utan att volymen bleknar.

Att göra så, Algoritmen delar upp två valfria ljudklipp i fönster på cirka 50 millisekunder. Sedan, den kör en Fouriertransform, som gör varje fönster till dess frekvenskomponenter. Frekvenskomponenterna i ett fönster klumpas ihop till individuella syntetiserade "noter". Optimal transport kartlägger sedan hur sedlarna i den ena signalens fönster kommer att flyttas till sedlarna i den andra.

Sedan, en "interpolationsparameter" tar över. Det är i grunden ett värde som bestämmer var varje ton kommer att vara på vägen från dess startton i en signal till dess slutton i den andra. Manuell ändring av parametervärdet kommer att svepa tonhöjderna mellan de två positionerna, producerar portamento-effekten. Den enskilda parametern kan också programmeras in i och styras av, säga, en cross-fader, en skjutreglagekomponent på en DJ:s mixerbord som mjukt bleknar mellan låtarna. När cross-fadern glider, Interpolationsparametern ändras för att producera effekten.

Bakom kulisserna finns två innovationer som säkerställer en distorsionsfri signal. Först, Henderson använde en ny tillämpning av en signalbehandlingsteknik, kallad "frekvensomläggning, " som klumpar ihop frekvensfacken för att bilda enstaka toner som lätt kan växla mellan signaler. För det andra, han uppfann ett sätt att syntetisera nya faser för varje ljudsignal samtidigt som han syr ihop 50 millisekundsfönstren, så att närliggande fönster inte stör varandra.

Nästa, Henderson vill experimentera med att mata ut effekten av effekten tillbaka till dess input. Detta, han tror, kan automatiskt skapa en annan klassisk musikeffekt, "legato, " som är en mjuk övergång mellan distinkta toner. Till skillnad från ett portamento – som spelar alla toner mellan en start- och slutnot – övergår en legato sömlöst mellan två distinkta toner, utan att fånga några anteckningar däremellan.

Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.