Den tyska kompositören Ludwig von Beethoven dirigerar en stråkkvartett, cirka 1810. Tecknad av konstnären Borckmann. Rischgitz/Getty Images När Ludwig von Beethoven dog 1827, han var tre år bort från avslutningen av sin nionde symfoni, ett verk som varnat av många som hans magnum opus. Han hade börjat arbeta med sin 10:e symfoni men, på grund av försämrad hälsa, kunde inte göra stora framsteg:Allt han lämnade efter var några musikaliska skisser.
Sen dess, Beethovens fans och musikforskare har förbryllat och beklagat över vad som kunde ha varit. Hans anteckningar retade med en fantastisk belöning, om än en som för alltid verkade vara utom räckhåll.
Nu, tack vare arbetet i ett team av musikhistoriker, musikforskare, kompositörer och datavetare, Beethovens vision kommer att få liv.
Jag ledde projektets artificiella intelligens, ledande en grupp forskare vid den kreativa AI -starten Playform AI som lärde en maskin både hela Beethovens arbete och hans kreativa process.
En fullständig inspelning av Beethovens 10:e symfoni kommer att släppas den 9 oktober, 2021, samma dag som världspremiärföreställningen planeras att äga rum i Bonn, Tyskland-kulmen på en tvåårig insats.
Omkring 1817, Royal Philharmonic Society i London gav Beethoven i uppdrag att skriva sina nionde och tionde symfonier. Skriven för en orkester, symfonier innehåller ofta fyra satser:den första utförs i ett snabbt tempo, den andra i en långsammare, den tredje i ett medelhögt eller snabbt tempo, och den sista i ett snabbt tempo.
Beethoven fullbordade sin nionde symfoni 1824, som avslutas med den tidlösa "Oden till glädjen".
Men när det gällde den tionde symfonin, Beethoven lämnade inte mycket efter sig, annat än några musiknoter och en handfull idéer som han hade skrivit ner.
Det har varit några tidigare försök att rekonstruera delar av Beethovens 10:e symfoni. Mest känt, 1988, musikforskaren Barry Cooper vågade sig för att slutföra de första och andra satserna. Han flätade ihop 250 barer musik från skisserna för att skapa det som var, enligt hans uppfattning, en produktion av den första satsen som var trogen Beethovens vision.
Ändå gjorde glesheten i Beethovens skisser det omöjligt för symfoniexperter att gå längre än den första satsen.
I början av 2019, Dr Matthias Röder, direktören för Karajan Institute, en organisation i Salzburg, Österrike, som främjar musikteknik, kontaktade mig. Han förklarade att han satte ihop ett team för att slutföra Beethovens 10:e symfoni för att fira kompositörens 250 -årsdag. Medveten om mitt arbete med AI-genererad konst, han ville veta om AI skulle kunna hjälpa till att fylla i ämnena som Beethoven lämnade.
Utmaningen verkade skrämmande. För att dra av det, AI skulle behöva göra något som det aldrig hade gjort tidigare. Men jag sa att jag skulle ge det ett skott.
Röder sammanställde sedan ett team som inkluderade den österrikiska kompositören Walter Werzowa. Berömd för att skriva Intels signatur bong jingle, Werzowa fick i uppgift att sätta ihop en ny typ av komposition som skulle integrera vad Beethoven lämnade efter sig med vad AI skulle generera. Mark Gotham, en beräkningsmusikexpert, ledde ansträngningen att transkribera Beethovens skisser och bearbeta hela hans arbete så att AI kunde tränas ordentligt.
I teamet fanns också Robert Levin, en musikolog vid Harvard University som också råkar vara en otrolig pianist. Levin hade tidigare avslutat ett antal ofullständiga 1700-talsverk av Mozart och Johann Sebastian Bach.
I juni 2019, gruppen samlades för en tvådagars workshop på Harvards musikbibliotek. I ett stort rum med ett piano, en tavla och en bunt med Beethovens skissböcker som spänner över de flesta av hans kända verk, vi pratade om hur fragment kan förvandlas till ett komplett musikstycke och hur AI kan hjälpa till att lösa detta pussel, samtidigt som han fortfarande är trogen Beethovens process och vision.
Musikexperterna i rummet var ivriga att lära sig mer om den typ av musik AI hade skapat tidigare. Jag berättade för dem hur AI framgångsrikt hade skapat musik i Bach -stil. Dock, detta var bara en harmonisering av en inmatad melodi som lät som Bach. Det kom inte i närheten av vad vi behövde göra:konstruera en hel symfoni av en handfull fraser.
En pianospelare och en stråkkvartett utför en del av Beethovens 10:e symfoni gjord med artificiell intelligens vid Telekoms högkvarter i Bonn, Tyskland, den 13 december 2019. INA FASSBENDER/AFP via Getty Images Under tiden, forskarna i rummet - inklusive jag själv - ville lära sig mer om vilken typ av material som fanns tillgängligt, och hur experterna tänkt sig att använda dem för att slutföra symfonin.
Uppgiften kristalliserade så småningom. Vi skulle behöva använda anteckningar och färdiga kompositioner från hela Beethovens verk - tillsammans med tillgängliga skisser från 10:e symfonin - för att skapa något som Beethoven själv skulle ha skrivit.
Detta var en enorm utmaning. Vi hade ingen maskin som vi kunde mata skisser till, tryck på en knapp och låt den spotta ut en symfoni. De flesta AI tillgängliga vid den tiden kunde inte fortsätta ett ofullbordat musikstycke längre än några sekunder till.
Vi skulle behöva flytta gränserna för vad kreativ AI kunde göra genom att lära maskinen Beethovens kreativa process - hur han skulle ta några musikstänger och omsorgsfullt utveckla dem till rörande symfonier, kvartetter och sonater.
När projektet fortskred, den mänskliga sidan och maskinsidan av samarbetet utvecklades. Werzowa, Gotham, Levin, och Röder dechiffrerade och transkriberade skisserna från 10:e symfonin, försöker förstå Beethovens avsikter. Med sina färdiga symfonier som mall, de försökte sätta ihop pusslet om vart fragmenten av skisser skulle ta vägen - vilken rörelse, vilken del av rörelsen.
De var tvungna att fatta beslut, som att avgöra om en skiss indikerade utgångspunkten för en scherzo, som är en mycket livlig del av symfonin, typiskt i den tredje satsen. Eller så kan de bestämma att en musiklinje sannolikt var grunden för en fuga, som är en melodi skapad av sammanvävda delar som alla ekar ett centralt tema.
AI -sidan av projektet - min sida - stötte på en rad utmanande uppgifter.
Först, och mest i grunden vi behövde ta reda på hur vi skulle ta en kort fras, eller till och med bara ett motiv, och använda den för att utveckla en längre, mer komplicerad musikstruktur, precis som Beethoven skulle ha gjort. Till exempel, maskinen fick lära sig hur Beethoven konstruerade den femte symfonin av ett grundläggande motiv med fyra toner.
Nästa, eftersom fortsättningen av en fras också måste följa en viss musikalisk form, om det är en scherzo, trio eller fuga, AI behövdes för att lära sig Beethovens process för att utveckla dessa former.
Att göra-listan växte:Vi var tvungna att lära AI hur man tar en melodisk linje och harmoniserar den. AI behövde lära sig att överbrygga två sektioner av musik tillsammans. Och vi insåg att AI måste kunna komponera en koda, vilket är ett segment som tar ett avsnitt av ett musikstycke till sitt slut.
Till sist, när vi hade en fullständig komposition, AI skulle behöva ta reda på hur man orkestrerar det, vilket innebär att tilldela olika instrument för olika delar.
Och den var tvungen att ta bort dessa uppgifter på det sätt Beethoven skulle kunna göra det.
I november 2019, laget träffades personligen igen - den här gången, i Bonn, på Beethoven House Museum, där kompositören föddes och växte upp.
Detta möte var lakmusprovet för att avgöra om AI kunde slutföra detta projekt. Vi skrev ut musikmusik som hade utvecklats av AI och byggde ut skisser från Beethovens 10:e. En pianist uppträdde i en liten konsertsal i museet inför en grupp journalister, musikforskare och Beethoven -experter.
Vi utmanade publiken att avgöra var Beethovens fraser slutade och var AI -extrapolationen började. De kunde inte.
Några dagar senare, en av dessa AI-genererade poäng spelades av en stråkkvartett i en presskonferens. Endast de som intimt kände Beethovens skisser för 10:e symfonin kunde avgöra när de AI-genererade delarna kom in.
Framgångarna med dessa tester berättade att vi var på rätt väg. Men det här var bara ett par minuter musik. Det fanns fortfarande mycket mer arbete att göra.
Vid varje punkt, Beethovens geni dök upp, utmanar oss att göra det bättre. När projektet utvecklades, AI gjorde också. Under de följande 18 månaderna, vi konstruerade och orkestrerade två hela rörelser på mer än 20 minuter styck.
Vi räknar med en viss återgång till detta arbete-de som kommer att säga att konsten ska vara utanför gränserna för AI, och att AI inte har något företag att försöka replikera den mänskliga kreativa processen. Men när det gäller konsten, Jag ser inte AI som en ersättare, men som ett verktyg - ett som öppnar dörrar för konstnärer att uttrycka sig på nya sätt.
Detta projekt hade inte varit möjligt utan expertis från mänskliga historiker och musiker. Det tog enormt mycket arbete - och ja, kreativt tänkande - för att uppnå detta mål.
Vid en punkt, en av musikexperterna i teamet sa att AI påminde honom om en ivrig musikstudent som övar varje dag, lär sig, och blir bättre och bättre.
Nu den studenten, efter att ha tagit stafettpinnen från Beethoven, är redo att presentera den tionde symfonin för världen.
Ahmed Elgammal är professor vid Institutionen för datavetenskap vid Rutgers University och chef för Art &AI Lab på Rutgers.
Den här artikeln är publicerad igen från Konversationen under en Creative Commons -licens. Du kan hitta originalartikel här.
