En översikt över tillvägagångssättet av Vechtomova et al. Först, ett CNN är implementerat för att klassificera artister baserat på spektrogrambilder, därigenom lära sig konstnärsinbäddningar. Sedan, en VAE är tränad att rekonstruera rader från sångtexter, betingat av de förutbildade artistinbäddningarna. Vid slutledningstidpunkten, för att skapa texter i stil med en önskad artist, forskarna samplar z från det latenta utrymmet och avkodar det beroende på inbäddningen av den konstnären. Kredit:Vechtomova et al.
Forskare vid University of Waterloo, Kanada, har nyligen utvecklat ett system för att generera sångtexter som matchar stilen hos vissa musikartister. Deras tillvägagångssätt, beskrivs i en tidning som förpublicerats på arXiv, använder en variationsautokodare (VAE) med artistinbäddningar och en CNN-klassificerare som är utbildad att förutsäga artister från MEL-spektrogram för deras låtklipp.
"Motivationen för detta projekt kom från mitt personliga intresse, " Olga Vechtomova, en av forskarna som genomförde studien, berättade för TechXplore. "Musik är en passion för mig, och jag var nyfiken på om en maskin kan generera rader som låter som texterna till mina favoritmusikartister. När du arbetar med textgenerativa modeller, min forskargrupp fann att neurala nätverk kan generera några imponerande textrader. Det naturliga nästa steget för oss var att utforska om en maskin kunde lära sig "essensen" av en specifik musikartists lyriska stil, inklusive ordval, teman och meningsstruktur, att skapa nya textrader som låter som artisten i fråga."
Systemet som utvecklats av Vechtomova och hennes kollegor är baserat på en neural nätverksmodell som kallas variational autoencoder (VAE), som kan lära sig genom att rekonstruera ursprungliga textrader. I deras studie, forskarna tränade sin modell för att generera hur många nya, olika och sammanhängande lyriska linjer.
"För att skapa linjer i stil med en given artist, vi villkorade generationen på en artistinbäddning (dvs en flerdimensionell vektor av reella tal), lärt sig av ett separat neuralt nätverk, som är tränad att klassificera spektrogram av musikljudklipp av artister, ", sa Vechtomova. "Vi använder sedan artistinbäddningar för att konditionera genereringen av textrader i stilen för varje artist. Motivationen bakom detta är att vi vill att skillnaderna mellan artistinbäddningar ska återspegla skillnaderna i deras lyriska såväl som musikaliska stilar."
I en serie preliminära utvärderingar, systemet som utvecklats av Vechtomova och hennes kollegor presterade anmärkningsvärt bra. Deras resultat tyder på att artistinbäddningar är användbara för att skapa texter som matchar en artists stil. Många linjer som genererades av modellen var omisskännligt i linje med konstnären den var betingad av, återspeglar de teman som vanligtvis tas upp i hans/hennes musik.
Två dikter genererade av systemet och ingår i samlingen inlämnade till NeurIPS 2018 Workshop on ML for Creativity and Design. Vechtomova skapade varje dikt genom att välja rader genererade av VAE och arrangera dem på ett konstnärligt meningsfullt sätt. Ingen redigering gjordes på de enskilda raderna, förutom att lägga till versaler och skiljetecken. Kredit:Vechtomova.
"Medan de genererade raderna ofta innehåller en konstnärs ord, dessa används på ett intressant nytt sätt, uttrycker nya tankar som inte finns i originaltexten, " Vechtomova förklarade. "Några av de genererade raderna förmedlar nya och kraftfulla poetiska bilder, uttrycks med hjälp av stilistiska anordningar som metaforer och oxymoroner, samtidigt som de förblir trogen konstnärens stil."
I framtiden, systemet skapat av Vechtomova och hennes kollegor skulle kunna användas för att inspirera artister som komponerar texter till nya låtar. Istället för att ersätta lyriska kompositörer, forskarna hoppas att det ska ge nya idéer, vilka konstnärer sedan kan forma, bygga på och utvecklas självständigt.
"Systemet är inte menat att ersätta en musikartist, men för att användas som en inspirationskälla under låtskrivandeprocessen, " sa Vechtomova. "I musikvärlden, detta kan vara analogt med en synthesizer som kan generera ett oändligt antal ljud, som en artist sedan skapar en låt av. Liknande, det här verktyget kan generera ett oändligt antal nya rader som artister kan använda på vilket sätt de vill för att komponera sina egna texter."
Som en del av ett annat projekt, Vechtomova använde samma system för att skapa spännande poesi i stil med olika musikartister. Den resulterande diktsamlingen accepterades som ett konstverk på NeurIPS 2018 Workshop on ML for Creativity and Design.
"I framtiden, vi planerar att arbeta med modeller som kan lära oss nya teman och vokabulär från ytterligare källor, och använda dem för att skapa texter i stil med en given artist, ", sa Vechtomova. "Jag skulle också vilja utforska hur ett sådant system potentiellt skulle kunna användas av musikartister som en inspirationskälla."
© 2019 Science X Network
