Experter från Institute of Cyber Intelligence Systems vid National Research Nuclear University MEPhI (Ryssland) utvecklar för närvarande en virtuell kompositörsassistent som kommer att kunna analysera det känslomässiga tillståndet hos musikkompositörer och följa deras logik. Trots den höga utvecklingen av musikteori, processen att skapa musik är fortfarande svår att formellt algoritmisera, eftersom det är oskiljaktigt förknippat med kompositörens känslomässiga upplevelser. Denna aspekt av den kreativa processen är av särskilt intresse för experter på maskinintelligens.
Forskare kan redan skapa synergi mellan människor och programvara på ett sätt som gör att datorn som kör programvaran kan samla in data om det känslomässiga tillståndet och skaparens avsikter, och därigenom bli en fortsättning på det mänskliga sinnet. Den virtuella kompositörsassistenten är programvara som kan skapa musik på mänsklig nivå av hög estetisk kvalitet på egen hand. Det är en kreativ smart assistent som kan lägga till sina egna anteckningar, ackord och kombinationer till en melodi skriven av kompositören.
För att uppnå detta mål, forskare var tvungna att identifiera musikaliska ljud, ackord och deras kombinationer, skapa semantiska kartor baserade på denna analys, och koppla dem till modeller av människors känslomässiga uppfattning om musik. Den nya mjukvaran skiljer sig fundamentalt från andra metoder, eftersom den virtuella assistenten kan upprätthålla känslomässig kontakt med kompositören, sa professor Alexei Samsonovich från MEPhI Institute of Cyber Intelligence Systems.
"De flesta sådana program representerar neurala nätverk som lärs ut att skriva musik eller göra konst, " sade han. "Men vår idé var att identifiera kompositörens känslomässiga tillstånd och följa dess logik."
Denna metod är baserad på att använda semantiska kartor istället för neurala nätverk, sade Samsonovich. I semantiska kartor, det känslomässiga tillståndet i ens sinne representeras av en punkt i det affektiva rummet. I detta utrymme, varje möjlig åtgärd har sina egna koordinater, och det finns en viss regel som gör att forskare kan koppla olika koordinater med de andra genom att följa logiken i känslomässig perception. Lagarna för musikalisk harmoni och rytm sätter vissa begränsningar på denna process.
"Dessa begränsningar, dock, kan inte definiera allt; de lämnar lite frihet för kreativitet, " Samsonovich förklarade. "Detta är friheten som vår programvara använder, samtidigt som den vägleds av den semantiska kartan och reglerna för att välja koordinaterna på den, och samtidigt som man tar hänsyn till utvecklingen av det känslomässiga tillståndet. Jag skulle vilja påpeka att vi inte pratar om maskininlärning, då modellen är baserad på psykologins principer (grundläggande psykologiska aspekter av beteende). I det här sammanhanget, till skillnad från neurala nätverk, modeller som denna kan förklara essensen av fenomenet kreativitet."
Den ömsesidiga förståelsen mellan kompositören och den virtuella assistenten kan uppnås genom att organisera och lagra olika typer av känslomässiga reaktioner på musikaliska element – ackord, deras sekvens och intervall – i mjukvarumiljön.
För att säkerställa lagring och användning av informationen om de mest framgångsrika och passande kombinationerna av ljud, den virtuella assistenten använder en semantisk karta, som gör att den virtuella kompositören inte bara kan bygga på en melodi satt av användaren enligt hans smak, men också övervaka hans humör, föreslå olika versioner och skapa rätt ackompanjemang.
Under metodens utveckling, Forskare använde en separat applikation för att testa hur deltagarna utvärderar olika kombinationer av ackord enligt tre mått, var och en bedömd på en skala från ett till 10:trevlig-obehaglig, glad-ledsen och spännande-tråkig. Detta utvärderingssystem gjorde det möjligt för forskare att skapa tredimensionella semantiska kartor.
"Vi antog att ens val av beteende baserat på sociala känslor, känslor och relationer kan beskrivas med relativt enkla dynamiska ekvationer, " Sa Samsonovich. "Den enkla beteendemodellen baserad på den semantiska kartan och två ekvationer går inte att skilja från människans beteende i de enklaste paradigmerna för social interaktion i en virtuell miljö."
Samsonovich tillade också att det mest lovande tillvägagångssättet inom detta forskningsområde är baserat på kognitiva arkitekturer som skapas med hjälp av psykologi och neurovetenskapliga data – de så kallade biologiskt inspirerade kognitiva arkitekturerna (BICA).
Forskarna tror att den nya utvecklingen kan skalas upp och användas inte bara inom musik, men också inom många andra områden av digital kreativitet, såväl som i människa-maskin-system. Att skapa och implementera sådana innovationer är ett viktigt steg i studiet av den socioemotionella aspekten av intelligens, som är ansvarig för att känna igen och uttrycka känslor, avsikter, motivationer och önskningar. De viktigaste resultaten av denna forskning publicerades i Procedia datavetenskap tidning.
