Emilia Gómez, en forskare vid Musical Technology Research Group (MTG) vid Institutionen för informations- och kommunikationsteknik (DTIC) vid UPF, har försökt skapa nya digitala metoder för att berika upplevelsen av en klassisk musikkonsert tidigare, under och efter själva konserten, för att föra klassisk musik till ny publik på ett innovativt sätt via teknik.

"En av de applikationer vi undersökte i efterkonsertsammanhang var en typ av anläggning där användaren tar rollen som dirigent så att deras rörelser 'dirigerar' en virtuell orkester. Den här typen av anläggningar har varit framgångsrika på platser som t.ex. Musikhuset i Wien, säger Álvaro Sarasúa, första författare till en studie publicerad den 25 februari i tidskriften Frontiers in Digital Humanities , ledd av Emilia Gómez.

I interaktion mellan människa och dator, gränssnittsmetaforer ger användarna ett sätt att interagera med maskinen som liknar en känd aktivitet. Dessa metaforer används ofta i digitala musikinstrument. I den här studien, författarna använde dirigentmetaforen. Intresset av att använda dessa metaforer är så att användaren, i en virtuell anläggning där man kan styra tempot och dynamiken som en orkester spelar, kan tillämpa sin kunskap eller sin tidigare intuition om hur en viss aktivitet fungerar i den verkliga världen – i det här fallet, dirigera en orkester.

"Från forskningssynpunkt, i den här studien, vi var intresserade av att avgöra hur intuitiva föreställningar som är tillgängliga för användare av denna typ av anläggning explicit kan användas av systemet för att svara på deras gester att dirigera en orkester mer intuitivt, och därför, kan ge en mer uttrycksfull prestation, säger Sarasúa.

I de inledande stadierna av projektet, forskarna genomförde observationsstudier där de bad personer med olika grader av musikalisk träning att lyssna på flera utdrag av klassisk musik och sedan, medan musiken spelades igen, att göra kroppsrörelser de skulle göra medan de dirigerade en orkester för att kommunicera olika aspekter som tempo och intensitet. De spelade in deltagarnas rörelser med en Kinect-kamera, som registrerade positionen för olika delar av kroppen.

Olika tolkningstendenser observerade

Analys av dessa data visade olika tendenser mellan försökspersoner. Å ena sidan, att kommunicera tempot i musiken, det fanns människor som konsekvent kommunicerade beat något före musikens tempo, medan andra gjorde det helt synkront eller med viss fördröjning. När det gäller den dynamik som instrumenten spelade med, vissa människor tenderade att röra sig mer energiskt under forte-delarna, medan andra helt enkelt höjde armarna mer.

"Vår starthypotes för den här studien var att ett system som tillåter styrning av tempot och volymen på ett musikstycke genom rörelser som efterliknar en dirigents rörelser kan vara mer intuitivt om det kan anpassas till dessa personliga tendenser, " förklarar Sarasúa

"I exemplet med vårt experiment, det finns en "implicit" fördel genom att använda metaforen, genom att säga till användaren att de måste "leda" orkestern, de vet att de måste röra sina armar och ha en viss intuition om sin förmåga att kontrollera tempo och dynamik. Med hjälp av det föreslagna systemet, denna förbättring är mer explicit genom att systemet observerar och analyserar vad användaren känner att de måste göra och anpassar sig för att prestera enligt dessa intuitioner."

Författarna hänvisar till denna strategi som kartläggning genom observation, sedan kartläggning, eller det sätt på vilket användarens rörelser är kopplade till den resulterande musiken, anpassar sig specifikt för varje användare genom att observera vad de gör när de uppmanas att utföra rörelser som imiterar en ledare utan att ge några specifika instruktioner.

Vid utvärdering av systemet, forskarna observerade 24 deltagare som utförde först med ett baslinjesystem som inte anpassade sig till varje användare, och sedan ett system baserat på kartläggningsstrategin, och jämförde resultaten. Denna jämförelse genomfördes i ett sammanhang där användarna lärde sig att "leda" den virtuella orkestern genom övning. De två systemen jämfördes utifrån objektiva och subjektiva mått på en serie uppgifter där deltagarna skulle få orkestern att spela med olika volymer och göra det synkront med metronomen i olika tempo.

Användbarheten av det skräddarsydda systemet är bättre

Resultaten av experimentet visade att användbarheten av det skräddarsydda systemet är bättre, både när det gäller att ge mer intuitiv kontroll över den dynamik med vilken användaren leder orkestern, och när det gäller att ha mer exakt kontroll över tempot. Vidare, resultaten visar också en stark korrelation mellan mått som kan dras från de data som används för att göra den anpassning och förbättring som införts av systemet, vilket indikerar att det är möjligt att i förväg uppskatta i vilken utsträckning en viss användares spontana rörelser verkligen kommer att vara användbara för att anpassa systemet till deras stil.

Resultaten av denna studie är särskilt relevanta i sammanhang där interaktion utformas från att använda gränssnittsmetaforer, som är fallet med dirigenten för en orkester. "I exemplet med vårt experiment, det finns en "implicit" fördel med att använda metaforen, genom att säga till användaren att de måste "leda" orkestern, de vet att de måste röra sina armar och ha lite intuition när det gäller att kontrollera tempo och dynamik. Med hjälp av det föreslagna systemet, denna förbättring är mer "explicit" genom att systemet observerar och analyserar vad användaren känner att de måste göra och anpassar sig för att prestera enligt dessa intuitioner, ", avslutar författarna.