Jazzmusiker riffar med varandra, människor som pratar med varandra och flikar av späckhuggare har alla interaktiva konversationer som är anmärkningsvärt lika varandra, visar ny forskning.

Kognitionsvetenskapliga forskare vid UC Merced har utvecklat en ny metod för att analysera och jämföra talljud, musik och komplexa djurvokaliseringar som valsång och fågelsång. Tidningen som beskriver deras resultat publiceras idag i Journal of the Royal Society Interface .

Deras metod är baserad på idén att dessa ljud är komplexa eftersom de har flera lager av struktur. Varje språk, till exempel, har individuella ljud, ungefär motsvarande bokstäver, som kombineras för att bilda stavelser, ord, fraser, meningar och så vidare. Det är en hierarki som alla förstår intuitivt. Musikaliska kompositioner har sina egna temporala hierarkier, men hittills har det inte funnits något sätt att direkt jämföra hierarkierna av tal och musik, eller testa om liknande hierarkier kan finnas i fågelsång och valsång.

"Att spela jazzmusik har liknats vid ett samtal mellan musiker, och späckhuggare är mycket sociala varelser som uttrycker sig som om de pratar med varandra. Men låter jazzmusik verkligen som en konversation, och låter späckhuggare verkligen som om de pratar?" frågade ledande forskare och UC Merced-professor Chris Kello. "Vi vet att späckhuggare är mycket sociala och intelligenta, men det är svårt att säga att de interagerar när du lyssnar på inspelningar av dem. Vår metod visar hur mycket deras ljudmönster är som människor som pratar, men inte som andra, mindre sociala valar eller fåglar."

Forskarna hittade ett sätt att mäta och jämföra ljudinspelningar genom att omvandla dem till "streckkoder" som fångar kluster av ljudenergi, och kluster av kluster, över nivåer i en hierarki. Dessa streckkoder gjorde det möjligt för forskarna att direkt jämföra temporal hierarkier i mer än 200 inspelningar av olika typer av tal på sex olika språk, olika typer av populär och klassisk musik, fyra olika arter av fåglar och valar som sjunger sina sånger, och även åskväder.

Kello och hans kollegor har använt streckkodsmetoden i flera år. De utvecklade det först i studier av konversationer. Studien som publiceras idag är första gången som de tillämpade metoden på musik och djurvokaliseringar.

"Metoden låter oss ställa frågor om språk och musik och djursånger som vi inte kunde ställa utan ett sätt att se och jämföra mönster i alla dessa inspelningar, " sa Kello.

En vanlig sång

Kello, kollega UC Merced kognitionsvetenskap professor Ramesh Balasubramaniam, Doktorand Butovens Me´de´ och samarbetsprofessor Simone Dalla Bella upptäckte också att de hemsökande sångerna från enorma knölvalar är anmärkningsvärt lika de vackra sångerna från små näktergalar och eremittrastar när det gäller deras tidsmässiga hierarkier.

"Knölryggar, näktergalar och eremittrastar är ensamma sångare, " Sa Kello. "Streckkoderna visar att deras låtar har liknande strukturlager, men vi vet inte vad det betyder - än."

Idén till detta projekt kom från Kellos sabbatsår vid universitetet i Montpellier i Frankrike, där han arbetade och diskuterade idéer med Dalla Bella. Balasubramaniam, som studerar hur musik uppfattas, är på Socialhögskolan, Humaniora och konst med Kello, som studerar tal- och språkbehandling. Projektet var ett naturligt samarbete och är en del av ett växande forskningsfokus vid UC Merced som möjliggjordes av den National Science Foundation-finansierade CHASE sommarskola om musik och språk 2014, och en Google Faculty Award till Kello.

Balasubramaniam är intresserad av att fortsätta arbetet med att bättre förstå hur hjärnor skiljer mellan musik och tal, medan Kello sa att det finns många olika vägar att följa.

Till exempel, forskarna hittade nästan identiska tidsmässiga hierarkier för sex olika språk, vilket kan föreslå något universellt om mänskligt tal. Dock, eftersom detta resultat var baserat på inspelningar av TED Talks – som har en gemensam stil och progression – sa Kello att det kommer att vara viktigt att fortsätta titta på andra former av tal och språk.

En av hans doktorander, Sara Schneider, använder metoden för att studera konvergensen mellan spanska och engelska streckkoder i tvåspråkiga konversationer. En annan doktorand, Adolfo Ramirez-Aristizabal, arbetar med Kello och Balasubramaniam för att studera om streckkodsmetoden kan belysa hur hjärnor bearbetar tal och andra komplexa ljud.

"Lyssna på musik och tal, vi kan höra en del av det vi ser i streckkoderna, och informationen kan vara användbar för automatisk klassificering av ljudinspelningar. Men det betyder inte att våra hjärnor bearbetar musik och tal med dessa streckkoder, " sa Kello. "Det är spännande, men vi måste fortsätta ställa frågor och gå dit data leder oss."