En nyligen genomförd forskningsstudie ledd av University of Alabama vid Birminghams avdelning för datavetenskap undersökte den neurala grunden för röstsäkerhet, och analyserade skillnaderna i neurala aktiviteter när användare bearbetar olika typer av röster, inklusive förvandlade röster.

Resultaten? Inte tilltalande för örat. Eller hjärnan.

Studien visade att det kanske inte finns några statistiskt signifikanta skillnader i hur den mänskliga hjärnan bearbetar ursprungliga legitima högtalare jämfört med syntetiserade högtalare, medan tydliga skillnader är synliga när man möter legitima kontra olika andra mänskliga talare – vilket betyder att människor är sårbara för röstimitationsattacker.

"Vår studie tyder på att mänskliga användare kan vara sårbara för röstmorphing attacker på en grundläggande nivå eftersom deras hjärnor inte verkar reagera annorlunda på original kontra morphed röster, "sa Nitesh Saxena, Ph.D., ledande forskare på studien, en professor vid UAB:s institution för datavetenskap och direktören för UAB:s SPIES Lab. "Vi tror att detta är ett betydande resultat eftersom det kan tyda på att människor - och deras hjärnor - kanske inte kan skilja på verkliga och falska röster."

Vilken röst är Oprah Winfreys? WBHM sätter dina öron – och hjärna – på prov.

Forskarna undersökte hur informationen, närvarande i de neurala signaler som fångas av en banbrytande neuroavbildningsmodalitet som kallas funktionell nära-infraröd spektroskopi, eller fNIRS, kan användas för att förklara användarnas känslighet för röstimitationsattacker med hjälp av syntetiserade röster.

Studien analyserade skillnaderna i neurala aktiviteter när deltagarna lyssnade på en högtalares ursprungliga röst och morferade röst. De förvandlade rösterna producerades med ett allmänt tillgängligt röstsyntesverktyg som heter CMU Festvox. Forskarna säger att de inte såg några statistiskt signifikanta skillnader i aktiveringarna i hjärnområdena som har rapporterats i tidigare studier av verklig kontra falsk upptäckt, som äkta kontra falska webbplatser (under nätfiskeattacker) och äkta kontra falska målningar.

Kontrast 1:Originalhögtalare kontra förvandlad röst

Denna analys gav en förståelse för hur den ursprungliga talarens röst och den förvandlade talarens röst uppfattas av den mänskliga hjärnan. Forskarna samlade fyra offertalare som alla var bekanta med deltagarna under experimentet.

I denna del, forskarna undersökte de neurala aktiviteterna när deltagarna lyssnade på alla originaltalare och alla morferade högtalare.

Kontrast 2:Originalhögtalare kontra annan högtalare

Den andra kontrasten jämfördes med den neurala metriken när deltagarna lyssnade på rösten från en originaltalare kontra rösten från en annan talare. Forskare antog att de ursprungliga högtalarna - eftersom de blev bekanta med deltagarna - kommer att producera neurala aktiveringar som skiljer sig från de olika högtalarna.

Viktiga insikter

Deltagarna i studien visade ökad aktivering inom de områden som är kopplade till beslutsfattande, fungerande minne, minnesåterkallelse och förtroende medan man bestämmer sig för legitimiteten hos högtalarnas röster jämfört med resten försök (där de inte var engagerade i någon uppgift) som utgångspunkt.

Övergripande, resultaten visade att användarna verkligen ansträngde sig för att fatta verkliga kontra falska beslut, vilket återspeglas av deras hjärnaktivitet i regioner som är korrelerade med kognitiv bearbetning av högre ordning. Även om det fanns neurala skillnader i hur deltagarnas hjärnor bearbetade original kontra olika talares röster, inga skillnader hittades i hur deltagarnas hjärnor bearbetade ursprungliga kontra morferade röster.

Beteenderesultaten antydde också att användarna inte lyckades bra när det gällde att identifiera ursprungliga och förändrade röster.

"Detta skulle göra vanliga användare mycket benägna för olika former av bedrägerier som kan utnyttja nuvarande och framtida framsteg inom röstsyntes, "Sa Saxena." Till exempel, någon kan lämna ett röstmeddelande till dig som utger sig för att vara din mamma, och du skulle inte kunna berätta. På den positiva sidan, vår studie tyder också på att nuvarande röstsyntesverktyg kan vara redo att tjäna dem som har tappat sina röster, eftersom lyssnarna kanske inte kan uppfatta skillnaden mellan en talares faktiska röst kontra den syntetiserade rösten."