Med enheter som lyssnar vart du än går, integritetsproblem är endemiska för avancerad teknik. Särskilt känsliga är olika tekniker som drivs av ljud från dina smartphones och högtalare, sätta konsumenterna i en konstant kostnads-nyttoanalys mellan integritet och nytta.

Ta, till exempel, en mobilapp eller virtuell assistent som kan lära sig att anpassa sig till en användares humör och känna igen känslor i realtid. Denna typ av anpassning kan skapa mer naturligt flödande konversationer, och mer användbart, människoliknande förståelse från röstassistenter. Men var drar användaren gränsen om ljudet som driver dessa insikter lagrades fullt av identifierare om deras kön och demografiska information?

En ny uppsats av CSE Ph.D. Student Mimansa Jaiswal och Prof. Emily Mower Provost föreslår en metod för att ta bort denna barriär och möjliggöra säkrare teknologier som bygger på maskininlärning (ML). Genom användningen av kontradiktorisk ML, de har visat förmågan att "avlära" dessa känsliga identifierare från ljud innan det lagras, och använd istället avskalade representationer av högtalaren för att träna upp emotionsigenkänningsmodeller.

Känsloigenkänning, sentimentanalys, och andra tekniker för att automatiskt identifiera olika komplexa funktioner i tal drivs av ML-modeller som tränas på enorma lager av märkt data. För att på ett tillförlitligt sätt kunna plocka fram mönster i en användares tal, modellen måste ha betydande träningserfarenhet med liknande tal som hjälper den att identifiera vissa gemensamma drag.

Dessa system som hanterar dagliga liv för typiska smartphoneanvändare måste sedan tränas på ett brett spektrum av vanligt mänskligt tal – i huvudsak, inspelningar av konversationer.

"Förhoppningen med detta dokument är att visa att dessa maskininlärningsalgoritmer i slutändan kodar en hel del information om en persons kön eller demografiska information, " säger Jaiswal. Denna demografiska information lagras på företagets servrar som driver en viss mobilapp eller röstassistent – ​​vilket gör att användaren är öppen för identifiering av företaget eller, värre, eventuella illvilliga avlyssnare.

"Konsekvenserna av läckage av känslig information är djupgående, " skriver författarna. "Forskning har visat att diskriminering förekommer mellan olika åldersvariabler, lopp, och kön vid anställning, polisarbete, och kreditbetyg."

Denna identifierande ljuddata, lagras i sin rå form, kan till och med åsidosätta opt-out-alternativ som valts av användaren någon annanstans i appen. För att hantera detta, tjänster flyttade till att lagra representationer som erhållits efter förbearbetning i molnet, för att undvika informationsläckage.

Tidigare arbete med att koda ljuddata med sekretess i åtanke försökte lägga till slumpmässigt brus till datasetet. Medan tekniken fungerade om lyssnaren inte hade någon kunskap om vilken typ av brus som användes, i det ögonblick då angriparen kunde komma åt nätverket och skapade anonymiteten föll metoden isär.

Istället, Jaiswal och Mower Provost använder motstridiga ML-tekniker för att minska kodningen av demografiska och privata funktioner från råljudet innan det någonsin lagras. Det som återstår är en abstraherad datarepresentation av den ursprungliga inspelningen. Författarna använder dessa representationer för att delvis fördunkla det faktiska innehållet i konversationen, eliminera riskerna för integritet som följer med datalagring i grossistledet.

Utmaningen var, sedan, för att säkerställa att detta nya format av integritetsskyddad data fortfarande kan användas för att träna ML-modeller effektivt i deras huvuduppgift. Vad forskarna fann var att när styrkan hos den kontradiktoriska komponenten ökar, integritetsmåttet ökar för det mesta - och prestandan på den primära uppgiften är oförändrad, eller är endast mindre påverkad.

"Vi finner att prestandan antingen bibehålls, eller det är en liten minskning av prestanda för vissa inställningar, " skriver författarna. I flera fall identifierade de till och med en betydande ökning av prestanda, antyder att att göra modellen blind för kön ökar dess robusthet genom att inte lära sig samband mellan kön och känslor.

Jaiswal hoppas kunna använda dessa resultat för att göra forskning om maskininlärning säkrare och säkrare för användare i den verkliga världen.

"ML-modeller är mestadels black box-modeller, " hon säger, "vilket betyder att du vanligtvis inte vet exakt vad de kodar för, vilken information de har, eller om den informationen kan användas på ett bra eller skadligt sätt. Nästa steg är att förstå skillnaden i information som kodas mellan två modeller där den enda skillnaden är att den ena har utbildats för att skydda integriteten."

"Vi vill förbättra hur människor uppfattar och interagerar med dessa modeller."

Denna forskning publicerades i artikeln "Privacy Enhanced Multimodal Neural Representations for Emotion Recognition, " publicerad på 2020 Association for the Advancement of Artificial Intelligence (AAAI) Conference.