En ny krypteringsmetod utarbetad av MIT-forskare säkrar data som används i neurala nätverk online, utan att dramatiskt sakta ner deras körtider. Detta tillvägagångssätt lovar att använda molnbaserade neurala nätverk för medicinsk bildanalys och andra applikationer som använder känslig data.

Outsourcing av maskininlärning är en stigande trend inom industrin. Stora teknikföretag har lanserat molnplattformar som utför beräkningstunga uppgifter, Till exempel, säga, köra data genom ett konvolutionellt neuralt nätverk (CNN) för bildklassificering. Resursbundna småföretag och andra användare kan ladda upp data till dessa tjänster mot en avgift och få tillbaka resultat på flera timmar.

Men vad händer om det finns läckor av privata data? På senare år har forskare har utforskat olika säkra beräkningstekniker för att skydda sådana känsliga uppgifter. Men dessa metoder har prestandanackdelar som gör utvärdering av neurala nätverk (testning och validering) trög – ibland så mycket som miljoner gånger långsammare – vilket begränsar deras bredare användning.

I en artikel som presenterades vid denna veckas USENIX-säkerhetskonferens, MIT-forskare beskriver ett system som blandar två konventionella tekniker - homomorf kryptering och förvrängda kretsar - på ett sätt som hjälper nätverken att köra storleksordningar snabbare än de gör med konventionella metoder.

Forskarna testade systemet, heter GAZELLE, på tvåpartsbildklassificeringsuppgifter. En användare skickar krypterad bilddata till en onlineserver som utvärderar ett CNN som körs på GAZELLE. Efter det här, båda parter delar krypterad information fram och tillbaka för att klassificera användarens bild. Under hela processen, systemet säkerställer att servern aldrig lär sig någon uppladdad data, medan användaren aldrig lär sig något om nätverksparametrarna. Jämfört med traditionella system, dock, GAZELLE körde 20 till 30 gånger snabbare än toppmoderna modeller, samtidigt som den nödvändiga nätverksbandbredden minskas med en storleksordning.

En lovande tillämpning för systemet är att utbilda CNN:er för att diagnostisera sjukdomar. Sjukhus kan, till exempel, träna en CNN för att lära sig egenskaper hos vissa medicinska tillstånd från magnetisk resonansbilder (MRI) och identifiera dessa egenskaper i uppladdade MRI. Sjukhuset skulle kunna göra modellen tillgänglig i molnet för andra sjukhus. Men modellen är tränad på, och förlitar sig vidare på, privata patientuppgifter. Eftersom det inte finns några effektiva krypteringsmodeller, den här applikationen är inte riktigt redo för bästa sändningstid.

"I det här arbetet, vi visar hur man effektivt gör den här typen av säker tvåpartskommunikation genom att kombinera dessa två tekniker på ett smart sätt, " säger första författaren Chiraag Juvekar, en Ph.D. student vid institutionen för elektroteknik och datavetenskap (EECS). "Nästa steg är att ta riktiga medicinska data och visa att, även när vi skalar det för applikationer som riktiga användare bryr sig om, det ger fortfarande acceptabel prestanda."

Medförfattare på tidningen är Vinod Vaikuntanathan, en docent i EECS och en medlem av Computer Science and Artificial Intelligence Laboratory, och Anantha Chandrakasan, dekanus för Ingenjörshögskolan och Vannevar Bush professor i elektroteknik och datavetenskap.

Maximera prestanda

CNN:er bearbetar bilddata genom flera linjära och olinjära lager av beräkningar. Linjära lager gör den komplexa matematiken, kallas linjär algebra, och tilldela några värden till data. Vid en viss tröskel, data matas ut till olinjära lager som gör en enklare beräkning, fatta beslut (som att identifiera bildegenskaper), och skicka data till nästa linjära lager. Slutresultatet är en bild med en tilldelad klass, såsom fordon, djur, person, eller anatomiska egenskaper.

Nya tillvägagångssätt för att säkra CNN har involverat att tillämpa homomorf kryptering eller förvrängda kretsar för att bearbeta data i ett helt nätverk. Dessa tekniker är effektiva för att säkra data. "På papper, det ser ut att lösa problemet, " säger Juvekar. Men de gör komplexa neurala nätverk ineffektiva, "så att du inte skulle använda dem för någon verklig tillämpning."

Homomorf kryptering, används i cloud computing, tar emot och kör alla beräkningar i krypterad data, kallas chiffertext, och genererar ett krypterat resultat som sedan kan dekrypteras av en användare. När den appliceras på neurala nätverk, denna teknik är särskilt snabb och effektiv vid beräkning av linjär algebra. Dock, det måste introducera lite brus i data vid varje lager. Över flera lager, buller samlas, och beräkningen som behövs för att filtrera det bruset blir allt mer komplext, långsammare beräkningshastigheter.

Förvrängda kretsar är en form av säker tvåpartsberäkning. Tekniken tar input från båda parter, gör någon beräkning, och skickar två separata ingångar till varje part. På det sättet, parterna skickar uppgifter till varandra, men de ser aldrig den andra partens data, endast den relevanta utgången på deras sida. Den bandbredd som behövs för att kommunicera data mellan parterna, dock, skalor med beräkningskomplexitet, inte med storleken på ingången. I ett neuralt nätverk online, denna teknik fungerar bra i de olinjära lagren, där beräkningen är minimal, men bandbredden blir otymplig i matematiktunga linjära lager.

MIT-forskarna, istället, kombinerade de två teknikerna på ett sätt som kommer runt deras ineffektivitet.

I deras system, en användare laddar upp chiffertext till ett molnbaserat CNN. Användaren måste ha förvrängd kretsteknik som körs på sin egen dator. CNN gör all beräkning i det linjära lagret, skickar sedan data till det olinjära lagret. Vid det tillfället, CNN och användaren delar data. Användaren gör vissa beräkningar på förvrängda kretsar, och skickar tillbaka data till CNN. Genom att dela upp och dela arbetsbördan, systemet begränsar den homomorfa krypteringen till att göra komplex matematik ett lager i taget, så att data inte blir för bullriga. Det begränsar också kommunikationen av de förvrängda kretsarna till bara de olinjära lagren, där den fungerar optimalt.

"Vi använder bara teknikerna där de är mest effektiva, " säger Juvekar.

Hemlig delning

Det sista steget var att säkerställa att både homomorfa och förvrängda kretsskikt bibehöll ett gemensamt randomiseringsschema, kallas "hemlig delning". I detta schema, data delas upp i separata delar som ges till separata parter. Alla parter synkroniserar sina delar för att rekonstruera hela data.

I GAZELLE, när en användare skickar krypterad data till den molnbaserade tjänsten, det är uppdelat mellan båda parter. Till varje aktie läggs en hemlig nyckel (slumptal) som bara den ägande parten känner till. Under hela beräkningen, varje part kommer alltid att ha en del av datan, plus slumptal, så det verkar helt slumpmässigt. I slutet av beräkningen, de två parterna synkroniserar sina data. Först då ber användaren den molnbaserade tjänsten om dess hemliga nyckel. Användaren kan sedan subtrahera den hemliga nyckeln från all data för att få resultatet.

"I slutet av beräkningen, vi vill att den första parten ska få klassificeringsresultaten och den andra parten ska få absolut ingenting, " säger Juvekar. Dessutom, "den första parten lär sig ingenting om modellens parametrar."

Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.