Kredit:Pixabay/CC0 Public Domain
Att träna en maskininlärningsmodell för att effektivt utföra en uppgift, till exempel bildklassificering, innebär att man visar modellen tusentals, miljoner eller till och med miljarder exempelbilder. Att samla in sådana enorma datamängder kan vara särskilt utmanande när integritet är ett problem, till exempel med medicinska bilder. Forskare från MIT och den MIT-födda startupen DynamoFL har nu tagit en populär lösning på detta problem, känd som federerat lärande, och gjort det snabbare och mer exakt.
Federated learning är en samarbetsmetod för att träna en maskininlärningsmodell som håller känslig användardata privat. Hundra eller tusentals användare tränar var sin modell med sin egen data på sin egen enhet. Sedan överför användare sina modeller till en central server, som kombinerar dem för att komma fram till en bättre modell som den skickar tillbaka till alla användare.
En samling sjukhus runt om i världen, till exempel, skulle kunna använda denna metod för att träna en maskininlärningsmodell som identifierar hjärntumörer i medicinska bilder, samtidigt som patientdata skyddas på sina lokala servrar.
Men federerat lärande har vissa nackdelar. Att överföra en stor maskininlärningsmodell till och från en central server innebär att mycket data flyttas, vilket har höga kommunikationskostnader, särskilt eftersom modellen måste skickas fram och tillbaka dussintals eller till och med hundratals gånger. Dessutom samlar varje användare sin egen data, så dessa data följer inte nödvändigtvis samma statistiska mönster, vilket hämmar prestandan för den kombinerade modellen. Och den kombinerade modellen görs genom att ta ett genomsnitt – den är inte anpassad för varje användare.
Forskarna utvecklade en teknik som samtidigt kan hantera dessa tre problem med federerat lärande. Deras metod ökar noggrannheten hos den kombinerade maskininlärningsmodellen samtidigt som den minskar storleken avsevärt, vilket påskyndar kommunikationen mellan användare och den centrala servern. Det säkerställer också att varje användare får en modell som är mer personlig för deras miljö, vilket förbättrar prestandan.
Forskarna kunde minska modellstorleken med nästan en storleksordning jämfört med andra tekniker, vilket ledde till kommunikationskostnader som var mellan fyra och sex gånger lägre för enskilda användare. Deras teknik kunde också öka modellens totala noggrannhet med cirka 10 procent.
"Många tidningar har tagit upp ett av problemen med federerat lärande, men utmaningen var att få ihop allt detta. Algoritmer som bara fokuserar på personalisering eller kommunikationseffektivitet ger inte en tillräckligt bra lösning. Vi ville vara säkra på att vi kunde optimera för allt, så den här tekniken kunde faktiskt användas i den verkliga världen, säger Vaikkunth Mugunthan Ph.D. '22, huvudförfattare till en artikel som introducerar denna teknik.
Mugunthan skrev uppsatsen med sin rådgivare, seniorförfattaren Lalana Kagal, en främsta forskare vid Computer Science and Artificial Intelligence Laboratory (CSAIL). Arbetet kommer att presenteras vid den europeiska konferensen om datorseende.
Klippa ner en modell till storlek
Systemet som forskarna utvecklade, kallat FedLTN, bygger på en idé inom maskininlärning som kallas lotthypotesen. Denna hypotes säger att inom väldigt stora neurala nätverksmodeller finns det mycket mindre subnätverk som kan uppnå samma prestanda. Att hitta ett av dessa undernätverk är ungefär som att hitta en vinnande lott. (LTN står för "lotteri ticket network.")
Neurala nätverk, löst baserade på den mänskliga hjärnan, är maskininlärningsmodeller som lär sig att lösa problem med hjälp av sammankopplade lager av noder, eller neuroner.
Att hitta ett vinnande lottnätverk är mer komplicerat än en enkel skrapning. Forskarna måste använda en process som kallas iterativ beskärning. Om modellens noggrannhet ligger över en inställd tröskel tar de bort noder och kopplingarna mellan dem (precis som att beskära grenar från en buske) och testar sedan det smalare neurala nätverket för att se om noggrannheten förblir över tröskeln.
Andra metoder har använt denna beskärningsteknik för federerad inlärning för att skapa mindre maskininlärningsmodeller som skulle kunna överföras mer effektivt. Men även om dessa metoder kan påskynda saker och ting, lider modellens prestanda.
Mugunthan och Kagal tillämpade några nya tekniker för att påskynda beskärningsprocessen samtidigt som de gjorde de nya, mindre modellerna mer exakta och personliga för varje användare.
De accelererade beskärningen genom att undvika ett steg där de återstående delarna av det beskärda neurala nätverket "lindas tillbaka" till sina ursprungliga värden. De tränade också modellen innan beskärningen, vilket gör den mer exakt så att den kan beskäras i snabbare takt, förklarar Mugunthan.
För att göra varje modell mer personlig för användarens miljö var de noga med att inte beskära bort lager i nätverket som fångar in viktig statistisk information om den användarens specifika data. När modellerna kombinerades använde de sig dessutom av information lagrad på den centrala servern så att den inte började från början för varje kommunikationsrunda.
De utvecklade också en teknik för att minska antalet kommunikationsrundor för användare med resursbegränsade enheter, som en smart telefon i ett långsamt nätverk. Dessa användare startar den förenade inlärningsprocessen med en smidigare modell som redan har optimerats av en delmängd av andra användare.
Vinna stort med lottnätverk
När de satte FedLTN på prov i simuleringar ledde det till bättre prestanda och minskade kommunikationskostnader över hela linjen. I ett experiment producerade en traditionell federerad inlärningsmetod en modell som var 45 megabyte stor, medan deras teknik genererade en modell med samma noggrannhet som bara var 5 megabyte. I ett annat test krävde en toppmodern teknik 12 000 megabyte kommunikation mellan användare och servern för att träna en modell, medan FedLTN bara krävde 4 500 megabyte.
Med FedLTN såg de sämst presterande kunderna fortfarande en prestandaökning på mer än 10 procent. Och den övergripande modellens noggrannhet slog den toppmoderna personaliseringsalgoritmen med nästan 10 procent, tillägger Mugunthan.
Nu när de har utvecklat och finjusterat FedLTN arbetar Mugunthan med att integrera tekniken i en federerad lärandestartup som han nyligen grundade, DynamoFL.
Framöver hoppas han kunna fortsätta att förbättra denna metod. Forskarna har till exempel visat framgång med att använda datamängder som hade etiketter, men en större utmaning skulle vara att tillämpa samma teknik på omärkta data, säger han.
Mugunthan hoppas att detta arbete inspirerar andra forskare att ompröva hur de närmar sig federerat lärande.
"Det här arbetet visar vikten av att tänka på dessa problem ur en holistisk aspekt, och inte bara enskilda mätvärden som måste förbättras. Ibland kan en förbättring av ett mätvärde faktiskt orsaka en nedgradering av de andra mätvärdena. Istället bör vi fokusera på hur vi kan förbättra en massa saker tillsammans, vilket är väldigt viktigt om det ska kunna användas i den verkliga världen, säger han. + Utforska vidare
Denna berättelse är återpublicerad med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.
