Den automatiska identifieringen av komplexa funktioner i bilder har redan blivit verklighet tack vare artificiella neurala nätverk. Några exempel på programvara som utnyttjar denna teknik är Facebooks automatiska taggningssystem, Googles bildsökmotor och system för igenkänning av djur och växter som används av iNaturalist. Vi vet att dessa nätverk är inspirerade av den mänskliga hjärnan, men deras arbetsmekanism är fortfarande mystisk.

Ny forskning, genomförd av SISSA i samarbete med det tekniska universitetet i München och publicerat för den 33:e årliga NeurIPS -konferensen, föreslår ett nytt tillvägagångssätt för att studera djupa neurala nätverk och kastar nytt ljus över bildutarbetningsprocesserna som dessa nätverk kan utföra.

Liknar det som händer i det visuella systemet, neurala nätverk som används för automatisk bildigenkänning analyserar innehållet successivt, genom en kedja av bearbetningssteg. Dock, hittills, det är inte helt klart vilka mekanismer som tillåter djupa nätverk att nå sina extraordinära noggrannhetsnivåer.

"Vi har utvecklat en innovativ metod för att systematiskt mäta komplexitetsnivån för informationen som kodas i de olika skikten i ett djupt nätverk-den så kallade inneboende dimensionen av bildrepresentationer, "säger Davide Zoccolan och Alessandro Laio, respektive neurovetenskapare och fysiker vid SISSA. "Tack vare ett tvärvetenskapligt arbete som har involverat samarbete mellan experter inom fysik, neurovetenskap och maskininlärning, vi har lyckats utnyttja ett verktyg som ursprungligen utvecklats inom ett annat område för att studera hur djupa neurala nätverk fungerar. "

SISSA -forskare, i samarbete med Jakob Macke från Münchens tekniska universitet, har undersökt hur den information som erhållits från neurala nätverk som används för bildklassificering behandlas:"Vi har funnit att bildrepresentationer genomgår en progressiv transformation. I de tidiga bearbetningsstadierna, bildinformation är troget och uttömmande representerad, ger upphov till rika och komplexa representationer. I de sista bearbetningsfaserna, informationen är radikalt förenklad, producera bildrepresentationer som stöds av några dussin parametrar, "förklara de två forskarna." Överraskande fann vi att klassificeringsnoggrannheten för ett neuralt nätverk tätt beror på dess förmåga att förenkla:ju mer det förenklar informationen, desto mer exakt är det. "

Detta är ett särskilt viktigt resultat för SISSA som nyligen har lanserat ett nytt forskningsprogram inom datavetenskap, med målet att studera och utveckla innovativa algoritmer för behandling av komplexa och stora datamängder.