Deep learning är ett potentiellt verktyg för forskare att få fram fler detaljer från lågupplösta bilder i mikroskopi, men det är ofta svårt att samla in tillräckligt med baslinjedata för att träna datorer i processen. Nu, en ny metod utvecklad av forskare vid Salk Institute kan göra tekniken mer tillgänglig – genom att ta högupplösta bilder, och artificiellt förnedra dem.

Det nya verktyget, som forskarna kallar en "crappifier, "kan göra det avsevärt lättare för forskare att få detaljerade bilder av celler eller cellulära strukturer som tidigare varit svåra att observera eftersom de kräver förhållanden med svagt ljus, såsom mitokondrier, som kan dela sig när de belastas av lasrarna som används för att belysa dem. Det kan också hjälpa till att demokratisera mikroskopi, gör det möjligt för forskare att ta högupplösta bilder även om de inte har tillgång till kraftfulla mikroskop. Resultaten publicerades den 8 mars, 2021, i tidningen Naturmetoder .

"Vi investerar miljontals dollar i dessa mikroskop, och vi kämpar fortfarande för att tänja på gränserna för vad de kan göra, säger Uri Manor, chef för Waitt Advanced Biophotonics Core Facility på Salk. "Det är problemet vi försökte lösa med djupinlärning."

Deep learning är en typ av artificiell intelligens (AI) där datoralgoritmer lär sig och förbättras genom att studera exempel. För att använda djupinlärning för att förbättra mikroskopbilder – antingen genom att förbättra upplösningen (skärpan) eller minska bakgrundsbruset – skulle systemet behöva visa många exempel på både hög- och lågupplösta bilder. Det är ett problem, eftersom att fånga helt identiska mikroskopibilder i två separata exponeringar kan vara svårt och dyrt. Det är särskilt utmanande när man avbildar levande celler som kan röra sig under processen.

Det är där krapparen kommer in. Enligt Manor, metoden tar bilder av hög kvalitet och beräkningsmässigt försämrar dem, så att de ser ut ungefär som de lägsta lågupplösta bilderna som laget skulle förvärva.

Manors team visade högupplösta bilder och deras försämrade motsvarigheter till mjukvaran för djupinlärning, kallas Point-Scanning Super-Resolution, eller PSSR. Efter att ha studerat de försämrade bilderna, systemet kunde lära sig att förbättra bilder som var naturligt dålig kvalitet.

Det är viktigt eftersom förr, datorsystem som lärde sig på artificiellt nedbruten data kämpade fortfarande när de presenterades med rådata från den verkliga världen.

"Vi provade en massa olika nedbrytningsmetoder, och vi hittade en som faktiskt fungerar, " Manor säger. "Du kan träna en modell på din artificiellt genererade data, och det fungerar faktiskt på verkliga data."

"Med vår metod, människor kan dra nytta av denna kraftfulla, djupinlärningsteknik utan att investera mycket tid eller resurser, " säger Linjing Fang, bildanalysspecialist vid Waitt Advanced Biophotonics Core Facility, och huvudförfattare på tidningen. "Du kan använda redan existerande data av hög kvalitet, försämra det, och träna en modell för att förbättra kvaliteten på en bild med lägre upplösning."

Teamet visade att PSSR fungerar i både elektronmikroskopi och med fluorescerande levande cellbilder - två situationer där det kan vara utomordentligt svårt eller omöjligt att få de dubbletter av hög- och lågupplösta bilder som behövs för att träna AI-system. Medan studien visade metoden på bilder av hjärnvävnad, Manor hoppas att det skulle kunna tillämpas på andra system i kroppen i framtiden.

Han hoppas också att den en dag kan användas för att göra högupplöst mikroskopisk avbildning mer allmänt tillgänglig. För närvarande, de mest kraftfulla mikroskopen i världen kan kosta uppemot en miljon dollar, på grund av den precisionsteknik som krävs för att skapa högupplösta bilder. "En av våra visioner för framtiden är att kunna börja ersätta några av dessa dyra komponenter med djupinlärning, "Manor säger, "Så vi kunde börja göra mikroskop billigare och mer tillgängliga."