Forskare har utvecklat ett nytt end-to-end neuralt nätverk som kan påskynda rekonstruktionen av holografiska bilder. Till skillnad från andra tekniker för djupinlärning kan tillvägagångssättet användas på prover som inte påträffats under utbildningen, vilket gör det särskilt användbart för etikettfri holografisk biomedicinsk avbildning.

"Med detta ramverk kan ett vältränat neuralt nätverk distribueras var som helst, utan finjustering, och utföra snabb och högkvalitativ holografisk avbildning av olika prover", förklarade forskningsledare Hanlong Chen, University of California, Los Angeles (UCLA).

Hanlong Chen och Aydogan Ozcan kommer att presentera forskningen vid Frontiers in Optics + Laser Science Conference (FiO LS) möte som hålls i Rochester, New York och online 17–20 oktober 2022. Presentationen är planerad till måndagen den 17 oktober kl 16:30 EDT (UTC—04:00).

En generaliserbar metod

Även om olika neurala nätverk har utvecklats för att uppnå den datatunga uppgiften med hologramrekonstruktion för biologisk forskning och biomedicinska tillämpningar, är de flesta av dem utformade för att vara mycket specifika. Det betyder att de kanske inte fungerar bra om de används med prover som skiljer sig från de som ursprungligen användes för att träna nätverket.

För att lösa detta problem utvecklade Chen och kollegor ett end-to-end neuralt nätverk kallat Fourier Imager Network (FIN). Denna typ av neurala nätverk tränas med hjälp av en enda modell, och kringgår några av de steg som vanligtvis används av andra metoder för djupinlärning. End-to-end neurala nätverk är också snabbare och potentiellt mer generaliserbara till en mängd olika prover.

Snabbare, mer exakta resultat

FIN-ramverket tar en sekvens av intensitetsbara råhologram som fångas på olika avstånd från prov till sensor med ett linsfritt in-line holografiskt mikroskop och skapar rekonstruerade bilder av proverna. För att testa det nya tillvägagångssättet tränade forskarna nätverket med hjälp av lungvävnadssnitt. De använde sedan FIN för att rekonstruera holografiska bilder av mänsklig spottkörtelvävnad och cellprover som inte setts av nätverket under träning.

FIN fungerade bra på dessa nya typer av prover och levererade mer exakt rekonstruerade bilder än en iterativ algoritm och en toppmodern modell för djupinlärning. Den visade också en cirka 50-faldigt förbättrad hastighet jämfört med modellen för djupinlärning. Forskarna säger att dessa resultat visar den starka externa generaliseringen av FIN samtidigt som de visar den enorma potentialen i att bygga brett generaliserbara djupa neurala nätverk för olika mikroskopi- och beräkningsavbildningsuppgifter.

Chen tillade, "Vårt nästa steg är att undersöka autofokusering samtidigt som vi behåller fördelarna med vårt tillvägagångssätt, såsom enastående bildkvalitet, oöverträffad generalisering till nya typer av prover och förbättrad beräkningshastighet, vilket gör holografisk avbildning möjlig med enheter med låga resurser." + Utforska vidare

Överlägsen fasåterställning och hologramrekonstruktion med hjälp av ett djupt neuralt nätverk