Små brister i ett vinglas eller små veck i en kontaktlins kan vara svårt att urskilja, även i bra ljus. I nästan totalt mörker, bilder av sådana genomskinliga särdrag eller föremål är nästan omöjliga att tyda. Men nu, ingenjörer vid MIT har utvecklat en teknik som kan avslöja dessa "osynliga" föremål, i mörkret.

I en studie publicerad idag i Fysiska granskningsbrev , forskarna rekonstruerade genomskinliga föremål från bilder av dessa föremål, tagna i nästan kolsvarta förhållanden. De gjorde detta med hjälp av ett "djupt neuralt nätverk, "en maskininlärningsteknik som innebär att en dator tränas att associera vissa ingångar med specifika utgångar - i det här fallet, mörk, korniga bilder av genomskinliga föremål och själva föremålen.

Teamet tränade en dator att känna igen mer än 10, 000 transparenta glasliknande etsningar, baserat på extremt korniga bilder av dessa mönster. Bilderna är tagna i mycket svaga ljusförhållanden, med ungefär en foton per pixel – mycket mindre ljus än en kamera skulle registrera i mörker, förseglat rum. De visade sedan datorn en ny kornig bild, inte ingår i träningsdata, och fann att den lärde sig att rekonstruera det genomskinliga föremålet som mörkret hade skymt.

Resultaten visar att djupa neurala nätverk kan användas för att belysa transparenta egenskaper som biologiska vävnader och celler, i bilder tagna med väldigt lite ljus.

"I labbet, om du spränger biologiska celler med ljus, du bränner dem, och det finns inget kvar att avbilda, " säger George Barbastathis, professor i maskinteknik vid MIT. "När det gäller röntgenbilder, om du utsätter en patient för röntgenstrålar, du ökar risken för att de kan få cancer. Det vi gör här är att du kan få samma bildkvalitet, men med en lägre exponering för patienten. Och inom biologi, du kan minska skadorna på biologiska prover när du vill ta prover."

Barbastathis medförfattare på tidningen är huvudförfattaren Alexandre Goy, Kwabena Arthur, och Shuai Li.

Djup mörk inlärning

Neurala nätverk är beräkningsscheman som är utformade för att löst efterlikna hur hjärnans neuroner arbetar tillsammans för att bearbeta komplexa datainmatningar. Ett neuralt nätverk fungerar genom att utföra successiva "lager" av matematiska manipulationer. Varje beräkningsskikt beräknar sannolikheten för en given utdata, baserat på en första ingång. Till exempel, ges en bild av en hund, ett neuralt nätverk kan identifiera egenskaper som först påminner om ett djur, då mer specifikt en hund, och slutligen, en beagle. Ett "djupt" neuralt nätverk omfattar många, mycket mer detaljerade lager av beräkningar mellan input och output.

En forskare kan "träna" ett sådant nätverk för att utföra beräkningar snabbare och mer exakt, genom att mata den hundratals eller tusentals bilder, inte bara av hundar, men andra djur, objekt, och människor, tillsammans med rätt etikett för varje bild. Med tanke på tillräckligt med data att lära av, det neurala nätverket ska kunna klassificera helt nya bilder korrekt.

Djupa neurala nätverk har använts i stor utsträckning inom området datorseende och bildigenkänning, och nyligen, Barbastathis och andra utvecklade neurala nätverk för att rekonstruera genomskinliga föremål i bilder tagna med mycket ljus. Nu är hans team först med att använda djupa neurala nätverk i experiment för att avslöja osynliga föremål i bilder tagna i mörker.

"Osynliga föremål kan avslöjas på olika sätt, men det kräver vanligtvis att du använder gott om ljus, " säger Barbastathis. "Det vi gör nu är att visualisera de osynliga föremålen, i mörkret. Så det är som två svårigheter kombinerade. Och ändå kan vi fortfarande göra samma mängd uppenbarelser."

Ljusets lag

Teamet konsulterade en databas med 10, 000 integrerade kretsar (IC), som var och en är etsad med olika intrikat mönster av horisontella och vertikala staplar.

"När vi ser med blotta ögat, vi ser inte mycket - de ser ut som en genomskinlig glasbit, " säger Goy. "Men det finns faktiskt väldigt fina och grunda strukturer som fortfarande har en effekt på ljuset."

Istället för att etsa var och en av de 10, 000 mönster på lika många glasskiva, forskarna använde en "fas spatial ljusmodulator, " ett instrument som visar mönstret på en enda glasskiva på ett sätt som återskapar samma optiska effekt som en faktisk etsad diabild skulle ha.

Forskarna satte upp ett experiment där de riktade en kamera mot en liten aluminiumram som innehöll ljusmodulatorn. De använde sedan enheten för att reproducera var och en av de 10, 000 IC-mönster från databasen. Forskarna täckte hela experimentet så det var skyddat från ljus, och använde sedan ljusmodulatorn för att snabbt rotera genom varje mönster, liknande en bildkarusell. De tog bilder av varje genomskinligt mönster, i nästan totalt mörker, producerar "salt-och-peppar" bilder som liknade lite mer än statiska på en tv-skärm.

Teamet utvecklade ett djupt neuralt nätverk för att identifiera transparenta mönster från mörka bilder, matade sedan nätverket var och en av de 10, 000 korniga fotografier tagna av kameran, tillsammans med deras motsvarande mönster, eller vad forskarna kallade "grundsanningar".

"Säg till datorn, 'Om jag lägger in det här, du får ut det här, '" säger Goy. "Du gör det här 10, 000 gånger, och efter träningen, du hoppas att om du ger det en ny input, den kan berätta vad den ser."

"Det är lite värre än ett barn, Barbastathis skämtar. "Vanligtvis lär sig bebisar lite snabbare."

Forskarna ställde in sin kamera för att ta bilder lite ur fokus. Så kontraintuitivt som det verkar, detta fungerar faktiskt för att få ett genomskinligt objekt i fokus. Eller, mer exakt, ofokusering ger vissa bevis, i form av krusningar i det detekterade ljuset, att ett genomskinligt föremål kan finnas. Sådana krusningar är en visuell flagga som ett neuralt nätverk kan upptäcka som ett första tecken på att ett objekt befinner sig någonstans i en bilds kornighet.

Men oskärpa skapar också oskärpa, som kan smutsa ner ett neuralt nätverks beräkningar. För att hantera detta, forskarna införlivade i det neurala nätverket en lag i fysiken som beskriver ljusets beteende, och hur det skapar en suddig effekt när en kamera är oskarp.

"Vad vi vet är den fysiska lagen för ljusutbredning mellan provet och kameran, " säger Barbastathis. "Det är bättre att inkludera denna kunskap i modellen, så det neurala nätverket slösar inte tid på att lära oss något som vi redan vet."

Skarpare bild

Efter att ha tränat det neurala nätverket den 10, 000 bilder av olika IC-mönster, laget skapade ett helt nytt mönster, ingår inte i det ursprungliga träningssetet. När de tog en bild av mönstret, återigen i mörkret, och matade in den här bilden i det neurala nätverket, de jämförde mönstren som det neurala nätverket rekonstruerade, både med och utan den fysiska lagen inbäddad i nätverket.

De fann att båda metoderna rekonstruerade det ursprungliga transparenta mönstret ganska bra, men den "fysikinformerade rekonstruktionen" gav en skarpare, mer exakt bild. Vad mer, detta rekonstruerade mönster, från en bild tagen i nästan totalt mörker, var mer definierad än en fysikinformerad rekonstruktion av samma mönster, avbildad i ljus som var mer än 1, 000 gånger ljusare.

Teamet upprepade sina experiment med en helt ny datamängd, som består av mer än 10, 000 bilder av mer allmänna och varierande föremål, inklusive människor, platser, och djur. Efter träning, forskarna matade det neurala nätverket med en helt ny bild, tagen i mörkret, av en genomskinlig etsning av en scen med gondoler dockade vid en brygga. På nytt, de fann att den fysikinformerade rekonstruktionen gav en mer exakt bild av originalet, jämfört med reproduktioner utan den fysiska lagen inbäddad.

"Vi har visat att djupinlärning kan avslöja osynliga föremål i mörkret, " säger Goy. "Detta resultat är av praktisk betydelse för medicinsk bildbehandling för att minska patientens exponering för skadlig strålning, och för astronomisk avbildning."

Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.