Forskare har utnyttjat tekniker för djupinlärning för att förbättra bildkvaliteten hos en metalens-kamera. Det nya tillvägagångssättet använder artificiell intelligens för att förvandla lågkvalitativa bilder till högkvalitativa, vilket kan göra dessa kameror livskraftiga för en mängd avbildningsuppgifter, inklusive intrikata mikroskopiapplikationer och mobila enheter.
Metalenses är ultratunna optiska enheter - ofta bara en bråkdel av en millimeter tjocka - som använder nanostrukturer för att manipulera ljus. Även om deras ringa storlek potentiellt skulle kunna möjliggöra extremt kompakta och lätta kameror utan traditionella optiska linser, har det varit svårt att uppnå den nödvändiga bildkvaliteten med dessa optiska komponenter.
"Vår teknik gör det möjligt för våra metalens-baserade enheter att övervinna begränsningarna av bildkvalitet", säger forskargruppsledare Ji Chen från Southeast University i Kina. "Detta framsteg kommer att spela en viktig roll i den framtida utvecklingen av mycket bärbar konsumentavbildningselektronik och kan även användas i specialiserade bildbehandlingstillämpningar som mikroskopi."
I tidskriften Optics Letters , beskriver forskarna hur de använde en typ av maskininlärning känd som ett flerskaligt faltningsneuralt nätverk för att förbättra upplösning, kontrast och förvrängning i bilder från en liten kamera - cirka 3 cm × 3 cm × 0,5 cm - de skapade genom att direkt integrera a metalens på ett CMOS-bildchip.
"Metalens-integrerade kameror kan integreras direkt i bildmodulerna på smartphones, där de kan ersätta de traditionella refraktiva bulklinserna", säger Chen. "De skulle också kunna användas i enheter som drönare, där den lilla storleken och lätta kameran skulle säkerställa bildkvalitet utan att kompromissa med drönarens rörlighet."
Kameran som användes i det nya arbetet har tidigare utvecklats av forskarna och använder en metalens med 1000 nm höga cylindriska kiselnitrid nanostolpar. Metalens fokuserar ljus direkt på en CMOS-avbildningssensor utan att behöva några andra optiska element.
Även om denna design skapade en mycket liten kamera begränsade den kompakta arkitekturen bildkvaliteten. Därför bestämde sig forskarna för att se om maskininlärning kunde användas för att förbättra bilderna.
Deep learning är en typ av maskininlärning som använder artificiella neurala nätverk med flera lager för att automatiskt lära sig funktioner från data och göra komplexa beslut eller förutsägelser. Forskarna tillämpade detta tillvägagångssätt genom att använda en faltningsmodell för att generera ett stort antal bildpar av hög och låg kvalitet. Dessa bildpar användes för att träna ett flerskaligt faltningsneuralt nätverk så att det kunde känna igen egenskaperna hos varje typ av bild och använda det för att förvandla bilder av låg kvalitet till bilder av hög kvalitet.
"En viktig del av detta arbete var att utveckla ett sätt att generera den stora mängden träningsdata som behövs för den neurala nätverksinlärningsprocessen", säger Chen. "När du har tränat kan en bild av låg kvalitet skickas från enheten till det neurala nätverket för bearbetning, och högkvalitativa bildresultat erhålls omedelbart."
Tillämpa det neurala nätverket
För att validera den nya tekniken för djupinlärning använde forskarna den på 100 testbilder. De analyserade två vanliga bildbehandlingsmått:toppsignal-brusförhållandet och det strukturella likhetsindexet.
De fann att bilderna som bearbetades av det neurala nätverket uppvisade en betydande förbättring i båda måtten. De visade också att tillvägagångssättet snabbt kunde generera högkvalitativ bilddata som nära liknade det som fångades direkt genom experiment.
Forskarna designar nu metalenser med komplexa funktioner – såsom färg- eller vidvinkelavbildning – och utvecklar metoder för neurala nätverk för att förbättra bildkvaliteten hos dessa avancerade metalenser. För att göra denna teknik praktisk för kommersiella tillämpningar skulle det krävas nya monteringstekniker för att integrera metalenses i smartphones avbildningsmoduler och bildkvalitetsförbättringsprogram som utformats speciellt för mobiltelefoner.
"Ultra-lätta och ultratunna metaller representerar en revolutionerande teknik för framtida bildbehandling och detektion", säger Chen. "Att utnyttja tekniker för djupinlärning för att optimera metalens prestanda markerar en avgörande utvecklingsbana. Vi ser maskininlärning som en viktig trend för att utveckla fotonikforskningen."
