Schemat för (a) en konventionell sensor som endast kan detektera ljusintensitet och (b) en nanostrukturerad multimodal sensor, som kan detektera olika kvaliteter av ljus genom interaktioner mellan ljus och materia på subvåglängdsskala. Kredit:Yurui Qu och Soongyu Yi
Bildsensorer mäter ljusintensiteten, men vinkel, spektrum och andra aspekter av ljus måste också extraheras för att avsevärt förbättra maskinseendet.
I Applied Physics Letters , forskare vid University of Wisconsin-Madison, Washington University i St. Louis och OmniVision Technologies lyfter fram de senaste nanostrukturerade komponenterna integrerade på bildsensorchips som med största sannolikhet kommer att ha störst inverkan inom multimodal bildbehandling.
Utvecklingen skulle kunna göra det möjligt för autonoma fordon att se runt hörnen istället för bara en rak linje, biomedicinsk avbildning för att upptäcka abnormiteter på olika vävnadsdjup och teleskop för att se genom interstellärt damm.
"Bildsensorer kommer gradvis att genomgå en övergång för att bli de ideala konstgjorda ögonen för maskiner," sa medförfattaren Yurui Qu, från University of Wisconsin-Madison. "En utveckling som utnyttjar de anmärkningsvärda prestationerna hos befintliga bildsensorer kommer sannolikt att generera mer omedelbara effekter."
Bildsensorer, som omvandlar ljus till elektriska signaler, består av miljontals pixlar på ett enda chip. Utmaningen är hur man kan kombinera och miniatyrisera multifunktionella komponenter som en del av sensorn.
I sitt eget arbete beskrev forskarna ett lovande tillvägagångssätt för att detektera flerbandsspektra genom att tillverka en on-chip-spektrometer. De avsatte fotoniska kristallfilter som består av kisel direkt ovanpå pixlarna för att skapa komplexa interaktioner mellan infallande ljus och sensorn.
Pixlarna under filmerna registrerar fördelningen av ljusenergi, från vilken ljusspektral information kan härledas. Enheten – mindre än en hundradels kvadrattum i storlek – är programmerbar för att möta olika dynamiska intervall, upplösningsnivåer och nästan alla spektrala regimer från synliga till infraröda.
Forskarna byggde en komponent som detekterar vinkelinformation för att mäta djup och konstruera 3D-former i subcellulära skalor. Deras arbete var inspirerat av riktade hörselsensorer som finns hos djur, som geckos, vars huvuden är för små för att avgöra var ljud kommer ifrån på samma sätt som människor och andra djur kan. Istället använder de kopplade trumhinnor för att mäta ljudets riktning inom en storlek som är storleksordningar mindre än motsvarande akustiska våglängd.
På liknande sätt konstruerades par av nanotrådar av kisel som resonatorer för att stödja optisk resonans. Den optiska energin som lagras i två resonatorer är känslig för infallsvinkeln. Tråden närmast ljuset sänder den starkaste strömmen. Genom att jämföra de starkaste och svagaste strömmarna från båda ledningarna kan vinkeln på de inkommande ljusvågorna bestämmas.
Miljontals av dessa nanotrådar kan placeras på ett chip på 1 kvadratmillimeter. Forskningen kan stödja framsteg inom objektivfria kameror, förstärkt verklighet och robotsyn.
Artikeln "Multimodal ljusavkännande pixelmatriser" är författad av Yurui Qu, Soongyu Yi, Lan Yang och Zongfu Yu. Artikeln kommer att visas i Applied Physics Letters den 26 juli 2022. + Utforska vidare
