Mönster pryder en statisk modell som används för att testa Rice Universitys Hyperspectral Stripe Projector, som kombinerar spektroskopisk och 3D-avbildning. Streckkodsliknande svarta och vita mönster visas på DMD för att generera de hyperspektrala ränderna. Kredit:Kelly Lab/Rice University
Ränder är på modet den här säsongen på ett Rice University-labb, där forskare använder dem för att göra bilder som vanliga kameror aldrig skulle kunna fånga.
Deras kompakta Hyperspectral Stripe Projector (HSP) är ett steg mot en ny metod för att samla in den rumsliga och spektrala informationen som krävs för självkörande bilar, maskinseende, övervakning av skörden, ytslitage och korrosionsdetektering och andra applikationer.
"Jag kan föreställa mig den här tekniken i händerna på en bonde, eller på en drönare, att titta på ett fält och se inte bara näringsämnen och vatteninnehåll i växter utan också, på grund av 3D-aspekten, höjden på skördarna, sa Kevin Kelly, en docent i el- och datorteknik vid Rice's Brown School of Engineering. "Eller kanske den kan titta på en målning och se ytfärgerna och strukturen i detalj, men med nära-infrarött se även undertill på duken."
Kellys labb skulle kunna möjliggöra 3D-spektroskopi i farten med ett system som kombinerar HSP, en monokrom sensoruppsättning och sofistikerad programmering för att ge användarna en mer komplett bild av ett objekts form och sammansättning.
"Vi får fyrdimensionell information från en bild, tre rumsliga och en spektral, i realtid, "Sa Kelly. "Andra människor använder flera modulatorer och kräver därför starka ljuskällor för att åstadkomma detta, men vi fann att vi kunde göra det med en ljuskälla med normal ljusstyrka och lite smart optik."
Ett 3D-punktmoln av objekt rekonstruerat av Rice Universitys Hyperspectral Stripe Projector-baserade bildsystem. Den monokroma kameran fångar också spektraldata för varje punkt för att ge inte bara målets form utan också dess materialsammansättning. Kredit:Kelly Lab/Rice University
Verket av Kelly, huvudförfattaren och risalumnen Yibo Xu och doktoranden Anthony Giljum beskrivs i en artikel med öppen tillgång i Optik Express .
HSP tar en pekpinne från bärbara 3-D-bildtekniker som redan finns i konsumenternas händer – tänk på ansikts-ID-system i smartphones och kroppsspårare i spelsystem – och lägger till ett sätt att hämta breda spektraldata från varje fångad pixel. Denna komprimerade data rekonstrueras till en 3D-karta med spektral information som kan innehålla hundratals färger och användas för att avslöja inte bara formen på ett objekt utan även dess materialsammansättning.
"Vanlig RGB (röd, grön, blå) kameror ger dig i princip bara tre spektralkanaler, " Sa Xu. "Men en hyperspektral kamera ger oss spektra i många, många kanaler. Vi kan fånga rött vid cirka 700 nanometer och blått vid cirka 400 nanometer, men vi kan också ha bandbredder med några få nanometers mellanrum eller mindre. Det ger oss fin spektral upplösning och en bättre förståelse av scenen.
"HSP kodar samtidigt djup- och hyperspektrala mätningar på ett mycket enkelt och effektivt sätt, tillåter användning av en monokrom kamera istället för en dyr hyperspektral kamera som vanligtvis används i liknande system, sa Xu, som tog sin doktorsexamen vid Rice 2019 och är nu forskningsingenjör i maskininlärning och datorseende vid Samsung Research America Inc. Hon utvecklade både hårdvaran och rekonstruktionsmjukvaran som en del av sin avhandling i Kellys labb.
HSP använder en färdig digital mikrospegelenhet (DMD) för att projicera mönstrade ränder som ser ut ungefär som färgglada streckkoder på en yta. Att skicka vitljusprojektionen genom ett diffraktionsgitter separerar de överlappande mönstren i färger.
Ett mål och dess punktmolnbild visar en funktion hos Rice Universitys Hyperspectral Stripe Projector, som samlar in 3D-data och spektraldata för varje punkt för att ge inte bara målets form utan även dess materialsammansättning. Kredit:Kelly Lab/Rice University
Varje färg reflekteras tillbaka till den monokroma kameran, som tilldelar en numerisk grånivå till den pixeln.
Varje pixel kan ha flera nivåer, en för varje färgrand den reflekterar. Dessa kombineras om till ett övergripande spektralvärde för den delen av objektet.
"Vi använder en enda DMD och ett enda galler i HSP, " Xu sa. "Den nya optiska designen att vika ljusvägen tillbaka till samma diffraktionsgitter och lins är det som gör den riktigt kompakt. Den enda DMD tillåter oss att behålla det ljus vi vill ha och slänga resten."
Dessa finjusterade spektra kan nå bortom synligt ljus. Det de reflekterar tillbaka till sensorn som multiplexerade finbandsspektra kan användas för att identifiera materialets kemiska sammansättning.
På samma gång, förvrängningar i mönstret rekonstrueras till 3D-punktmoln, i huvudsak en bild av målet, men med mycket mer data än en vanlig ögonblicksbild kan ge.
Kelly tänker sig HSP inbyggd i bilstrålkastare som kan se skillnaden mellan ett föremål och en person. "Det skulle aldrig kunna förväxlas mellan en grön klänning och en grön växt, eftersom allt har sin egen spektrala signatur, " han sa.
Kelly tror att labbet så småningom kommer att införliva idéer från Rices banbrytande enpixelkamera för att ytterligare minska storleken på enheten och anpassa den för komprimerande videoinspelning också.
