SEAS-forskare utvecklade den första in-sensor-processorn som kunde integreras i kommersiella kiselavbildningssensorchips. Arrayen (illustrerad här) förenklar bildbehandlingen för autonoma fordon och andra applikationer. Kredit:Donhee Ham Research Group/Harvard SEAS
Som alla förare vet kan olyckor hända på ett ögonblick – så när det kommer till kamerasystemet i autonoma fordon är behandlingstiden avgörande. Den tid det tar för systemet att ta en bild och leverera data till mikroprocessorn för bildbehandling kan betyda skillnaden mellan att undvika ett hinder eller att råka ut för en större olycka.
In-sensor bildbehandling, där viktiga funktioner extraheras från rådata av bildsensorn själv istället för den separata mikroprocessorn, kan påskynda den visuella bearbetningen. Hittills har demonstrationer av bearbetning i sensorer begränsats till framväxande forskningsmaterial som, åtminstone för nu, är svåra att införliva i kommersiella system.
Nu har forskare från Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS) utvecklat den första in-sensor-processorn som skulle kunna integreras i kommersiella kiselavbildningssensorchips – känd som komplementär metall-oxid-halvledare (CMOS) bildsensorer – som används i nästan alla kommersiella enheter som behöver fånga visuell information, inklusive smartphones.
Forskningen publiceras i Nature Electronics .
"Vårt arbete kan utnyttja den vanliga halvledarelektronikindustrin för att snabbt föra in sensordatorer till ett brett utbud av verkliga tillämpningar", säger Donhee Ham, Gordon McKay professor i elektroteknik och tillämpad fysik vid SEAS och senior författare till tidningen .
Ham och hans team utvecklade en fotodioduppsättning av kisel. Kommersiellt tillgängliga bildavkänningschips har också en kiselfotodioduppsättning för att fånga bilder, men lagets fotodioder är elektrostatiskt dopade, vilket innebär att känsligheten hos individuella fotodioder, eller pixlar, för inkommande ljus kan justeras med spänningar. En array som kopplar samman flera spänningsavstämbara fotodioder kan utföra en analog version av multiplikations- och additionsoperationer som är centrala för många bildbehandlingspipelines och extrahera relevant visuell information så snart bilden har tagits.
"Dessa dynamiska fotodioder kan samtidigt filtrera bilder när de tas, vilket gör att det första steget av synbearbetning kan flyttas från mikroprocessorn till själva sensorn", säger Houk Jang, postdoktor vid SEAS och första författare till uppsatsen.
Silikonfotodiodgruppen kan programmeras in i olika bildfilter för att ta bort onödiga detaljer eller brus för olika applikationer. Ett bildsystem i ett autonomt fordon kan till exempel kräva ett högpassfilter för att spåra körfältsmarkeringar, medan andra applikationer kan kräva ett filter som suddar ut för brusreducering.
"När vi blickar framåt förutser vi användningen av denna kiselbaserade sensorprocessor inte bara i maskinseendeapplikationer utan också i bioinspirerade applikationer, där tidig informationsbehandling möjliggör samlokalisering av sensor- och beräkningsenheter, som i hjärnan", säger Henry Hinton, doktorand vid SEAS och medförfattare till tidningen.
Därefter siktar teamet på att öka tätheten hos fotodioder och integrera dem med integrerade kretsar av kisel.
"Genom att ersätta de vanliga icke-programmerbara pixlarna i kommersiella kiselbildsensorer med de programmerbara som utvecklats här, kan bildenheter på ett intelligent sätt trimma ut onödiga data, och därmed göras mer effektiva både vad gäller energi och bandbredd för att möta kraven från nästa generation av sensoriska tillämpningar," sa Jang. + Utforska vidare
