Forskare vid Oregon State University gör viktiga framsteg med en ny typ av optisk sensor som närmare efterliknar det mänskliga ögats förmåga att uppfatta förändringar i dess synfält.

Sensorn är ett stort genombrott för områden som bildigenkänning, robotik och artificiell intelligens. Resultat av OSU College of Engineering-forskaren John Labram och doktoranden Cinthya Trujillo Herrera publicerades idag i Tillämpad fysikbokstäver .

Tidigare försök att bygga en enhet av typen mänskligt öga, kallas en retinomorf sensor, har förlitat sig på mjukvara eller komplex hårdvara, sa Labram, biträdande professor i elektroteknik och datavetenskap. Men den nya sensorns funktion är en del av dess grundläggande design, med hjälp av ultratunna lager av perovskithalvledare – omfattande studerade under de senaste åren för deras solenergipotential – som ändras från starka elektriska isolatorer till starka ledare när de placeras i ljus.

"Du kan tänka på det som en enda pixel som gör något som för närvarande skulle kräva en mikroprocessor, "sa Labram, som leder forskningssatsningen med stöd från National Science Foundation.

Den nya sensorn kan vara en perfekt matchning för de neuromorfa datorer som kommer att driva nästa generations artificiell intelligens i applikationer som självkörande bilar, robotik och avancerad bildigenkänning, sa Labram. Till skillnad från traditionella datorer, som behandlar information sekventiellt som en serie instruktioner, neuromorfa datorer är designade för att efterlikna den mänskliga hjärnans massivt parallella nätverk.

"Folk har försökt replikera detta i hårdvara och har varit ganska framgångsrika, " sa Labram. "Men, även om algoritmerna och arkitekturen designad för att bearbeta information blir mer och mer som en mänsklig hjärna, informationen som dessa system tar emot är fortfarande avgjort utformad för traditionella datorer."

Med andra ord:För att nå sin fulla potential, en dator som "tänker" mer som en mänsklig hjärna behöver en bildsensor som "ser" mer som ett mänskligt öga.

Ett spektakulärt komplext organ, ögat innehåller cirka 100 miljoner fotoreceptorer. Dock, synnerven har bara 1 miljon kopplingar till hjärnan. Detta innebär att en betydande mängd förbearbetning och dynamisk komprimering måste ske i näthinnan innan bilden kan överföras.

Som det visar sig, vårt synsätt är särskilt väl anpassat för att upptäcka rörliga föremål och är jämförelsevis "mindre intresserade" av statiska bilder, sa Labram. Således, våra optiska kretsar prioriterar signaler från fotoreceptorer som upptäcker en förändring i ljusintensitet – du kan själv demonstrera detta genom att stirra på en fast punkt tills föremål i ditt perifera seende börjar försvinna, ett fenomen som kallas Troxler-effekten.

Konventionell avkänningsteknik, som chipsen som finns i digitalkameror och smartphones, är bättre lämpade för sekventiell bearbetning, sa Labram. Bilder skannas över en tvådimensionell uppsättning sensorer, pixel för pixel, vid en inställd frekvens. Varje sensor genererar en signal med en amplitud som varierar direkt med intensiteten på ljuset den tar emot, vilket innebär att en statisk bild kommer att resultera i en mer eller mindre konstant utspänning från sensorn.

Däremot, den retinomorfa sensorn förblir relativt tyst under statiska förhållanden. Den registrerar en kort, skarp signal när den känner av en förändring i belysningen, återgår sedan snabbt till sitt utgångsläge. Detta beteende beror på de unika fotoelektriska egenskaperna hos en klass av halvledare som kallas perovskiter, som har visat mycket lovande som nästa generation, billiga solcellsmaterial.

I Labrams retinomorfa sensor, perovskiten appliceras i ultratunna lager, bara några hundra nanometer tjock, och fungerar i huvudsak som en kondensator som varierar sin kapacitans under belysning. En kondensator lagrar energi i ett elektriskt fält.

"Så som vi testar det är, i grund och botten, vi lämnar det i mörkret en sekund, sedan tänder vi lamporna och låter dem vara tända, " sa han. "Så fort ljuset tänds, du får den här stora spänningstoppen, då sjunker spänningen snabbt, trots att ljusets intensitet är konstant. Och det är vad vi vill."

Även om Labrams labb för närvarande bara kan testa en sensor åt gången, hans team mätte ett antal enheter och utvecklade en numerisk modell för att replikera deras beteende, kommer fram till vad Labram anser "en bra matchning" mellan teori och experiment.

Detta gjorde det möjligt för teamet att simulera en rad retinomorfa sensorer för att förutsäga hur en retinomorf videokamera skulle reagera på ingångsstimulans.

"Vi kan konvertera video till en uppsättning ljusintensiteter och sedan lägga in det i vår simulering, "Sa Labram." Regioner där en högre spänningsutgång förutses från sensorn tänds, medan de lägre spänningsområdena förblir mörka. Om kameran är relativt statisk, du kan tydligt se alla saker som rör sig reagerar starkt. Detta förblir rimligt troget paradigmet för optisk avkänning hos däggdjur."

En simulering med bilder från en basebollträning visar de förväntade resultaten:Spelare på inplanet dyker upp som tydligt synliga, ljusa rörliga föremål. Relativt statiska föremål - baseballdiamanten, läktaren, även ytterspelarna — blekna in i mörkret.

En ännu mer slående simulering visar en fågel som flyger till synen, sedan nästan försvinner när den stannar vid en osynlig fågelmatare. Fågeln dyker upp igen när den lyfter. Mataren, ställa sig gungande, blir synlig först när den börjar röra sig.

"Det som är bra är att med denna simulering, vi kan mata in vilken video som helst i en av dessa arrayer och bearbeta den informationen på ungefär samma sätt som det mänskliga ögat skulle göra, " sa Labram. "Till exempel, du kan föreställa dig att dessa sensorer används av en robot som spårar föremåls rörelse. Allt statiskt i dess synfält skulle inte framkalla ett svar, men ett rörligt föremål skulle registrera en hög spänning. Detta skulle berätta för roboten omedelbart var objektet var, utan någon komplicerad bildbehandling."