Illustration av rörelsedetekteringsproceduren baserad på differentialberäkning mellan bildrutorna. (1) Först utvecklade teamet retinomorfa enheter med icke-flyktiga positiva och negativa fotokonduktivitet och experimentellt registrera positiva och negativa svarsparametrar för enheterna; (2) anordningsparametrarna används för att konstruera m×n positiva och negativa fotokonduktivitetsmatriser. Och vi ställer in ett lämpligt tidsintervall ∆t baserat på vagnarnas rörelsemönster och extraherar de två ramarna (t1, t1+∆t) med intervallet ∆t. De tidigare ramarna mxn pixlar multipliceras med den negativa mappningsmatrisen och lagras, på grund av det icke-flyktiga fotokonduktivitetsminnet. Den senare ramen m×n pixlar multipliceras med den positiva mappningsmatrisen och det memorerade resultatet summeras med den föregående ramen; (3) efter att ha erhållit summan mellan ramarna, definieras en stegaktiveringsfunktion för att hjälpa till att differentiera den summerade datan. Så småningom omordnades de klassificerade pixlarna i en sekvens för att konstruera den detekterade bilden av Python. Eftersom pixlarna är olika under variabla ramar om vagnen är i rörelse, och den är särskiljbar efter multiplicering och summering med de positiva och negativa fotokonduktivitetsmatriserna. Kredit:Zhang et al.
Enheter som automatiskt kan upptäcka och känna igen rörliga föremål har många värdefulla applikationer, till exempel för att förbättra fjärrövervakning av miljön. De flesta befintliga tekniker för rörelsedetektion och -igenkänning (MDR) är baserade på bildsensorer gjorda av komplementära metalloxidhalvledare (CMOS). Jämfört med den mänskliga näthinnan är dessa system ofta skrymmande och ineffektiva, eftersom de kräver flera hårdvarukomponenter för att fånga, lagra och bearbeta bilder.
Forskare vid Fudan University och den kinesiska vetenskapsakademin har nyligen utvecklat en ny tvådimensionell (2D) enhet inspirerad av den mänskliga näthinnan som kan upptäcka rörelser, lagra rörelsedata och analysera den. Denna allt-i-ett-enhet, presenterad i en artikel publicerad i Nature Nanotechnology , är mycket mindre skrymmande än befintliga enheter för rörelseigenkänning, men den kan känna igen rörliga föremål med hög noggrannhet.
"Inledningsvis designade vi den specifika strukturen som visade en ny positiv och negativ fotolagringsfunktion," berättade Peng Zhou, en av forskarna som genomförde studien, till Phys.org. "Efter att ha kommunicerat med en professor specialiserad på artificiell syn upptäckte vi likheten mellan strukturen och retinalnätverket och började designa och utforska den artificiella synfunktionen som rörelsedetektering och kantdetektering."
Zhou och hans kollegor satte sig för att utveckla en enhet som kan känna av ljus, lagra data och utföra beräkningar, med hjälp av hårdvara formad som den mänskliga näthinnan. Det övergripande målet med deras arbete var att uppnå rörelsedetektering och igenkänning med en enklare och lättare enhet som förbrukar mindre ström.
"Allt-i-ett-enheten vi skapade har två olika lägen baserade på de olika lagrade bärarna, vilket motsvarar positivt respektive negativt optiskt svar", förklarade Zhou. "Därför kan den producera en positiv/negativ antagonistisk icke-flyktig utsignal under belysning. Integrationen av avkänning, minne och datoranvändning liknar precis läget för det mänskliga retinala nätverket."
Eftersom enheten som skapats av Zhou och hans kollegor delvis liknar den mänskliga näthinnan, utvärderade teamet dess förmåga att utföra några av näthinnans funktioner, inklusive rörelse- och kantdetektering. Anmärkningsvärt nog fann de att ett artificiellt neuralt nätverk som körs på den näthinna-inspirerade enheten kunde känna igen rörliga föremål med betydligt större noggrannhet än algoritmer som körs på andra enheter.
"Tidigare näthinnainspirerade enheter uppvisade bara optiska svar och kunde inte lagra dem effektivt, vilket förhindrade tidsdomänberäkningar för rörliga mål," sa Zhou. "Allt-i-ett retinomorfa enheter som vi föreslog har icke-flyktig bipolär positiv och negativ fotokonduktivitet, som möjliggör oöverträffad tidsdifferentiell bearbetning och kan därför appliceras på både rörliga mål och statiska bilder."
Forskarna har redan använt sin design för att skapa en prototyp av den retinomorfa enheten. I framtiden kan den här enheten användas för att fjärrövervaka en mängd olika miljöer eller integreras i robotar för att förbättra deras rörelsedetekterings- och igenkänningsmöjligheter.
"We have extended the functionality and applications of retina-inspired devices with 2D materials and provided prototype demonstrations for the integration of sensing, memory and computing," Zhou added. "We now plan to use the device we created as a model to build a hardware network system. At this stage, we are already working on exploring 2D system processes as well as constructing a test platform." + Utforska vidare
© 2021 Science X Network
