En ny realtid, 3D rörelsespårningssystem utvecklat vid University of Michigan kombinerar transparenta ljusdetektorer med avancerade neurala nätverksmetoder för att skapa ett system som en dag skulle kunna ersätta LiDAR och kameror i autonoma teknologier.

Medan tekniken fortfarande är i sin linda, framtida tillämpningar inkluderar automatiserad tillverkning, biomedicinsk avbildning och autonom körning. En artikel om systemet publiceras i Naturkommunikation.

Bildsystemet utnyttjar fördelarna med transparent, nanoskala, mycket känsliga grafenfotodetektorer utvecklade av Zhaohui Zhong, U-M docent i el- och datateknik, och hans grupp. De tros vara de första i sitt slag.

"Den djupgående kombinationen av grafen nanoenheter och maskininlärningsalgoritmer kan leda till fascinerande möjligheter inom både vetenskap och teknik, sa Dehui Zhang, en doktorand i el- och datateknik. "Vårt system kombinerar beräkningseffektivitet, snabb spårningshastighet, kompakt hårdvara och lägre kostnad jämfört med flera andra lösningar."

Grafenfotodetektorerna i detta arbete har justerats för att absorbera endast cirka 10 % av ljuset de utsätts för, gör dem nästan genomskinliga. Eftersom grafen är så känsligt för ljus, detta är tillräckligt för att generera bilder som kan rekonstrueras genom beräkningsavbildning. Fotodetektorerna är staplade bakom varandra, vilket resulterar i ett kompakt system, och varje lager fokuserar på ett annat fokalplan, som möjliggör 3D-avbildning.

Men 3D-bilder är bara början. Teamet tacklade också rörelsespårning i realtid, vilket är avgörande för ett brett utbud av autonoma robotapplikationer. Att göra detta, de behövde ett sätt att bestämma positionen och orienteringen för ett objekt som spåras. Typiska tillvägagångssätt involverar LiDAR-system och ljusfältskameror, som båda lider av betydande begränsningar, säger forskarna. Andra använder metamaterial eller flera kameror. Enbart hårdvara räckte inte för att ge önskat resultat.

De behövde också algoritmer för djupinlärning. Zhen Xu hjälpte till att överbrygga dessa två världar, en doktorand i el- och datateknik. Han byggde den optiska installationen och arbetade med teamet för att möjliggöra ett neuralt nätverk för att dechiffrera positionsinformationen.

Det neurala nätverket är tränat att söka efter specifika objekt i hela scenen, och fokusera sedan bara på föremålet av intresse – till exempel, en fotgängare i trafiken, eller ett föremål som rör sig in i ditt körfält på en motorväg. Tekniken fungerar särskilt bra för stabila system, såsom automatiserad tillverkning, eller projicera människokroppsstrukturer i 3D för det medicinska samhället.

"Det tar tid att träna ditt neurala nätverk, " sa projektledaren Ted Norris, professor i elektro- och datateknik. "Men när det väl är gjort, det är gjort. Så när en kamera ser en viss scen, det kan ge ett svar på millisekunder."

Doktoranden Zhengyu Huang ledde algoritmdesignen för det neurala nätverket. Den typ av algoritmer som teamet utvecklat skiljer sig från traditionella signalbehandlingsalgoritmer som används för långvariga bildtekniker som röntgen och MRI. Och det är spännande för teamets medledare Jeffrey Fessler, professor i el- och datateknik, som är specialiserad på medicinsk bildbehandling.

"Under mina 30 år i Michigan, det här är det första projektet jag har varit involverad i där tekniken är i sin linda, " Sa Fessler. "Vi är långt ifrån något du kommer att köpa på Best Buy, men det är okej. Det är en del av det som gör det här spännande."

Teamet visade framgång med att spåra en ljusstråle, samt en riktig nyckelpiga med en stack av två 4x4 (16 pixlar) grafenfotodetektormatriser. De bevisade också att deras teknik är skalbar. De tror att det skulle ta så lite som 4, 000 pixlar för några praktiska tillämpningar, och 400x600 pixelmatriser för många fler.

Även om tekniken kan användas med andra material, Ytterligare fördelar med grafen är att det inte kräver konstgjord belysning och att det är miljövänligt. Det kommer att bli en utmaning att bygga den tillverkningsinfrastruktur som krävs för massproduktion, men det kan vara värt det, säger forskarna.

"Grafen är nu vad kisel var 1960, ", sa Norris. "När vi fortsätter att utveckla denna teknik, det skulle kunna motivera den typ av investering som skulle behövas för kommersialisering."

Uppsatsen har titeln "Neural Network Based 3D Tracking with a Graphene Transparent Focal Stack Imaging System."