En kall, solig dag kör du på en landsväg, omgiven av snötäckta fält. På ett ögonblick bearbetar dina ögon scenen och plockar ut enskilda objekt att fokusera på – en stoppskylt, en lada – medan resten av scenen suddas ut i periferin. Din hjärna lagrar de fokuserade och suddiga bilderna som ett minne som kan föreställas i ditt sinne senare, när du sitter vid ditt skrivbord.
Genom att efterlikna det mänskliga ögats lätta, omedelbara bildbehandlingskraft skapade forskare inom elektroteknik i Penn State en metasyta:ett optiskt element som liknar en glasskiva som använder små nanostrukturer placerade i olika vinklar för att kontrollera ljuset. Under ledning av motsvarande författare Xingjie Ni, docent i elektroteknik och datavetenskap (EECS) vid Penn State, publicerade teamet sin uppfinning i Nature Communications .
Artificiell intelligens (AI)-system kräver betydande datorkraft och energi och kan vara långsamma att bearbeta bilder och identifiera objekt, enligt forskarna. Däremot kan metaytan användas för att förbearbeta och transformera bilder innan de tas av en kamera, vilket gör att en dator – och AI – kan bearbeta dem med minimal kraft och databandbredd.
Metaytan fungerar genom att konvertera en bild från det kartesiska koordinatsystemet, där bildpixlar är ordnade i raka rader och kolumner längs x- och y-axlarna, till det log-polära systemet, som använder en bullseye-liknande pixelfördelning.
"Som arrangemanget av ljusreceptorer inuti det mänskliga ögat, tar metaytan bilder och arrangerar dem i ett log-polärt koordinatsystem - med tätare pixlar för de centrala, fokuserade funktionerna och glesare pixlar för de perifera regionerna," sa Ni. "Detta gör att de viktigare aspekterna av ett foto kommer fram tydligt medan andra förblir mindre i fokus, vilket sparar databandbredd."
Metaytan placeras framför en kamera så att ljus först passerar genom den och omvandlar bilden från det kartesiska systemet till log-polära koordinater innan den digitaliseras av en kamera och överförs till en dator. Eftersom den fungerar med nanostrukturer som böjer ljus, behöver metaytan ingen kraft och arbetar med ljusets hastighet.
"Eftersom en bild av ett objekt kan variera i storlek eller orientering, är det önskvärt att förbehandla bilder för att göra dem resistenta mot skala och rotationsförändringar," sa Ni. "Denna förbearbetning hjälper AI-applikationer lättare att känna igen dem som samma objekt."
Genom att placera en annan metayta framför en kamera kan forskare också omvandla den log-polära bilden tillbaka till originalbilden med kartesiska koordinater.
Uppfinningen har många potentiella tillämpningar, sa forskarna, inklusive för användning i målspårning och övervakning för att kartlägga hur en bil, till exempel, rör sig över en stad.
"En metayta kan användas tillsammans med AI-system som en förprocessor, vilket gör det lättare att känna igen samma bil från flera street view-kameror," sa Ni. "Eller om den appliceras på en satellit kan den potentiellt spåra plan från start till landning."
Mer information: Xingwang Zhang et al, Heloptiska geometriska bildtransformationer som möjliggörs av ultratunna metasytor, Nature Communications (2023). DOI:10.1038/s41467-023-43981-x
Tillhandahålls av Pennsylvania State University
