Arméforskare har utvecklat en artificiell intelligens och maskininlärningsteknik som producerar en synlig ansiktsbild från en värmebild av en persons ansikte som tagits i svagt ljus eller nattetid. Denna utveckling kan leda till förbättrad realtidsbiometri och kriminalteknisk analys efter uppdraget för hemliga operationer under natten.

Värmekameror som FLIR, eller framåtblickande infraröd, sensorer är aktivt utplacerade på luft- och markfordon, i vakttorn och vid kontrollpunkter för övervakningsändamål. På senare tid, värmekameror blir tillgängliga för användning som kroppsburna kameror. Möjligheten att utföra automatisk ansiktsigenkänning nattetid med hjälp av sådana värmekameror är fördelaktigt för att informera en soldat om att en individ är någon av intresse, som någon som kanske finns på en bevakningslista.

Motiven för denna teknik – utvecklad av Drs. Benjamin S. Riggan, Nathaniel J. Short och Shuowen "Sean" Hu, från U.S. Army Research Laboratory – ska förbättra både automatiska och mänskliga matchningsmöjligheter.

"Denna teknik möjliggör matchning mellan termiska ansiktsbilder och befintliga biometriska ansiktsdatabaser/bevakningslistor som bara innehåller synliga ansiktsbilder, sa Riggan, en forskare. "Tekniken ger ett sätt för människor att visuellt jämföra synliga och termiska ansiktsbilder genom termisk-till-synligt ansiktssyntes."

Han sa under nattliga och svaga ljusförhållanden, det finns inte tillräckligt med ljus för en konventionell kamera för att ta ansiktsbilder för igenkänning utan aktiv belysning som en blixt eller spotlight, vilket skulle ge bort positionen för sådana övervakningskameror; dock, värmekameror som fångar värmesignaturen som naturligt kommer från levande hudvävnad är idealiska för sådana förhållanden.

"När du använder värmekameror för att ta ansiktsbilder, den största utmaningen är att den tagna värmebilden måste matchas mot en bevakningslista eller ett galleri som endast innehåller konventionella synliga bilder från kända personer av intresse, " sa Riggan. "Därför, problemet blir det som kallas tvärspektrum, eller heterogen, ansiktsigenkänning. I detta fall, ansiktssondbilder som förvärvats i en modalitet matchas mot en galleridatabas som förvärvats med en annan bildbehandlingsmodalitet."

Detta tillvägagångssätt utnyttjar avancerade domänanpassningstekniker baserade på djupa neurala nätverk. Det grundläggande tillvägagångssättet är sammansatt av två nyckeldelar:en icke-linjär regressionsmodell som mappar en given termisk bild till en motsvarande synlig latent representation och ett optimeringsproblem som projicerar den latenta projektionen tillbaka in i bildrymden.

Detaljer om detta arbete presenterades i mars i ett tekniskt dokument "Thermal to Visible Synthesis of Face Images using Multiple Regions" vid IEEE Winter Conference on Applications of Computer Vision, eller WACV, i Lake Tahoe, Nevada, som är en teknisk konferens som består av forskare och forskare från den akademiska världen, industri och myndigheter.

På konferensen, Arméforskare visade att genom att kombinera global information, såsom drag från hela ansiktet, och lokal information, såsom särdrag från diskriminerande förtroenderegioner, till exempel, ögon, näsa och mun, förbättrade särskiljbarheten hos de syntetiserade bilderna. De visade hur de termiskt-till-synliga kartlagda representationerna från både globala och lokala regioner i den termiska ansiktssignaturen kunde användas tillsammans för att syntetisera en förfinad synlig ansiktsbild.

Optimeringsproblemet för att syntetisera en bild försöker att gemensamt bevara formen på hela ansiktet och utseendet på de lokala referensdetaljerna. Genom att använda de syntetiserade termiska-till-synliga bilderna och befintliga synliga galleribilder, de utförde ansiktsverifieringsexperiment med hjälp av en gemensam djup neural nätverksarkitektur med öppen källkod för ansiktsigenkänning. Arkitekturen som används är uttryckligen designad för synligt baserad ansiktsigenkänning. Det mest överraskande resultatet är att deras tillvägagångssätt uppnådde bättre verifieringsprestanda än ett generativt kontradiktoriskt nätverksbaserat tillvägagångssätt, som tidigare visade fotorealistiska egenskaper.

Riggan tillskriver detta resultat det faktum att det spelteoretiska målet för GAN omedelbart försöker generera bilder som är tillräckligt lika i dynamiskt omfång och fotoliknande utseende till träningsbilderna, medan man ibland försummar att bevara identifierande egenskaper, han sa. Tillvägagångssättet som utvecklats av ARL bevarar identitetsinformation för att förbättra diskriminerbarheten, till exempel, ökad igenkänningsnoggrannhet för både automatiska ansiktsigenkänningsalgoritmer och mänsklig bedömning.

Som en del av papperspresentationen, ARL-forskare visade upp en nästan realtidsdemonstration av denna teknik. Demonstrationen av proof of concept inkluderade användningen av en FLIR Boson 320 värmekamera och en bärbar dator som körde algoritmen i nästan realtid. Denna demonstration visade publiken att en taggen värmebild av en person kan användas för att producera en syntetiserad synlig bild på plats. Detta arbete fick priset för bästa papper under konferensens ansikten/biometri, av mer än 70 artiklar som presenterats.

Riggan sa att han och hans kollegor kommer att fortsätta att utöka denna forskning under sponsring av Defense Forensics and Biometrics Agency för att utveckla en robust ansiktsigenkänningsfunktion för soldaten på natten.