Forskare vid den amerikanska arméns företagsforskningslaboratorium utvecklar en ny algoritm som kan förbättra bild- och ljudidentifiering för intelligensinsamling på slagfältet.

U.S. Army Combat Capabilities Development Command Army Research Laboratory-forskaren Dr. Michael S. Lee och hans medarbetare utvecklar en algoritm för djupinlärning som kallas en genvägsautokodare som kan återställa enstaka ljudklipp och bilder som skadats av olika typer av slumpmässigt brus.

Det som skiljer deras arbete från tidigare studier är att de har förbättrat tillämpbarheten på 1-D-signaler (t.ex. mänskligt tal), och testar mot starkare bullerkällor än vad som vanligtvis anses, dvs. brus/signal-förhållanden över 1,0.

"Deep learning är välkänt för att kunna detektera objekt i bilder, men det är också kapabelt att syntetisera realistiskt utseende data, som observerats i den nyligen populära FaceApp, " sa Lee. "I vårt arbete, vi använder djupinlärning för att rekonstruera en bild baserat på begränsad ingångsinformation, till exempel, med bara en procent av pixelkanalerna kvar."

Lee sa att hans teams modell är tränad med mycket data om hur andra riktiga bilder ser ut, och en variant av deras bildmodell kan användas för att rekonstruera mänskligt tal från brusiga ljudsignaler även när bruset är mycket högre än signalen.

Enligt Lee, målarméns applikationer är många, inklusive avlyssning, demodulerande kommunikation i närvaro av starka störsändare och uppfattning av objekt i bild/video som avsiktligt döljs, av mörker (lågt ljus) eller av väderhändelser som dimma och regn.

"I det korta loppet, denna teknik skulle kunna tillhandahålla en "Zoom/Enhance"-funktion för underrättelseanalytiker, " sa Lee. "I det långa loppet, den här typen av teknik kan sömlöst integreras i kamerans hårdvara för förbättrad bildkvalitet under olika scenarier som svagt ljus och dimma."

Förutom arméapplikationer, Lee noterade att den kommersiella sektorn också skulle kunna dra nytta av denna teknik.

"I miljöer med låg bandbredd, såsom områden långt borta från mobiltorn, algoritmer som vår kan ge tydligare telefonsamtal, "Sa Lee. "Självkörande bilar kan dra nytta av den här tekniken i extrema väderscenarier som regn och dimma för att sluta sig till vilka föremål som finns framför. Kommersiella videokameror kommer att kunna fungera i lägre ljusförhållanden med högre bildhastighet och/eller lägre exponeringstider."

Detta arbete tar upp utmaningar inom nätverkskommandot, Kontrollera, Kommunikation och intelligens Tvärfunktionellt team.

"En del av CCDC ARL:s uppdrag är att utforska riket av vad som är möjligt, " sa Lee. "Här, vi visar att bortom upptäckt och klassificering, maskininlärning kan användas för att belysa svaga och/eller brusiga signaler och bilder."

På väg in i framtiden, Lee och hans kollegor skulle vilja utforska hur denna metod kommer att fungera på datatyper bortom mänskligt tal och optiska bilder, såsom fysisk miljö sensordata och trådlös kommunikation.