Forskare i labbet vid UC Santa Barbara professor Yasamin Mostofi har möjliggjort, för första gången, avgöra om personen bakom en vägg är samma person som förekommer i givna videofilmer, använder bara ett par WiFi-sändtagare utanför.

Detta nya video-WiFi cross-modala gångbaserade personidentifieringssystem, som de refererar till som XModal-ID (uttalas Cross-Modal-ID), kan ha en mängd olika tillämpningar, från övervakning och säkerhet till smarta hem. Till exempel, överväg ett scenario där brottsbekämpande myndigheter har en videofilm av ett rån. De misstänker att rånaren gömmer sig inne i ett hus. Kan ett par WiFi-sändare/mottagare utanför huset avgöra om personen i huset är densamma som den i rånvideon? Frågor som denna har motiverat denna nya teknik.

"Vårt föreslagna tillvägagångssätt gör det möjligt att avgöra om personen bakom väggen är densamma som den i videofilmer, använder bara ett par vanliga WiFi-sändtagare utanför, ", sa Mostofi. "Detta tillvägagångssätt använder endast mottagna effektmätningar av en WiFi-länk. Det behöver inte några tidigare WiFi- eller videoträningsdata för personen för att identifieras. Det behöver inte heller någon kunskap om operationsområdet."

Den föreslagna metoden och experimentella resultat kommer att visas vid den 25:e internationella konferensen om mobil datoranvändning och nätverk (MobiCom) den 22 oktober.

I teamets experiment, en WiFi-sändare och en WiFi-mottagare finns bakom väggar, utanför ett rum där en person går. Sändaren skickar en trådlös signal vars mottagna effekt mäts av mottagaren. Sedan, given videofilm av en person från ett annat område – och genom att endast använda sådana mottagna trådlösa effektmätningar – kan mottagaren avgöra om personen bakom väggen är samma person som ses i videofilmen.

Denna innovation bygger på tidigare arbete i Mostofi Lab, som har banat väg för avkänning med vardagliga radiofrekvenssignaler som WiFi sedan 2009.

"Dock, identifiera en person genom väggar, från kandidatvideofilmer, är ett mycket utmanande problem, " sa Mostofi. Hennes labbs framgång i denna strävan beror på den nya föreslagna metodiken de utvecklat.

"Sättet var och en av oss rör sig på är unikt. Men hur fångar och jämför vi korrekt gånginformationsinnehållet i video- och WiFi-signalerna för att fastställa om de tillhör samma person?"

Forskarna har föreslagit ett nytt sätt att, för första gången, kan översätta videogånginnehållet till den trådlösa domänen.

"Vårt tillvägagångssätt är multidisciplinärt, drar från områden av både trådlös kommunikation och vision, sade Chitra Karanam, en av tre Ph.D. studenter på projektet. Med tanke på en del videofilmer, teamet använde först en mänsklig mesh-återställningsalgoritm för att extrahera 3D-nätet som beskrev den yttre ytan av människokroppen som en funktion av tiden. De använde sedan Born elektromagnetisk vågapproximation för att simulera RF-signalen som skulle ha genererats om denna person gick i ett WiFi-område.

Därefter använde de sin tidsfrekvensbearbetningsmetod för att extrahera viktiga gångfunktioner från både den verkliga WiFi-signalen (som mättes bakom väggen) och den videobaserade simulerade signalen. De två signalerna jämförs sedan för att avgöra om personen i WiFi-området är samma person i videon.

Forskarnas processpipeline involverar en rad matematiska funktioner, inklusive korttids Fourier-transform och Hermite-funktioner, för att få spektrogrammet för den mottagna signalen. "Ett spektrogram bär frekvens-tidsinnehållet i signalen, som implicit bär personens gånginformation, " förklarade Belal Korany, ytterligare en Ph.D. elev involverad i arbetet.

Flera viktiga gångfunktioner extraheras sedan från båda spektrogrammen och jämförs ordentligt för att deklarera om personen i videon är bakom väggen.

"Vi har testat den här tekniken omfattande på vårt campus, sa Herbert Cai, den tredje Ph.D. student på projektet. Labbet har testat sin nya teknik den 1, 488 WiFi-videopar, hämtad från en pool på åtta personer, och i tre olika områden bakom väggen, och uppnådde en total noggrannhet på 84 % i att korrekt identifiera personen bakom väggen.