Röntgenseende har länge verkat som en långsökt sci-fi-fantasi, men under det senaste decenniet har ett team ledd av professor Dina Katabi från MIT:s datavetenskap och artificiell intelligens Laboratory (CSAIL) ständigt fått oss närmare att se genom väggar.

Deras senaste projekt, "RF-pose, " använder artificiell intelligens (AI) för att lära trådlösa enheter att känna av människors ställningar och rörelser, även från andra sidan av en vägg.

Forskarna använder ett neuralt nätverk för att analysera radiosignaler som studsar av människors kroppar, och kan sedan skapa en dynamisk käppfigur som går, stannar, sitter och rör sina lemmar när personen utför dessa handlingar.

Teamet säger att systemet kan användas för att övervaka sjukdomar som Parkinsons och multipel skleros (MS), ger en bättre förståelse för sjukdomsprogression och tillåter läkare att anpassa medicinerna därefter. Det kan också hjälpa äldre att leva mer självständigt, samtidigt som det ger den extra säkerheten för övervakning av fall, skador och förändringar i aktivitetsmönster.

(All data som teamet samlat in har försökspersoners samtycke och är anonymiserad och krypterad för att skydda användarnas integritet. För framtida verkliga applikationer, teamet planerar att implementera en "samtyckesmekanism" där personen som installerar enheten uppmanas att göra en specifik uppsättning rörelser för att den ska börja övervaka miljön.)

Teamet arbetar för närvarande med läkare för att utforska flera tillämpningar inom vården.

"Vi har sett att övervakning av patienters gånghastighet och förmåga att göra grundläggande aktiviteter på egen hand ger vårdgivare ett fönster in i deras liv som de inte hade tidigare, som kan vara meningsfullt för en hel rad sjukdomar, säger Katabi, som var med och skrev ett nytt papper om projektet. "En viktig fördel med vårt tillvägagångssätt är att patienter inte behöver bära sensorer eller komma ihåg att ladda sina enheter."

Förutom sjukvård, teamet säger att RF-Pose också kan användas för nya klasser av videospel där spelare rör sig i huset, eller till och med i sök- och räddningsuppdrag för att hjälpa till att hitta överlevande.

"Precis som hur mobiltelefoner och Wi-Fi-routrar har blivit viktiga delar av dagens hushåll, Jag tror att trådlösa tekniker som dessa kommer att hjälpa till att driva framtidens hem, säger Katabi, som skrev den nya uppsatsen tillsammans med Ph.D. student och huvudförfattare Mingmin Zhao, MIT-professor Antonio Torralba, postdoc Mohammad Abu Alsheikh, doktorand Tianhong Li och Ph.D. eleverna Yonglong Tian och Hang Zhao. De kommer att presentera det senare denna månad på konferensen om datorseende och mönsterigenkänning (CVPR) i Salt Lake City, Utah.

En utmaning som forskarna hade att ta itu med är att de flesta neurala nätverk tränas med hjälp av data märkt för hand. Ett neuralt nätverk tränat för att identifiera katter, till exempel, kräver att människor tittar på en stor datamängd av bilder och märker var och en som antingen "katt" eller "inte katt". Radiosignaler, under tiden, kan inte lätt märkas av människor.

För att ta itu med detta, forskarna samlade in exempel med hjälp av både sin trådlösa enhet och en kamera. De samlade tusentals bilder på människor som gjorde aktiviteter som att gå, talande, Sammanträde, öppna dörrar och vänta på hissar.

De använde sedan dessa bilder från kameran för att extrahera pinnfigurerna, som de visade för det neurala nätverket tillsammans med motsvarande radiosignal. Denna kombination av exempel gjorde det möjligt för systemet att lära sig sambandet mellan radiosignalen och stickfigurerna för personerna på scenen.

Efter träning, RF-Pose kunde uppskatta en persons hållning och rörelser utan kameror, använder bara de trådlösa reflexerna som studsar av människors kroppar.

Eftersom kameror inte kan se genom väggar, nätverket var aldrig explicit tränat på data från andra sidan av en vägg – vilket gjorde det särskilt överraskande för MIT-teamet att nätverket kunde generalisera sin kunskap för att kunna hantera rörelser genom väggar.

"Om du tänker på datorseendet som läraren, detta är ett riktigt fascinerande exempel på att eleven presterar bättre än läraren, säger Torralba.

Förutom att känna av rörelse, författarna visade också att de kunde använda trådlösa signaler för att exakt identifiera någon 83 procent av tiden av en uppsättning av 100 individer. Denna förmåga kan vara särskilt användbar för tillämpning av sök- och räddningsoperationer, när det kan vara till hjälp att känna till specifika personers identitet.

För denna tidning, modellen matar ut en 2D-stickfigur, men teamet arbetar också med att skapa 3D-representationer som skulle kunna spegla ännu mindre mikrorörelser. Till exempel, den kanske kan se om en äldre persons händer skakar tillräckligt regelbundet för att de kanske vill gå på kontroll.

"Genom att använda denna kombination av visuell data och AI för att se genom väggar, vi kan möjliggöra bättre scenförståelse och smartare miljöer för att leva säkrare, mer produktiva liv, säger Zhao.