Forskare vid Carnegie Mellon University har utvecklat ett system som exakt kan lokalisera en skytt baserat på videoinspelningar från så få som tre smartphones.

När de demonstrerades med hjälp av tre videoinspelningar från masskjutningen 2017 i Las Vegas som lämnade 58 människor döda och hundratals skadades, systemet uppskattade korrekt skyttens faktiska plats – den norra flygeln av Mandalay Bay-hotellet. Uppskattningen baserades på tre skott avlossade inom den första minuten av vad som skulle bli en utdragen massaker.

Alexander Hauptmann, forskningsprofessor vid CMU:s Language Technologies Institute, sa systemet, kallas Video Event Reconstruction and Analysis (VERA), kommer inte nödvändigtvis att ersätta de kommersiella mikrofonuppsättningarna för att lokalisera skyttar som offentliga säkerhetstjänstemän redan använder, även om det kan vara ett användbart komplement för allmän säkerhet när kommersiella arrayer inte är tillgängliga.

En viktig motivering för att montera VERA var att skapa ett verktyg som skulle kunna användas av människorättsarbetare och journalister som utreder krigsförbrytelser, terroristhandlingar och kränkningar av mänskliga rättigheter, sa Hauptmann.

"Militär- och underrättelsebyråer utvecklar redan dessa typer av teknologier, " sa forskarkollegan Jay D. Aronson, professor i historia vid CMU och chef för Center for Human Rights Science. "Vi tror att det är avgörande för människorättsgemenskapen att ha samma typer av verktyg. Det ger en nödvändig kontroll av statsmakten."

Forskarna presenterade VERA och släppte den som öppen källkod förra månaden vid Association for Computing Machinerys internationella konferens om multimedia i Nice, Frankrike.

Hauptmann sa att han har använt sin expertis inom videoanalys för att hjälpa utredare att analysera händelser som Maidan-massakern 2014 i Ukraina, som lämnade minst 50 antiregeringsdemonstranter döda. Inspirerad av det arbetet – och insikten från ballistikexperter och arkitekturkollegor från företaget SITU Research – Hauptmann, Aronson och Junwei Liang, en Ph.D. student i språk och informationsteknik, har samlat flera tekniker för bearbetning av video, samtidigt som de automatiseras så mycket som möjligt.

VERA använder maskininlärningstekniker för att synkronisera videoflöden och beräkna positionen för varje kamera baserat på vad den kameran ser. Men det är ljudet från videoflödena som är avgörande för att lokalisera källan till skotten, sa Hauptmann. Specifikt, systemet tittar på tidsfördröjningen mellan sprickan orsakad av en överljudskulas stötvåg och mynningsexplosionen, som färdas med ljudets hastighet. Den använder också ljud för att identifiera vilken typ av pistol som används, som bestämmer kulhastigheten. VERA kan sedan beräkna skyttens avstånd från smartphonen.

"När vi började, vi trodde inte att du kunde upptäcka sprickan med en smartphone eftersom den är väldigt kort, " Sa Hauptmann. "Men det visar sig att dagens mobiltelefonmikrofoner är ganska bra."

Genom att använda video från tre eller fler smartphones, riktningen från vilken skotten avfyrades – och skyttens plats – kan beräknas utifrån skillnaderna i hur lång tid det tar för mynningssprängningen att nå varje kamera.

Med spridningen av massprotester på platser som Hongkong, Egypten och Irak, att identifiera var ett skott har sitt ursprung kan vara avgörande för att avgöra om demonstranter, polis eller andra grupper kan vara ansvariga när en skottlossning äger rum, sa Aronson.

Men VERA är inte begränsad till att upptäcka skott. Det är ett händelseanalyssystem som kan användas för att lokalisera en mängd andra ljud som är relevanta för utredningar om mänskliga rättigheter och krigsförbrytelser, han sa. Han och Hauptmann hoppas att andra grupper kommer att lägga till funktioner till mjukvaran med öppen källkod.

"När det är öppen källkod, journalistik och mänskliga rättigheter kan bygga vidare på det på sätt som vi inte har fantasi till eller tid att göra, ", tillade Aronson.