Framväxten av nästa generations virtuella och förstärkta verklighetsenheter som Oculus Rift och Microsoft HoloLens har ökat intresset för att använda mixed reality för att simulera träning, förbättra kommando och kontroll, och förbättra effektiviteten hos krigsfighters på slagfältet.

Man tror att lägga uppdragsrelevant slagfältsdata, såsom satellitbilder eller kroppsburen sensorinformation, in i en uppslukande miljö kommer att tillåta krigskämpar att hämta, samarbeta och fatta beslut mer effektivt än traditionella metoder.

Dock, det finns för närvarande få bevis i den vetenskapliga litteraturen för att användning av uppslukande teknologi ger några mätbara fördelar, såsom ökat engagemang i uppgifter eller förbättrad beslutsnoggrannhet.

Det finns också begränsade mätvärden som kan användas för att bedöma dessa fördelar över skärmenheter och uppgifter.

Forskare vid RDECOMs Army Research Laboratory, arméns företagsforskningslaboratorium (ARL), i samarbete med University of Minnesota och US Army's Institute for Creative Technologies vid University of Southern California, har bestämt sig för att ändra på detta.

I en nyligen publicerad tidning, forskarna undersökte potentiella metoder för att bedöma användbarheten av uppslukande system, diskutera hur data kan inhämtas i experimentella och taktiska scenarier, samt ställa frågor i samarbete med flera användare.

Den här artikeln är en av de första som kartlägger mått och metoder som är relevanta för de unika problem som krigssoldater kan möta när de utför beslutsfattande i lednings- och underrättelseanalysscenarier.

Dessutom, forskarna diskuterar det ARL-utvecklade Mixed Reality Tactical Analysis Kit, eller MRTAK, som fungerar som en experimentell plattform för att utföra dessa bedömningar under samverkande uppdragsplanering och genomförande. MRTAK utvecklas nu som mixed reality-modulen i projektet AURORA (Accelerated User Reasoning for Operations, Forskning, och analys), som AURORA-MR.

Denna forskning presenterades nyligen vid det 23:e International Command and Control Information and Technology Symposium som hölls i Pensacola, Florida.

"Vår undersökning av den befintliga litteraturen fastställde att nya metoder och mått är avgörande för att säkerställa att framtida grundläggande och tillämpad forskning effektivt och korrekt kan bedöma prestandaskillnader mellan uppslukande teknologier och traditionella 2-D-system, " sa Dr Mark Dennison, forskningspsykolog i ARL:s Battlefield Information Processing Branch stationerad på ARL West i Playa Vista, Kalifornien.

Enligt Dennison, deras arbete har ofta visat att forskare inom detta område har utfört studier där insamlad data inte tillåter användbar statistik att rapportera om, gör det svårt eller omöjligt för viktiga beslutsfattare att avgöra hur, när och var uppslukande teknologi ger någon fördel eller underskott till specifika uppdrag eller uppgiftsbehov.

"I det här pappret, vi föreslår ett paradigmskifte bort från att helt enkelt jämföra icke-immersiva och uppslukande system för liknande uppgifter, och istället noggrant bryta ner komplext beslutsfattande i komponentprocesser som kan modelleras mer exakt och jämföras mellan olika skärmtyper, " sa Dennison. "Till exempel, när man studerar planeringen av en taktisk operation, t.ex. genombrottet av en fientlig byggnad, samma rumsliga information måste finnas i 2D- och VR-experimentförhållandena för att möjliggöra exakta kvantitativa jämförelser.

Som en del av denna forskning om samarbetande uppslukande analys, forskarna utvecklade och distribuerade AURORA-MR, som fungerar som en testbädd för att utföra hårt kontrollerad grundläggande och tillämpad forskning om beslutsfattande för flera användare med distribuerade immersiva system.

För närvarande, AURORA-MR används för samarbetande uppslukande analysforskning i Maryland vid ARL:s huvudkontor vid Adelphi Laboratory Center och Aberdeen Proving Ground, i Kalifornien vid ARL West och ICT:s Mixed Reality Lab, och vid University of Minnesota.

Systemet har också demonstrerats för NATO SET-256, flygvapnets TAP Lab, och var med på AUSA 2018 Global Force Innovator's Corner.

Enligt forskarna, forskning som utförs med AURORA-MR kommer att göra det möjligt för soldaten att förstå när visualisering och interaktion med kritisk slagfältsinformation bäst kan göras i ett uppslukande system, eller i samarbete med andra som använder traditionella system.

"Genom virtualisering av några eller alla delar av Tactical Operations Center, befälhavare och underrättelseanalytiker kan kommunicera och samarbeta utan begränsningarna av en fysisk byggnad och med ett minskat fotavtryck till fiendens underrättelsetjänst, övervakning och spaning, eller ISR, " sa Dennison.

Designen av AURORA-MR strävar efter att möjliggöra enkel integration med andra databaser, sensorer och maskininlärning så att gemensam forskning kan ske mer flytande internt över ARL och externt med deras akademiska och industripartners.

"För närvarande, vi utvecklar nätverket som driver AURORA-MR, kallas AURORA-NET, för att möjliggöra större kontroll över den information som skickas och tas emot av kunder, samtidigt som man säkerställer att den virtuella miljön renderas med en bekväm bildhastighet för att minimera de förödande effekterna av åksjuka på nedsänkta användare, ", sa Dennison. "Detta kommer att göra det möjligt för oss att bedriva forskning om hur intag och analys av data från bullriga system, som Internet of Battlefield Things, kan utökas genom distribuerat samarbete i blandad verklighet."

AURORA-MR startade utvecklingen som en enanvändar-VR-miljö i december 2017. Den utvecklas aktivt och en anslutning etablerades nyligen i november 2018 som möjliggör fjärrsamarbete med forskare på APG.