Ett nytt mjukvarusystem utvecklat av Brown University-forskare förvandlar mobiltelefoner till augmented reality-portaler, gör det möjligt för användare att placera virtuella byggstenar, möbler och andra föremål i verkliga bakgrunder, och använder sina händer för att manipulera dessa föremål som om de verkligen var där.

Utvecklarna hoppas att det nya systemet, kallas Portal-ble, kan vara ett verktyg för konstnärer, designers, spelutvecklare och andra för att experimentera med förstärkt verklighet (AR). Teamet kommer att presentera arbetet senare denna månad på ACM Symposium on User Interface Software and Technology (UIST 2019) i New Orleans. Källkoden för Andriod finns fritt tillgänglig för nedladdning på forskarnas hemsida, och iPhone-kod kommer snart.

"AR kommer att bli ett fantastiskt nytt sätt att interagera, sa Jeff Huang, en biträdande professor i datavetenskap på Brown som utvecklade systemet tillsammans med sina elever. "Vi ville göra något som gjorde AR portabel så att människor kunde använda var som helst utan några skrymmande headset. Vi ville också att människor skulle kunna interagera med den virtuella världen på ett naturligt sätt med sina händer."

Huang sa att idén till Portal-bles "praktiska" interaktion växte ur viss frustration med AR-appar som Pokemon GO. AR-appar använder smartphones för att placera virtuella objekt (som Pokémon-karaktärer) i verkliga scener, men för att interagera med dessa objekt måste användarna svepa på skärmen.

"Svepning var helt enkelt inte ett tillfredsställande sätt att interagera, " sa Huang. "I den verkliga världen, vi interagerar med föremål med våra händer. Vi vrider på dörrhandtagen, plocka upp saker och kasta saker. Så vi trodde att manipulera virtuella objekt för hand skulle vara mycket kraftfullare än att svepa. Det är det som är annorlunda med Portal-ble."

Plattformen använder sig av en liten infraröd sensor monterad på baksidan av en telefon. Sensorn spårar positionen för människors händer i förhållande till virtuella objekt, gör det möjligt för användare att plocka upp föremål, vänd dem, stapla dem eller släpp dem. Det låter också människor använda sina händer för att praktiskt taget "måla" på verkliga bakgrunder. Som en demonstration, Huang och hans elever använde systemet för att måla en virtuell trädgård till ett grönområde på Brown's College Hill campus.

Huang säger att det huvudsakliga tekniska bidraget från arbetet var att utveckla rätt boende och feedbackverktyg för att göra det möjligt för människor att interagera intuitivt med virtuella objekt.

"Det visar sig att det är väldigt svårt att plocka upp ett virtuellt objekt om du försöker tillämpa verklig fysik, " sa Huang. "Folk försöker greppa på fel ställe, eller så sticker de fingrarna genom föremålen. Så vi var tvungna att observera hur människor försökte interagera med dessa objekt och sedan få vårt system att kunna ta emot dessa tendenser."

Att göra det, Huang värvade elever i en klass som han undervisade för att komma på uppgifter som de kanske skulle vilja göra i AR-världen – stapla en uppsättning block, till exempel. Eleverna bad sedan andra personer att prova att utföra dessa uppgifter med hjälp av Portal-ble, samtidigt som de registrerade vad människor kunde och vad de inte kunde. De kunde sedan justera systemets fysik och användargränssnitt för att göra interaktioner mer framgångsrika.

"Det är lite som vad som händer när människor ritar linjer i Photoshop, " sa Huang. "De linjer som folk drar är aldrig perfekta, men programmet kan jämna ut dem och göra dem helt raka. Det var den typen av boende vi försökte göra med dessa virtuella objekt."

Teamet lade också till sensorisk feedback – visuella höjdpunkter på objekt och telefonvibrationer – för att göra interaktioner enklare. Huang sa att han var något förvånad över att telefonvibrationer hjälpte användare att interagera. Användare känner vibrationerna i handen de använder för att hålla telefonen, inte i handen som faktiskt griper efter det virtuella objektet. Fortfarande, Huang sa, vibrationsfeedback hjälpte fortfarande användare att mer framgångsrikt interagera med objekt.

I uppföljande studier, användare rapporterade att de boende och feedback som användes av systemet gjorde uppgifterna betydligt enklare, mindre tidskrävande och mer tillfredsställande.

Huang och hans elever planerar att fortsätta arbeta med Portal-ble – att utöka dess objektbibliotek, förfina interaktioner och utveckla nya aktiviteter. De hoppas också kunna effektivisera systemet så att det körs helt på en telefon. För närvarande kräver den infraröda sensorn en infraröd sensor och en extern beräkningssticka för extra processorkraft.

Huang hoppas att folk kommer att ladda ner den fritt tillgängliga källkoden och prova den själva.

"Vi vill verkligen bara lägga ut det här och se vad folk gör med det, " sa han. "Koden finns på vår hemsida för folk att ladda ner, redigera och bygga av. Det ska bli intressant att se vad folk gör med det."