Trots framsteg inom både virtual och augmented reality -teknik under de senaste åren, det finns ett område som fortfarande försummas:beröring. Med ditt VR -headset på, du kanske kan utforska sevärdheterna i en vidsträckt skog och höra fågelsång runt omkring dig, men du kommer inte att känna fuktens mossa på en trädstam eller löven som knarkar under fötterna.

Och ändå är beröring en integrerad del av hur vi interagerar med världen. En kram från en älskad kan få en hemsk dag att må bättre, känslan av vinden som piskar förbi medan du cyklar kan vara spännande, även taktil återkoppling från en knapp vid övergångsstället är lugnande.

"Du utforskar och förstår världen genom alla dina sinnen, men när du kommer till en dator, du är verkligen avskuren från några av dem, "säger Stephen Brewster, professor i interaktion mellan människa och dator vid University of Glasgow, STORBRITANNIEN. "Tänker på de olika interaktioner du har med den vardagliga fysiska världen utanför datorer, kan vi inte ta in något av det? "

Att föra in element av beröring i våra digitala liv är precis vad han och andra forskare som arbetar med haptisk-eller beröringsbaserad-teknik försöker göra. Prof. Brewster är en del av Levitate, ett projekt som syftar till att skapa en prototyp av ett svävande objekt som användare kan nå in i och manipulera lika enkelt som om det vore digitala pixlar på en skärm, komplett med taktil feedback.

Ultraljud

Tanken är att använda ultraljud - samma teknik som används i bilsensorer för att hindra dig att slå mot väggen när du parkerar - för att skapa tre olika effekter. Den första är 'känsliga krafter' i luften, imitera känslan av beröring utan att det finns ett fysiskt föremål närvarande. Det andra är det som kallas parametriskt ljud, där en högtalare kan avge mycket fokuserat ljud som bara hörs av en person och inte, till exempel, personen som sitter bredvid dem. Och det tredje är det som ger projektet sitt namn:svävning av små föremål.

Nu börjar laget samla alla tre aspekterna - touch, ljud, och levitation - i syfte att så småningom köra dem från samma ultraljudshögtalarsystem.

Arbetet är inte utan utmaningar. Prof. Brewster och hans kollegor har svävat flera små polystyrenpärlor i form av en kub som kan roteras i luften som svar på gester. Att lägga till denna interaktion med kuben var en utmaning. "Du vill att objekt ska kunna ändra form eller deformeras (när någon trycker på dem), "sa han." Det blir komplext att aktivera de dynamiska rörelserna som svar på dina gester. "

Känslan av beröring uppstår när ultraljudsvågor från olika sändare kombineras vid kontaktpunkter som rör sig otroligt snabbt, skapar illusionen av ett fast föremål i luften. Tanken är att om du bär ett AR- eller VR -headset och ser ett virtuellt objekt framför dig - eller interagerar med en kombination av fysiska pixlar som Levitate -projektets polystyrenpärlor - kan du också känna objektet när du interagerar med det .

Känslig

En del av anledningen till att vår känsla hittills har försummats i det digitala området är att det bara är svårare att återskapa beröring än en bild eller ett ljud. "Våra fingrar är så känsliga, vår hud är så känslig, det är mycket svårt att göra hårdvara som är lika bra som vår som vår hud är, "sa professor Brewster." Så ofta är de beröringsbaserade interaktionerna lite dåliga. "

När du kör fingret över ditt skrivbord, säga, hudens yta rör sig upp och ner, skapa vågor som färdas genom hudens lager och ner till ditt ben. På väg, de träffar mekaniska receptorer med nerver som avger en elektrisk signal till din hjärna.

Dr Tom Montenegro-Johnson och Dr. James Andrews, tillämpad matematiker vid University of Birmingham, STORBRITANNIEN, modellerar denna process - upp till den punkt då receptorn skickar en signal till hjärnan - för att hjälpa till att skapa mer realistisk haptisk återkoppling.

"Om vi ​​kan återskapa den första delen av processen så nära som möjligt, med våra haptiska enheter, resten ska förhoppningsvis sköta sig själv, "sa Dr Montenegro-Johnson.

Han har kunnat dra nytta av en mängd matematik som redan finns inom ett helt separat vetenskapsområde. "När vi började detta, vi märkte att huden på människor är, på sätt och vis, mycket lik huden på jorden, matematiskt sett, "sa han." Det finns en nästan en-till-en-karta mellan vad som händer i jordbävningar och vad som händer när du gnider lätt med fingret över en yta. "

Forskningen är en del av H-Reality, ett projekt, som Levitate, med ultraljud för att skapa känslor av beröring i luften. Tanken är att använda den här nya beröringsmodellen för att skapa nästa generations bärbara haptik - en enhet du bär på din hand som ger feedback på både form och struktur på digitala objekt.

Bombhantering

Dr Montenegro-Johnson tror att den mest utbredda applikationen för denna typ av teknik kommer att vara videospel. Men det finns andra, mer nisch men kanske mer värt, applikationer, för. Bombförvaringsrobotar kan vidarebefordra information till ett datorprogram som matas in i en bärbar haptisk enhet för den som kontrollerar den, till exempel.

"Om du har en robotarm som defuserar en bomb, eller gör en känslig operation, och du styr det via ett VR -gränssnitt, vi kommer nu att kunna ge dig beröringsfeedback, "sa Dr Montenegro-Johnson.

Med svävande föremål som ger beröringsåterkoppling, forskare kunde sitta runt en modell av ett protein som flyter i luften och manipulera det när de diskuterar det, eller designers kunde nå ut och göra ändringar i sitt arbete i en riktig 3D-modell, inte en 2-D datasimulering av en. Denna teknik kan också läggas till de enheter som vi redan använder dagligen. "Du kan lägga handen över telefonen och känna antalet meddelanden, "sade prof. Brewster.

När datorer i alla storlekar inkräktar på våra liv allt längre, att få in fler av våra sinnen skulle berika vår interaktion med teknik. "Istället för att bara ha massiva skärmar och jag ska sticka ett tangentbord med fingrarna ... kan jag mycket mer än så, som människa, "sade prof. Brewster." Varför uppmärksammar inte mina enheter? "