Theo, en 12-årig pojke som är blind, sitter vid ett bord i ett trångt kök på en grå och drippig dag i mitten av december. Ett pannband som rymmer kameror, en djupsensor och högtalare ringer i hans sandbrunt hår. Han svänger huvudet åt vänster och höger tills kameran framför pannbandet pekar mot näsan på en person på bortre sidan av en disk.

Theo hör ett bumpljud följt av namnet "Martin" genom pannbandets högtalare, som är placerade ovanför hans öron.

"Det tog mig ungefär fem sekunder att få dig, Martin, "Theo säger, hans huvud och kropp fixerade i riktning mot Martin Grayson, en senior utvecklingsingenjör för forskningsprogramvara med Microsofts forskningslabb i Cambridge. Grayson står bredvid ett knähögt svart bröst som innehåller datormaskinvara som krävs för att köra maskininlärningsmodellerna som driver prototypsystemet Theo som används för att känna igen honom.

Elin, Theos mamma, som står mot en vägg på motsatt sida av Theo, säger, "Jag älskar hur du vände dig om för att hitta honom. Det är så trevligt."

När Theo börjar vända sig mot sin mamma, högtalarna låter en annan bula och namnet "Tim."

"Tim, där är du, säger Theo med förtjusning när hans blick landar på Tim Regan, en annan senior utvecklingsingenjör för forskningsprogramvara vid labbet, som tog Theo under sina vingar för att lära honom avancerade datorkodningskunskaper. Theo och hans mamma var hemma hos Regan för en kodningslektion varannan månad. De träffades när de arbetade med ett forskningsprojekt som ledde till utvecklingen av Code Jumper, ett fysiskt programmeringsspråk som inkluderar barn med alla synfält.

Theo är nu en av flera medlemmar i det blinda och nedsatta samhället som arbetar med Regan, Grayson, forskaren Cecily Morrison och hennes team på Project Tokyo, en mångsidig forskningssatsning för att skapa intelligent personlig agentteknologi som använder artificiell intelligens för att utöka människors befintliga kapacitet.

För Theo, det betyder verktyg för att känna igen vem som finns runt honom.

"Det är så spännande att kunna ta reda på var människorna finns i min miljö, " Sa Theo. "Inte bara vem som väljer att prata, men alla människor som är tysta som du kan se på deras ansikte, men jag kan inte."

Men i slutändan, noterade Morrison, Project Tokyo är en forskningssatsning med ett långsiktigt mål att visa hur man bygger intelligenta personliga agenter som utökar kapaciteten för alla användare. Istället för att bygga heltäckande system som kan utföra specifika uppgifter, hon ser AI:s framtid som en uppsättning resurser som människor använder på vilket sätt de tycker passar.

"Plötsligt behöver vi inte säga, 'Hej du är blind och jag har just gjort detta tillgängligt för dig.' Vi säger, 'Hallå, du är du och jag har precis byggt ett system som fungerar för dig, "" sa hon. "Jag behöver inte veta något om dig. Jag behöver ingen etikett på dig. Jag kan göra något som är rätt för dig eftersom jag har ett system som du kan ta och anpassa till dig själv. "

Paralympics i Brasilien

Projekt Tokyo föddes ur en utmaning, i början av 2016, från ledande ledare på Microsoft för att skapa AI -system som skulle gå utöver att slutföra uppgifter som att hämta sportresultat och väderprognoser eller identifiera objekt. Morrison sa att att skapa verktyg för människor som är blinda och med nedsatt syn var en naturlig passform för projektet, eftersom personer med funktionsnedsättning ofta är tidiga användare av ny teknik.

"Det handlar inte om att säga, 'Låt oss bygga något för blinda människor, ", Sa Morrison." Vi arbetar med blinda människor för att hjälpa oss att föreställa oss framtiden, och den framtiden handlar om nya erfarenheter med AI."

Morrison och hennes kollega Ed Cutrell, en senior huvudforskare vid Microsofts forskningslabb i Redmond, Washington, anlitades för att leda projektet. Båda har expertis i att designa teknologier med människor som är blinda eller med nedsatt syn och bestämde sig för att börja med att försöka förstå hur en agentteknik skulle kunna förstärka, eller förlänga, dessa användares möjligheter.

Att börja, de följde en grupp idrottare och åskådare med olika synnivåer på en resa från Storbritannien till de paralympiska spelen 2016 i Rio de Janeiro, Brasilien, observera hur de interagerade med andra människor när de navigerade på flygplatser, besökte idrottsplatser och gick på sightseeing, bland annat. En viktig lärdom, noterade Cutrell, var hur en berikad förståelse av sociala sammanhang kunde hjälpa människor som är blinda eller synskadade att förstå sin omgivning.

"Vi, som människor, har detta mycket, mycket nyanserad och utarbetad känsla av social förståelse för hur man interagerar med människor – att få en känsla av vem som är i rummet, vad håller de på med, vad är deras förhållande till mig, hur förstår jag om de är relevanta för mig eller inte, " sa han. "Och för blinda människor försvinner många av de signaler som vi tar för givna."

Denna förståelse sporrade en serie workshops med blinda och synskadade communityn som var fokuserade på potentiella tekniker som skulle kunna ge en sådan upplevelse. Peter Bosher, en ljudtekniker i mitten av 50-årsåldern som har varit blind större delen av sitt liv och arbetat med Project Tokyo-teamet, sa att konceptet med en teknik som gav information om människorna runt honom gav genklang omedelbart.

"När jag befinner mig i en situation med mer än två eller tre personer, speciellt om jag inte känner några av dem, det blir exponentiellt svårare att hantera eftersom människor använder mer och mer ögonkontakt och kroppsspråk för att signalera att de vill prata med en sådan och en sådan person, att de vill tala nu, sade han. Det är verkligen väldigt svårt som blind.

En modifierad HoloLens

När forskarna i Project Tokyo förstod vilken typ av AI-upplevelse de ville skapa, de satte sig för att bygga den möjliggörande tekniken. De började med den ursprungliga Microsoft HoloLens, ett mixed reality-headset som projicerar hologram i den verkliga världen som användare kan manipulera.

"HoloLens ger oss massor av vad vi behöver för att bygga en AI-agent i realtid som kan kommunicera den sociala miljön, " sa Grayson under en demonstration av tekniken vid Microsofts forskningslabb i Cambridge.

Till exempel, enheten har en rad gråskalekameror som ger en nära 180-graders bild av omgivningen och en högupplöst färgkamera för ansiktsigenkänning med hög noggrannhet. Dessutom, högtalarna ovanför användarens öron möjliggör spatialiserat ljud - skapandet av ljud som verkar komma från specifika platser runt användaren.

Maskininlärningsexperter på Project Tokyo-teamet utvecklade sedan datorseendealgoritmer som ger olika nivåer av information om vem som är var i användarens miljö. Modellerna körs på grafiska bearbetningsenheter, känd som GPU:er, som är inrymda i den svarta kistan som Grayson körde iväg till Regans hus för användartestning med Theo.

En modell, till exempel, upptäcker människors ställning i miljön, som ger en känsla av var och hur långt borta människor är från användaren. En annan analyserar strömmen av foton från den högupplösta kameran för att känna igen personer och avgöra om de har valt att göra sina namn kända för systemet. All denna information vidarebefordras till användaren genom ljudsignaler.

Till exempel, om enheten upptäcker en person en meter bort på användarens vänstra sida, systemet kommer att spela ett klick som låter som om det kommer från en meters avstånd till vänster. Om systemet känner igen personens ansikte, det kommer att spela ett stötljud, och om den personen också är känd för systemet, det kommer att tillkännage deras namn.

När användaren bara hör ett klick men vill veta vem personen är, ett andra lager av ljud som liknar ett elastiskt band som sträcker sig styr användarens blick mot personens ansikte. När objektivets centralkamera ansluter till personens näsa, användaren hör ett högt klick och, om personen är känd för systemet, deras namn.

"Jag gillar särskilt det som ger dig blickvinkeln eftersom jag aldrig riktigt är säker på vad som är den förnuftiga vinkeln för ditt huvud att vara på, sa Bosher, som arbetade med Project Tokyo-teamet på ljudupplevelsen tidigt i designprocessen och återvände till Cambridge-labbet för att diskutera sin erfarenhet och kolla in den senaste iterationen. "Det skulle vara ett bra verktyg för att lära sig kroppsspråk."

Prototypning med vuxna

Eftersom Project Tokyo-teamet har utvecklat och utvecklat tekniken, forskarna bjuder rutinmässigt in vuxna som är blinda eller med nedsatt syn att testa systemet och ge feedback. För att underlätta mer direkt social interaktion, till exempel, laget tog bort linserna från framsidan av HoloLens.

Flera användare uttryckte en önskan att diskret få informationen som samlas in av systemet utan att ständigt vända på huvudet, vilket kändes socialt besvärligt. Feedbacken fick Project Tokyo-teamet att arbeta med funktioner som hjälper användare att snabbt lära sig vilka som finns runt dem genom att, till exempel, be om en översikt och få en rumslig avläsning av alla namn på personer som har gett tillstånd att bli igenkända av systemet.

En annan experimentell funktion varnar användaren med en rumslig ljudsignal när någon tittar på dem, eftersom människor med typisk syn ofta upprättar ögonkontakt för att inleda en konversation. Till skillnad från bulan, dock, klockspelet följs inte av ett namn.

"Vi använder redan namnet när du tittar på någon, Grayson förklarade för Emily, en testare i 20 -årsåldern som har nedsatt syn och besökte Cambridge -labbet för att lära sig om de senaste funktionerna. "Men också, genom att inte ange namnet, det kan dra din uppmärksamhet att vända dig till någon som försöker få din uppmärksamhet. Och genom att vända sig till dem, du får reda på deras namn."

"Jag håller helt med om det. Det är så seende människor reagerar. De fångar någon i ögonvrån, eller så förstår du, och gå, 'Cecily, "" sa Emily.

Den modifierade HoloLens som forskarna visade för Emily inkluderade också en LED-remsa fäst ovanför kamerornas band. Ett vitt ljus spårar personen närmast användaren och blir grönt när personen har identifierats för användaren. Funktionen låter kommunikationspartners eller åskådare veta att de har setts, vilket gör det mer naturligt att inleda en konversation.

LED-remsan ger också människor en möjlighet att röra sig utanför enhetens synfält och inte synas, om de så väljer. "När du vet att du är på väg att ses, du kan också bestämma dig för att inte synas, " noterade Morrison. "Om du vet när du ses, du vet när du inte syns. "

Ett verktyg för att lära ut färdigheter i social interaktion

När den tekniska forskningen fortsätter, Projekt Tokyo utforskar en väg som avslöjats i forskningsprocessen:att använda tekniken för att hjälpa barn som är blinda eller med nedsatt syn att utveckla sociala interaktionsförmåga.

Två tredjedelar av barn som är blinda eller med nedsatt syn uppvisar sociala beteenden som överensstämmer med barn som är inom autismspektrumet, enligt akademisk forskning. Till exempel, många barn som är blinda eller med nedsatt syn verkar oengagerade från samtalspartners, ofta vilar huvudet på ett bord med ett öppet öra.

Morrison och Cutrell svängde Project Tokyo för att undersöka om en förminskad version av systemet skulle kunna användas för att hjälpa barn som är blinda eller med nedsatt syn förstå hur de kan använda sina kroppar för att initiera och upprätthålla interaktioner med människor.

Eftersom Microsoft-forskarna redan hade en relation med Theo, de rekryterade honom för att hjälpa till att anpassa systemet för att fungera med barn, som att redogöra för barnens tendens att sitta tätt intill varandra och, på samma gång, sitter sällan still.

"När det tillkännagav människors namn, den försökte tillkännage två namn samtidigt och jag bad om att det skulle ändras eftersom, i grund och botten, det var väldigt, väldigt svårt att höra någons namn, "mindes Theo.

Forskarna undersökte också hur Theo använde systemet. Till exempel, under en familjemåltid började han subtilt, men upprepade gånger, flytta huvudet från sida till sida för att tvinga systemet att läsa upp namnen på personerna han pratade med.

"Vi tror att han använde det för att stödja sin rumsliga uppmärksamhet mot en person genom att fräscha upp hans arbetsminne om var de var, " sade Morrison. "Det är något vi aldrig kunde ha förutspått, men en mycket kraftfull strategi för att hjälpa honom att behålla sin uppmärksamhet, och om han kan behålla sin uppmärksamhet, han kan hålla ett samtalsämne."

Andra användningar av tekniken var mer i linje med forskarnas hypotes att den skulle hjälpa honom att bygga färdigheter för social interaktion i en värld som domineras av människor som är seende.

Till exempel, som andra barn som är blinda eller med nedsatt syn, Theo skulle lägga huvudet på bordet under sociala situationer, ett öra spänt mot världen. Forskarna spelade en serie spel med Theo för att lyfta fram den sociala kraften som kan komma när man använder sin kropp och huvud för att samtala med seende.

I ett spel som spelades på labbet, forskarna hade ett gruppproblem att lösa. Theo visste svaret. Forskarna kände bara till ämnet och de kunde bara prata när Theo tittade på dem. När Theo tittade bort, de var tvungna att sluta prata.

"Plötsligt insåg han att han kan hantera en konversation, "Sa Morrison." Han kom att förstå kraften i att kunna titta på någon, kraften som gav honom i en konversation och genom det har han sedan möjliggjort en helt ny uppsättning sociala förmågor som han inte hade kunnat uppnå tidigare. "

I dag, Theo talar sällan med huvudet på bordet. Oavsett om du bär den modifierade HoloLensen eller inte, han vänder sin kropp och sitt ansikte mot den person han vill engagera. Huruvida förändringen kommer att bestå på lång sikt är okänt, inte heller är forskarna säkra på om andra barn som är blinda eller med nedsatt syn kommer att reagera på liknande sätt.

"Från det vi ser med Theo, vi har en bra känsla för det, för vi har sett det med honom, men det är ett fall av en. Och vem vet om det skulle ha hänt ändå, " sa Cutrell. "Det är därför vi snurrar upp till nästa fas, som kommer att titta på betydligt fler barn och ett bredare åldersintervall också."

Tokyos framtid

Det bredare projektet Tokyo -forskningsinsats fortsätter, inklusive nya riktningar inom maskininlärning som tillåter användare att anpassa systemet efter sina personliga preferenser. Sebastian Tschiatschek, en maskininlärningsforskare vid Cambridge-labbet, arbetar med funktioner som gör det möjligt för användare att visa systemet den typ och mängd information de vill höra.

Utvecklingen av personalisering kräver att Tschiatschek tar ett okonventionellt förhållningssätt till maskininlärning.

"Vad vi gillar att göra är att formalisera ett problem i någon matematisk form, " sa han. "Du kan inte göra det så lätt i det här problemet. Mycket av utvecklingen kommer genom att testa saker, ha denna interaktion med människor, att se vad de gillar, gillar inte, och förbättra algoritmerna. "

Önskan om personalisering, han förklarade, finns för att personer som är blinda eller med nedsatt syn har olika synnivåer och därmed olika informationsbehov. Vad mer, användare av systemet blir frustrerade när det ger information de redan känner till.

"För att få visionen om Project Tokyo gjord, man måste kombinera så många saker som inte löser sig själva, "Sa Tschiatschek.

I sista hand, Project Tokyo handlar om att demonstrera hur man bygger intelligenta personliga agenter som utökar kapaciteten för alla användare. Att ta sig dit, Morrison, Cutrell och deras kollegor kommer att fortsätta arbeta med människor som är blinda eller med nedsatt syn, inklusive fler barn.

"Det vi såg med Theo är ganska kraftfullt, " sade Morrison på sitt kontor dagen efter systemtestningen hemma hos Regan. "Det var kraftfullt eftersom han hade kontroll över sin värld på ett sätt som han inte kunde vara tidigare."

Bland den växande kohorten av barn som deltar i Project Tokyo finns Morrisons 7-årige son, Ronan, som har varit blind sedan födseln.

"Jag tror att vi kommer att se det med Ronan, " tillade hon. "Jag är superglad över att prova."