IBM Research och Rensselaer Polytechnic Institute (RPI) samarbetar om ett nytt tillvägagångssätt för att hjälpa studenter att lära sig mandarin. Strategin parar en AI-driven assistent med en uppslukande klassrumsmiljö som inte har använts tidigare för språkundervisning. Klassrummet, kallat Cognitive Immersive Room (CIR), får eleverna att känna sig som om de är på restaurang i Kina, en trädgård, eller en Tai Chi-klass, där de kan träna på att prata mandarin med en AI-chattagent. CIR har utvecklats av Cognitive and Immersive Systems Lab (CISL), ett forskningssamarbete mellan IBM Research och RPI.

När man lär sig ett nytt språk, speciellt en så svår som mandarin, det är viktigt att eleverna har många möjligheter att prata och öva på sina samtalsförmåga. Att tillägna sig ett nytt språk naturligt, genom kulturell fördjupning, kan vara effektivare än icke-uppslukande metoder. Än, erfarenhetsbaserat lärande är inte tillgängligt för de flesta nya elever i mandarin. Det är därför vi utvecklade CIR.

En uppslukande gamification klassrumsmiljö

CIR sammanför flera toppmoderna teknologier som tal-till-text, naturlig språkförståelse, och datorseende för att möjliggöra fördjupning och naturlig multimodal dialog. Rummet har ett 360-graders panoramasystem, ett ljudsystem, flera kameror, flera Kinect-enheter, och flera mikrofoner, såväl som datorsystem för att stödja AI-tekniken, vissa ligger i rummet och andra i molnet.

Vårt mål är att kombinera kognitiva, uppslukande teknik med spelelement för att ge eleverna möjlighet att uppleva en kulturell miljö, träna dagliga uppgifter, och få hjälp av intelligenta agenter. Med Mandarin Project, vi använder IBM Watson inom CIR som en konversationsagent för att engagera eleverna medan de lär sig språket. Vårt tillvägagångssätt involverar IBM Watsons taligenkänning och naturliga språkförståelsetekniker för engelska och kinesiska.

Ett av de största hindren för att lära sig ett främmande språk genom fördjupning är elevernas rädsla för att bli bedömda av modersmålstalare. I CIR, dock, eleverna kan arbeta med virtuella konversationspartners för att öva på ordförråd och uttal utan trycket från en verklig miljö.

Många språkinlärningsforskare arbetar med virtuell eller förstärkt verklighet, men vi undersöker mänsklig skala, uppslukande, spelmiljöer där eleverna fysiskt kan gå runt utan att behöva bära specialutrustning. Detta speglar en bredare trend i interaktion mellan människa och dator, när vårt engagemang med information i våra dagliga liv blir allt mer uppslukande och vår interaktion med intelligenta maskiner övergår till partnerskap.

Vårt system testades i en kinesisk 1-klass på RPI:s campus under senhösten 2017. I höst, vi kommer att fortsätta använda AI som ett läromedel i kinesiska 1, 2 och 3 klasser, med målet att erbjuda en ny klass som slår samman kinesiska 1-3 sommaren 2019.

Forskningen bakom – och bortom – klassrummet

Som en del av IBM AI Horizons Network, CISL skapar och använder sådana tekniker som kontextmedvetna system, tonhöjdskonturanalys, språkväxling mellan kinesiska och engelska i ett naturligt språksamtal mellan människor och AI-agenter, multimodal interaktion med flera användare, resonemang och planering i beslutsprocessen och multimodalt berättande med automatisk generering av narrativ, visualisering och sonifiering.

CIR är ett av fyra användningsfall i CISL. Labbet arbetar också med att utöka gruppintelligens för kritiskt beslutsfattande i verkliga miljöer som styrelserum. I framtiden, dessa nya kognitiva och uppslukande system kan i grunden förändra människors sätt att leva och arbeta. De tidiga prototyperna av CIR har också gett möjligheter för forskning om användarinteraktion, gör det möjligt för oss att hitta och ta itu med nya utmaningar inom språkinlärning.