I denna 22 augusti, 2018 bild tagen från video, Rensselaer Polytechnic Institute doktorand Xiangyang Mou övar tai chi med en avatar i en campusstudio vid Rensselaer Polytechnic Institute i Troja, N.Y. "Mandarin Project" är ett joint venture mellan RPI och IBM. Kognitiva och uppslukande systemlaboratorieforskare utvecklar ett slags smart rum som kan förstå elevernas ord, svara på deras frågor och uppfatta deras gester. (AP Photo/Michael Hill)
För att lära dig kinesiska i det här rummet, prata med det flytande pandahuvudet.
Den mandarintalande avataren snurrar runt en 360-graders restaurangscen i ett artificiell intelligens-drivet instruktionsprogram som ser ut som ett gigantiskt videospel. Rensselaer Polytechnic Institute-studenter som testar tekniken rör sig inuti den 12 fot höga, wrap-around projektion för att beställa virtuell bönmassa från panda servitören, chatta med marknadsförsäljare i Peking och träna tai chi genom att spegla en vaksam mentors rörelser.
"Definitivt mindre ångest än att förstöra det med en riktig människa, " säger Rahul Divekar, en doktorand i datavetenskap som arbetar med projektet. "Så jämfört med den där ångesten, det här är mycket lättare."
"Mandarin Project" är ett joint venture mellan RPI och IBM. Kognitiva och uppslukande systemlaboratorieforskare utvecklar ett slags smart rum som kan förstå elevernas ord, svara på deras frågor och uppfatta deras gester. Lektioner presenteras som spel eller uppgifter, som att beställa mat ute.
Divekar beställer Pekinganka - "Beijng kaoya" - och pandan hämtar den virtuella maträtten. Divekar säger att maten var god — "Cai hen hao chi" — men han kan inte betala räkningen. Inga problem, pandan svarar - "ni keyi xi pan zi" - du kan diska.
I denna 22 augusti, 2018 bild tagen från video, Rensselaer Polytechnic Institute doktorand Rahul Divekar interagerar med en pandavatar som hjälper eleverna att lära sig mandarin vid Rensselaer Polytechnic Institute i Troja, N.Y. "Mandarin Project" är ett joint venture mellan RPI och IBM. Kognitiva och uppslukande systemlaboratorieforskare utvecklar ett slags smart rum som kan förstå elevernas ord, svara på deras frågor och uppfatta deras gester. (AP Photo/Michael Hill)
Andra scener inkluderar en utomhusmarknad och en trädgård, var och en en högteknologisk twist på kulturell fördjupning.
"Vår plan är att slutföra flera scener av det verkliga livet i Kina, att låta eleven göra en virtuell resa dit, " säger Hui Su, chef för labbet på RPI.
Tester i rummet med elever som studerar mandarin kommer att fortsätta detta läsår när de arbetar med ytterligare scener, inklusive en flygplats. En sexveckorskurs förbereds för sommaren.
Artificiell intelligens, eller AI, är allestädes närvarande i allt från call-center chat-bots till hemassistenter. Även vissa språkinstruktionsprodukter på marknaden har AI eller virtuell verklighet.
Mandarin-projektet är känt för sin omfattning och sofistikering. Datorer tolkar tal och gester samtidigt för att hålla en dialog igång. När en elev pekar på en bild och frågar "Vad är det?" datorer kan komma med ett svar.
I denna 22 augusti, 2018 bild tagen från video, Rensselaer Polytechnic Institute doktorander Xiangyang Mou, vänster, och Rahul Divekar interagerar med en pandavatar som hjälper eleverna att lära sig mandarin, vid Rensselaer Polytechnic Institute i Troja, N.Y. "Mandarin Project" är ett joint venture mellan RPI och IBM. Kognitiva och uppslukande systemlaboratorieforskare utvecklar ett slags smart rum som kan förstå elevernas ord, svara på deras frågor och uppfatta deras gester. (AP Photo/Michael Hill)
Och feedback är omedelbar. När Divekar beställer "dou fu" - eller tofu - svarar en röst "här är hur nära du kom" och illustrerar det med en graf över hans intonation. En annan röst ger det exakta uttalet.
Fortfarande, språklärare behöver inte frukta för sina jobb ännu. Utvecklare av Mandarin Project säger att det inte är tillräckligt sofistikerat just nu för att helt ersätta klassrumsundervisningen.
RPI:s president Shirley Ann Jackson förutser att samma typ av teknik kommer att tillämpas på andra utrymmen, såsom företags styrelserum. När cheferna diskuterar ett potentiellt förvärv, rummet kommer att följa gruppdiskussionen och producera relevant information sömlöst in i debatten.
"Vi är inte i slutet av kön, " säger Jackson, "men närmare början."
© 2018 The Associated Press. Alla rättigheter förbehållna.