Jason Weston, med doktorsexamen i maskininlärning vid University of London och Douwe Kiela, med doktorsexamen från University of Cambridge med avhandling om grundande semantik i perceptuella modaliteter, är forskare på Facebook Research och har introducerat världen för deras formidabla teams Talk the Walk.

Talk the Walk är en ögonöppnare för forskare som är intresserade av att göra mer för AI som konversationsagent. Dessa dagar, de är inte bara glada över röstassistenter som berättar när konserten börjar eller om det kommer att regna. Forskare utforskar målinriktade dialoger.

Hur lätt låter det? Skämta inte med er själva. Att försöka ta sig dit är svårt.

Snabbt företag vände sig till Kiela för anledningar till att turistguidesatsningen har forskningstyngd. "Denna uppgift är mycket viktig för AI-forskning eftersom det är väldigt svårt, "Kiela säger, "och eftersom den kombinerar alla dessa intressanta problem - trehundrasextio visuell perception, kartbaserad navigering, visuella resonemang, och naturliga språkkommunikationer via dialog."

De gjorde poängen, till att börja med, att naturligt språk är förståeligt för de flesta människor "utan att det krävs extra steg eller kunskap för att tyda dess betydelse." Mot det målet, Facebooks AI-forskningsgrupp, RÄTTVIS, är anslutna till en viss strategi för AI för att visa språkförståelse på mänsklig nivå.

Den strategin, de skrev, "är att träna dessa system på ett mer naturligt sätt, genom att knyta språket till specifika miljöer. Precis som bebisar först lär sig att namnge vad de kan se och röra vid, detta tillvägagångssätt – ibland kallat förkroppsligad AI – gynnar inlärning i sammanhanget av ett systems omgivning, snarare än att träna genom stora datamängder av text (som Wikipedia)."

Ange Talk the Walk. De lär AI-system att navigera på New Yorks gator med hjälp av språkutbyten som låter naturliga mellan guide och turist. Två bots har uppgifter. Turistboten vill navigera sig igenom 360-gradersbilder av stadsdelar i New York. Guideboten ska hjälpa till med en karta över området. Teamet använde MASC (Masked Attention for Spatial Convolution) så att guideboten kunde fokusera på rätt plats på kartan.

De sa att deras mål är "att uppnå den höga graden av syntetisk prestanda genom naturligt språkinteraktion, och att utmana samhället att göra detsamma."

Information för Talk the Walk finns på GitHub. "Att dela detta arbete kommer att ge andra forskare ett ramverk för att testa sina egna förkroppsligade AI-system, särskilt när det gäller dialog."

En 360-graderskamera fångade 5 stadsdelar, Helvete kök, East Village, finansdistrikt, Övre östsidan, och Williamsburg i Brooklyn. Daniel Terdiman in Snabbt företag sa att guideboten använde en standard 2D-karta med generiska waypoints—"bank, " "kafé, " "deli" – för att leverera instruktioner om hur man navigerar.

AI-arbetet handlar om att uppfatta en viss miljö, navigerar genom den, och kommunicera om det. Lucas Matney in TechCrunch skrev att "I "Talk the Walk, "Guide-AI-boten hade all denna 2D-kartdata och turistboten hade all denna rika 360 visuella data, men det var bara genom kommunikation med varandra som de kunde genomföra sina direktiv."

Turist:Woo jag hittade en Chipotle

Guide:"Cool."

Uppsatsen som diskuterar deras arbete finns på arXiv. Den har titeln "Talk the Walk:Navigating New York City through Grounded Dialogue, " av Harm de Vries, Kurt Shuster, Dhruv Batra, Devi Parikh, Jason Weston och Douwe Kiela.

© 2018 Tech Xplore