Datavetare undersökte nyligen prestandan hos dialogsystem, till exempel personliga assistenter och chatbotar som är utformade för att interagera med människor. Teamet fann att när dessa system konfronteras med dialog som innehåller idiom eller liknelser, sjunker deras prestanda till mellan 10 och 20 procent.

Forskargruppen utvecklade också ett partiellt botemedel. De skrev ett enkelt manus som identifierar figurativa fraser och ersätter dem med deras bokstavliga betydelse. Som ett resultat förbättrades prestandan för dialogsystem med upp till 15 procent.

Forskarna presenterar sina resultat vid 2021 års konferens om empiriska metoder i naturlig språkbehandling, som äger rum 7 till 11 november 2021. 

Ansökningar för detta arbete inkluderar inte bara personliga assistenter, utan också system som är utformade för att sammanfatta information, till exempel rutan som sammanfattar sökresultat överst på en Google-sida. Automatiserade system som behöver svara på frågor, till exempel när en räkning ska betalas eller en tid som ska bokas, skulle också ha nytta av detta arbete.

"Vi vill möjliggöra mer naturliga samtal mellan människor och dialogsystem", säger Harsh Jhamtani, tidningens första författare.

Jhamtani är en Ph.D. student vid Carnegie Mellon University och arbetar för närvarande som gästforskare med seniorförfattaren Taylor Berg-Kirkpatrick, en fakultetsmedlem vid UC San Diego Department of Computer Science and Engineering.

Studien inspirerades av Jhamtanis egna kamper med bildspråk. Han har hindi som modersmål och talar även engelska, Indiens andra officiella språk. Men han var tvungen att lära sig de många amerikanska idiom och metaforer som hans kollegor använder.

Han fick till exempel panik när en kollega sa att de svälter eftersom det på hindi kan tyda på en medicinsk nödsituation. Hans kollega förklarade sedan att det bara betydde att han var hungrig. Då undrade Jhamtani om konstgjorda dialogsystem skulle ha samma problem som han hade.

I studien testade forskare fem olika system utformade för att prata med människor, inklusive GPT-2, som är tränad att förutsäga nästa ord i 40 GB internettext och utvecklades av forskningsföretaget OpenAI.

Forskare körde först dialogsystemen genom en datauppsättning med 13,1 000 konversationer om vardagliga ämnen som turism, hälsa och så vidare. De extraherade sedan konversationerna som inkluderade bildspråk från datasetet och körde systemen endast genom dessa. De observerade en nedgång i prestanda från 10 till 20 procent.

De skrev sedan ett manus som gjorde det möjligt för systemen att snabbt kontrollera ordböcker som översätter bildligt tal till bokstavligt tal. Detta är snabbare och mer effektivt än omutbildningssystem för att lära sig hela innehållet i dessa ordböcker. Forskare observerade att prestandan förbättrades med så mycket som 15 procent.

Forskarna var fortfarande tvungna att delvis förlita sig på mänskliga observatörer för att identifiera bildspråk i datamängden innan texten kunde konverteras. Ytterligare studier behövs på detta område.

Det kommer att ta flera iterationer innan de algoritmer som forskarna tagit fram kommer att vara redo för implementering. Till exempel fann de att i vissa sällsynta fall, att ersätta bildspråket med bokstavligt språk förvrängde grammatiken i en mening till en punkt där dialogsystemen inte längre kunde förstå.