Den artificiella intelligensens heliga graal är en maskin som verkligen förstår mänskligt språk och tolkar mening från komplexa, nyanserade passager. När IBMs Watson -dator slog berömda "Jeopardy!" mästaren Ken Jennings 2011, det verkade som om den milstolpen hade uppnåtts. Dock, alla som har försökt få ett samtal med den virtuella assistenten Siri vet att datorer har en lång väg att gå för att verkligen förstå mänskligt språk. För att bli bättre på att förstå språk, datorsystem måste träna på att använda frågor som utmanar dem och återspeglar det mänskliga språkets fulla komplexitet.

Forskare från University of Maryland har kommit på hur man på ett tillförlitligt sätt skapar sådana frågor genom ett samarbete mellan människa och dator, utveckla en datauppsättning på mer än 1, 200 frågor som, samtidigt som det är lätt för människor att svara, stump de bästa datorsvarssystemen idag. Systemet som lär sig att bemästra dessa frågor kommer att ha en bättre förståelse av språket än något system som för närvarande existerar. Arbetet beskrivs i en artikel publicerad i 2019 års nummer av tidskriften Transaktioner av Association for Computational Linguistics .

"De flesta datorsystem som besvarar frågor förklarar inte varför de svarar som de gör, men vårt arbete hjälper oss att se vad datorer faktiskt förstår, sa Jordan Boyd-Graber, docent i datavetenskap vid UMD och senior författare till tidningen. "Dessutom, vi har tagit fram en datauppsättning för att testa på datorer som kommer att avslöja om ett datorspråksystem faktiskt läser och gör samma slags bearbetning som människor kan göra."

De flesta aktuella arbeten för att förbättra program för att svara på frågor använder antingen mänskliga författare eller datorer för att generera frågor. Den inneboende utmaningen i dessa tillvägagångssätt är att när människor skriver frågor, de vet inte vilka specifika delar av deras fråga som är förvirrande för datorn. När datorer skriver frågorna, de skriver antingen formel, fyll i tomma frågor eller gör misstag, ibland genererar nonsens.

För att utveckla sitt nya tillvägagångssätt för människor och datorer som arbetar tillsammans för att skapa frågor, Boyd-Graber och hans team skapade ett datorgränssnitt som avslöjar vad en dator "tänker" när en mänsklig författare skriver en fråga. Författaren kan sedan redigera sin fråga för att utnyttja datorns svagheter.

I det nya gränssnittet, en mänsklig författare skriver en fråga medan datorns gissningar visas i rankad ordning på skärmen, och orden som fick datorn att göra sina gissningar är markerade.

Till exempel, om författaren skriver "Vilken kompositörs variationer på ett tema av Haydn inspirerades av Karl Ferdinand Pohl?" och systemet svarar korrekt "Johannes Brahms, "gränssnittet markerar orden" Ferdinand Pohl "för att visa att denna fras ledde till svaret. Med hjälp av den informationen, författaren kan redigera frågan för att göra det svårare för datorn utan att ändra frågans betydelse. I det här exemplet, författaren ersatte namnet på mannen som inspirerade Brahms, "Karl Ferdinand Pohl, " med en beskrivning av hans jobb, "arkivarien för Wien Musikverein, "och datorn kunde inte svara korrekt. Men expertspelare från mänskliga frågesporter kunde fortfarande enkelt svara korrekt på den redigerade frågan.

Genom att arbeta tillsammans, människor och datorer pålitligt utvecklade 1, 213 datorstumpande frågor som forskarna testade under en tävling med erfarna mänskliga spelare – från trivialag på gymnasiet till "Jeopardy!" mästare – mot datorer. Även det svagaste mänskliga laget besegrade det starkaste datorsystemet.

"I tre eller fyra år, människor har varit medvetna om att datorsystem för svar på frågor är mycket sköra och kan luras mycket lätt, sa Shi Feng, en UMD datavetenskap doktorand och en medförfattare av uppsatsen. "Men det här är det första papper vi är medvetna om som faktiskt använder en maskin för att hjälpa människor att bryta själva modellen."

Forskarna säger att dessa frågor inte bara kommer att fungera som en ny datauppsättning för datavetare för att bättre förstå var bearbetning av naturligt språk misslyckas, men också som en träningsdatauppsättning för att utveckla förbättrade maskininlärningsalgoritmer. Frågorna avslöjade sex olika språkfenomen som konsekvent stör datorer.

Dessa sex fenomen delas in i två kategorier. I den första kategorin finns språkliga fenomen:parafrasering (som att säga "hopp från ett stup" istället för "hoppa från en klippa"), distraherande språk eller oväntade sammanhang (som en hänvisning till en politisk person som dyker upp i en ledtråd om något som inte har med politik att göra). Den andra kategorin inkluderar resonemangsfärdigheter:ledtrådar som kräver logik och beräkning, mental triangulering av element i en fråga, eller sätta ihop flera steg för att bilda en slutsats.

"Människor kan generalisera mer och se djupare samband, Boyd-Graber sa. "De har inte datorernas obegränsade minne, men de har ändå en fördel i att kunna se skogen för träden. Att katalogisera problemen som datorer har hjälper oss att förstå de problem vi måste ta itu med, så att vi faktiskt kan få datorer att börja se skogen genom träden och svara på frågor på det sätt som människor gör."

Det finns en lång väg att gå innan det händer tillagt Boyd-Graber, som också har samarbetstjänster vid University of Maryland Institute for Advanced Computer Studies (UMIACS) samt UMD:s College of Information Studies and Language Science Center. Men detta arbete ger ett spännande nytt verktyg för att hjälpa datavetare att uppnå det målet.

"Det här dokumentet lägger upp en forskningsagenda för de kommande åren så att vi faktiskt kan få datorer att svara på frågor väl, " han sa.