Kredit:CC0 Public Domain
Är du smartare än en maskininlärningsmodell? Låt oss ta reda på. Välj svaret som motsäger följande premiss:
Bob har en syster som heter Sarah.
Om du väljer C, grattis!
Exempel som detta kan se enkla ut men de verkar vara en bra indikator på en maskins förståelse av språk. Testet kallas Natural Language Inference och det används ofta för att mäta en modells förmåga att förstå ett samband mellan två texter. Möjliga samband är involvering (som i exempel A), neutral (B), och motsägelse (C).
Datauppsättningar med hundratusentals av dessa frågor, skapad av människor, har lett till en explosion av nya neurala nätverksarkitekturer för att lösa Natural Language Inference. Över åren, dessa neurala nätverk har blivit bättre och bättre. Dagens toppmoderna modeller brukar få motsvarande B+ på dessa tester. Människor får vanligtvis ett A eller A-.
Men forskare upptäckte nyligen att maskininlärningsmodeller fortfarande fungerar anmärkningsvärt bra när de bara får svaret, även kallad hypotesen, utan den ursprungliga premissen. Till exempel, en modell som bara ges "Bob har ingen syster" kommer att gissa att detta är en motsägelsefull hypotes, även om det inte ges premissen "Bob har en syster som heter Sarah."
Som det visar sig, dessa datauppsättningar är fulla av mänskliga fördomar. När ombedd att komma med motsägelsefulla meningar, människor använder ofta negationer, som "gör inte" eller "ingen". Dock, Att förlita sig på dessa ledtrådar kan leda till att maskininlärningsmodeller också felaktigt märker "Bob äger inte en bil" som en motsägelse.
"Dessa modeller lär sig inte förstå relationen mellan texter, de lär sig att fånga mänskliga idiosynkrasier, sa Yonatan Belinkov, första författare till artikeln och en postdoktor i datavetenskap vid Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS).
För att bekämpa detta, Belinkov och kollegor utvecklade en ny metod för att bygga maskininlärningsmodeller som minskar modellens beroende av dessa fördomar.
Teamet presenterar sin forskning vid det 57:e årsmötet för Association for Computational Linguistics (ACL) i Florens, Italien den 28 juli–2 augusti.
Det är vanligt att modellera det typiska Natural Language Inference-testet som en enda ström – premissen och hypotesen bearbetas båda tillsammans och matas till en klassificerare som förutsäger motsägelse, neutral eller involverande.
Teamet lade till en andra ström till modellen, den här med bara hypotesen. Modellen lär sig att utföra Natural Language Inference med båda strömmarna samtidigt, men om det går bra på hypotessidan, det är straffat. Detta tillvägagångssätt uppmuntrar modellen att fokusera mer på premisssidan och avstå från att lära sig de fördomar som ledde till framgångsrika hypoteser.
"Vår förhoppning är att med denna metod, modellen är inte bara fokuserad på partiska ord, som "nej" eller "gör det inte, "men snarare har den lärt sig något djupare, " sa Stuart Shieber, James O. Welch, Jr. och Virginia B. Welch Professor i datavetenskap vid SEAS och medförfattare till artikeln.
Dessa fördomar, dock, kan också vara viktiga sammanhangsledtrådar för att lösa problemet, så det är viktigt att inte devalvera dem för mycket.
"Det finns en tunn linje mellan partiskhet och användbarhet, sade Gabriel Grand, CS '18, som arbetade med projektet som en del av sitt examensarbete. "Att nå toppprestanda innebär att glömma många antaganden men inte alla."
(Grands avhandling, "Learning Interpretable and Bias-Free Models for Visual Question Answering" tilldelades 2018-2019 Thomas Temple Hoopes-priset för enastående vetenskapligt arbete eller forskning.)
Genom att ta bort många av dessa antaganden, tvåströmsmodellen gjorde föga förvånande något sämre på data som den tränades på än modellen som inte straffades för att förlita sig på fördomar. Dock, när den testades på nya datamängder – med olika fördomar – gjorde modellen betydligt bättre.
"Även om modellen gjorde några procentenheter sämre på sin egen datauppsättning, den har lärt sig att inte lita lika mycket på fördomar. Så, denna metod ger en modell som fungerar mer generellt och är mer robust, sa Shieber.
Den här metoden kan tillämpas på en rad artificiell intelligensuppgifter som kräver identifiering av djupare relationer – som visuellt svar på frågor, läsförståelse, och andra naturliga språkuppgifter – samtidigt som man undviker ytliga fördomar.
