Maskininlärningsalgoritmer ligger nu till grund för mycket av den programvara vi använder, hjälpa till att anpassa våra nyhetsflöden och avsluta våra tankar innan vi har skrivit klart. Men när artificiell intelligens blir ytterligare inbäddad i det dagliga livet, förväntningarna har stigit. Innan autonoma system helt får vårt förtroende, vi måste veta att de är pålitliga i de flesta situationer och tål yttre störningar; i termer av teknik, att de är robusta. Vi måste också förstå resonemanget bakom deras beslut; att de är tolkbara.

Aleksander Madry, en docent i datavetenskap vid MIT och en ledande fakultetsmedlem i Computer Science and Artificial Intelligence Lab (CSAIL) s Trustworthy AI -initiativ, jämför AI med en vass kniv, ett användbart men potentiellt farligt verktyg som samhället måste lära sig att använda ordentligt. Madry talade nyligen på MIT:s Symposium om Robust, Tolkningsbar AI, ett evenemang som sponsras av MIT Quest for Intelligence och CSAIL, och hölls den 20 november i Singleton Auditorium. Symposiet var utformat för att visa upp nytt MIT -arbete inom byggnadsgarantier till AI, som nästan har blivit en gren av maskininlärning i sig. Sex fakultetsmedlemmar talade om sin forskning, 40 studenter presenterade affischer, och Madry öppnade symposiet med ett föredrag med den passande titeln, "Robusthet och tolkbarhet." Vi pratade med Madry, en ledare inom detta framväxande område, om några av de viktigaste idéerna som togs upp under evenemanget.

F:AI beror mycket på sina senaste framsteg på djupinlärning, en gren av maskininlärning som avsevärt har förbättrat algoritmernas förmåga att välja mönster i text, bilder och ljud, ger oss automatiserade assistenter som Siri och Alexa, bland annat. Men djupa inlärningssystem förblir sårbara på överraskande sätt:snubblar när de stöter på lite obekanta exempel i den verkliga världen eller när en skadlig angripare matar den subtilt förändrade bilder. Hur försöker du och andra göra AI mer robust?

A:Fram till nyligen, AI-forskare fokuserade helt enkelt på att få maskininlärningsalgoritmer för att utföra grundläggande uppgifter. Att uppnå jämn prestanda var en stor utmaning. Nu när prestandan har förbättrats, uppmärksamheten har flyttats till nästa hinder:att förbättra prestanda i värsta fall. Det mesta av min forskning är inriktad på att möta denna utmaning. Specifikt, Jag arbetar med att utveckla nästa generations maskininlärningssystem som kommer att vara pålitliga och tillräckligt säkra för verksamhetskritiska applikationer som självkörande bilar och programvara som filtrerar skadligt innehåll. Vi bygger för närvarande verktyg för att träna objektigenkänningssystem för att identifiera vad som händer i en scen eller bild, även om de bilder som matas till modellen har manipulerats. Vi studerar också gränserna för system som erbjuder säkerhet och tillförlitlighetsgarantier. Hur mycket tillförlitlighet och säkerhet kan vi bygga in i maskininlärningsmodeller, och vilka andra funktioner kan vi behöva offra för att komma dit?

Min kollega Luca Daniel, som också talade, arbetar med en viktig aspekt av detta problem:att utveckla ett sätt att mäta motståndskraften hos ett djupinlärningssystem i nyckelsituationer. Beslut som fattas av djupa inlärningssystem får stora konsekvenser, och därför är det viktigt att slutanvändare kan mäta tillförlitligheten för var och en av modellens utgångar. Ett annat sätt att göra ett system mer robust är under utbildningsprocessen. I hennes tal, "Robusthet i GAN:er och i Black-box-optimering, "Stefanie Jegelka visade hur eleven i ett generativt kontradiktoriskt nätverk, eller GAN, kan göras för att motstå manipulationer av dess inmatning, vilket leder till mycket bättre prestanda.

F:De neurala nätverk som driver djupinlärning verkar lära sig nästan utan ansträngning:Mata dem tillräckligt med data och de kan överträffa människor vid många uppgifter. Och ändå, vi har också sett hur lätt de kan misslyckas, med minst tre allmänt publicerade fall av självkörande bilar som kraschar och dödar någon. AI -tillämpningar inom hälso- och sjukvården är ännu inte under kontroll, men insatserna är lika höga. David Sontag fokuserade sitt tal på de ofta liv-eller-död-konsekvenserna när ett AI-system saknar robusthet. Vad är några av de röda flaggorna när man tränar en AI om patientjournaler och andra observationsdata?

A:Detta går tillbaka till karaktären av garantier och de underliggande antaganden som vi bygger in i våra modeller. Vi antar ofta att våra utbildningsdatauppsättningar är representativa för den verkliga data vi testar våra modeller på-ett antagande som tenderar att vara för optimistiskt. Sontag gav två exempel på bristfälliga antaganden bakade i träningsprocessen som kan leda till att en AI ger fel diagnos eller rekommenderar en skadlig behandling. Den första fokuserade på en massiv databas över patientröntgen som släpptes förra året av National Institutes of Health. Datauppsättningen förväntades ge stora förbättringar av den automatiska diagnosen lungsjukdom tills en skeptisk radiolog tog en närmare titt och fann utbredda fel i skanningarnas diagnostiska etiketter. En AI som tränats på bröstskanningar med många felaktiga etiketter kommer att ha svårt att generera korrekta diagnoser.

A second problem Sontag cited is the failure to correct for gaps and irregularities in the data due to system glitches or changes in how hospitals and health care providers report patient data. Till exempel, a major disaster could limit the amount of data available for emergency room patients. If a machine-learning model failed to take that shift into account its predictions would not be very reliable.

Q:You've covered some of the techniques for making AI more reliable and secure. What about interpretability? What makes neural networks so hard to interpret, and how are engineers developing ways to peer beneath the hood?

A:Understanding neural-network predictions is notoriously difficult. Each prediction arises from a web of decisions made by hundreds to thousands of individual nodes. We are trying to develop new methods to make this process more transparent. In the field of computer vision one of the pioneers is Antonio Torralba, director of The Quest. In his talk, he demonstrated a new tool developed in his lab that highlights the features that a neural network is focusing on as it interprets a scene. The tool lets you identify the nodes in the network responsible for recognizing, säga, a door, from a set of windows or a stand of trees. Visualizing the object-recognition process allows software developers to get a more fine-grained understanding of how the network learns. 

Another way to achieve interpretability is to precisely define the properties that make the model understandable, and then train the model to find that type of solution. Tommi Jaakkola showed in his talk, "Interpretability and Functional Transparency, " that models can be trained to be linear or have other desired qualities locally while maintaining the network's overall flexibility. Explanations are needed at different levels of resolution much as they are in interpreting physical phenomena. Of course, there's a cost to building guarantees into machine-learning systems—this is a theme that carried through all the talks. But those guarantees are necessary and not insurmountable. The beauty of human intelligence is that while we can't perform most tasks perfectly, as a machine might, we have the ability and flexibility to learn in a remarkable range of environments. 

Denna artikel publiceras på nytt med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT -forskning, innovation och undervisning.