MIT-forskare tränar ett par generativa kontradiktoriska nätverk, eller GAN, att härma landet, hav, och molntexturer som ses i satellitbilder med målet att så småningom visualisera verklig havsnivåhöjning. Det är ett av många forskningsprojekt för artificiell intelligens som möjliggjorts av IBM och Google-donerade molnkrediter. Kredit:Brandon Leshchinskiy
Neurala nätverk har gett forskare ett kraftfullt verktyg för att se in i framtiden och göra förutsägelser. Men en nackdel är deras omättliga behov av data och datorkraft ("beräkna") för att bearbeta all information. På MIT, efterfrågan på beräkning beräknas vara fem gånger större än vad institutet kan erbjuda. För att underlätta kritan, industrin har gått in. En superdator på 11,6 miljoner dollar som nyligen donerats av IBM kommer online i höst, och under det senaste året, både IBM och Google har tillhandahållit molnkrediter till MIT Quest for Intelligence för distribution över campus. Fyra projekt som möjliggjorts av IBM och Googles molndonationer markeras nedan.
Mindre, snabbare, smartare neurala nätverk
Att känna igen en katt på en bild, en modell för djupinlärning kan behöva se miljontals bilder innan dess artificiella neuroner "lär sig" att identifiera en katt. Processen är beräkningsintensiv och medför en hög miljökostnad, som ny forskning som försöker mäta artificiell intelligenss (AI:s) koldioxidavtryck har belyst.
Men det kan finnas ett mer effektivt sätt. Ny MIT -forskning visar att modeller endast en bråkdel av storleken behövs. "När du tränar ett stort nätverk finns det ett litet nätverk som kunde ha gjort allt, "säger Jonathan Frankle, en doktorand vid MIT:s institution för elektroteknik och datavetenskap (EECS).
Med studiemedförfattare och EECS-professor Michael Carbin, Frankle uppskattar att ett neuralt nätverk skulle kunna klara sig med en tiondel av antalet anslutningar om rätt subnätverk hittas i början. I vanliga fall, neurala nätverk trimmas efter träningsprocessen, med irrelevanta kopplingar borttagna då. Varför inte träna den lilla modellen till att börja med, undrade Frankle?
Experimenterar med ett nätverk med två neuroner på sin bärbara dator, Frankle fick uppmuntrande resultat och flyttade till större bilddataset som MNIST och CIFAR-10, låna GPU:er där han kunde. Till sist, genom IBM Cloud, han fick tillräckligt med datorkraft för att utbilda en riktig ResNet -modell. "Allt jag hade gjort tidigare var leksaksexperiment, " säger han. "Jag kunde äntligen köra dussintals olika inställningar för att se till att jag kunde göra påståenden i vår tidning."
Frankle talade från Facebooks kontor, där han arbetade under sommaren för att utforska idéer som togs upp av hans lotteri -hypotespapper, en av två utvalda till priset för bästa papper vid årets internationella konferens om läranderepresentationer. Potentiella tillämpningar för arbetet går utöver bildklassificering, Frankle säger, och inkluderar förstärkningsinlärning och bearbetningsmodeller för naturligt språk. Redan, forskare på Facebook AI Research, Princeton Universitet, och Uber har publicerat uppföljningsstudier.
"Vad jag älskar med neurala nätverk är att vi inte ens har lagt grunden ännu, säger Frankle, som nyligen gick från att studera kryptografi och teknikpolitik till AI. "Vi förstår verkligen inte hur det lär sig, där det är bra och där det misslyckas. Detta är fysik 1, 000 år före Newton."
Att skilja fakta från falska nyheter
Nätverksplattformar som Facebook och Twitter har gjort det enklare än någonsin att hitta kvalitetsnyheter. Men alltför ofta, riktiga nyheter dränks av vilseledande eller direkt falsk information som läggs ut på nätet. Förvirring över en nyligen genomförd video av USA:s hustalare Nancy Pelosi som manipulerades för att få henne att låta berusad är bara det senaste exemplet på hotet med desinformation och falska nyheter mot demokratin.
"Du kan lägga ut nästan vad som helst på internet nu, och vissa människor kommer att tro det, " säger Moin Nadeem, senior och EECS-major vid MIT.
Om tekniken hjälpte till att skapa problemet, det kan också hjälpa till att fixa det. Det var Nadeems anledning till att välja ett superUROP -projekt med fokus på att bygga ett automatiserat system för att bekämpa falska och vilseledande nyheter. Jobbar i James Glass labb, en forskare vid MIT:s datavetenskap och artificiell intelligens laboratorium, och övervakad av Mitra Mohtarami, Nadeem hjälpte till att utbilda en språkmodell till faktakontroll av påståenden genom att söka igenom Wikipedia och tre typer av nyhetskällor som journalister betygsätter som högkvalitativa, blandad kvalitet eller låg kvalitet.
För att verifiera ett anspråk, modellen mäter hur nära källorna överensstämmer, med högre överensstämmelsepoäng som indikerar att påståendet sannolikt är sant. En hög oenighetspoäng för ett påstående som, "ISIS infiltrerar USA, " är en stark indikator på falska nyheter. En nackdel med denna metod, han säger, är att modellen inte identifierar den oberoende sanningen så mycket som beskriver vad de flesta tror är sant.
Med hjälp av Google Cloud Platform, Nadeem körde experiment och byggde en interaktiv webbplats som låter användare omedelbart bedöma riktigheten av ett påstående. Han och hans medförfattare presenterade sina resultat vid konferensen North American Association of Computational Linguistics (NAACL) i juni och fortsätter att utöka arbetet.
"Ordspråket brukade vara att se är att tro, " säger Nadeem, i den här videon om hans arbete. "Men vi går in i en värld där det inte är sant. Om människor inte kan lita på sina ögon och öron blir det en fråga om vad vi kan lita på?"
Visualisera ett värmande klimat
Från stigande hav till ökad torka, effekterna av klimatförändringarna märks redan. Om några decennier, världen kommer att bli varmare, tork, och mer oförutsägbar plats. Brandon Leshchinskiy, en doktorand vid MIT:s avdelning för flygteknik och astronautik (AeroAstro), experimenterar med generativa motståndsnätverk, eller GAN, att föreställa sig hur jorden kommer att se ut då.
GAN producerar hyperrealistiska bilder genom att ställa ett neuralt nätverk mot ett annat. Det första nätverket lär sig den underliggande strukturen för en uppsättning bilder och försöker reproducera dem, medan den andra avgör vilka bilder som ser osannolika ut och säger till det första nätverket att försöka igen.
Inspirerad av forskare som använde GAN för att visualisera havsnivåhöjningar från gatubildsbilder, Leshchinskiy ville se om satellitbilder på liknande sätt kunde anpassa klimatprojektioner. Med sin rådgivare, AeroAstro professor Dava Newman, Leshchinskiy använder för närvarande gratis IBM Cloud-krediter för att träna ett par GAN på bilder av den östra amerikanska kustlinjen med motsvarande höjdpunkter. Målet är att visualisera hur prognoser för höjning av havsnivån för 2050 kommer att rita om kustlinjen. Om projektet fungerar, Leshinskiy hoppas kunna använda andra NASA-datauppsättningar för att föreställa sig framtida havsförsurning och förändringar i överflöd av växtplankton.
"Vi har passerat punkten för att mildra, ", säger han. "Att visualisera hur världen kommer att se ut om tre decennier kan hjälpa oss att anpassa oss till klimatförändringarna."
Identifiera idrottare från några få gester
Några få drag på planen eller banan räcker för att en datorseendemodell ska kunna identifiera enskilda idrottare. Det är enligt preliminär forskning av ett team ledd av Katherine Gallagher, en forskare vid MIT Quest for Intelligence.
Teamet tränade datorseendemodeller på videoinspelningar av tennismatcher och fotbolls- och basketmatcher och fann att modellerna kunde känna igen enskilda spelare på bara några få bilder från nyckelpunkter på deras kropp, vilket ger en grov kontur av deras skelett.
Teamet använde ett Google Cloud API för att bearbeta videodata, och jämförde deras modellers prestanda med modeller som tränats på Google Clouds AI-plattform. "Den här poseringsinformationen är så utmärkande att våra modeller kan identifiera spelare med nästan lika noggrannhet som modeller försedda med mycket mer information, som hårfärg och kläder, " hon säger.
Deras resultat är relevanta för automatiserad spelaridentifiering i sportanalyssystem, och de skulle kunna ge en grund för ytterligare forskning om att anta spelartrötthet för att förutse när spelare bör bytas ut. Automatisk positionsdetektering kan också hjälpa idrottare att förfina sin teknik genom att tillåta dem att isolera de exakta rörelserna som är förknippade med en golfspelares expertdrift eller en tennisspelares vinnande sving.
Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.