Det kan ta år av fågelskådningserfarenhet att skilja en art från nästa. Men med hjälp av en artificiell intelligensteknik som kallas djupinlärning, Forskare från Duke University har tränat en dator för att identifiera upp till 200 fågelarter från bara ett foto.

Den verkliga innovationen, dock, är att A.I. verktyget visar också sitt tänkande, på ett sätt som även någon som inte känner en pingvin från en lunnefågel kan förstå.

Teamet tränade sitt djupa neurala nätverk – algoritmer baserade på hur hjärnan fungerar – genom att mata den 11, 788 foton av 200 fågelarter att lära av, allt från simande änder till svävande kolibrier.

Forskarna sa aldrig till nätverket "det här är en näbb" eller "detta är vingfjädrar." Med tanke på ett foto av en mystisk fågel, nätverket kan plocka ut viktiga mönster i bilden och riskera en gissning genom att jämföra dessa mönster med typiska artegenskaper som det har sett tidigare.

Längs vägen spottar den ut en serie värmekartor som i huvudsak säger:"Det här är inte vilken sångare som helst. Det är en huvsångare, och här är dragen - som dess maskerade huvud och gula mage - som ger bort det."

Duke datavetenskap Ph.D. studenten Chaofan Chen och grundexamen Oscar Li ledde forskningen, tillsammans med andra teammedlemmar i Prediction Analysis Lab under ledning av hertigprofessor Cynthia Rudin.

De fann att deras neurala nätverk kan identifiera den korrekta arten upp till 84 % av gångerna – i nivå med några av dess bäst presterande motsvarigheter, som inte avslöjar hur de kan berätta, säga, en sparv från nästa.

Rudin säger att deras projekt handlar om mer än att namnge fåglar. Det handlar om att visualisera vad djupa neurala nätverk verkligen ser när de tittar på en bild.

Liknande teknik används för att tagga personer på sociala nätverkssajter, upptäcka misstänkta brottslingar i övervakningskameror, och träna självkörande bilar för att upptäcka saker som trafikljus och fotgängare.

Problemet, Rudin säger, är att de flesta djupinlärningsmetoder för datorseende är notoriskt ogenomskinliga. Till skillnad från traditionell programvara, programvara för djupinlärning lär sig av data utan att vara explicit programmerad. Som ett resultat, exakt hur dessa algoritmer "tänker" när de klassificerar en bild är inte alltid tydligt.

Rudin och hennes kollegor försöker visa att A.I. behöver inte vara så. Hon och hennes labb designar modeller för djupinlärning som förklarar resonemanget bakom deras förutsägelser, göra det tydligt exakt varför och hur de kom fram till sina svar. När en sådan modell gör ett misstag, dess inbyggda transparens gör det möjligt att se varför.

Till deras nästa projekt, Rudin och hennes team använder sin algoritm för att klassificera misstänkta områden i medicinska bilder som mammografi. Om det fungerar, deras system hjälper inte bara läkare att upptäcka klumpar, förkalkningar och andra symtom som kan vara tecken på bröstcancer. Det kommer också att visa vilka delar av mammografin den är inriktad på, avslöjar vilka specifika egenskaper som mest liknar cancerskadorna den har sett tidigare hos andra patienter.

På det sättet, Rudin säger, deras nätverk är utformat för att efterlikna hur läkare ställer en diagnos. "Det är fallbaserade resonemang, " Sa Rudin. "Vi hoppas att vi bättre kan förklara för läkare eller patienter varför deras bild klassificerades av nätverket som antingen malign eller godartad."

Teamet presenterar ett dokument om sina resultat vid den trettiotredje konferensen om neurala informationsbehandlingssystem (NeurIPS 2019) i Vancouver den 12 december.