George är en zebrafisk. Tillsammans med Tom och 98 andra kompisar, George simmar fritt i en laboratorietank på Champalimaud Center for the Unknown (CCU), i Lissabon, Portugal. En kamera spelar upp en video av alla djurens ankomst och färd.

Är det möjligt att skilja enskilda fiskar från videobilderna i varje ögonblick? Ja, säger Gonzalo de Polavieja, huvudutredare för Collective Behavior Lab, WHO, med sitt team, har utvecklat ett program som heter idtracker.ai som kan göra jobbet snabbt och med extrem noggrannhet. Deras resultat publicerades i tidskriften Naturmetoder .

"Det yttersta målet för vårt team är att förstå gruppbeteende, säger de Polavieja, vars föredragna namn på fisken är George och Tom. Vi vill förstå hur djur i en grupp bestämmer tillsammans och lär sig tillsammans." Forskarna försökte extrahera data av mycket hög kvalitet från videorna, såsom positionen och formen för vart och ett av djuren, såväl som deras individuella vägar, utan misstag.

Att känna igen varje individ bland dussintals liknande kamrater skulle vara svårt för människor – eller, för den delen, ett konventionellt datorprogram. "Vi skulle bara bli galna av att försöka, " säger de Polavieja. För stora folkmassor, utan artificiell intelligens i mixen, även en kraftfull dator kan behöva köra programmet i flera år för att få resultat. Och dessa skulle förmodligen inte vara särskilt exakta.

Det är där idtracker.ai kommer in. Den nya mjukvaran, säger de Polavieja, tillhandahåller de kvalitetsdata som krävs för en andra fas som analyserar de regler som driver djurens kollektiva beteende.

Fyra år sedan, innan du går med i CCU, de Polavieja publicerade den första versionen av programvaran i Naturmetoder , som inte förlitade sig på artificiell intelligens. Resultaten var mycket mer blygsamma. "Vi kunde spåra 10 djur då, " han säger.

De Polavieja och hans medförfattare, Francisco Romero-Ferrero, Mattia Bergomi, Robert Hinz och Francisco Heras, har nu testat den nya AI-versionen med grupper på upp till 100 zebrafiskar. "Vi testade inte mer än 100 eftersom vår tank inte är tillräckligt stor för det." Ändå, använda en annan metod för att spela in bilderna, de visade att programvaran kan identifiera upp till 150 enskilda fiskar med mycket liten förlust av noggrannhet. "Jag trodde inte att vi kunde nå de siffrorna, det var en överraskning, " noterar de Polavieja. "Jag trodde att det inte skulle finnas tillräckligt med information i bilderna."

Djup lärning

Idtracker.ai är sammansatt av två så kallade deep-learning neurala nätverk och några fler konventionella algoritmer. Ett neuralt nätverk för djupinlärning är en datorsimulering av verkliga nätverk av neuroner i hjärnan som kan lära sig av erfarenhet.

Med hjälp av videobilderna av zebrafisken i tanken, det första nätverket i kedjan tränas för att berätta om varje synlig klump i bilderna motsvarar ett enda djur eller flera.

Med denna utgång, det andra neurala nätverket tränas sedan att tilldela ett namn (eller nummer) till varje klump som bara innehåller en fisk – med andra ord, för att identifiera varje enskild fisk. Erkännandet baseras på de unika egenskaperna hos varje zebrafisk. "Folk tror att zebrafiskar alla är lika, men detta bevisar att de är faktiskt, alla olika varandra, " noterar de Polavieja.

Slutligen, programmet tillämpar två konventionella algoritmer. "Det ena är att få viss säkerhet om de få individer vars identitet fortfarande är något osäkra, " säger de Polavieja. "Och den andra bestämmer vilket djur som är vilket när deras vägar korsas - det vill säga, när deras banor visas ovanpå videon.

Resultaten talar för sig själva:Det tar ungefär en timme för idtracker.ai att alltid identifiera var och en av de 100 zebrafiskarna i videon med nästan 100 procent noggrannhet. "Om du visar nätverket en slumpmässig del av videon som det aldrig har sett förut och frågar det:'vem är det här?", nätverket kommer korrekt att tilldela den fisken rätt namn eller nummer 99,997 procent av gångerna, " säger de Polavieja. Och om du frågar var George, eller Tom, eller någon annan zebrafisk är vid ett givet ögonblick, den kommer att hitta den i mängden nästan bortom allt tvivel.

Teamet testade också programvaran med fruktflugor, medaka fisk (japansk risfisk), myror och möss. Det fungerar också, dock med mindre antal individer. Zebrafisk är bäst för dessa studier, säger de Polavieja. "Möss är svårare eftersom de tenderar att klunga ihop sig och deformeras."

"Det här är första gången så högkvalitativ data har erhållits för 100 fiskar, " säger de Polavieja. Teamet har nu använt idtracker.ai, som är fritt tillgänglig, att extrahera en uppsättning regler som förklarar zebrafiskens beteende i grupper. De beskriver sina resultat i en annan tidning, som de har lagt ut på bioarxiv.org och lämnat in för publicering i en vetenskaplig tidskrift.

När det gäller möjliga tillämpningar, denna programvara kan göra det möjligt att spåra personer, eller att identifiera en given person i en folkmassa baserat på information om hans eller hennes fysiska utseende. "Det finns nu en hel industri för den här typen av mjukvara, " säger de Polavieja. "Folk använder dessa [AI]-tekniker för att utveckla andra liknande spårningsverktyg. Men innan vi bevisade att vi kunde göra det på djur, det var svårt att tro att det ens var möjligt."