Du kanske har sett Hollywoodstjärnor i "motion capture"-kostymer, agerar i helkroppskostymer med sensorer som låter en dator förvandla dem till en Hulk eller en drake eller en förtrollad best.

Nu, ett samarbete mellan Princeton-professorerna Mala Murthys och Joshua Shaevitz labb har gått ett steg längre, med de senaste framstegen inom artificiell intelligens (AI) för att automatiskt spåra djurs enskilda kroppsdelar i befintlig video.

Deras nya verktyg, LEAP uppskattar Animal Pose (LEAP), kan tränas på några minuter för att automatiskt spåra ett djurs individuella kroppsdelar över miljontals bildrutor med hög noggrannhet, utan att behöva lägga till några fysiska markörer eller etiketter.

"Metoden kan användas i stort, över djurmodellsystem, och det kommer att vara användbart för att mäta beteendet hos djur med genetiska mutationer eller efter läkemedelsbehandlingar, "sa Murthy, docent i molekylärbiologi och Princeton Neuroscience Institute (PNI).

Uppsatsen som beskriver den nya tekniken kommer att publiceras i januarinumret 2019 av tidskriften Naturmetoder , men dess version med öppen åtkomst, släpptes i maj, har redan lett till att programvaran anammats av ett antal andra labb.

När forskarna kombinerar LEAP med andra kvantitativa verktyg som utvecklats i sina laboratorier, de kan studera vad de kallar "beteendespråket" genom att observera mönster i djurens kroppsrörelser, sa Shaevitz, en professor i fysik och Lewis-Sigler Institute for Integrative Genomics.

"Detta är ett flexibelt verktyg som i princip kan användas på alla videodata, sa Talmo Pereira, en PNI -doktorand som är den första författaren på tidningen. "Sättet det fungerar är att märka några punkter i några videor och sedan gör det neurala nätverket resten. Vi tillhandahåller ett lättanvänt gränssnitt för alla att använda LEAP på sina egna videor, utan föregående programmeringskunskaper. "

På frågan om LEAP fungerade lika bra på stora däggdjur som det gjorde på flugorna och mössen som utgjorde de flesta av de första försökspersonerna, Pereira skapade omedelbart en rörelsemärkt video av en giraff tagen från liveflödet från Mpala Research Center i Kenya, en fältforskningsstation för vilken Princeton är partner.

"Vi tog en video av en vandrande giraff från Mpala forskningsstation ... och märkte punkter i 30 videoramar, som tog mindre än en timme, "Sa Pereira." LEAP kunde sedan spåra rörelse från hela resten av videon (ungefär 500 bilder) på några sekunder. "

Tidigare ansträngningar för att utveckla AI -verktyg som kan spåra mänsklig rörelse har förlitat sig på stora träningsuppsättningar av manuellt kommenterade data. Det gjorde att programvaran kunde arbeta robust på olika typer av data, med väldigt olika bakgrunder eller ljusförhållanden.

"I vårat fall, vi optimerade liknande metoder för att arbeta med data som samlats in i en laboratoriemiljö, i vilka förhållandena är konsekventa för inspelningar, ", sa Murthy. "Vi byggde ett system som tillåter användaren att välja ett neuralt nätverk som är lämpligt för den typ av data som användaren samlat in snarare än att begränsas av vad andra forskare eller företag har arbetat med."

Detta projekt härrörde från ett unikt samarbete mellan en senior avhandling student i Murthy lab, Diego Aldarondo i klassen 2018, och hans doktorand mentor, Pereira, som tillsammans råds av Murthy och Shaevitz.

"Diego undersökte användningen av djupa neurala nätverk för att kommentera djurens beteendedata via en av hans datavetenskapskurser på Princeton, och över sena chattar i labbet med Talmo, han insåg att dessa metoder kraftfullt kunde tillämpas på deras egna data:videor av fruktflugor som interagerar under deras uppvaktningsritual, "sa Murthy." Samarbetet tog fart därifrån, och det var otroligt roligt att arbeta tillsammans - Diego och Talmo visade hur effektiva dessa AI -metoder kan vara. "

Arbetet har stor potential även utanför neurovetenskapen, sa Monica Daley, en universitetslektor vid Structure and Motion Laboratory vid Royal Veterinary College i Storbritannien, som inte var involverad i denna forskning.

"Mycket av min forskning syftar till att förstå hur djur rör sig effektivt under olika terräng- och miljöförhållanden, ", sa Daley. "En av de största pågående utmaningarna på området är att hämta meningsfull information om djurrörelser från videofilmer. Vi behandlar antingen videor manuellt, kräver många timmars jobbigt arbete, eller fokusera på mycket enkel och begränsad analys som kan automatiseras. Algoritmerna som presenteras i denna artikel har potential att automatisera den arbetsintensiva delen av vårt arbete mer än vad som tidigare varit möjligt, som skulle kunna tillåta oss att studera en större variation av djurrörelsebeteenden."

När de väl har en databas över rörelse och beteenden, neurovetenskapsmännen i teamet kan dra kopplingar till de neurala processerna bakom dem. Detta kommer att tillåta forskare "att inte bara få en bättre förståelse för hur hjärnan producerar beteenden, "sa Shaevitz, "men också för att utforska framtida diagnostik och behandlingar som bygger på att en dator tolkar någons handlingar."

Ett liknande verktyg delades under sommaren av ett team av Harvard-forskare, som använde existerande neurala nätverksarkitektur, medan Princeton-teamet skapade sina egna. "Vår metod och deras har olika fördelar, ", sa Murthy. "Det här är ett otroligt spännande område just nu med mycket aktivitet i att utveckla AI-verktyg för studier av beteende och neural aktivitet."

"Vi använder ett annat tillvägagångssätt, där mindre, smalare nätverk kan uppnå hög noggrannhet genom att snabbt specialisera sig på nya datamängder, "sade Pereira." Ännu viktigare, vi visar att det nu finns lättanvända alternativ för spårning av djurposer via AI, och vi hoppas att detta uppmuntrar fältet att börja anta mer kvantitativa och exakta metoder för att mäta beteende."

"Under de senaste fem åren har neurovetenskap har gjort enorma framsteg i tekniken för att observera och manipulera hjärnaktivitet, " sa medförfattaren Samuel Wang, en professor i molekylärbiologi och PNI. "Nu, automatisk klassificering av beteende lägger till ett kritiskt komplement till den tekniken. Princeton håller på att bli ett centralt nav inom det spirande området för beräknande neuroetologi. "