Forskare från Cluster of Excellence Collective Behavior har utvecklat ett datorseende ramverk för kroppsuppskattning och identitetsspårning som de kan använda i inomhusmiljöer såväl som i naturen. Detta är ett viktigt steg mot markörlös spårning av djur i naturen med hjälp av datorseende och maskininlärning.
Två duvor pickar säd i en park i Konstanz. En tredje duva flyger in. Det finns fyra kameror i omedelbar närhet. Doktoranderna Alex Chan och Urs Waldmann från Cluster of Excellence Collective Behavior vid universitetet i Konstanz filmar scenen. Efter en timme återvänder de med materialet till sitt kontor för att analysera det med ett datorseende ramverk för kroppsuppskattning och identitetsspårning.
Ramverket upptäcker och ritar en låda runt alla duvor. Den registrerar centrala kroppsdelar och bestämmer deras hållning, deras position och deras interaktion med de andra duvorna runt dem. Allt detta sker utan att några markörer fästs på duvor eller något behov av att en människa kallas in för att hjälpa. Detta skulle inte ha varit möjligt för bara några år sedan.
Markörlösa metoder för djurhållningsspårning har utvecklats snabbt på senare tid, men ramverk och riktmärken för att spåra stora djurgrupper i 3D saknas fortfarande. För att övervinna denna klyfta presenterar forskaren Urs Waldmann från Cluster of Excellence Collective Behavior vid University of Konstanz och Alex Chan från Max Planck Institute of Animal Behavior och deras kollegor 3D-MuPPET, ett ramverk för att uppskatta och spåra 3D-poser på upp till 10 duvor i interaktiv hastighet med hjälp av flera kameravyer.
Forskningen publicerades nyligen i International Journal of Computer Vision .
3D-MuPPET, som står för 3D Multi-Pigeon Pose Estimation and Tracking, är ett datorseende ramverk för ställningsuppskattning och identitetsspårning för upp till 10 individuella duvor från fyra kameravyer, baserat på data som samlats in både i fångenskapsmiljöer och till och med i vild.
"Vi tränade en 2D-nyckelpunktsdetektor och triangulerade punkter till 3D, och visar också att modeller som tränats på data från en enda duva fungerar bra med data från flera duvor", förklarar Waldmann. Detta är ett första exempel på 3D djurhållningsspårning för en hel grupp på upp till 10 individer.
Således ger det nya ramverket en konkret metod för biologer att skapa experiment och mäta djurhållning för automatisk beteendeanalys. "Detta ramverk är en viktig milstolpe i djurhållningsspårning och automatisk beteendeanalys", säger Chan.
Förutom att spåra duvor inomhus, utökas ramverket även till duvor i det vilda. "Med hjälp av en modell som kan identifiera konturerna av vilket objekt som helst i en bild som kallas Segment Anything Model, tränade vi vidare en 2D-nyckelpunktsdetektor med en maskerad duva från infångade data, och applicerade sedan modellen på duvvideor utomhus utan någon extra finjustering av modellen. ", konstaterar Chan.
3D-MuPPET presenterar en av de första fallstudierna om hur man övergår från att spåra djur i fångenskap till att spåra djur i det vilda, vilket gör att finskaliga beteenden hos djur kan mätas i deras naturliga livsmiljöer. De utvecklade metoderna kan potentiellt tillämpas på andra arter i framtida arbete, med potentiell tillämpning för storskalig kollektiv beteendeforskning och artövervakning på ett icke-invasivt sätt.
3D-MuPPET visar upp ett kraftfullt och flexibelt ramverk för forskare som vill använda 3D-ställningsrekonstruktion för flera individer för att studera kollektivt beteende i vilken miljö eller art som helst. Så länge som en konfiguration med flera kameror och en 2D-ställningsuppskattare är tillgänglig, kan ramverket användas för att spåra 3D-ställningar för vilket djur som helst.
Mer information: Urs Waldmann et al, 3D-MuPPET:3D Multi-Pigeon Pose Estimation and Tracking, International Journal of Computer Vision (2024). DOI:10.1007/s11263-024-02074-y
Tillhandahålls av University of Konstanz
