Ett team av forskare anslutna till flera institutioner i Tyskland och USA har utvecklat en algoritm för djupinlärning som kan användas för rörelsefångst av djur av alla slag. I deras tidning publicerad i tidningen Natur Neurovetenskap, gruppen beskriver deras spårningsverktyg som kallas DeepLabCut, hur det fungerar och hur man använder det. Kunlin Wei och Konrad Kording med University of Peking respektive University of Pennsylvania erbjuder en artikel om News &Views om det arbete som gruppen utfört i samma journalnummer.

Som Wei och Kording noterar, forskare har försökt att tillämpa motion capture på människor och djur i över ett sekel - tanken är att fånga invecklingarna i alla små rörelser som tillsammans utgör en större, mer märkbar rörelse, som ett enda danssteg. Att kunna spåra sådana rörelser hos djur ger några ledtrådar om deras biomekanik och hur deras hjärnor fungerar. Att kunna göra det med människor kan hjälpa till med fysioterapi eller förbättringar av sportprestanda. Den nuvarande processen innefattar videoinspelning av ämnet och utför en mödosam process för att märka bilder bild för bild. I denna nya insats, forskarna har utvecklat en datorautomationsteknik för att utföra processen, gör det mycket snabbare och enklare.

För att skapa DeepLabCut, gruppen utbildade ett neuralt nätverk med hjälp av information från en databas som heter Imagenet som innehåller ett stort antal bilder och tillhörande metadata. De utvecklade sedan en algoritm som optimerade uppskattningar av poser. Den tredje delen var programvaran som kör algoritmen, interagerar med användare och ger resultat. Resultatet är ett verktyg som kan användas för att utföra rörelseupptagning på människor och praktiskt taget alla andra varelser. Allt en användare behöver göra är att ladda upp exempel på vad de är ute efter, säga, bilder på en ekorre, med dess huvudsakliga delar märkta och några videor som visar hur det rör sig i allmänhet. Sedan laddar användaren upp video av ett ämne som gör en aktivitet av intresse - säg, en ekorre sprickar upp en mutter. Programvaran gör resten, producerar rörelseinspelning av aktiviteten.

Teamet har gjort det nya verktyget fritt tillgängligt för alla som vill använda det för vilket ändamål de än väljer. Wei och Kording föreslår att verktyget kan revolutionera motion capture, gör det lätt tillgängligt för proffs och nybörjare.

© 2018 Tech Xplore