"Tänk bara på vad en fluga kan göra, " säger professor Pavan Ramdya, vars labb vid EPFL:s Brain Mind Institute, med professor Pascal Fuas labb vid EPFL:s institut för datavetenskap, ledde studien. "En fluga kan klättra över terräng som en robot med hjul inte skulle kunna."

Flugor är inte direkt älskvärda för människor. Vi förknippar dem med rätta med mindre aptitliga upplevelser i vårt dagliga liv. Men det finns en oväntad väg till inlösen:Robotar. Det visar sig att flugor har vissa funktioner och förmågor som kan informera om en ny design för robotsystem.

"Till skillnad från de flesta ryggradsdjur, flugor kan klättra i nästan vilken terräng som helst, " säger Ramdya. "De kan hålla sig till väggar och tak eftersom de har självhäftande kuddar och klor på benspetsarna. Detta gör att de i princip kan gå var som helst. Det är också intressant för om du kan vila på vilken yta som helst, du kan hantera din energiförbrukning genom att vänta på rätt tillfälle att agera."

Det var denna vision att utvinna principerna som styr flugbeteende för att informera designen av robotar som drev utvecklingen av DeepFly3D, ett rörelsefångande system för flugan Drosophila melanogaster, en modellorganism som nästan överallt används i biologin.

I Ramdyas experimentupplägg, en fluga går ovanpå en liten flytande boll – som ett löpband i miniatyr – medan sju kameror registrerar varje rörelse. Flugans ovansida är limmad på en orörlig scen så att den alltid stannar på plats medan den går på bollen. Ändå, flugan "tror" att den rör sig fritt.

De insamlade kamerabilderna bearbetas sedan av DeepFly3D, en mjukvara för djupinlärning utvecklad av Semih Günel, en Ph.D. student som arbetar med både Ramdyas och Fuas labb. "Detta är ett bra exempel på där ett tvärvetenskapligt samarbete var nödvändigt och transformerande, " säger Ramdya. "Genom att utnyttja datavetenskap och neurovetenskap, vi har tagit oss an en långvarig utmaning."

Det speciella med DeepFly3D är att den kan sluta sig till flugans 3D-position – eller till och med andra djur – vilket betyder att den automatiskt kan förutsäga och göra beteendemätningar med oöverträffad upplösning för en mängd olika biologiska tillämpningar. Programvaran behöver inte kalibreras manuellt och den använder kamerabilder för att automatiskt upptäcka och korrigera eventuella fel den gör i sina beräkningar av flugans pose. Till sist, den använder också aktivt lärande för att förbättra sin egen prestation.

DeepFly3D öppnar upp ett sätt att effektivt och exakt modellera rörelserna, poserar, och ledvinklar hos en fruktfluga i tre dimensioner. Detta kan inspirera till ett standardsätt att automatiskt modellera 3D-poser även i andra organismer.

"Flugan, som en modellorganism, balanserar lätthanterlighet och komplexitet mycket bra, " säger Ramdya. "Om vi ​​lär oss hur den gör vad den gör, vi kan ha stor inverkan på robotik och medicin och, kanske viktigast av allt, vi kan få dessa insikter på relativt kort tid."