Att fånga hand- och fingerrörelser inom millisekunder blir allt viktigare för många applikationer, från virtuell verklighet till interaktion mellan människa och maskin och Industri 4.0. Än så länge, dess enorma tekniska krav har begränsade möjliga tillämpningar. Datavetare vid Max Planck Institute for Informatics har nu utvecklat ett mjukvarusystem som involverar interaktion mellan olika neurala nätverk som bara kräver den inbyggda kameran i en bärbar dator.

För första gången, forskarna kommer att presentera programmet i monter G75 i hall 27 på datormässan Cebit, som kommer att äga rum i Hannover från den 11 juni och framåt.

När datavetaren Franziska Müller håller sin hand framför laptopkameran, handens virtuella motsvarighet visas på skärmen. Detta överlagras av ett färgstarkt virtuellt handskelett. Oavsett vilka rörelser Müllers hand gör framför webbkameran, modellens färgade ben gör detsamma. Müller visar mjukvaran som hon utvecklat tillsammans med professor Christian Theobalt och andra forskare från Max Planck Institute for Computer Science i Saarbrücken, Stanford University och den spanska kungen Juan Carlos University. Än så länge, ingen annan programvara kan göra detta med en så låg kostnadskamera.

Eftersom det fungerar i nästan alla typer av filmade scener, den kan användas var som helst, och övertrumfar därmed tidigare tillvägagångssätt som kräver en djupkamera eller flera kameror. Algoritmen som systemet använder omvandlar den tvådimensionella informationen i videobilden i realtid till den tredimensionella rörelsemodellen av handens ben. Det är baserat på ett så kallat "konvolutionellt neuralt nätverk, " eller förkortat CNN. Forskarna har tränat den att upptäcka handens ben. De har genererat nödvändig träningsdata med ett annat neuralt nätverk. Resultatet:Programvaran beräknar de exakta 3D-positionerna av handens ben i millisekunder. Även om några av dem är tilltäppta, till exempel, av ett äpple som hålls i användarens hand, programvaran kompenserar. Dock, systemet har fortfarande problem med att behandla flera händer som arbetar tillsammans, och att lösa detta är forskarnas nästa mål.