Visualisering av rotationsfördelningar. Linjerna representerar sannolikheten för rotationer som är högre än ett tröskelvärde. Längden på varje linje är proportionell mot sannolikheten för den synvinkeln. Som man kan se, PoseRBPF representerar naturligtvis osäkerheter på grund av olika typer av symmetrier, inklusive rotationssymmetri för skålen, spegelsymmetri av skumtegelstenen, och diskreta rotationssymmetrier för T-LESS-objekten till höger. Kredit:Deng et al.
Forskare vid NVIDIA, University of Washington, Stanford University, och University of Illinois Urbana-Champaign har nyligen utvecklat ett Rao-Blackwellized partikelfilter för 6-D posespårning, kallas PoseRBPF. Tillvägagångssättet kan effektivt uppskatta 3D-translationen av ett objekt och dess fulla fördelning över 3D-rotationen. Tidningen som beskriver detta filter, förpublicerad på arXiv, kommer att presenteras vid den kommande Robotics Science and Systems Conference i Freiburg, Tyskland.
Att spåra 6-D-positioner av objekt i videor kan förbättra prestandan hos robotar i en mängd olika uppgifter, inklusive manipulations- och navigeringsuppgifter. De flesta befintliga tekniker för uppskattning av objektposition försöker förutsäga en enda uppskattning för 6-D-positionen (d.v.s. xyz-translation och 3-D-orientering) för ett objekt i varje kamerabild.
Dessa metoder har ett antal begränsningar och problem. Till exempel, de är oförmögna att se ställningen för delvis eller helt tilltäppta föremål. Dessutom, det finns situationer där, på grund av symmetrier, det finns inget enstaka rätt svar för ett objekts ställning, vilket komplicerar uppgiften ytterligare.
"Det visar sig att många föremål i vår vardagliga miljö är symmetriska, som mattallrikar, skålar, flaskor, eller kuber, "Arsalan Mousavian, en av forskarna som genomförde studien, berättade för TechXplore. "Dessa objekt har inte en unik 3D-orientering eftersom de ser identiska ut från många olika betraktningsvinklar. För att kringgå dessa problem, vi föreslog en metod för att spåra den fullständiga fördelningen av ett objekts positur (i motsats till en enstaka poseuppskattning) över tiden. Denna fördelning fångar exakt osäkerheten i objektets ställning, och spårning över tid hjälper till att disambiguera objektets ställning. Till exempel, om ett föremål är synligt någon gång och blir tilltäppt, metoden kan återställa posen genom att spåra den från tidigare bildrutor."
PoseRBPF, det tillvägagångssätt som utvecklats av Mousavian och hans kollegor, kan spåra den fullständiga fördelningen över 6-D-positionen (d.v.s. 3-D-översättning, 3D-orientering) för ett givet objekt, i förhållande till en viss kamera. Sannolikhetsfördelningar över 6-D-rymden är mycket komplexa, så om de inte mäts ordentligt är det omöjligt att uppdatera dem i realtid. För att säkerställa noggrannheten i spårade distributioner, forskarna frikopplade sina uppskattningar av 3D-objektöversättning och 3D-objektorientering med en teknik som kallas Rao-Blackwellized partikelfiltrering.
"I Rao-Blackwellized partikelfiltrering, objektöversättningarna representeras av prover, eller partiklar, och orienteringen diskretiseras i små bitar på nära 200, 000 möjliga orienteringar, "Förklarade Mousavian. "Vi använde en djupinlärningsteknik för att förberäkna inbäddningar som representerar hur objektet kan se ut i alla dessa orienteringar och under godtyckliga ljusförhållanden. Dra fördel av den mycket parallelliserade NVIDIA GPU-behandlingen, vårt tillvägagångssätt kan sedan jämföra den aktuella kamerabilden med dessa förberäknade inbäddningar för alla möjliga orienteringar och uppdatera distributionen i realtid."
Vid varje tidssteg, tillvägagångssättet som utarbetats av forskarna uppdaterar uppsättningen av partiklar genom provtagning från den tidigare partikeluppsättningen, efter en modell som förutsäger hur objektet och kameran kan röra sig från ett steg till ett annat. Denna process gör att PoseRBPF kan samla information över tid, vilket i sin tur leder till mer robusta och korrekta poseskattningar.
Visualisering av rotationsfördelningar. Kredit:Deng et al.
Illustration av beräkningen av sannolikheten för villkorlig rotation genom kodboksmatchning. Vänster) Varje partikel beskär bilden baserat på dess översättningshypotes. RoI för varje partikel ändras och motsvarande kod beräknas med hjälp av kodaren. Höger) Rotationsfördelningen P(R|Z, T) beräknas från avståndet mellan koden för varje hypotes och de i kodboken. Kredit:Deng et al.
För varje partikel, orienteringsfördelningen uppskattas beroende på översättningsuppskattning, medan översättningsuppskattningen utvärderas med motsvarande RoIs. Kredit:Deng et al.
Översikt över PoseRBPF-ramverket för 6D-objekt posespårning. Kredit:Deng et al.
Visualisering av rotationsfördelningar. Linjerna representerar sannolikheten för rotationer som är högre än ett tröskelvärde. Längden på varje linje är proportionell mot sannolikheten för den synvinkeln. Som man kan se, PoseRBPF representerar naturligtvis osäkerheter på grund av olika typer av symmetrier, inklusive rotationssymmetri för skålen, spegelsymmetri av skumtegelstenen, och diskreta rotationssymmetrier för T-LESS-objekten till höger. Kredit:Deng et al.
Genom att konditionera orienteringsuppskattning på översättning, spårningssystemet som föreslagits av Mousavian och hans kollegor kan effektivt representera komplexa osäkerhetsfördelningar över utrymmet för 6-D-objektposer. Deras ramverk ger också osäkerhetsinformation om ett givet objekts ställning, vilket kan vara särskilt användbart vid robotmanipulationsuppgifter. Dessutom, systemet tränades med hjälp av syntetiska och icke-kommenterade data, sålunda kan det spara forskare tid och resurser som spenderas på att kommentera data.
"Vår metod kombinerar det klassiska Bayesianska uppskattningsramverket för partikelfiltrering med djupinlärning, " sade Mousavian. "Den sammanför därigenom väletablerade uppskattningstekniker som utvecklats under de senaste decennierna och kraften i nya metoder för djupinlärning. Som ett resultat, PoseRBPF kan robust uppskatta poser för godtyckliga objekt, inklusive symmetriska."
Forskarna utvärderade sitt tillvägagångssätt på två 6-D-positionsuppskattningsdatauppsättningar:YCB-videodatauppsättningen och T-LESS-datauppsättningen. PoseRBPF uppnådde toppmoderna resultat, överträffar andra tekniker för poseringsuppskattning. I framtiden, partikelfiltret utvecklat av Mousavian och hans kollegor kan förbättra prestandan hos robotar i en mängd olika miljöer, till exempel genom att förbättra deras förmåga att manipulera objekt.
"Går vidare, vi kommer att undersöka hur man använder de osäkerhetsuppskattningar som PoseRBPF tillhandahåller i samband med objektmanipulation, ", sade Mousavian. "En annan väg för framtida arbete är att aktivt flytta kameran för att minska osäkerheten i ett objekts positur, som att titta på ett objekt från en annan synvinkel för att lösa tvetydighet."
© 2019 Science X Network
