Ett team av forskare vid JD AI Research och Beijing University har nyligen utvecklat ett progressivt fordonssöksystem för videoövervakningsnätverk, kallas PVSS. Deras system, presenteras i en tidning förpublicerad på arXiv, effektivt kan söka efter ett specifikt fordon som förekom i övervakningsfilmer.

Söksystem för fordon kan ha många användbara tillämpningar, inklusive möjliggör smartare transporter och automatiserad övervakning. Sådana system skulle kunna, till exempel, tillåta användare att mata in ett frågefordon, sökområde och tidsintervall för att ta reda på var fordonet befann sig vid olika tidpunkter under dagen.

Befintliga fordonssökningsmetoder förutsätter vanligtvis att alla fordonsbilder är väl beskurna från övervakningsvideor, använda visuella attribut eller registreringsnummer för att identifiera målfordonet i dessa bilder. Dessa tillvägagångssätt fokuserar främst på innehållsbaserad fordonsmatchning, även känd som fordonsåteridentifiering (Re-Id).

På senare år har handgjorda deskriptorer och konvolutionella neurala nätverk (CNN) har avsevärt förbättrat dessa metoder. Ändå, Att identifiera ett specifikt fordon baserat enbart på attribut kan vara en mycket utmanande uppgift på grund av intra-instans förändringar i olika kameror och inter-instans skillnader mellan liknande fordon. I vissa fall, registreringsskyltar kan också kännas fel i övervakningsbilder på grund av låg upplösning och brus.

"Ett komplett fordonssökningssystem bör överväga problemen med fordonsdetektering, representation, indexering, lagring, motsvarande, och så vidare, " förklarar forskarna i sin uppsats. "Dessutom, Attributbaserad sökning kan inte exakt hitta samma fordon på grund av förändringar inom instans i olika kameror och den extremt osäkra miljön."

PVSS, det progressiva fordonssökningssystemet utvecklat av forskarna, tar upp begränsningarna med nuvarande tillvägagångssätt. Systemet består av tre nyckelmoduler:sökroboten av fordonsdata, fordonsindexeraren baserad på flerkorniga funktioner och den progressiva fordonssökaren.

"För att garantera hög noggrannhet och effektivitet under sökning, en serie datastrukturer är designade för fordonssöksystemet, " skriver forskarna i sin uppsats. "I sökroboten, inte bara visuellt innehåll utan även kontextuell information extraheras från övervakningsnätverken. Den multimodala datan utnyttjas sedan av djupinlärningsbaserade modeller för att erhålla diskriminerande och robusta egenskaper hos fordon, som sedan organiseras av indexen på flera nivåer. I sökprocessen, fordonet genomsöks på ett progressivt sätt, inklusive från-grov-till-fin-sökning i funktionsdomänen och från-nära-till-avlägsen sökning i det fysiska rummet."

Väsentligen, fordonscrawler-komponenten upptäcker och spårar fordon i övervakningsvideor, överföra tagna fordonsbilder, metadata och annan kontextuell information till molnet eller servern. Senare, fordonsindexeringskomponenten extraherar och indexerar flerkorniga attribut för fordonen, såsom visuella egenskaper och registreringsskyltfingeravtryck.

En fråga som innehåller en ingående fordonsbild, samt tidsintervallet och det rumsliga omfånget av intresse matas sedan till fordonssökarkomponenten, som progressivt söker efter fordonet i bilddatabasen.

Forskarna utvärderade sitt progressiva fordonssökningssystem på VeRi-datauppsättningen, som innehåller över 50, 000 bilder samlade från 20 övervakningskameror i verkliga miljöer. I dessa tester, PVSS uppnådde anmärkningsvärda resultat, överträffade alla sökmetoder för endast utseende och multimodala metoder som den jämfördes med.

"Omfattande experiment på en storskalig fordonssökningsdatauppsättning som samlats in från verkliga övervakningsnätverk visar de senaste resultaten av det föreslagna systemet, " skriver forskarna i sin uppsats.

© 2019 Science X Network