Fig. 1. Jämförelse av manuellt kommenterade datauppsättningar och automatiskt genererade syntetiska datauppsättningar. Den konventionella metoden kräver att bilder märks för hand när träningssetet produceras, medan vårt föreslagna system automatiskt kan skapa syntetiska data med instanskommentarer med hjälp av digitala tillgångar från en stads digital tvilling. Kredit:Journal of Computational Design and Engineering (2022). DOI:10.1093/jcde/qwac086
Spelmotorer utvecklades ursprungligen för att bygga fantasivärldar för underhållning. Men samma motorer kan användas för att bygga kopior av verkliga miljöer, det vill säga digitala tvillingar. Forskare från Osaka University har hittat ett sätt att använda bilderna som automatiskt genererades av digitala stadstvillingar för att träna modeller för djupinlärning som effektivt kan analysera bilder av verkliga städer och exakt separera byggnaderna som visas i dem.
Ett faltningsneuralt nätverk är ett neuralt nätverk för djupinlärning designat för att bearbeta strukturerade datamatriser som bilder. Sådana framsteg inom djupinlärning har i grunden förändrat hur uppgifter, som arkitektonisk segmentering, utförs. En exakt DCNN-modell (Deep Convolutional Neural Network) behöver dock en stor volym märkt träningsdata och att märka dessa data kan vara ett långsamt och extremt dyrt manuellt företag.
För att skapa den syntetiska digitala tvillingdatan för staden använde utredarna en 3D-stadsmodell från plattformen PLATEAU, som innehåller 3D-modeller av de flesta japanska städer med extremt hög detaljnivå. De laddade in den här modellen i Unity-spelmotorn och skapade en kamerauppsättning på en virtuell bil, som körde runt i staden och skaffade de virtuella databilderna under olika ljus- och väderförhållanden. Google Maps API användes sedan för att få riktiga bilder på gatunivå av samma studieområde för experimenten.
Fig. 2. Tredimensionell stadsmodell av vårt studieområde. (a) Exempel på en digital tvilling i staden med dess verkliga motsvarighet till gatuvy (Wangan-doro Avenue, Tokyo; mars 2021; latitud:35.6283, longitud:139.7782). (b) Flygfoto över stadens digitala tvilling. Kredit:CC BY, 2022 Jiaxin Zhang et al., Automatisk generering av syntetiska datamängder från en stads digital tvilling för användning i instanssegmentering av byggnadsfasader, Journal of Computational Design and Engineering
Forskarna fann att den digitala tvillingdatan leder till bättre resultat än rent virtuell data utan någon verklig motsvarighet. Att lägga till syntetiska data till en riktig datauppsättning förbättrar dessutom segmenteringsnoggrannheten. Men viktigast av allt, utredarna fann att när en viss del av verklig data ingår i den digitala stadstvillingsyntetiska datauppsättningen, ökas segmenteringsnoggrannheten för DCNN avsevärt. Faktum är att dess prestanda blir konkurrenskraftig med en DCNN som tränats på 100 % verklig data.
"Dessa resultat avslöjar att vår föreslagna syntetiska datauppsättning potentiellt skulle kunna ersätta alla riktiga bilder i träningsuppsättningen", säger Tomohiro Fukuda, motsvarande författare till tidningen.
Fig. 3. Kvalitativa resultat för olika typer och storlekar av byggnader när Mask R-CNN tränas med hjälp av HSRBFIA (Hybrid Collection of Synthetic and Real-world Building Facade Images and Annotations) datauppsättningar med olika förhållanden av syntetisk till verklig data:(a) låghus i Osaka; (b) låghus i Los Angeles; (c) höghus i New York City; (d) komplexa fasader i Shanghai. (De röda streckade rektanglarna framhäver delar av street-view-bilderna som var benägna att misslyckas under segmentering av fasadinstanser.). Kredit:CC BY, 2022 Jiaxin Zhang et al., Automatisk generering av syntetiska datamängder från en stads digital tvilling för användning i instanssegmentering av byggnadsfasader, Journal of Computational Design and Engineering
Att automatiskt separera de enskilda byggnadsfasader som visas i en bild är användbart för byggledning och arkitekturdesign, storskaliga mätningar för eftermontering och energianalys, och även visualisering av byggnadsfasader som har rivits. Systemet testades på flera städer, vilket visar att det föreslagna ramverket är överförbart. Hybriddatauppsättningen av verkliga och syntetiska data ger lovande resultat för de flesta moderna arkitektoniska stilar. Detta gör det till ett lovande tillvägagångssätt för att utbilda DCNN:er för arkitektoniska segmenteringsuppgifter i framtiden – utan behov av kostsamma manuella datakommentarer.
Studien publiceras i Journal of Computational Design and Engineering . + Utforska vidare
