Hur mäter du ställningen – det vill säga 3D-rotationen och 3D-translationen – av en bit rymdskräp så att en gripande satellit kan fånga den i realtid för att framgångsrikt ta bort den från jordens omloppsbana? Vilken roll kommer algoritmer för djupinlärning att spela? Och, vad är realtid i rymden? Det här är några av de frågor som tas upp i ett banbrytande projekt, ledd av EPFL spin-off, ClearSpace, att utveckla teknologier för att fånga och vända rymdskräp.

Med mer än 34, 000 skräpbitar som kretsar runt jorden, deras avlägsnande blir en fråga om säkerhet. Tidigare denna månad var en gammal sovjetisk Parus-navigationssatellit och en kinesisk ChangZheng-4c-raket inblandade i en nästan misslyckande och i september genomförde den internationella rymdstationen en manöver för att undvika en möjlig kollision med ett okänt stycke rymdskräp, medan besättningen på ISS Expedition 63 flyttade närmare sin Soyuz MS-16 rymdfarkost för att förbereda sig för en potentiell evakuering. Med mer skräp som ackumuleras hela tiden, satellitkollisioner kan bli vardagliga, gör tillgången till rymden farlig.

ClearSpace-1, företagets första uppdrag för 2025, kommer att innebära att den nu föråldrade Vespa övre delen återställs, en nyttolastadapter som kretsar 660 kilometer över jorden som en gång var en del av Europeiska rymdorganisationens Vega-raket, för att säkerställa att den åter kommer in i atmosfären och brinner upp på ett kontrollerat sätt.

En av de första utmaningarna är att göra det möjligt för robotarmarna på en fångstraket att närma sig Vespan från rätt vinkel. För detta ändamål, den kommer att använda en ansluten kamera – dess ögon – för att ta reda på var rymdskräpet är så att den kan greppa Vespan och sedan dra tillbaka den till atmosfären. "Ett centralt fokus är att utveckla algoritmer för djupinlärning för att tillförlitligt uppskatta 6D-positionen (3 rotationer och 3 översättningar) av målet från videosekvenser även om bilder tagna i rymden är svåra. De kan vara över- eller underexponerade med många spegelliknande ytor, säger Mathieu Salzmann, en vetenskapsman som leder projektet inom EPFL:s Computer Vision Laboratory ledd av professor Pascal Fua, vid Institutionen för data- och kommunikationsvetenskap.

Dock, det finns en hake. Ingen har riktigt sett Vespa på sju år eftersom den har snurrat i ett vakuum i rymden. Vi vet att den är cirka 2 meter i diameter, med kolfibrer som är mörka och lite glänsande, men är det fortfarande så det ser ut?

EPFL:s Realistic Graphics Labis simulerar hur denna bit rymdskräp ser ut som "utbildningsmaterialet" för att hjälpa Salzmanns algoritmer för djupinlärning att förbättras med tiden. "Vi producerar en databas med syntetiska bilder av målobjektet, inklusive både jordens bakgrund rekonstruerad från hyperspektrala satellitbilder, och en detaljerad 3D-modell av Vespas övre scen. Dessa syntetiska bilder är baserade på mätningar av verkliga materialprover av aluminium- och kolfiberpaneler, förvärvad med hjälp av vårt labbs goniofotometer. Detta är en stor robotenhet som snurrar runt en testprov för att samtidigt belysa och observera den från många olika håll, förse oss med en mängd information om materialets utseende, säger adjunkt Wenzel Jakob, chef för labbet. När uppdraget väl börjar, forskare kommer att kunna ta några verkliga bilder från andra sidan vår atmosfär och finjustera algoritmerna för att se till att de fungerar på plats.

En tredje utmaning är behovet av att arbeta i rymden, i realtid och med begränsad datorkraft ombord på ClearSpace-fångningssatelliten. Dr. Miguel Peón, en Senior Post-Doctoral Collaborator med EPFL:s Embedded Systems Lab leder arbetet med att överföra algoritmerna för djupinlärning till en dedikerad hårdvaruplattform. "Eftersom rörelse i rymden är väluppfostrad, algoritmerna för uppskattning av posering kan fylla luckorna mellan igenkänningarna med en sekunds mellanrum, lindra beräkningstrycket. Dock, för att säkerställa att de självständigt kan hantera alla osäkerheter i uppdraget, Algoritmerna är så komplexa att deras implementering kräver att man pressar ut all prestanda från plattformsresurserna, " säger professor David Atienza, chef för ESL.

Det är uppenbart att designa algoritmer för att vara 100 % tillförlitliga i så hårda, och relativt okänd, betingelser, och som fungerar i realtid med begränsade beräkningsresurser, är en enorm utmaning. För Salzmann, detta är en del av projektets attraktion, "Vi måste vara absolut pålitliga och robusta. Ur ett forskningsperspektiv, du är vanligtvis nöjd med 90 % framgång men det här är något som vi inte riktigt har råd med i ett riktigt uppdrag. Men kanske är den mer spännande aspekten av projektet att vi utvecklar en algoritm som så småningom kommer att fungera i rymden. Jag tycker att detta är helt fantastiskt och det är det som motiverar mig varje dag!"

Detta banbrytande arbete har utförts med stöd från teamet på Microsoft for Startups, som tillhandahöll Azure-processorkraft.