NASA:s Mars-rovers har varit en av de stora vetenskapliga och rymdframgångarna under de senaste två decennierna.

Fyra generationer av rovers har korsat den röda planeten och samlat in vetenskapliga data, skicka tillbaka stämningsfulla bilder, och överleva otroligt tuffa förhållanden – allt med omborddatorer som är mindre kraftfulla än en iPhone 1. Den senaste rover, Uthållighet, lanserades den 30 juli, 2020, och ingenjörer drömmer redan om en framtida generation av rovers.

Även om en stor prestation, dessa uppdrag har bara skrapat ytan (bokstavligen och bildligt talat) av planeten och dess geologi, geografi, och atmosfär.

"Mars yta är ungefär densamma som den totala ytan av landet på jorden, " sa Masahiro (Hiro) Ono, gruppledare för Robotic Surface Mobility Group vid NASA Jet Propulsion Laboratory (JPL) – som har lett alla Mars roveruppdrag – och en av forskarna som utvecklade mjukvaran som gör att den nuvarande rovern kan fungera.

"Tänka, du är en utomjording och du vet nästan ingenting om jorden, och du landar på sju eller åtta punkter på jorden och kör några hundra kilometer. Vet den främmande arten tillräckligt om jorden?" frågade Ono. "Nej. Om vi ​​vill representera den enorma mångfalden av Mars behöver vi fler mätningar på marken, och nyckeln är avsevärt längre avstånd, förhoppningsvis täcker tusentals miles."

Reser över Mars olika, förrädisk terräng med begränsad datorkraft och en diet med begränsad energi – bara så mycket sol som rovern kan fånga och konvertera till makt på en enda marsdag, eller sol – är en stor utmaning.

Den första roveren, Sojourner, täckte 330 fot över 91 sols; den andra, Anda, reste 4,8 mil på ungefär fem år; Möjlighet, reste 28 mil under 15 år; och Curiosity har rest mer än 12 mil sedan den landade 2012.

"Vårt team arbetar med Mars robotautonomi för att göra framtida rovers mer intelligenta, för att öka säkerheten, att förbättra produktiviteten, och i synnerhet att köra snabbare och längre, sa Ono.

Ny hårdvara, Nya möjligheter

Perseverance rover, som lanserades i somras, beräknar med RAD 750s – strålningshärdade enkelkortsdatorer tillverkade av BAE Systems Electronics.

Framtida uppdrag, dock, skulle potentiellt använda nya högpresterande, flerkärniga strålningshärdade processorer designade genom projektet High Performance Spaceflight Computing (HPSC). (Qualcomms Snapdragon-processor testas också för uppdrag.) Dessa chips kommer att ge ungefär hundra gånger så stor beräkningskapacitet som nuvarande flygprocessorer som använder samma mängd kraft.

"All autonomi som du ser på vår senaste Mars-rover är till stor del människa-i-slingan" - vilket betyder att det kräver mänsklig interaktion för att fungera, enligt Chris Mattmann, biträdande teknik- och innovationschef på JPL. "En del av anledningen till det är gränserna för processorerna som körs på dem. Ett av kärnuppdragen för dessa nya chips är att göra djupinlärning och maskininlärning, som vi gör på jorden, ombord. Vilka är de mördande apparna med tanke på den nya datormiljön?"

Programmet Machine Learning-baserade Analytics för Autonomous Rover Systems (MAARS) – som startade för tre år sedan och avslutas i år – omfattar en rad områden där artificiell intelligens kan vara användbar. Teamet presenterade resultaten av MAARS-projektet vid hIEEE Aerospace Conference i mars 2020. Projektet var finalist för NASA Software Award.

"Markbunden högpresterande datoranvändning har möjliggjort otroliga genombrott inom autonom fordonsnavigering, maskininlärning, och dataanalys för jordbaserade applikationer, " skrev teamet i sin IEEE-tidning. "Den huvudsakliga vägspärren för en utbyggnad av Mars-utforskning av sådana framsteg är att de bästa datorerna finns på jorden, medan de mest värdefulla uppgifterna finns på Mars."

Träning av maskininlärningsmodeller på Maverick2 superdator vid Texas Advanced Computing Center (TACC), såväl som på Amazon Web Services och JPL-kluster, Åh nej, Mattmann och deras team har utvecklat två nya funktioner för framtida Mars-rovers, som de kallar Drive-By Science och Energy-Optimal Autonomous Navigation.

Energioptimal autonom navigering

Ono var en del av teamet som skrev den inbyggda sökvägsökningsmjukvaran för Perseverance. Perseverances programvara innehåller vissa maskininlärningsförmågor, men sättet att hitta vägar är fortfarande ganska naivt.

"Vi vill att framtida rovers ska ha en mänsklig förmåga att se och förstå terräng, " Sa Ono. "För rovers, energi är mycket viktigt. Det finns ingen asfalterad motorväg på Mars. Körbarheten varierar avsevärt beroende på terrängen - till exempel strand kontra. berggrund. Det övervägs för närvarande inte. Att komma på en väg med alla dessa begränsningar är komplicerat, men det är den beräkningsnivå som vi kan hantera med HPSC- eller Snapdragon-chippen. But to do so we're going to need to change the paradigm a little bit."

Ono explains that new paradigm as commanding by policy, a middle ground between the human-dictated:"Go from A to B and do C, " and the purely autonomous:"Go do science."

Commanding by policy involves pre-planning for a range of scenarios, and then allowing the rover to determine what conditions it is encountering and what it should do.

"We use a supercomputer on the ground, where we have infinite computational resources like those at TACC, to develop a plan where a policy is:if X, then do this; if y, then do that, " Ono explained. "We'll basically make a huge to-do list and send gigabytes of data to the rover, compressing it in huge tables. Then we'll use the increased power of the rover to de-compress the policy and execute it."

The pre-planned list is generated using machine learning-derived optimizations. The on-board chip can then use those plans to perform inference:taking the inputs from its environment and plugging them into the pre-trained model. The inference tasks are computationally much easier and can be computed on a chip like those that may accompany future rovers to Mars.

"The rover has the flexibility of changing the plan on board instead of just sticking to a sequence of pre-planned options, " Ono said. "This is important in case something bad happens or it finds something interesting."

Drive-By Science

Current Mars missions typically use tens of images a Sol from the rover to decide what to do the next day, according to Mattmann. "But what if in the future we could use one million image captions instead? That's the core tenet of Drive-By Science, " he said. "If the rover can return text labels and captions that were scientifically validated, our mission team would have a lot more to go on."

Mattmann and the team adapted Google's Show and Tell software—a neural image caption generator first launched in 2014—for the rover missions, the first non-Google application of the technology.

The algorithm takes in images and spits out human-readable captions. These include basic, but critical information, like cardinality—how many rocks, how far away?—and properties like the vein structure in outcrops near bedrock. "The types of science knowledge that we currently use images for to decide what's interesting, " Mattmann said.

Under de senaste åren, planetary geologists have labeled and curated Mars-specific image annotations to train the model.

"We use the one million captions to find 100 more important things, " Mattmann said. "Using search and information retrieval capabilities, we can prioritize targets. Humans are still in the loop, but they're getting much more information and are able to search it a lot faster."

Results of the team's work appear in the September 2020 issue of Planetary and Space Science .

TACC's supercomputers proved instrumental in helping the JPL team test the system. On Maverick 2, the team trained, validated, and improved their model using 6, 700 labels created by experts.

The ability to travel much farther would be a necessity for future Mars rovers. An example is the Sample Fetch Rover, proposed to be developed by the European Space Association and launched in late 2020s, whose main task will be to pick up samples dug up by the Mars 2020 rover and collect them.

"Those rovers in a period of years would have to drive 10 times further than previous rovers to collect all the samples and to get them to a rendezvous site, " Mattmann said. "We'll need to be smarter about the way we drive and use energy."

Before the new models and algorithms are loaded onto a rover destined for space, they are tested on a dirt training ground next to JPL that serves as an Earth-based analog for the surface of Mars.

The team developed a demonstration that shows an overhead map, streaming images collected by the rover, and the algorithms running live on the rover, and then exposes the rover doing terrain classification and captioning on board. They had hoped to finish testing the new system this spring, but COVID-19 shuttered the lab and delayed testing.

Sålänge, Ono and his team developed a citizen science app, AI4Mars, that allows the public to annotate more than 20, 000 images taken by the Curiosity rover. These will be used to further train machine learning algorithms to identify and avoid hazardous terrains.

The public have generated 170, 000 labels so far in less than three months. "People are excited. It's an opportunity for people to help, " Ono said. "The labels that people create will help us make the rover safer."

The efforts to develop a new AI-based paradigm for future autonomous missions can be applied not just to rovers but to any autonomous space mission, from orbiters to fly-bys to interstellar probes, Ono says.

"The combination of more powerful on-board computing power, pre-planned commands computed on high performance computers like those at TACC, and new algorithms has the potential to allow future rovers to travel much further and do more science."