NASA spelade in tusentals timmar ljud från Apollos månuppdrag, men de flesta av oss har bara kunnat höra höjdpunkterna.

Byrån registrerade all kommunikation mellan astronauterna, missionskontrollspecialister och supportpersonal i bakrummet under de historiska månuppdragen utöver Neil Armstrongs berömda citat från Apollo 11 i juli 1969.

Det mesta av ljudet förblev lagrat på föråldrade analoga band i årtionden tills forskare vid University of Texas i Dallas startade ett projekt för att analysera ljudet och göra det tillgängligt för allmänheten.

Forskare vid Center for Robust Speech Systems (CRSS) vid Erik Jonsson School of Engineering and Computer Science (ECS) fick ett National Science Foundation-bidrag 2012 för att utveckla talbehandlingstekniker för att rekonstruera och omvandla det massiva ljudarkivet till Explore Apollo , en webbplats som ger allmänheten tillgång till materialet. Projektet, i samarbete med University of Maryland, inkluderade ljud från hela Apollo 11 och de flesta av Apollo 13, Apollo 1 och Gemini 8 -uppdrag.

Ett gigantiskt tekniskt språng

Att transkribera och rekonstruera det enorma ljudarkivet skulle kräva ett stort steg i talbehandling och språkteknologi. kommunikationen fångades på mer än 200 14-timmars analoga band, var och en med 30 spår av ljud. Lösningen skulle behöva dechiffrera kommunikation med förvirrat tal, teknisk störning och överlappande ljudslingor. Tänk dig att Apples Siri försöker transkribera diskussioner bland slumpmässiga avbrott och så många som 35 personer på olika platser, talar ofta med regionala Texas accenter.

Projektet, ledd av CRSS grundare och direktör Dr John H.L. Hansen och forskare Dr Abhijeet Sangwan, inkluderade ett team av doktorander som arbetade med att skapa lösningar för att digitalisera och organisera ljudet. De utvecklade också algoritmer för att bearbeta, känna igen och analysera ljudet för att avgöra vem som sa vad och när. Algoritmerna beskrivs i novembernumret av IEEE/ACM -transaktioner på ljud, Tal, och språkbehandling .

Sju grundläggande designteam som övervakas av CRSS hjälpte till att utforska Apollo för att göra informationen tillgänglig för allmänheten. Projektet fick också bistånd från University's Science and Engineering Education Center (SEEC), som utvärderade Explore Apollo -webbplatsen.

Fem år senare, laget avslutar sitt arbete, vilket har lett till framsteg inom teknik för att konvertera tal till text, analysera talare och förstå hur människor samarbetade för att utföra uppdragen.

"CRSS har gjort betydande framsteg inom maskininlärning och kunskapsutvinning för att bedöma mänsklig interaktion för en av de mest utmanande tekniska uppgifterna i mänsklighetens historia, "sa Hansen, docent för forskning inom ECS, professor i el- och datateknik, professor vid skolan för beteende- och hjärnvetenskap, och framstående stol i telekommunikation.Raffinering av retroutrustning

När de började sitt arbete, forskare upptäckte att det första de behövde göra var att digitalisera ljudet. Att överföra ljudet till ett digitalt format visade sig vara en teknisk bedrift i sig. Det enda sättet att spela hjulen var på en utrustning från 1960 -talet vid NASA Johnson Space Center i Houston som kallades SoundScriber.

"NASA pekade oss på SoundScriber och sa att göra vad du behöver göra, "Sa Hansen.

Enheten kunde bara läsa ett spår i taget. Användaren var tvungen att mekaniskt rotera ett handtag för att flytta bandets läshuvud från ett spår till ett annat. Enligt Hansens uppskattning, det skulle ta minst 170 år att digitalisera bara ljudet från Apollo 11 -uppdraget med hjälp av tekniken.

"Vi kunde inte använda det systemet, så vi var tvungna att designa en ny, "Sa Hansen." Vi designade vårt eget 30-spåriga läshuvud, och byggde en parallell lösning för att fånga alla 30 spår samtidigt. Detta är den enda lösningen som finns på planeten. "

Det nya läshuvudet minskade digitaliseringsprocessen från år till månader. Den uppgiften blev Tuan Nguyen, en senior inom biomedicinsk teknik som tillbringade en termin i Houston.

Förstärka hjältar röster bakom hjältarna

När de väl överförde ljudet från rullar till digitala filer, forskare behövde skapa programvara som kunde upptäcka talaktivitet, inklusive spåra varje person som talar och vad de sa och när, en process som kallas diarisering. De behövde också spåra högtalaregenskaper för att hjälpa forskare att analysera hur människor reagerar i spända situationer. Dessutom, banden inkluderade ljud från olika kanaler som behövde placeras i kronologisk ordning.

Forskarna som arbetade med projektet sa att en av de mest utmanande delarna var att ta reda på hur saker fungerade på NASA under uppdragen så att de kunde förstå hur man rekonstruerar den enorma mängden ljud.

"Det här är inget du kan lära dig i en klass, "sa Chengzhu Yu PhD'17. Yu började sitt doktorandprogram i början av projektet och tog examen i våras. Nu, han arbetar som forskare med fokus på taligenkänningsteknik vid Tencents forskningscenter för artificiell intelligens i Seattle.

Lakshmish Kaushik, en doktorand som lämnade ett tidigare jobb för att arbeta med projektet, syftar också till att ägna sin karriär åt taligenkänningsteknik. Hans roll var att utveckla algoritmer som utmärkte grupperna av röster på flera kanaler.

"De senaste fyra åren har varit riktigt spännande, "Sa Kaushik.

Teamet har visat den interaktiva webbplatsen på Perot Museum of Nature and Science i Dallas. För Hansen, projektet har varit en chans att lyfta fram arbetet för de många människor som är involverade i månuppdragen bortom astronauterna.

"När man tänker på Apollo, vi drar till astronauternas enorma bidrag som helt klart förtjänar vårt beröm och beundran.

Dock, hjältarna bakom hjältarna representerar de otaliga ingenjörerna, forskare och specialister som samlade sin STEM-baserade erfarenhet tillsammans för att säkerställa framgången med Apollo-programmet, "Hansen sa." Låt oss hoppas att eleverna i dag fortsätter att satsa på sina erfarenheter inom STEM -områden för att hantera morgondagens utmaningar. "