I ett samarbete med Swiss International Air Lines, NASA och andra partners, forskare vid ETH Zürich har utvecklat eyetracking-mjukvara för användning i pilotutbildning. Detta gör det möjligt för instruktörer att analysera blickbeteende för studentpiloter i sittbrunnen.

Alla som någonsin har suttit i en cockpit kommer att veta hur psykiskt utmanande det är att lotsa ett flygplan. Under en flygning, piloter och copiloter måste bearbeta en enorm mängd visuella, akustisk och rumslig information. Att hålla ett konstant öga på de många instrumenten i sittbrunnen är en ansträngande uppgift, eftersom piloter måste kontrollera rätt indikatorer under en manöver - ofta i en specifik ordning.

Denna process med att "skanna" flygsystemen är något som piloter internaliserar under sin utbildning. Men även för erfarna instruktörer, det är svårt att bedöma om en studentpilot tittar på rätt instrument i det avgörande ögonblicket. Nu, i samarbete med Swiss International Air Lines, forskare under ledning av ETH Zürich professor Martin Raubal har använt eyetracking-teknik för första gången för att förstå hur piloter övervakar de automatiska systemen i ett modernt passagerarflygplan.

Se vad piloten ser

Kamerabaserad eye-tracking-teknik möjliggör exakt övervakning av en persons ögonrörelser. "Eftersom ögonrörelser gör det möjligt att dra slutsatser om en persons tankeprocesser, Swiss kom till oss med tanken på att använda ögonspårning i pilotträning, "säger Martin Raubal, Professor i geoinformationsteknik vid ETH Zürich.

Idén utvecklades till ett fleraårigt ekonomiskt partnerskap med NASA, Lufthansa Aviation Training och University of Oregon förutom ETH Zürich. Här, det gemensamma målet var att förbättra flygsimulatorträningen och därmed säkerheten i cockpit. Raubals team utvecklade programvara med namnet "iAssyst" som hjälper flyginstruktörer när de utbildar spirande piloter. Forskarna skrev nyligen om sitt arbete i tidningen Ergonomi .

Minska bördan för instruktörer

Instructor Assistant System (iAssyst) integrerar video, ljud- och simulatorinspelningar samtidigt som piloternas blickmönster visas. För att undvika att distrahera piloterna, ett ögonspårningssystem bestående av fasta kameror och infraröda sensorer installerades speciellt i cockpit i en A320 flygsimulator. "Att konfigurera och kalibrera systemet för varje traineepilot är mer mödosamt än med ögonspårande glasögon, men det gav oss bättre resultat, "förklarar David Rudi, som implementerade ansökan som en del av sin doktorsexamen vid ordföranden för Geoinformation Engineering Geogaze Lab.

ETH Zürichs forskare utformade sin programvara i nära samarbete med luftfartsexperter från projektpartnerna innan de utvärderade den med hjälp av sju aktiva instruktörer från Schweiz. Under ett träningsflyg, instruktören sitter på baksidan av sittbrunnen, därifrån använder de simulatorn och spelar rollen som flygkontrollör samtidigt som de håller koll på piloten. "Som ett resultat, instruktörer ibland missar - eller felbedömer - relevant information som är avgörande för att analysera pilotens träningspass, säger Rudi.

Återkopplingen från studien visade att iAssyst faktiskt tillät instruktörerna att analysera piloternas flygprestanda mer exakt. "Verktyget hjälper oss att känna igen svagheter i systematisk skanning och att upptäcka luckor i uppfattningen under vissa flygfaser, " bekräftar Swiss Air Lines pilot Benedikt Wagner, som själv är instruktör och övervakade ögonspårningsprojektet från Swiss sida. Med hjälp av programvaran, utbildare kunde bättre bedöma orsakerna till potentiella pilotfel och anpassa utbildningen därefter.

Fokuserat på individuella mål

Detta är första gången som ett forskningsprojekt har analyserat piloternas blickbaserade interaktioner i en flygsimulator. Som en del av samarbetet, det var viktigt för Raubals team att skapa en fristående vetenskaplig fördel, eftersom optimerad pilotutbildning inte var tillräcklig för ETH som mål i sig. "Vi placerade därför vårt fokus på mjukvaruutveckling, säger Rudi.

För schweizare, å andra sidan, projektet handlade i första hand om skanningsprocessen i cockpit. Tack vare ögonspårningssystemet, de kunde studera denna aspekt separat tillsammans med flygpsykologer från Nasa och University of Oregon. De resulterande insikterna har lett till nya riktlinjer för visuell övervakning av automatiska flygsystem. Lufthansa Aviation Training gav konsortiet teknisk expertis och infrastrukturen i simulatorn. Slutligen, Federal Office of Civil Aviation (FOCA) svarade för cirka 40 procent av projektkostnaderna.

Ett verktyg – många möjligheter

Raubal och Rudi ser en uppenbar tillämpning av iAssyst i utvärderingsdiskussionerna som genomförts efter träningsflyg i en simulator. I längden, programmet kan också användas i riktiga cockpits - även om den möjligheten är långt kvar.

Men flyg är inte det enda forskningsfältet där eyetracking kan bidra till att förbättra interaktionen mellan användare och tekniska system. Enligt Raubal och Rudi, deras programvara kan tänkbart också användas inom medicinsk utbildning, till exempel, där läkare använder simulatorer för att träna på att utföra operationer på en konstgjord kropp.