Med en make som studerar utvecklingen av artificiell och naturlig intelligens och den andra forskar om språket, Tysklands kultur och historia, tänk dig diskussionerna vid vårt middagsbord. Vi upplever ofta den stereotypa krocken i synpunkter mellan de kvantifierbara, mätbaserat tillvägagångssätt för naturvetenskap och den mer kvalitativa metoden för humaniora, där det viktigaste är hur människor känner något, eller hur de upplever eller tolkar det.

Vi bestämde oss för att ta en paus från det mönstret, för att se hur mycket varje tillvägagångssätt kan hjälpa varandra. Specifikt, vi ville se om aspekter av artificiell intelligens kunde visa upp nya sätt att tolka en facklitterär grafisk roman om Förintelsen. Det slutade med att vi fann att vissa AI -tekniker ännu inte är avancerade och robusta nog för att ge användbara insikter - men enklare metoder resulterade i kvantifierbara mätningar som visade en ny möjlighet för tolkning.

Att välja en text

Det finns gott om forskning som analyserar stora textmängder, så vi valde något mer komplext för vår AI -analys:Reinhard Kleists "The Boxer, "en grafisk roman baserad på den sanna historien om hur Hertzko" Harry "Haft överlevde de nazistiska dödslägerna. Vi ville identifiera känslor i ansiktsuttrycken för huvudpersonen som visas i bokens illustrationer, för att ta reda på om det skulle ge oss en ny lins för att förstå historien.

I denna svartvita tecknad film, Haft berättar sin hemska historia, där han och andra fångar i koncentrationsläger tvingades boxa varandra ihjäl. Berättelsen är skriven ur Hafts perspektiv; varvat i berättelsen finns paneler av tillbakablickar som skildrar Hafts minnen av viktiga personliga händelser.

Det humanistiska tillvägagångssättet skulle vara att analysera och kontextualisera delar av berättelsen, eller sagan som helhet. Kleists grafiska roman är en nytolkning av en biografisk roman från 2009 av Hafts son Allan, baserat på vad Allan visste om sin fars erfarenheter. Att analysera denna komplexa uppsättning författares tolkningar och förståelser kan bara tjäna till att lägga till ytterligare ett subjektivt lager ovanpå de befintliga.

Ur vetenskapsfilosofins perspektiv, den analysnivån skulle bara göra saker mer komplicerade. Forskare kan ha olika tolkningar, men även om de alla var överens, de skulle fortfarande inte veta om deras insikt var objektivt sann eller om alla led av samma illusion. Att lösa dilemmat skulle kräva ett experiment som syftar till att generera en mätning som andra kan reproducera oberoende.

Reproducerbar tolkning av bilder?

Istället för att tolka bilderna själva, utsätta dem för våra egna fördomar och förutfattade meningar, vi hoppades att AI kunde ge en mer objektiv syn. Vi började med att skanna alla paneler i boken. Sedan körde vi Googles vision AI och Microsoft AZUREs ansiktsigenkänning och känslomässiga karaktärskommentarer också.

Algoritmerna som vi använde för att analysera "The Boxer" har tidigare tränats av Google eller Microsoft på hundratusentals bilder som redan är märkta med beskrivningar av vad de skildrar. I denna utbildningsfas, AI -systemen uppmanades att identifiera vad bilderna visade, och dessa svar jämfördes med de befintliga beskrivningarna för att se om systemet som utbildades var rätt eller fel. Träningssystemet förstärkte elementen i de underliggande djupa neurala nätverken som gav korrekta svar, och försvagade delarna som bidrog till fel svar. Både metoden och utbildningsmaterialet - bilderna och kommentarerna - är avgörande för systemets prestanda.

Sedan, vi vände AI på bokens bilder. Precis som på "Family Feud, "där seriens producenter ställer en fråga till 100 främlingar och räknar upp hur många som väljer varje potentiellt svar, vår metod ber en AI för att avgöra vilken känsla ett ansikte visar. Detta tillvägagångssätt lägger till ett nyckelelement som ofta saknas vid subjektivt tolkning av innehåll:reproducerbarhet. Alla forskare som vill kontrollera kan köra algoritmen igen och få samma resultat som vi gjorde.

Tyvärr, vi fann att dessa AI -verktyg är optimerade för digitala fotografier, inte skanningar av svartvita teckningar. Det innebar att vi inte fick mycket tillförlitlig data om känslorna i bilderna. Vi blev också störda när vi upptäckte att ingen av algoritmerna identifierade någon av bilderna som relaterade till Förintelsen eller koncentrationsläger - även om mänskliga tittare lätt skulle identifiera dessa teman. Förhoppningsvis, det beror på att AI:erna hade problem med själva de svartvita bilderna, och inte på grund av vårdslöshet eller partiskhet i sina träningsuppsättningar eller kommentarer.

Bias är ett välkänt fenomen inom maskininlärning, som kan få riktigt stötande resultat. En analys av dessa bilder som enbart baserades på de data vi fick skulle inte ha diskuterat eller erkänt förintelsen, en försummelse som strider mot lagen i Tyskland, bland andra länder. Dessa brister belyser vikten av att kritiskt utvärdera ny teknik innan de används mer allmänt.

Hitta andra reproducerbara resultat

Fast besluten att hitta ett alternativt sätt för kvantitativa metoder för att hjälpa humaniora, vi analyserade ljusstyrkan på bilderna, jämför flashback -scener med andra stunder i Hafts liv. För detta ändamål, vi kvantifierade ljusstyrkan på de skannade bilderna med hjälp av bildanalysprogram.

Vi fann att genom hela boken, känslomässigt glada och ljusa faser som hans fängelseflykt eller Haft efterkrigstidens liv i USA visas med ljusa bilder. Traumatiserande och sorgliga faser, som hans koncentrationslägerupplevelser, visas som mörka bilder. Detta överensstämmer med färgpsykologiska identifikationer av vitt som en ren och glad ton, och svart som symboliserar sorg och sorg.

Efter att ha etablerat en allmän förståelse för hur ljusstyrka används i bokens bilder, vi tittade närmare på flashback -scenerna. Alla skildrade känslomässigt intensiva händelser, och några av dem var mörka, till exempel minnen av att kremera andra koncentrationslägerfångar och lämna sitt livs kärlek.

Vi blev förvånade, dock, att upptäcka att tillbakablickarna som visar Haft på väg att slå motståndare ihjäl var ljusa och tydliga - vilket tyder på att han har en positiv känsla inför det kommande ödesdigra mötet. Det är raka motsatsen till vad läsare som vi förmodligen känner när de följer historien, kanske ser Hafts motståndare som svag och inser att han är på väg att dödas. När läsaren känner medlidande och empati, varför känner Haft sig positiv?

Denna motsättning, hittas genom att mäta ljusstyrkan på bilder, kan avslöja en djupare inblick i hur de nazistiska dödslägerna påverkade Haft känslomässigt. För oss, just nu, det är ofattbart hur utsikten att slå någon annan ihjäl i en boxningsmatch skulle vara positiv. Men kanske var Haft i en så desperat situation att han såg hopp om överlevnad när han mötte mot en motståndare som var ännu mer svält än han var.

Genom att använda AI -verktyg för att analysera denna litteratur kastades nytt ljus över viktiga delar av känslor och minne i boken - men de ersatte inte en expert eller forskares färdigheter för att tolka texter eller bilder. Som ett resultat av vårt experiment, vi tror att AI och andra beräkningsmetoder erbjuder en intressant möjlighet med potential för mer kvantifierbara, reproducerbar och kanske objektiv forskning inom humaniora.

Det kommer att bli utmanande att hitta sätt att använda AI på lämpligt sätt inom humaniora - och desto mer eftersom nuvarande AI -system ännu inte är tillräckligt sofistikerade för att fungera pålitligt i alla sammanhang. Forskare bör också vara uppmärksamma på potentiella fördomar i dessa verktyg. Om det slutliga målet med AI -forskning är att utveckla maskiner som konkurrerar med mänsklig kognition, artificiella intelligenssystem kan behöva inte bara bete sig som människor, men förstå och tolka känslor som människor, för.

Denna artikel publiceras från The Conversation under en Creative Commons -licens. Läs originalartikeln.