Kommer A.I. Snart kunna ersätta litterära forskare?

Med en make som studerar utvecklingen av artificiell och naturlig intelligens och den andra som forskar på Tysklands språk, kultur och historia, kan du föreställa dig diskussionerna vid vårt matbord. Vi upplever ofta den stereotypa konflikten i vyer mellan det kvantifierbara, mätbaserade tillvägagångssättet för naturvetenskap och det mer kvalitativa tillvägagångssättet i humaniora, där det som är viktigast är hur människor känner någonting eller hur de upplever eller tolkar det.

Vi bestämde oss för att ta en paus från det mönstret för att se hur mycket varje tillvägagångssätt skulle kunna hjälpa den andra. Specifikt ville vi se om aspekter av artificiell intelligens skulle kunna ge nya sätt att tolka en icke-fiktiv grafisk roman om förintelsen. Vi slutade med att finna att några A.I. Tekniken är ännu inte avancerad och robust nog för att ge användbar insikt - men enklare metoder resulterade i kvantifierbara mätningar som visade en ny möjlighet till tolkning.

Välja en text

Det finns gott om forskning som analyserar stora textkroppar, så vi valde något mer komplext för vårt A.I. analys: Reinhard Kleist s Boxaren, en grafisk roman baserad på den sanna berättelsen om hur Hertzko "Harry" Haft överlevde de nazistiska dödslägerna. Vi ville identifiera känslor i ansiktsuttryck av huvudpersonen som visas i bokens illustrationer, för att ta reda på om det skulle ge oss en ny lins för att förstå historien.

I den här svartvita tecknen berättar Haft sin fasansfulla berättelse, där han och andra koncentrationsläger inmatades till låda varandra till döden. Historien är skriven från Hafts perspektiv; interspersed genom hela berättelsen är paneler av flashbacks som visar Haft minnen av viktiga personliga händelser.

Humanistiska tillvägagångssättet skulle vara att analysera och kontextualisera delar av historien eller berättelsen som helhet. Kleists grafiska roman är en omtolkning av en 2009 biografisk roman av Hafts son Allan, baserat på vad Allan visste om sin fars erfarenheter. Att analysera denna komplexa uppsättning författares tolkningar och förståelser kan bara tjäna till att lägga till ett annat subjektivt lager ovanpå de befintliga.

Ur vetenskapsfilosofins perspektiv skulle denna analysnivå bara göra sakerna mer komplicerade. Forskare kan ha olika tolkningar, men även om de alla enades om, skulle de fortfarande inte veta om deras insikt var objektivt sant eller om alla hade samma illusion. Att lösa dilemman skulle kräva ett experiment som syftar till att generera en mätning som andra skulle kunna reproducera självständigt.

Reproducerbar tolkning av bilder?

Istället för att tolka bilderna själva, utsätta dem för egna fördomar och förutseenden hoppades vi att A.I. skulle kunna ge en mer objektiv uppfattning. Vi började med att skanna alla paneler i boken. Sedan körde vi Googles vision A.I. och Microsoft AZUREs ansiktsigenkänning och känslomässiga karaktärsannonser också.

De algoritmer som vi brukade analysera Boxaren Tidigare utbildades av Google eller Microsoft på hundratusentals bilder som redan är märkta med beskrivningar av vad de visar. I denna träningsfas, förs A.I. system blev ombedda att identifiera vad bilderna visade och de svaren jämfördes med befintliga beskrivningar för att se om systemet som utbildades var rätt eller felaktigt. Träningssystemet förstärkte elementen i de underliggande djupa neurala nätverk som gav korrekta svar och försvagade de delar som bidrog till felaktiga svar. Både metoden och träningsmaterialen - bilderna och anteckningarna - är avgörande för systemets prestanda.

Sedan vände vi A.I. lös på bokens bilder. Precis som på Familjefejd, där showens producenter frågar 100 främlingar en fråga och räknar upp hur många väljer varje potentiellt svar, frågar vår metod en A.I. för att bestämma vilka känslor ett ansikte visar. Detta tillvägagångssätt lägger till ett nyckelelement som ofta saknas när subjektivt tolkning av innehåll: reproducerbarhet. Varje forskare som vill kontrollera kan köra algoritmen igen och få samma resultat som vi gjorde.

Tyvärr fann vi att dessa A.I. Verktygen är optimerade för digitala fotografier, inte skanning av svartvita ritningar. Det innebar att vi inte fick mycket tillförlitliga uppgifter om känslorna i bilderna. Vi blev också störda för att finna att ingen av algoritmerna identifierade några av bilderna i samband med förintelsen eller koncentrationslägerna - men mänskliga tittare skulle enkelt identifiera dessa teman. Förhoppningsvis beror det på att A.I.s hade problem med de svartvita bilderna själva och inte på grund av vårdslöshet eller förspänning i sina träningssatser eller anteckningar.

Bias är ett välkänt fenomen i maskininlärning, vilket kan ha verkligt offensiva resultat. En analys av dessa bilder baserade uteslutande på de data vi fick skulle inte ha diskuterat eller erkänt förintelsen, en underlåtenhet som strider mot lagen i Tyskland, bland andra länder. Dessa brister lyfter fram vikten av att kritiskt utvärdera ny teknik innan de används i större utsträckning.

Hitta andra reproducerbara resultat

Bestämd för att hitta ett alternativt sätt för kvantitativa tillvägagångssätt för att hjälpa humaniora, slutade vi analysera ljusstyrkan i bilderna, jämföra flashback scener till andra ögonblick i Hafts liv. För det ändamålet kvantifierade vi ljusstyrkan hos de skannade bilderna med hjälp av bildanalysprogram.

Vi fann att genom hela boken är känslomässigt glada och ljusa faser som hans fängelseflöde eller Hafts efterkrigstid i USA visade med hjälp av ljusa bilder. Traumatiserande och tråkiga faser, såsom hans koncentrationslägerupplevelser, visas som mörka bilder. Detta stämmer överens med färgpsykologiska identifieringar av vitt som en ren och lycklig ton och svart som symboliserar sorg och sorg.

Efter att ha fastställt en allmän förståelse för hur ljusstyrka används i bokens bilder såg vi närmare på flashback-scenerna. Alla avbildade känslomässigt intensiva händelser, och några av dem var mörka, till exempel påminnelser om att kremera andra koncentrationsläger inmatade och lämna sitt livs kärlek.

Vi blev dock överraskad att finna att de flashbackar som visar att Haft skulle slå slag mot motståndarna var ljusa och tydliga - vilket tyder på att han har en positiv känsla om det kommande dödliga mötet. Det är exakt motsatsen till vad läsare som oss känner förmodligen när de följer historien, kanske ser Hafts motståndare som svag och inser att han håller på med att bli dödad. När läsaren känner synd och empati, varför känner Haft positivt?

Denna motsägelse, som upptäcks genom att mäta bildskärmens ljusstyrka, kan avslöja en djupare inblick i hur de nazistiska dödslägerna påverkat Haft emotionellt. För oss just nu är det otänkbart hur utsikterna att slå någon annan till döds i en boxning match skulle vara positiva. Men kanske var Haft i en sådan desperat situation att han såg hoppet på överlevnad när han vred mot en motståndare som var ännu mer svält än han var.

Med användning av A.I. verktyg för att analysera den här litteraturen skänker nytt ljus på viktiga delar av känslor och minne i boken - men de ersatte inte en experts eller lärares färdigheter vid tolkning av texter eller bilder. Som ett resultat av vårt experiment tror vi att A.I. och andra beräkningsmetoder presenterar en intressant möjlighet med potentialen för mer kvantifierbar, reproducerbar och kanske objektiv forskning inom humaniora.

Det kommer vara utmanande att hitta sätt att använda A.I. lämpligt i humaniora - och allt mer därför att nuvarande A.I. Systemen är ännu inte sofistikerade nog att arbeta tillförlitligt i alla sammanhang. Forskare bör också vara uppmärksamma på potentiella fördomar i dessa verktyg. Om det ultimata målet för A.I. forskning är att utveckla maskiner som rivaliserar mänsklig kognition, artificiella intelligenssystem kan behöva inte bara att uppträda som människor men förstå och tolka känslor som människor också.

Denna artikel publicerades ursprungligen på The Conversation av Leonie Hintze och Arend Hintze http://theconversation.com/profiles/arend-hintze-225106. Läs den ursprungliga artikeln här.