Är Turing-testet det sista ordet i Robot Intelligence? Räkna inte på den

Tillbaka 1950 presenterade datavetenskapare, codebreaker och war hero Alan Turing världen till en mycket enkel förutsättning: Om en robot kan delta i en textbaserad konversation med en person och lura den personen för att tro det är det mänskligt minst 30 procent av tiden kunde vi säkert komma överens om att roboten är en "tänkande" maskin. Turings mål var att tvinga människor att tänka mer kreativt om datorsamverkan, men han slutade oavsiktligt att skapa det test som robotunderrättelseutvecklare och -kommentatorer har åberopat i åratal. Men allvarliga artificiella intelligens tänkare är inte fokuserade på att förvirra ett långdöd geni en tredjedel av tiden. De är inriktade på mer substantiva mätvärden.

Grunden är att problemet med Turing-testet är att det är dåligt definierat, vilket underlättar hype (t ex den falska lärarassistenten i Georgien) snarare än att erbjuda lätt duplicerade resultat. Utöver det kan man argumentera för att det mäter mänsklig svaghet, inte artificiell styrka. Bedrägeri och avböjning kan göra det möjligt för en relativt osofistikerad chatbot att "klara testet". Till exempel, en bot som heter Eugene Goostman utformad för att efterlikna en 13-årig ukrainsk pojke, lurade nyligen en tredjedel av en panel av domare att tro på ruse. Eugene kommer ut som en bit av en doofus i samtal, och det visade sig vara hans hemliga vapen. Domare förväntade sig en robot som var programmerad för intelligens, inte en som undvikit frågor, gjorde dåliga skämt, tappade malapropism och pekade texten med uttryckssymboler.

misslyckades bara mitt årliga turingtest #fml

- sylt (@hugdeserver) 11 maj 2016

Om inte Turing-testet, vad då? Forskare runt om i världen har kommit upp några alternativ.

Dechiffrera tvetydiga meningar

Ett grundläggande problem med Turing chatbots är att maskiner fortfarande har svårt att förstå meningar som omedelbart skulle vara meningsfulla för en människa. "Peter ropade på Paul, för han sov med sin flickvän." Till en människa är det omedelbart klart att Paulus sov med Peters flickvän, men till en dator "han" och "hans" kunde de antingen referera till någon man. Förstå vad som hände kräver att veta något om vad det innebär att skrika på någon, och under vilka förutsättningar en person kan vara motiverad att göra det.

Hector Levesque, professor i datavetenskap vid University of Toronto, har föreslagit utmanande maskiner för att dra mening från dessa typer av tvetydigt konstruerade meningar, kallad Winograd-schema, som ett alternativ till Turing-testet. Detta skulle kräva att gå utöver att efterlikna mänskligt språk och in i den verkliga förståelsens rike. Redan ett pris på $ 25.000 erbjuds utvecklaren som kan göra en bot som utförs såväl som en människa i denna uppgift - även om boten kan överväga varje fråga i upp till fem minuter.

Ansiktsigenkänning

Några A.I. Forskare har funderat på tanken att maskinens intelligens kan och bör gå utöver språk. Ansiktsigenkänning är ett exempel på något som människor gör särskilt bra - en baby kan känna igen sin mamma inom några veckor av födseln.

Vissa datorer är redan outcompeting människor vid erkännande av ansikten, även om detta är ett mått på sann intelligens är fortfarande en fråga om debatt. En maskin som är programmerad att vara väldigt bra på en sak är helt annorlunda än att ha den typen av flexibel intelligens som skulle kunna användas på olika sätt och i olika situationer.

Högskolans godkännande

Japanska robotister försöker bygga en robot som kan komma in på college. Inträdesexamina för Tokyo-universitetet är notoriskt svårt, och mycket mer så för en robot än en gymnasiechefer.

Tyvärr för robotar, att vara bra på test tar mycket mer än att memorera mycket fakta. Matematiska frågor ger dig inte en ekvation att lösa - de beskriver ett scenario i vanligt språk och lämnar det upp till dig att räkna ut hur man bygger en ekvation som kommer till rätt svar. Även en okomplicerad fråga om ett historiskt faktum kan vara komplicerat om roboten inte kan förstå syntaxen eller kontexten för det språk som används.

Och inträdesprov är inte bara ett flervalsprov - roboten skulle också behöva skriva essäer. Förmodligen skulle inte plagiering tillåtas, och maskinen skulle behöva generera en prosa på ett givet ämne som är både original och intelligent. Med tanke på att robotar har en tillräckligt svår tid efterliknande språket hos en 13-årig, verkar detta ganska långt borta. Fortfarande säger de berörda forskarna att de hoppas kunna se sin lilla bot till college sen 2021.

Play-by-play

Den här är en särskilt hög bar. Kommentera ett sportspel innebär att ta in komplexa audiovisuella uppgifter och kommunicera vad som händer i vanligt språk. En robot skulle behöva ha mycket goda språkkunskaper utöver ett visuellt bearbetningssystem.

Om en dator skulle kunna producera en halv anständig levande rapport om ett fotbollsmatch kan människor kanske hålla med om att den roboten är ganska jätte smart. Trots att kanske 65 år från och med nu kommer sportkommentatorbotsar att verka speciellt tvådimensionella, och vi måste komma med några nya hinder för att de ska springa.