Så här kan vi stoppa framtida Rogue A.I. från att imitera HAL 9000

Hur stoppar vi en framtida A.I. från att inte följa beställningar och välja att gå på egen väg? Det kan låta som en plot från 2001: En rymdodyssey, men en expert hävdar att det är något vi kanske redan måste börja tänka på. Visst kan vi stänga av Googles sökalgoritm om det någonsin blev skurk, men när det möter ekonomiska och juridiska konsekvenser kan det vara enklare sagt än gjort. I framtiden, som vi växer beroende av mer avancerade A.I., kan det bli omöjligt.

"Denna algoritm har inte avsiktligt utformats sig att vara omöjligt att starta om eller stänga av, men det har utvecklats för att vara så, säger Stuart Armstrong, forskare vid Humanity Institute of Future, på Pirate Summit 2016 på onsdagen. Detta innebär att en ändring med oavsiktliga resultat kan vara svårt att rätta till, och det kan inte vara det första A.I. att finna sig i den situationen.

Isaac Asimovs lösning var robotens tre lagar, som hårdkoder idéer som inte orsakar skada på människor. Problemet är att skadan är ganska subjektiv och öppen för tolkning. Människor arbetar mer med värden, som att förstå att det är illa att orsaka skada och tolka situationen, än att arbeta på en viss hård regel att de aldrig ska skada.

"Det är på grund av denna typ av problem att människor är mycket angelägna om att använda maskininlärning för att få värden istället för att försöka koda dem på detta traditionella sätt", sa Armstrong. "Värdena är stabila så att andra saker inte finns i A.I. Värden försvarar sig själva."

Men även i dessa situationer är det viktigt att designa A.I. för att göra dem avbrytbara medan de körs. Säker avbrytbarhet möjliggör säkra policyförändringar, vilket kan undvika oavsiktliga konsekvenser från lärda värden. Om HAL 9000 någonsin försökte stoppa poddörrarna från att öppna, är det viktigt att vi kan identifiera att A.I.-värdena är störda och ingripa utan att ta systemet offline.