Forskare frågar efter en dödsbrytare bara i fallrobotar Slå på oss

Mattias Legnér, forskare vid Campus Gotland

Mattias Legnér, forskare vid Campus Gotland
Anonim

Nästan varje gång en stor diskussion om artificiell intelligens framtid uppstår, tenderar ämnet för anarki och robotöverlåtare att komma upp.Idén om människor och avancerade konstgjorda varelser som tillsammans har skapat hundratals berättelser om hur det skulle fungera. senast, videospelet Overwatch förbluffade världen med sin berättelse om vår framtid, någon gång efter ett massivt inbördeskrig mot mänskliga motrobotar. När en Boston Dynamics ingenjör sparkar en av sina fyrbensiga robotar för ett stresstest, är det svårt att undra om boten kommer att komma ihåg det någon dag.

Allt detta (tillsammans med grundläggande sunt förnuft rörande säkerhet och olyckor) har lett till att en grupp forskare publicerar ett nytt papper med fokus på att utveckla "säkert avbrytbara agenter". system som kommer att "avbryta" A.I. programvara om något går fel. Papperet publicerades genom Machine Intelligence Research Institute, och är en studie om hur man utvecklar de föreslagna systemen. Studien och förslaget använder ett belöningssystem som ett exempel, och är faktiskt mycket mer komplicerat än att bara slå på den föreslagna "stora röda knappen" som beskrivs på arket. Undervisningsmoral till A.I. var en stor del av förslaget.

Om ett sådant agent verkar i realtid under mänsklig tillsyn kan det vara nödvändigt för en mänsklig operatör att trycka på den stora röda knappen för att förhindra att agenten fortsätter en skadlig sekvens av åtgärder som är skadliga antingen för agenten eller för miljön - och leda agenten till en säkrare situation. Om emellertid inlärningsmedlet förväntar sig att få belöningar från den här sekvensen kan det på sikt lära sig att undvika sådana avbrott, till exempel genom att inaktivera den röda knappen - vilket är ett oönskat resultat. I det här dokumentet undersöks ett sätt att se till att en lärande agent inte lär sig att förhindra (eller söka!) Att bli avbruten av miljön eller en mänsklig operatör.

Måste älska det när forskningspapper om robotanarki använder termen "oönskat resultat" - fortfarande fortsätter papperet att förklara testkörningen och vad som kan göras om sådana fall i framtiden. Du kan läsa hela papperet här.