Kommer autonoma vapen att säga "nej" till olagliga beställningar?

Baynazar Mohammad Nazar var omedvetet på operationsbordet när taket började kollapsa på honom. Faderns fyra hade checkat in på sjukhuset föregående dag efter att ha blivit skott i benet och genomgick sin andra operation om två dagar för att fixa sin skada. När amerikanerna började förstöra byggnaden hade de läkare som arbetade med honom inget annat val än att flyga på egen hand så fort som de kunde.

Andrew Quilty at Utrikespolitik berättar historien om Baynazars liv och död i en artikel som innehåller ett fotografi av hans kropp täckt av skräp på operationsbordet. Baynazar var en av 31 personer som Förenta staterna dödade när den slog till sjukhuset som leds av läkare utan gränser (även kallad MSF) i Kunduz, Afghanistan, den 2 oktober.

Efter högprofilerade, civila-olycka strejker frågar politiker och pundits hur en sådan sak kan hända, och vad som kan göras för att det inte ska hända igen. Bland förespråkare av autonoma vapensystem, som ibland kallas "mördarerobotar", är ett populärt argument att mänskligt fel (eller ondskanhet) är ansvarig för en stor del av de brott som begåtts under krigstid. Det är teoretiskt möjligt att de säger att robotar kan vara mer exakta i deras inriktning och mindre utsatta för misstag än människor är.

"I själva verket kan mänsklig bedömning visa sig vara mindre tillförlitliga än tekniska indikatorer i stridens slag," skriver Michael N. Schmitt, professor vid US Naval War College. "De som tror annars har inte upplevt krigets dimma."

USA: s flygstrejk på MSF-sjukhuset i Afghanistan "orsakad främst av mänskligt fel" http://t.co/X9TGIA81aD pic.twitter.com/TUwit97206

- Telegraph News (@TelegraphNews) 25 november 2015

Frågan är då: Kan du programmera krigets verktyg för att begränsa mänskligt beteende för att göra strejker som Kunduz sjukhus bombning omöjligt, eller åtminstone mindre sannolikt?

Förmodligen inte - åtminstone för den närmaste framtiden. Men vissa artificiella intelligensprogrammerare har konstruerat en robot som kan säga nej till människor. Experimentet är enkelt: Människan berättar en robot att gå framåt från ett bord, som roboten ursprungligen vägrar att göra. När människan berättar roboten ska han fånga den, roboten accepterar ordern.

Det är långt från en halvautonomisk angreppshelikopter som berättar för sitt mänskliga besättning att den inte kan utföra en luftväg mot ett sjukhus eftersom det skulle vara ett krigsbrott, men den underliggande premissen är i stort sett densamma. Som andra har påpekat är mänsklig ångest om denna mycket typ av utveckling i robotar vanligt i science fiction - tänk HAL-9000 säger "Jag kan inte göra det, Dave" när det låser människan utanför rymdstationen i 2001: En rymdodyssey.

När det gäller specifikationerna för Kunduz-strejken förblir många av fakta kring attacken omtvistade. Läkare Utan Gränser har krävt en oberoende utredning, som USA: s regering motsätter sig, istället lovar att utföra egna granskningar.

Vissa delar av en amerikansk undersökning offentliggjordes tidigare denna månad och fann mänskliga och mekaniska fel som är ansvariga för strejken. Men tidigare i veckan kom två tjänstemän fram emot att motsäga rapportens resultat. De säger att strejken inte var ett misstag. I sin bokföring, först rapporterad av AP, USA: s speciella operationsstyrkor kallades i strejken för att de trots att sjukhuset användes som ett talibanskommando och kontrollcenter.

I den officiella versionen ledde ett mekaniskt misslyckande till att besättningen i AC-130-gunshipen initialt fick koordinater för ett tomt fält. Besättningen sökte sedan efter en byggnad i området som passade den fysiska beskrivning de hade fått och öppnade eld. När deras instrument rekalibrerades gav de besättningen rätt koordinater för sitt mål, men besättningen fortsatte att elda på sjukhuset ändå.

Om det här kontot är sant - att datorn i slutändan var korrekt och människorna ignorerade den - ger det en viss trovärdighet till anhängare av större autonomi i vapensystem. Med det sagt, USA: s krig mot terrorismen fylls med exempel på militären eller CIA som träffar "rätt" målet och slutade äntligen döda ett stort antal civila. Automatisering kommer inte att lösa dålig intelligens, och försök att programmera en approximation av moral kommer inte att upphöra med krigsförbrytelser.

Det finns en stark frestelse i USA att sterilisera krig och automatisering genom att avlägsna amerikaner från skadans sätt, som är avsett att förändra definitionen av krig. Obamas preferens för drontrader och de medföljande försäkningarna att droner är de mest exakta vapen som någonsin skapats är den tydligaste manifestationen av dessa mål. "De har varit exakta, precision slår mot al-Qaida och deras dotterbolag," sade Obama i en 2012 Google Hangout.

En 2013-regeringsstudie kontrasterar emellertid dessa påståenden. Det fann att dronor i Afghanistan orsakade 10 gånger så många civila dödsfall som obemannade fordon. "Droner är inte magiskt bättre att undvika civila än stridsflygplan", sa Sarah Holewinski, en medförfattare av studien Väktaren. "När piloter flyger jets fick tydliga direktiv och utbildning om civilskydd, kunde de sänka civila olyckshastigheter."

Militären spenderar miljontals på att utveckla system för humankrockrobotar, vilket ytterligare slår ut linjerna mellan uppdrag som utförs av bemannade eller obemannade vapen. "Det vi vill göra på kamp mot människa-maskin är att ta det till nästa nivå för att se på saker som svärmande taktik", sade vice-försvarssekreteraren Bob Work till den officiella DoD-vetenskapsbloggen. "Kan en F-35 gå i strid med fyra obemannade vingårdar?"

Ska de här vingarna säga nej om den mänskliga piloten ger dem en order som är analog med att gå av ett bord? Vad sägs om en order att förstöra ett sjukhus eller en skola? Krigets dimma kommer att tillämpas i båda fallen. Och om vi bestämmer oss för att åsidosätta maskiner, kommer frasen "mänskligt fel" att vara en av de mer skrämmande termerna i framtida konflikter.