Human Rights Watch: Kina använder stora data för att rikta minoritetsgrupper

Den kinesiska regeringen använder prognospolitiska algoritmer för att rikta sig mot etniska minoriteter i provinsen Xinjiang, enligt en Human Rights Watch-rapport som släpptes måndagen.

Provinsen i nordvästra Kinas hem till 11 miljoner uyghurer, en turkisk muslimsk etnisk grupp som har diskriminerats av den kinesiska regeringen de senaste åren.

Nu använder myndigheterna enligt uppgift stora data för att systematiskt rikta alla som misstänks för politisk missbruk. Pushen är en del av "Strike Hard" -kampanjen, som syftar till att stoppa potentiell terroraktivitet i Kina. I praktiken har detta lett till oproportionerlig polisering av Uyghur, säger Human Rights Watch.

Det prediktiva polisystemet kallas IJOP - Integrated Joint Operations Platform - matas data från en rad olika övervakningsverktyg. Dessa inkluderar CCTV-kameror, registreringsskylt och medborgar ID-kortnummer som erhållits från säkerhetscheckpunkter och en uppsättning personliga uppgifter, inklusive hälso-, bank- och juridiska uppgifter.

Förutom automatiserad övervakning utför statliga tjänstemän hembesök för att samla in uppgifter om befolkningen. En kinesisk affärsman delade en blankett som han fyllde i för IJOPs dokument med Human Rights Watch - bland annat frågade frågeformuläret om affärsman var Uyghur, hur ofta han ber och var han går för religiösa tjänster.

Alla dessa dataingångar används av IJOP för att flagga människor som potentiella hot. När någon flaggas, öppnar polisen en ytterligare utredning och tar dem i förvaring om de anses vara misstänkta.

"För första gången kan vi visa att den kinesiska regeringens användning av stor data och prediktiv polis inte bara brutalt strider mot integritetsrätter, utan gör det också möjligt för tjänstemän att arrestera människor," säger Human Rights Watch, seniorforskare i Kina, Maya Wang.

Enligt rapporten har några av de flaggade personerna skickats till politiska utbildningscentrum där de hålls kvar på obestämd tid utan rättegång.

"Sedan april 2016 uppskattar Human Rights Watch att Xinjiang-myndigheterna har skickat tiotusentals uyghur och andra etniska minoriteter till" politiska utbildningscentrum ", säger rapporten. IJOP utlåning trovärdighet för dessa kvarhållanden genom att tillämpa en finér av objektiv, algoritmisk analys till de diskriminerande gripandena.

För att göra saken värre är IJOP: s inre arbete höljet i hemlighet.

"Människor i Xinjiang kan inte motstå eller utmana den alltmer påträngande granskningen av deras dagliga liv eftersom de flesta inte ens vet om det här" black box "-programmet eller hur det fungerar, sade Wang.

Det är samma problem som plågar mest sofistikerade maskininlärningssystem: de beslutsprocedurer som de använder är opaka även till algoritmens skapare.

Kinas användning av IJOP är värt att uppmärksamma eftersom prediktiv polisning sannolikt kommer att öka när tekniken förbättras. Som Jon Christian påpekade vid Ytterkant, förutsägbara polisystem används redan på vissa ställen i USA. Los Angeles Police Deparment använder programvara som förutser var och när brottslighet kommer att uppstå så officerare kan leda dem bort.

På andra sidan det straffrättsliga systemet använder rättssalar ibland algoritmer som ger potentiella paroleer "riskbedömning" poäng för att hjälpa domare göra mer informerade beslut. Tyvärr diskrimineras dessa förmodligen opartiska algoritmer baserat på ras.

Kinas förspel mot prediktiv polis betonar vikten av ansvarig algoritmimplementation, eftersom maskininlärning fortsätter att gå in i den offentliga sektorn. Kanske är det dags att för tekniskt kunniga regeringar att anta en ny mantra: Ibland skapar artificiell intelligens fler problem än det löser.