Vi testade Facebooks Voice Over Photo Recognition med grafiska bilder

Idag rullade Facebook ut en funktion som heter automatisk alttext som gör den sociala kvaliteten av den sociala kvaliteten mer tillgänglig för personer som är blinda eller synskadade.

Med hjälp av iOS VoiceOver-funktion listar Facebooks objektigenkänningsteknik element som en bild kan innehålla. Specifikt innefattar dessa element människor (hur många är avbildade och om de ler), vissa föremål, inomhus / utomhus scener, handlingar, ikoniska platser och huruvida en bild har anmärkningsvärt innehåll.

En studie i 2014 visade att personer som är synskadade delar färre foton på Facebook, men i genomsnitt "gillar" människors bilder mer än de som inte är synskadade. De kommenterar också foton lika ofta. Men förstå bilden som bygger på att analysera kontextstrålar ur metadata och bildtexter - saker vi alla vet är inte alltid de enklaste deskriptorerna.

Med automatisk alt-text kan användarna emellertid få ny insikt om en bild genom en mekaniserad beskrivning av bilden.

Så vad händer när bilderna kan betraktas som inkräktande innehåll enligt Facebook: s egna riktlinjer?

Jag laddade upp några bilder Facebook kan eller har bedömt som "invändig" till ett (privat) album för att ta reda på det.

Amning

Berättelser om att Facebook tar bort bilder av kvinnor ammar tog över internet i början av 2015. Av de drabbade kvinnorna tycktes nyfödda fotografer ha många av problemen.

Jade Beall är en av de fotograferna.Bilder som ovanstående gjordes upprepade gånger av hennes professionella Facebook-sida. Idag tillåter Facebook bilder av amning att vara på platsen, vilket Beall berömde genom att repostera ovanstående bild som hennes rubrikfoto med bildtexten:

"YAY för sociala medier som utvecklas och stöder avexualisering av kvinnor ammar! Jag är fortfarande i vördnad att jag kan skicka denna bild utan rädsla för att bli FB bannad!"

Facebooks automatiska alttext är också coolt med amning och lämnar beskrivningen till en enkel:

"Bilden kan innehålla: Sex personer."

I fallet med en grundläggande bild av en mammas amning, erbjuder den helt enkelt:

"Bilden kan innehålla: Två personer."

Drog användning

Facebook förbjuder uttryckligen foton och videoklipp som innehåller narkotikamissbruk. Att ta en fet bong träff är ett tydligt exempel på "narkotikamissbruk".

Automatisk alttext behandlar det så här:

"Bilden kan innehålla: En person, inomhus."

Nakenhet

Tillsammans med narkotikamissbruk förbjuder Facebook också nakenhet. Linjen här blir lite fuzzy, som Facebook tillåter några nakenhet, men bara nakenhet som företagens censorer anser har konstnärlig förtjänst. Målningar får i allmänhet mer utrymme i dessa fall, medan fotografering blir knäckt på lite hårdare.

När det gäller ovanstående målning hade automatisk alttext inga problem med bilden:

"Bilden kan innehålla: En person."

Som svar på Facebook: s censurriktlinjer reste artisterna under #FBNudityDay den 14 januari för att skicka nakna bilder. Facebook har en tendens att censurera. En fullständig nakenhetskonstbild var med och när det sattes till det automatiska alt-bildtestet var detta svaret:

"Bilden kan innehålla: En person."

Grafiskt våld

Facebook fördömer foton och videoklipp som avbildar och förhärligar grafiskt våld. Etiskt är grafiskt våld grumligt markerat. Bilden som vi använde för att testa hur den automatiska alttexten skulle reagera på grafiskt våld var ett av ett venezuelansk skottoffer som publicerades 2014 och ägdes av San Francisco Chronicle.

Bilden har en man på en gurney i smärta, blod överallt. Bredvid honom är en kvinna med handskar på, men bilden avskurnar henne på axlarna.

Det här var det mest skadliga alt text svaret kom in. Voiceover uttryckte enkelt:

"Bilden kan innehålla: Skor."

Levande födelse

Facebook: s senaste förgrund till vad som borde och borde inte visas på folks sociala medier, var ett foto av en levande födelse. New York Magazine först tog uppmärksamhet på bilden, som visar en kvinna som heter Francie som håller sitt nyfödda barn, navelsträngen är fortfarande fäst.

Den publicerades i en privat Facebook-grupp, men avlägsnades eftersom någon i den privata gruppen rapporterade det för att bryta mot Facebooks nakenregler. Francie uppgav emellertid att hon ansåg fotot ett exempel på kvinnlig bemyndigande.

Automatisk alttext hade följande att säga:

"Bilden kan innehålla: En eller flera personer."

Som dessa exempel visar, är Facebooks automatiska alt-text inte lika snabb att bedöma vad som är och inte lämpligt för webbplatsen som Facebooks censorer är. Men det finns fortfarande dags att komma ikapp. Facebook säger att den nya tekniken kommer att förbättras när tiden går och programmet lär sig mer.

Oavsett hur väl fungerande vid lanseringen kommer den nya tekniken att ge synskadade människor möjlighet att interagera med bilder på Facebook på sätt som de inte kunde tidigare. Vi ser fram emot att automatiska alt text förbättras - men kanske inte så mycket så att det börjar snitching på "olämpliga" foton, eller hur?