Deepfakes är ingen match för maskinlärning - här är varför

En ny form av felinformation är redo att sprida sig via onlinemiljöer eftersom 2018-halvtidsvalskampanjerna värmer upp. Kallade "deepfakes" efter det pseudonymiska online-kontot som populariserade tekniken - som kanske har valt sitt namn eftersom processen använder en teknisk metod som kallas "deep learning" - dessa falska videor ser väldigt realistiska ut.

Hittills har folk använt djupfattade videor i pornografi och satir för att få det att kända personer gör saker som de inte normalt skulle göra. Men det är nästan säkert att djupfel kommer att dyka upp under kampanjperioden, vilket innebär att man visar på kandidater som säger saker eller platser som den verkliga kandidaten inte skulle göra.

Eftersom dessa tekniker är så nya, har människor problem med att berätta skillnaden mellan riktiga videor och djupfångna videor. Mitt arbete, med min kollega Ming-Ching Chang och vår doktorand student Yuezun Li, har hittat ett sätt att på ett pålitligt sätt berätta riktiga videor från djupfattade videor. Det är inte en permanent lösning, eftersom tekniken kommer att förbättras. Men det är en början, och erbjuder hopp om att datorer kommer att kunna hjälpa människor att berätta sanningen från fiktion.

Vad är en "Deepfake"? Hur som helst?

Att göra en djupfärdig video är mycket som att översätta mellan språk. Tjänster som Google Translate använder maskininlärning - datoranalys av tiotusentals texter på flera språk - för att upptäcka ordanvändningsmönster som de använder för att skapa översättningen.

Deepfake-algoritmer fungerar på samma sätt: De använder en typ av maskininlärningssystem som kallas ett djupt neuralt nätverk för att undersöka ansiktsrörelser hos en person. Sedan syntetiserar de bilder av andras ansikte som gör analoga rörelser. Att göra så effektivt skapar en video av den målperson som verkar göra eller säga saker som källan gjorde.

Innan de kan fungera ordentligt behöver djupa neurala nätverk mycket information om källa, t.ex. bilder av personer som är källa eller mål för ombildning. Ju fler bilder som används för att träna en deepfake-algoritm, desto mer realistiska blir den digitala impersonationen.

Detekterar blinkande

Det finns fortfarande brister i denna nya typ av algoritm. En av dem har att göra med hur de simulerade ansikten blinkar - eller inte. Friska vuxna människor blinkar någonstans mellan varannan och tio sekunder, och en enda blinkning tar mellan en tiondel och fyra tiondelar av en sekund. Det är vad som är normalt att se i en video av en person som pratar. Men det är inte vad som händer i många djupfattade videor.

När en deepfake-algoritm utbildas på ansiktsbilder av en person, är det beroende av de bilder som finns tillgängliga på internet som kan användas som träningsdata. Även för personer som fotograferas ofta finns det få bilder tillgängliga online som visar sina ögon stängd. Inte bara är bilder så sällsynta - eftersom människornas ögon är öppna mest av tiden - men fotografer publicerar vanligtvis inte bilder där huvudämnenas ögon är stängda.

Utan att träna bilder av människor som blinkar, är det mindre troligt att djupfalsalgoritmer skapar ansikten som blinkar normalt. När vi beräknar den totala hastigheten att blinka och jämför det med det naturliga intervallet, fann vi att tecken i djupa videor blinkar mycket mindre ofta i jämförelse med riktiga människor. Vår forskning använder maskininlärning för att undersöka ögonöppning och stängning i videor.

Se även: Hollywood kommer inte att spela asiatiska amerikanska stjärnor, men A.I. Maskininlärning kan

Detta ger oss en inspiration för att upptäcka deepfake-videor. Därefter utvecklar vi en metod för att upptäcka när personen i videon blinkar. För att vara mer specifik skannar den varje ram av en aktuell video, upptäcker ansikten i den och lokaliserar sedan ögonen automatiskt. Det utnyttjar sedan ett annat djupt neuralt nätverk för att avgöra om det upptäckta ögat är öppet eller stängt, med hjälp av ögat utseende, geometriska egenskaper och rörelse.

Vi vet att vårt arbete utnyttjar en felaktighet i vilken data som finns tillgänglig för att utbilda djupfaktaalgoritmer. För att undvika att drabbas av liknande slag har vi utbildat vårt system på ett stort bibliotek med bilder av både öppna och stängda ögon. Denna metod verkar fungera bra, och som ett resultat har vi uppnått en upptäckthastighet över 95 procent.

Det här är inte det sista ordet för att upptäcka djupfel. Tekniken förbättras snabbt, och konkurrensen mellan att generera och upptäcka falska videor är analog med ett schackspel. I synnerhet kan blinkande läggas till djupfattade videor genom att inkludera ansiktsbilder med slutna ögon eller använda videosekvenser för träning. Människor som vill förvirra allmänheten blir bättre på att göra falska videor - och vi och andra i teknikgemenskapen måste fortsätta hitta sätt att upptäcka dem.

Den här artikeln publicerades ursprungligen på The Conversation av Siwei Lyu. Läs den ursprungliga artikeln här.