Ett år i, "På den här dagen" -funktionen exemplifierar hur A.I. Byter Facebook

För ett år sedan idag släppte Facebook sin "On This Day" -funktion. Omvänd talade med Facebooks datorsynsforskningschef Manohar Paluri om hur artificiell intelligens, maskininlärning och datorsyn gör denna funktion mer meningsfull - och hur dessa områden av forskning och utveckling fortsätter att förbättra Facebook-erfarenheten under de kommande åren.

Även om du inte har använt funktionen On This Day själv har du sett dessa inlägg runt ditt nyhetsflöde. du har sett en vän som delar om en händelse från hans eller hennes Facebook-förflutna. Kan inte tro det har varit tre år sedan den trollkarlen tog en kanin ur en hatt! parat med ett foto av trollkarlen som drar kaninen ur hatten. Något liknande det. Och idag delar Facebook sitt eget minne. På denna dag, för ett år sedan, lanserade Facebook On This Day. (Nu har denna dag mer än 60 miljoner dagliga besökare och 155 miljoner prenumererar på sina meddelanden.)

Men för Facebook är detta minne mindre sentimentalt än det är en milstolpe. Facebook rullar konsekvent ut nya funktioner, och dessa funktioner undersöks konsekvent och tweaked. Ibland är det människor, som Paluri och hans lag, som gör tweaking; andra gånger är det A.I.s. De flesta gånger är det dock symbiotiskt. Facebook är som en cyborg, och den här cyborgen har en existensberättigande: att göra din Facebook-upplevelse som trevlig som möjligt.

Datasynet, innehållsförståelsen och A.I. trupp på Facebook kunde ses - om du vill - som cyborgs moderkort. Och Paluri, för att fortsätta metaforen, är typ av centralbehandlingsenhet för det moderkortet. Paluri har arbetat med datasyn i över ett decennium, och han är ingen liten stek: han började på SRI, gick vidare till IBM Watson-labs och därifrån hoppade över till Google. Och nu är han i Menlo Park på Facebook. När han gick med blev hans internshipprojekt i visuellt erkännande som "backbone", säger han, av Facebooks bild- och videoförståelseknologi. Och den visuella igenkänningsmotorn blir alltmer central till Facebook.

"Om du tittar på användningen av Facebook över tiden - och det här är ett exempel som Mark Zuckerberg citerar ofta - du ser rikare och rikare media delas, och folk använder det för att ansluta, säger Paluri. "Du börjar från text, du går till foton; från foton du går till videor, och från videoklipp går vi nu till VR. Eftersom kommunikationsmediet blir rikare och rikare, är det också viktigt att verktygen hamna, att verktygen förstår vad detta innehåll är. Om vi ​​inte har det, kommer vi inte att kunna göra bättre i News Feed-rankningen, vi kommer inte att kunna göra bättre vid hämtning av sökning, vi kommer inte att kunna göra bättre när vi beskriver bilder för blinda, vi kommer inte att vara kunna bygga bättre befolkningstäthetskartor."

Posta av zuck.

Den relativt nya centraliteten av artificiell intelligens, maskininlärning och datorvision, säger Paluri, är lite av en "strategisk satsning" - men en satsning som exalterar honom. Ingen annanstans som han har arbetat har han en så snabb feedback- och svarslinga mellan forskning och teknik. "Genom att centralisera den bearbetar vi den senaste tekniken, vi trycker på toppmoderna, och sedan kan produktgrupperna och resten av företaget låsa på det", säger han.

Nu hanterar Paluri datasynsteamet. "Det höga målet för laget är att få maskiner att se hur människor gör det," förklarar Paluri. "Och gå utöver, faktiskt - gå utöver vad människor kan, till, som, finkornigt erkännande, till exempel. Vi publicerar våra resultat i toppkonferenser, vi skriver tekniska bloggar och vi är mycket öppna om vad vi jobbar med. Sammantaget är vårt främsta mål att bringa datasynsteknologi till resten av produktgrupperna på Facebook."

Och den främsta produkten som skördar Palisis lagets skörd är bara så hända att vara på den här dagen.

Bakom den förenklade, oskyldiga slöjan som är på denna dag ligger en komplex A.I. och dator vision system som finjusterar din mnemonic upplevelse. Paluri, som - igen - är bara tangentiellt knuten till On This Day, förklarar varför återupplivande sociala nätverksminnen kan vara bra:

"Nostalgi är ett mycket positivt fenomen. Så, för att se ditt bröllopsfoto, till exempel, på ett improviserat sätt - när du inte surfar på det, men det bara visar på ditt nyhetsflöde - är det en mycket tilltalande upplevelse. Speciellt när du surfar i nuvarande, och ett positivt minne kommer ut ur det förflutna."

"Nostalgi är ett mycket positivt fenomen."

Ändå finns det utan tvekan nostalgi som faller mer på den bittera sidan av det bittersweetiga spektret. "Det första som kommer att tänka på", säger Paluri, är: "Ska du överge alla minnen? Det intuitiva svaret är nej, för det beror på ditt nuvarande tillstånd, det beror på det specifika minnet. det finns många, många inneboende saker. Det är där A.I. Tekniken kommer in i bilden."

Och det finns två sätt på vilka A.I. kommer in, här: en, personalisering; två, innehållsförståelse.

Med avseende på den senare innehållsförståelsen: "Dessa minnen är textminnen, livshändelser, foton du laddat upp eller videoklipp som du laddat upp. Så nu har du denna mängd innehåll som är av olika modaliteter, och förståelse av vad som finns där är extremt viktigt för att kunna lära sig och tillhandahålla rätt uppsättning minnen."

Dessutom - och inte bara för innehållsförståelsen On This Day och dessa A.I. system hjälper till att gräva igenom den överväldigande information som finns på Facebook varje dag. (Tänk på det: om Facebook: s nyhetsflöde liknade Instagram ser du kanske två procent av alla inlägg. Istället möter du innehåll som du förmodligen kommer att tycka om, eller innehåll som du spenderar mycket tid på.) Och det hjälper till att filtrera bort inkorrekt innehåll, som pornografi, mer än de flesta andra webbplatser online.

"Även om det är en förlust, ger det dem ett positivt minne."

Och med hänsyn till det förra utarbetar Paluri: "För dig kanske är det positivt att titta på positiva minnen är bra, och du gillar inget negativt. Men för någon annan, kanske vill de påminnas om att de förlorade sin katt den här dagen. Trots att det är en förlust, ger det dem ett positivt minne. "Och på ett sätt har varje Facebook-användare en mycket personlig profil bakom kulisserna som vet vad han eller hon vill eller inte vill påminna om. "När du interagerar med minnena - som du delar, som du vill, eller som du avvisar - finns det en maskininlärningsmodell som använder innehållsförståelsemodulen tillsammans med dina preferenser och anpassar de framtida minnen som kommer att serveras till dig.”

Men oroa dig inte: Facebook vill se till att du inte är orörd påminns om en uppbrott eller en släkting. "Oavsett hur bra A.I. eller maskininlärningsteknologi är, vill vi fortfarande ge kontroll till användaren, för i slutet av dagen är vårt mål att återuppta minnen som de tycker om. "Användare får en överstyrningsbrytare:" Om de vet det, mellan dessa datum, en negativ sak hände - de bröt upp, eller något - vi vill ge dem full kontroll om att de inte mäter dessa minnen."

Inom inställningarna för On This Day kan du säga Visa mig inte minnen med så och så för att han är en avskyvärd person eller … från de senaste tre åren som var eländiga och inte på något sätt anmärkningsvärda.

Ser fram emot, förklarar Paluri varför han är stolt över att fortsätta arbeta med att utveckla dessa system och förbättra kvaliteten på Facebooks moderkort.

Du har nämnt andra applikationer redan för visuella och innehållsförståande system inom Facebook. Finns det något annat som fortfarande finns i arbeten - som använder dessa system - som exciterar dig?

Alla dessa möjligheter på videor är något som verkligen uppskattar mig. Det finns definitivt redan Det är en pågående sak, för videon är ganska stor på Facebook. Men jag tror på något sätt att vi vill bli rikare och rikare på att förstå det. Den nuvarande datasyntekniken är fortfarande inte där när det gäller att beskriva bilder som människan gör. Det kan säga att det här fotot har dessa saker, att det här är pixeln som tillhör katten osv. Men det är begränsat. Det förstår fortfarande inte förhållandet mellan saker och det beskriver det fortfarande inte på ett mänskligt sätt.

Det finns lite arbete där ute som beskriver bilder - det kallas bildtextning. Det finns en massa verk som kom ut under de senaste två åren. Men om du tittar på bildtexten som dessa system genererar är de väldigt generella. De är inte beskrivande. En av de saker som vi skulle vilja, och det kommer att komma i framtiden från vår sida, är att beskriva dem på ett mycket rikare sätt. Både för bilder och video. Om du har en tvådimensionell video vill du inte ha en enda meningen beskrivning; vad du vill ha är en punkt med tidsavkänning till beskrivningen, eller hur? "Det hände, då hände det här, då hände det," eller hur? Det är en bra förståelse.

Så, du vill slå mig ur jobbet, säger du. Kortfattat.

Skrattar Nej, definitivt inte. Jag gör ditt jobb mer intressant.

Känner du att Facebook är typ av en udda plats för att denna forskning ska hända, eller är det en perfekt plats?

Jag tycker att det är en perfekt plats, för innehållsförståelse är i DNA av Facebook. Om du tittar på explosionen av Facebook-användning är News Feed en av pelarna som gjorde att Facebook kan vara ett fantastiskt socialt nätverk jämfört med många andra konkurrenter. Nyhetsflöde är fortfarande huvuddistributionskanalen.

Men när du kommer till nyhetsflödet kommer du inte med en viss avsikt. Du kommer dit för information. Så det är viktigt för oss att visa dig rätt saker, för att visa dig meningsfulla saker. Om du går till andra tjänster kanske du går med en avsikt, i vilket fall all service behöver göra är att ge svaret. Här är det som att jag ger dig frågan och Jag ger dig svaret. Så måste du vara riktigt bra för någon att fortsätta komma tillbaka.

Det är därför A.I. och innehållsförståelse är kärnan i Facebook, och varför det här är den bästa platsen för det. Med tanke på hur mycket media det finns - givet hur mycket innehåll på Facebook handlar om bilder och videor, och övergången till mer och mer video och VR - det är det bästa stället att göra A.I. forskning, datasyn och maskininlärning.

Det är inte en udda plats: det är de plats.