Inside Pinscreens Secretive Augmented Reality och CGI

Ökad verklighet och ansiktsbyte verkar vara heta kandidater för nästa mobilapp; titta bara på Facebook: s köp av MSQRD eller Snapchats förvärv av Looksery. Men en AR-uppstart kallad Pinscreen, som för närvarande stöds till 1,8 miljoner dollar från Lux Capital och Colopl VR Fund, ser ut att göra saker annorlunda på detta område. Omvänd talade exklusivt till Pinscreen grundare Hao Li om vad som kan vara före detta hemliga företag.

Du kanske inte har hört talas om Hao Li, men du har nog sett den här USC-assistentens forskning i åtgärd i flera blockbuster-filmer. Under arbetet med visuella effekter studio Industrial Light & Magic, Li hjälpte till att utveckla några verktyg som möjliggjorde realtids prestanda infångning. Tanken var att en skådespelare kunde sitta framför en dator med en webbkamera, agera ut en scen, och då skulle prestanda översättas - i realtid - till en CG-karaktär.

Li har även utfört omfattande forskning inom andra områden, bland annat att skapa 3D-modeller av riktiga människor i realtid och fånga viktiga delar av deras likhet, särskilt ansikten och håret. Senast visade Li bort forskning som han och andra hade utfört för att fånga en prestanda från en person med bara en enda kamera och översätta det till en digital karaktär.

Först låter det inte så nytt. Det finns redan ett antal ansiktsspårningslösningar under utveckling, både för mobilappar och mycket mer sofistikerade system som Faceshift (köpt av Apple 2015). Men många av dessa är beroende av djupsensorer, som Lis teknik inte kräver. Det synsättet, säger han, är väldigt annorlunda.

"Om du har en djupgivare är allt du behöver för att optimera parametrarna för en ansiktsmodell så att modellen passar 3D-ingången så nära som möjligt," förklarar Li. "Men i händelse av en ren RGB-ingång projiceras hela världen på en tvådimensionell bild utan kända kameraparametrar som brännvidd. Så en korrekt 3D-ansiktsmodell behöver härledas från den här projicerade bilden och kunna hantera ett brett utbud av ljusförhållanden samt utseenden av olika ämnen."

Därför betydelsen av Li: s forskning på 3D-avatarer. När kartläggning av människans ansikte har många kartläggningsprogrammen problem med att hantera visuella hinder som hår och glasögon. För att undvika det problemet, byggde Pinscreen "ett djupt konvolutionellt neuralt nätverk som kan lära sig att segmentera ett ansiktsområde i en fullständigt obestridd bild".

Så, vad är Pinscreen med den här galna avancerade tekniken för?

"Vi kommer att bli en ny typ av sociala medier / kommunikationsplattform med några intressanta AR-möjligheter, säger Li. "Det kommer inte att bli en app som Snapchat-linser eller MSQRD, vilket för de flesta bara är intressant för några minuter."

Så det är inte mycket mer än buzzwords för nu. Men när han ser djupare, tyder hans tidigare arbete på att de hoppas kunna utveckla förmågan att spåra någons ansikte trots allt hår, glasögon eller andra föremål som hindrar syn på kameran. Lägg till i en viss förstorad verklighet, och himlen är gränsen för filmer, sociala medier och spel.

Det låter ganska banbrytande, men det är viktigt att notera att Li och hans team inte är de enda som forskar på detta område. Disney presenterade nyligen att ta på sig realtidsfångstinspelning, liksom några andra forskare med ett verktyg som heter Face2Face. Theres också den ovan nämnda Faceshift, tillsammans med Facebook och Snapchat, som också har börjat demonstrera sina varor.

Så vad gör Pinscreens teknik annorlunda? Li föreslår att hans företags lösning är "mycket mer robust och kan utgå från mer exakta 3D-modeller, eftersom vi uttryckligen hanterar ocklusioner."

"Vår viktigaste innovation är en teknik som gör det möjligt för oss att bygga en komplett 3D-huvudmodell, inklusive hår från vilken bild som helst automatiskt", säger han. "Denna typ av uppgift kräver traditionellt en skicklig CG-modellare och rigger att producera, men vi kan generera detta helt automatiskt. De senaste dokumenten som presenteras vid SIGGRAPH (den ledande datorgrafik- och interaktiva teknikkonferensen) kräver också flera inmatningsbilder som input - vi fokuserar på lösningen med minimalt ingångskrav, en enda 2D-bild."

Självklart, tills folk ser och använder någon app från Pinscreen, kommer juryn att vara kvar om sina möjligheter. Skillnaden här är dock att Li verkligen har en solid historia av forskning och innovation bakom honom, speciellt i skapandet av digitala avatarer.

Li är tydligt övertygad om Pinscreens möjligheter i sociala medier. "Eftersom vår teknik kommer att demokratisera generationen av 3D-avatarer kommer den att ha uppenbara applikationer i spel, VR / AR-applikationer för nedsänkningskommunikation eller AI-agenter", säger han, men jag tror att vi kommer att skapa den coolaste applikationen själva, vilket är den sociala medialplattformen vi utvecklar.

"Viktigast," tillägger han, "vi vill bygga något som gör att människor kan skapa riktigt intressant innehåll utan att behöva dagens dyra VFX-pipeline och kan använda riktigt roligt AR-innehåll för att ansluta till varandra."

Det låter som om Pinscreen kommer att omfatta det sortiment av teknik Li och hans team har arbetat med. Men, säger han, det är bara en del av planen. "Den tekniska demo är egentligen bara en del av det vi planerar att använda", konstaterar han. "Pinscreen blir något mycket större och tekniken kommer att bli en intressant funktion i början. Vi kommer också att vara ganska annorlunda än andra sociala medier."

För närvarande är Pinscreen fortfarande lite av ett mysterium och det ser ut som vi bara måste vänta på att se vad de har i butiken.