Apple Patents Gesture and Gaze Controls för enheter

Ett nytt Apple-patent publicerat tisdag antyder att företaget utvecklar TV-apparater och Mac-skärmar som du kan kontrollera med dina ögon. Om blickkontroll inte passar din fantasi kan du bara gestikulera. Musen, tangentbordet och även pekskärmen blir för det mesta irrelevant.

IPhone 7 Plus har två kameralinser, som, trots att den inte är tillgänglig under presentationen, möjliggör 3D-djupkartning. Google har arbetat med denna teknik med Project Tango, så det är vettigt för Apple att konkurrera. Medan alla har hyped om headsetförstärkt verklighet, har Apples vd Tim Cook antydt en eller två gånger att företaget har A.R. planer, det finns en annan form av ökad verklighet på blocket - och det är en som inte kräver skrymmande, bärbar teknik.

Det är nästan som det är telekinetic teknik, som i sig förstärker (eller förbättrar) verkligheten, suddar linjerna mellan teknik och den verkliga världen. Patentet sammanfattar det aktuella läget: "När man använder fysiska taktila inmatningsenheter som knappar, rullar eller pekskärmar, engagerar och brukar man normalt en kontroll av ett användargränssnitt genom att röra och / eller manipulera den fysiska enheten." Men med detta Uppfinningen kan användaren göra bort med en mus eller spårväg, tangentbord och pekskärm, och istället bara gestus eller blick för att styra datorn.

Två eller flera kameror kan, när de jobbar ihop, efterlikna mänskliga ögon och kan därför utföra en 3D-bild. Programvaran vet då var användaren är, vad hans eller hennes skelett ser ut, och kan svara i enlighet därmed.

Utföringsformer av föreliggande uppfinning beskriver pekningsbehållanden för att ingripa interaktiva objekt presenterade på en bildskärm kopplad till en dator som utför ett användargränssnitt för blandat modalitet som innefattar tredimensionell (3D) avkänning, av en 3D-sensor, för rörelse eller byte av position av en eller fler kroppsdelar, vanligtvis en hand eller ett finger, av användaren.

Patentet beskriver olika gester, som Point-Select, Point-Touch och Point-Hold, vilket gör att användarna kan styra gränssnitt på en TV eller en datorskärm.

Till exempel kan användaren horisontellt rulla en lista över interaktiva objekt (t ex filmer) som presenteras på skärmen genom att man manipulerar en horisontell rullningsbox via punkt-touch-gesten. Point-Hold-gesten gör det möjligt för användaren att visa kontextinformation för ett interaktivt objekt som presenteras på displayen. Till exempel, som svar på användaren som utför en punkt-håll-gest på en ikon som representerar en film kan datorn presentera ett popup-fönster, inklusive information som en sammanfattning av en översikt, en recension och cast-medlemmar.

Dessutom kan systemet enligt detta patent detektera en användares blick, så att den kan reagera på riktade ögonrörelser. Här står det i Apples egna ord:

… med ett datoriserat system presentera flera interaktiva objekt på en bildskärm kopplad till datorn, mottagen från en avkänningsanordning kopplad till datorn, en ingång som representerar en blickriktning för en användare, identifiering av en målpunkt på displayen baserat på blickriktning, associering av målpunkten med ett första interaktivt objekt som visas på skärmen och responsivt mot målpunkten, öppnar en eller flera andra interaktiva objekt på displayen.

Återigen, om gestikulationer inte skär det för dig, blickar du bara. Systemet detekterar var användaren ser ut och kan därför utgå från vad användaren vill göra, "därigenom undanröja behovet av en mus och / eller ett tangentbord", säger patentet.

Något så enkelt men omtänkt som att justera högtalarnas volym skulle bli en vind. Patentet beskriver både visuell och gestikulär kontroll över högtalarvolymen. Med sina ögon kunde användaren titta "på toppen av en högtalare kopplad till datorn", vilket skulle leda till att datorn "höjer volymen på högtalaren". (Om användaren tittar längst ner på högtalaren, av Kursen minskar givetvis.) Med gester kan användaren även styra högtalarvolymen. Användaren skulle peka en hand på högtalaren, och med sin andra hand, gest upp eller ner. "Om användaren utför en punkt-touch-gest i nedriktningen samtidigt som den pekar mot högtalaren, kan datorn sänka volymen på högtalaren," patentet.

Det är en annan form av förstärkt verklighet, och en som kanske börjar göra vågor tidigare än säga de mystiska Magic Leap-headseten. Leap Motion, ett annat företag i det virtuella verklighetsspelet, har själv gjort perfekt handspårningsteknik. Men en Apple foray i fältet kan förändra spelet, speciellt om det kombineras med ögonspårningsförmåga.

Var bara säker på att du inte börjar undra vad som händer med integritet när all denna teknik blir vanlig. Lyckligtvis har Cook och Apple smutsat för att upprätthålla ett gott rykte.