Smarta högtalare kan hackas av ljud, säger forskare ut för att stoppa det

Vad händer om vi sa till dig att en hackare skulle kunna ge ditt Amazon Echo ett kommando utan att du ens märker - eller till och med behöva hacka som vi normalt tänker på det?

Moustafa Alzantot, en datavetenskap Ph.D. kandidat vid University of California, säger Los Angeles att det är teoretiskt möjligt för en skadlig skådespelare att skicka ett visst ljud eller en signal som vanligen skulle gå helt obemärkt av människor men orsaka A.I: s djupa inlärningsalgoritmer att svika.

"Ett exempel på en attack skulle styra din hemanordning utan att du vet vad som händer, säger Alzantot Omvänd. "Om du spelar lite musik på radion och du har ett eko i ditt rum. Om en skadlig skådespelare kan sända ut en ljud- eller musiksignal så att Echo kommer att tolka det som ett kommando, skulle detta tillåta angriparen att säga, låsa upp en dörr eller köpa något."

Det är en attack som är känd som ett motsatsligt exempel, och det är det som Alzantot och resten av hans team strävar efter att stoppa, vilket beskrivs i sitt papper som nyligen presenterades på NIPS 2017 Machine Deception-verkstaden.

A.I. är inte annorlunda än den mänskliga intelligensen som skapade den i första hand: Den har sina brister. Datavetenskap forskare har räknat ut sätt att helt lura dessa system genom att ändra pixlarna i ett foto eller lägga svaga ljud till ljudfiler. Dessa minut tweaks är fullständigt odetekterbara av människor, men ändrar helt vad en A.I. hör eller ser.

"Dessa algoritmer är utformade för att försöka klassificera vad som sägs så att de kan reagera på det, säger Mani Srivastava, en datavetenskapare vid UCLA, Omvänd. "Vi försöker subvert processen genom att manipulera inmatningen på ett sätt som en närstående hör" nej "men maskinen hör" ja ". Så du kan tvinga algoritmen att tolka kommandot annorlunda än vad som sägs."

De vanligaste adversariella exemplen är de som rör bildklassificeringsalgoritmer, eller tweaking ett foto av en hund någonsin så lätt att göra A.I. tycker att det är något helt annat. Alzantot och Srivastavas forskning har påpekat att taligenkänningsalgoritmer också är mottagliga för dessa typer av attacker.

I papperet använde gruppen ett standardtal för klassificering av tal som finns i Googles öppna källbibliotek, TensorFlow. Deras system hade till uppgift att klassificera ettordskommandon, så det skulle lyssna på en ljudfil och försöka märka den med det ord som sägs i filen.

De kodade sedan en annan algoritm för att försöka lura TensorFlow-systemet med hjälp av motsatta exempel. Detta system kunde lura talklassificeringen A.I. 87 procent av tiden använder det som är känt som en svart box attack, där algoritmen inte ens behöver veta något om utformningen av vad den attackerar.

"Det finns två sätt att montera dessa typer av attacker," förklarar Srivastava. "En är när, jag som motståndare vet allt om mottagningssystemet, så jag kan nu utarbeta en strategi för att utnyttja den kunskapen, det här är en vit boxattack. Vår algoritm kräver inte att man känner till offermodellens arkitektur, vilket gör det till en svart boxattack."

Klart svarta lådanattacker är mindre effektiva, men de är också det som sannolikt kommer att användas i en verklig attack. UCLA-gruppen kunde uppnå en sådan hög framgångsgrad på 87 procent även när de inte skräddarsy deras attack för att utnyttja svagheter i deras modeller. En vit låda attack skulle vara effektivare för att röra med denna typ av A.I. Men virtuella assistenter som Amazonas Alexa är inte de enda saker som kan utnyttjas med hjälp av motsatta exempel.

"Maskiner som förlitar sig på att göra något slags inferens från ljud skulle kunna luras," sa Srivastava. "Det är självklart Amazon Echo och sådant ett exempel, men det finns många andra saker där ljud används för att göra slutsatser om världen. Du har sensorer kopplade till larmsystem som tar in ljud."

Förståelsen för att artificiella intelligenssystem som tar in ljudljud är också mottagliga för motsatta exempel är ett steg längre för att inse hur kraftfulla dessa attacker är. Medan gruppen inte kunde dra av en utsänd attack som den som beskrivs i Alzantot, kommer deras framtida arbete att kretsa kring att se hur genomförbart det är.

Medan denna undersökning endast testade begränsade röstkommandon och former av attacker markerade den en möjlig förtjänst i en stor del av konsumentteknik. Detta fungerar som en steg för ytterligare forskning för att försvara mot motsatta exempel och undervisning A.I. hur man berättar för dem.