Brain-Computer Interface kan översätta tankar till tal

Neuroengineers har skapat ett nytt system som kan översätta enkla tankar till igenkänt tal, med hjälp av artificiell intelligens och en talsyntesizer, enligt en studie publicerad tisdag.

Ett team av New York-baserade forskare kunde rekonstruera ord som endast använder hjärnaktivitet, en innovation som kan bana vägen för hjärnstyrd teknik, till exempel en smartphone som kan översätta dina tankar till textmeddelanden.

Dr Nima Mesgarani, docent vid Columbia University, ledde studien och berättade Omvänd att han ser stor potential att hjälpa till att återställa tal till personer som återhämtar sig från stroke eller lever med amyotrofisk lateralskleros (ALS). Längre nerför linjen kan denna typ av teknik också öppna dörrar till hjärnanslutna smartphones som skulle kunna låta användarna text använda sina sinnen, men det är fortfarande ett sätt borta. Hans arbete publicerades i tidningen Vetenskapliga rapporter.

"En av motiven i detta arbete … är för alternativa interaktioner mellan människor och datorer, till exempel ett möjligt gränssnitt mellan en användare och en smartphone", säger han. "Det är dock fortfarande långt ifrån verkligheten, och för närvarande är informationen som kan extraheras med hjälp av icke-invasiva metoder inte tillräckligt bra för ett applikationsgränssnitt för hjärn-dator."

Lyssna på talet som genereras av hjärn-datorgränssnittet.

För att utveckla den nya tekniken började Mesgarani och hans kollega, Ashesh Dinesh Mehta från Northwell Health Physician Partners Neuroscience Institute, undersöka epilepsipatienternas hjärnaktivitet för sin studie. Dessa patienter hade redan elektrodimplantat i sina hjärnor för att övervaka anfall, vilket Mesgarani och Mehta kunde använda för att samla in data för sin forskning.

Duon frågade villiga deltagare att lyssna på talare recitera siffrorna mellan noll och nio och registrerade sedan hjärnans signaler från den interaktionen. Därefter tränade de ett neuralt nätverk - ett program som efterliknar neuronstrukturen i människans hjärna - känner igen mönster i signalerna och översätter dem till robotljudande ord med hjälp av en talesyntesizer, kallad vokoder.

Resultatet var ett kort röstklipp av vad som låter som Microsoft Sam räknas från noll till nio. Den imponerande delen är hur tydligt talet jämförs med andra metoder som forskarna testat. Det finns fortfarande mycket arbete att göra, dock.

"Det kan ta ett decennium innan tekniken blir tillgänglig", säger Mesgarani. "Vi behöver mer framsteg både på lång sikt, biokompatibla implanterbara elektroder och / eller genombrottsteknik i icke-invasiva neurala inspelningsmetoder. Vi behöver också en bättre förståelse för hur hjärnan representerar tal så att vi kan förfina våra avkodningsmetoder."

Patienterna som var en del av denna studie, till exempel, hade alla hjärnkirurgi till implantat elektrokortikografiska monitorer. Det här är en extremt invasiv process som kräver öppen hjärnkirurgi, något som de flesta kanske inte är villiga att genomgå, även om det finns möjlighet att återställa några av sina talfunktioner.

För närvarande har denna studie infört en metod för avkodning av hjärnsignaler till tal. Om vi ​​räknar ut hur man noggrant upptäcker hjärnaktivitet utan operation, kommer vi att vara ett steg närmare att inte bara revolutionera talterapi utan potentiellt för att skapa hjärnanslutna smartphones.

Brain-dator gränssnitt forskning har fått nyfundat intresse under de senaste åren. I april 2017 meddelade Facebook att det var på BCI under sin årliga F8-konferens. Och Elon Musk tillkännagav i november 2018 att Neuralink, hans egen BCI-uppstart, anställde.

Abstrakt

Auditiv stimulus rekonstruktion är en teknik som finner den bästa approximationen av den akustiska stimulansen från befolkningen av framkallad neural aktivitet. Rekonstruktion av tal från den mänskliga hörselcortexen skapar möjligheten till en talneuroprosthet för att upprätta en direkt kommunikation med hjärnan och har visat sig vara möjlig både i öppna och hemliga förhållanden. Den låga kvaliteten hos det rekonstruerade talet har emellertid allvarligt begränsat användbarheten av denna metod för applikationer för hjärn-datorgränssnitt (BCI). För att fördjupa state-of-the-art i talneuroprostes kombinerade vi de senaste framstegen inom djupt lärande med de senaste innovationerna i talssyntesteknologi för att rekonstruera slutna uppsatta förståeligt tal från den mänskliga hörselcortexen. Vi undersökte beroendet av återuppbyggnadsnoggrannhet på linjära och icke-linjära (djupt neurala nätverks) regressionsmetoder och den akustiska representationen som används som mål för rekonstruktion, inklusive hörande spektrogram och talsyntesparametrar. Dessutom jämförde vi rekonstruktionsnoggrannheten från låga och höga neurala frekvensområden. Våra resultat visar att en djup neural nätverksmodell som direkt uppskattar parametrarna för en talsyntesizer från alla neurala frekvenser uppnår de högsta subjektiva och objektiva poängen på en sifferigenkänningsuppgift, vilket förbättrar förståelsen med 65% över baslinjemetoden som använde linjär regression till rekonstruera det auditiva spektrogrammet. Dessa resultat visar effekten av djupa inlärnings- och talssyntesalgoritmer för att designa nästa generation av tal BCI-system, som inte bara kan återställa kommunikation för förlamade patienter utan även ha potential att omvandla interaktionstekniken mellan människor och datorer.

Relaterad video: Brain Wave Sensing Robots kan fungera som förlängningar av människokroppen