Princeton Undergrad skapar Google Deep Dream-inspirerad Deepjazz A.I. Music Maker

Ji-Sung Kim spenderade tidigt på morgonen på den första helgen i april som var kopplad till koffein och kodade på sin dator när han utvecklade deepjazz, en djupt lärande musikgenerator. Den 20-årige Princeton datavetenskapssekreteraren hade bara 36 timmar att slutföra deepjazz under sin första hackathon, HackPrinceton, som hölls den 1-3 april på universitetet. Efter att ha avslutat ett kodningmaraton skapade han en webbplats för deepjazz och lade upp källkoden på GitHub.

Men mycket till Kims överraskning slog programmet av. Deepjazz tränar stadigt på Python och GitHub - når så hög som det översta sjunde programmet på GitHub totalt. Det var till och med på framsidan av HackerNews och skapar fortfarande en livlig diskussion.

"Jag förväntade mig aldrig att mitt första sidprojekt skulle vara det här sprängämnet när det gäller popularitet", berättar Kim Omvänd. "Det har varit ganska galet och roligt."

deepjazz - Djuplärande driven jazzgenerering med Keras & Theano! http://t.co/G5wscglzO7 #python

- Python Trending (@pythontrending) 11 april 2016

Mellan att äta, sova och slutföra andra kurser motiverade Kim att det tog honom cirka 12 timmar att utveckla källkoden för deepjazz. Men han kom upp med idén om en artificiell intelligens musikgenerator långt före HackPrinceton. Under en sommarutbildning vid University of Chicago kom han över Googles Deep Dream, en fotomotor som tolkar mönstren i en bild och omvandlar dem till andra objekt som den vet. Resultatet är wonky bilder som ser ut som om de kom ut en vild dröm.

"Tanken med att använda djupt lärande att tolka konst var verkligen intressant för mig", säger Kim. "Den här typen av Deep Dream-ramar som Google presenterade och publicerade var verkligen fascinerande eftersom du skapar nya konstverk från befintliga konstverk."

Deepjazz använder maskininlärning för att skapa jazzmusik - "en A.I. byggd för att göra jazz "som sin SoundCloud profilstatus. Kim, som inte har tagit musikteori klasser men har spelat klarinett i sju år, valde jazzmusik på grund av sina okonventionella melodier. En A.I. systemets musik "kan ha några ovanliga utgångar, så jag tycker att jazz var särskilt väl lämpad för tanken på att skapa musik i flygningen", säger han.

Han repurposed en befintlig musikgenerator optimerad för jazzmusik som hans vän Evan Chow utvecklade kallat JazzML, med hjälp av koden för att få relevanta data men omvandla den till en binär matris som är kompatibel med de två djupt lärandebiblioteken Keras och Theano.

Deepjazz ramar själv det en tvåstegs LSTM, som är en typ av artificiell neuralt nätverkarkitektur, beskriver Kim. Efter att ha läst en initial baslinjeutsekvens av musikaliska anteckningar (Kim använde delar av Pat Methenys "Och så visste jag"), tilldelar det sannolikheter till anteckningar och genererar nästa notering baserat på dessa sannolikheter. Om du till exempel matar programmet skala A, B, C, är det en stor sannolikhet att nästa anteckning deepjazz genererar kommer att bli D, förklarar Kim.

Historiskt sett har kritiker sagt artificiell intelligens musikgeneratorer plågas genom att producera låtar som låter för robot och steril - saknar den färg som hörs i musik som består av människor. Jeffrey Bilmes, en tidigare MIT-student som skrev en avhandling om datorer som reproducerar musikaliska rytmer 1993, berättade Omvänd i november:

"När du lär dig att spela musik och du lär dig spela jazz, finns det ett verktyg för att intuitivt förstå vad det handlar om musik som gör det mänskligt", säger Bilmes. "Människor är intuitiva varelser, och människor kan ofta inte beskriva hur de kan göra mänskliga saker. Jag kände vid den tidpunkten att jag kanske bryter mot en helig ed när jag definierar dessa saker för dataprogram."

När Kim gjorde forskning för deepjazz kom han över många system som genererade musik som lät robot.

"Musik och konst är saker som vi anser vara djupt mänskliga", säger Kim. "För att få det att låta mer mänskligt och mer levande är det verkligen svårt att kategorisera." Kim föreslår att generatorer kan skapa låtar som låter mer mänskliga genom att programmera dem att låta mindre liknar det ursprungliga spåret.

Andra utvecklare har kontaktat Kim och är intresserade av att expandera deepjazz så att fler kan interagera med det. Kim kan se deepjazz en dag utvecklas till en improvisationspartner som artificiellt kan skapa en backtrack för en musiker att riffa från. Ännu längre fram i framtiden kan han se program som skapar ny, liknande ljudmusik till dina favoritspår eller som kan föreslå nya ackord och progressioner för musiker.

Kim medger att han fortfarande är långt från att vara expert på djupt lärande, men hans erfarenhet av att utveckla deepjazz och träning på praktikplatser och Princeton har givit honom en värdefull inblick i fältet.

”A.I. är inte längre en sci-fi-dröm längre. Det är något som är väldigt verkligt och det är något som närmar sig mycket snabbt, säger Kim. "Förhoppningsvis att se att den här högskolestudenten, som inte ens är en upperclassman ännu, kunde göra någonting inom en hackathon är uppmuntrande för andra studenter som kämpar för att komma in i datavetenskap."