Vad händer när ansiktsigenkänning används på fåglar? Vetenskapen förklarar

Som en birder hade jag hört att om du var noggrann uppmärksam på huvudfjädrarna på de nedsänkta spettarna som besökte dina fågelmatare kunde du börja känna igen enskilda fåglar. Detta fascinerade mig. Jag gick till och med för att försöka skissa fåglar på min egen matare och hade funnit att detta var sant, upp till en punkt.

Under tiden hade jag i min dag som datavetenskapare vetat att andra forskare hade använt maskininlärningstekniker för att känna igen enskilda ansikten i digitala bilder med hög noggrannhet.

Dessa projekt fick mig att tänka på sätt att kombinera min hobby med mitt dagliga jobb. Skulle det vara möjligt att tillämpa dessa tekniker för att identifiera enskilda fåglar?

Så, jag byggde ett verktyg för att samla in data: en typ av fågelmatare favoriserad av spett och en rörelseaktiverad kamera. Jag satte upp min övervakningsstation i min förorts Virginia-yard och väntade på att fåglarna skulle dyka upp.

Bildklassificering

Bildklassificering är ett hett ämne i teknikvärlden. Större företag som Facebook, Apple och Google undersöker aktivt detta problem för att tillhandahålla tjänster som visuell sökning, automatisk märkning av vänner i sociala medier och möjligheten att använda ditt ansikte för att låsa upp din mobiltelefon. De brottsbekämpande myndigheterna är också mycket intresserade, främst för att känna igen ansikten i digitala bilder.

När jag började arbeta med mina elever om detta projekt fokuserade bildklassificeringsforskningen på en teknik som såg på bildfunktioner som kanter, hörn och områden av liknande färg. Det här är ofta delar som kan monteras i något igenkänligt objekt. Dessa tillvägagångssätt var ungefär 70 procent exakta, med hjälp av riktmärkesdatasatser med hundratals kategorier och tiotusentals träningsexempel.

Ny forskning har skiftat mot användningen av konstgjorda neurala nätverk, som identifierar sina egna egenskaper som visar sig mest användbara för korrekt klassificering. Neurala nätverk modelleras mycket löst på kommunikationsmönstren mellan neuroner i människans hjärna. Konvolutionella neurala nätverk, den typ som vi nu använder i vårt arbete med fåglar, modifieras på sätt som modellerades på den visuella cortexen. Det gör dem särskilt lämpade för problem med bildklassificering.

Några andra forskare har redan försökt liknande tekniker på djur. Jag inspirerades delvis av datavetenskapare Andrea Danyluk från Williams College, som har använt maskininlärning för att identifiera enskilda prickade salamandrar. Detta fungerar eftersom varje salamander har ett distinkt mönster av fläckar.

Framsteg på Bird ID

Medan mina studenter och jag inte hade nästan lika många bilder att arbeta med som de flesta andra forskare och företag, hade vi fördelen av några begränsningar som skulle kunna öka vår klassificeringssäkerhet.

Alla våra bilder togs från samma perspektiv, hade samma skala och föll i ett begränsat antal kategorier. Allt sagt, bara cirka 15 arter någonsin besökt mataren i mitt område. Av dem besökte endast 10 tillräckligt ofta för att ge en användbar grund för att träna en klassificerare.

Det begränsade antalet bilder var ett bestämt handikapp, men det lilla antalet kategorier arbetade till vår fördel. När det gällde att få veta om fågeln i en bild var en chickadee, en karriärkärl, en kardinal eller något annat, uppnådde ett tidigt projekt baserat på en ansiktsigenkänningssalgoritm cirka 85 procent noggrannhet - tillräckligt bra för att hålla oss intresserade av problemet.

Identifiering av fåglar i bilder är ett exempel på en "finkornad klassificering" uppgift, vilket innebär att algoritmen försöker diskriminera mellan objekt som endast är något annorlunda från varandra. Många fåglar som dyker upp på matare har ungefär samma form, till exempel, så att skillnaden mellan en art och en annan kan vara ganska utmanande, även för erfarna mänskliga observatörer.

Utmaningen stöter bara upp när du försöker identifiera individer. För de flesta arter är det helt enkelt inte möjligt. Träspettarna som jag var intresserad av har starkt mönstrad fjäderdräkt men är fortfarande i stor utsträckning likadana från individ till individ.

Så, en av våra största utmaningar var den mänskliga uppgiften att märka uppgifterna för att träna vår klassificerare. Jag fann att huvudfjädrarna av duniga spettar inte var ett tillförlitligt sätt att skilja mellan individer, eftersom dessa fjädrar rör sig mycket. De används av fåglarna för att uttrycka irritation eller larm. Mönster av fläckar på de vikta vingarna är emellertid mer konsekventa och verkade fungera bra för att berätta för varandra. De här vingefjädrarna var nästan alltid synliga i våra bilder, medan huvudmönstren kunde fördunkla beroende på vinkelns huvud.

Till slut hade vi 2.450 bilder på åtta olika spettar. När det gäller att identifiera enskilda speckar uppnådde våra experiment 97 procent noggrannhet. Detta resultat behöver dock ytterligare kontroll.

Hur kan det här hjälpa fåglar?

Ornitologer behöver noggranna uppgifter om hur fågelpopulationer förändras över tiden. Eftersom många arter är mycket specifika i sina livsmiljöbehov när det gäller avel, övervintring och migrering, kan finkorniga data vara användbara för att tänka på effekterna av ett förändrat landskap. Uppgifter om enskilda arter som spetsiga spettar kan då matchas med annan information, såsom markanvändningskartor, vädermönster, mänsklig befolkningstillväxt och så vidare för att bättre förstå den lokala artens överflöd över tiden.

Jag tror att en halvautomatiserad övervakningsstation ligger inom räckhåll till skälig kostnad. Min övervakningsstation kostar runt US $ 500. Nya studier tyder på att det ska vara möjligt att träna en klassificerare med en mycket bredare bildgrupp, sedan finjustera den snabbt och med rimliga beräkningskrav för att känna igen enskilda fåglar.

Projekt som Cornell Laboratory of Ornithology's eBird har satt en liten armé medborgarforskare på plats för att övervaka befolkningsdynamiken, men huvuddelen av dessa data tenderar att vara från platser där människor är många, snarare än från platser av särskilt intresse för forskare.

Ett automatiserat övervakningsstationens tillvägagångssätt skulle kunna ge en kraftmultiplikator för djurlivsbiologer som berörs av specifika arter eller specifika platser. Detta skulle bredda sin förmåga att samla data med minimal mänsklig intervention.

Denna artikel publicerades ursprungligen på The Conversation av Lewis Barnett. Läs den ursprungliga artikeln här.