Kuva: Jessie Dupont
Kielipankki koostuu kattavasta joukosta aineistoja sekä niiden tutkimiseen soveltuvista ohjelmistoista tehokkaassa laiteympäristössä. Heikki Rasilo kertoo puheentuottoon liittyvästä tutkimustyöstään, jossa hän on hyödyntänyt Kielipankissa olevaa Aalto-yliopiston DSP-kurssin keskustelukorpusta.
Olen Heikki Rasilo, postdoc-tutkija Vrije Universiteit Brussel -yliopiston Artificial Intelligence -laboratoriossa Brysselissä, Belgiassa. Valmistuin tekniikan tohtoriksi Aalto-yliopiston ja VUB:n yhteistutkinnolla vuonna 2017. Työskenneltyäni pari vuotta yksityisellä sektorilla sain Ulla Tuomisen säätiöltä Säätiöiden post doc -poolin kautta apurahan tutkimukseni jatkamiseen.
Jatko-opintojeni alusta asti pääasiallinen tutkimusaiheeni on ollut puheen fyysinen tuottaminen ja sen oppiminen. Kuinka ihmislapset oppivat artikuloimaan ja matkimaan esimerkiksi vanhempiensa puhetta omilla hyvin erikokoisilla ja -muotoisilla ääntöväylillään? Aikuisen ja lapsen puheen akustiset ominaisuudet ovat myös hyvin erilaisia, ja heidän tuottamiensa äänteiden suora vertaileminen on hankalaa. Lapset kuitenkin oppivat artikuloimaan äidinkieltään, ja minua kiinnostaa, vaikuttaako artikulaation oppimisprosessi myös puheen kuulemiseen ja ymmärtämiseen. Kenties me ihmiset ymmärrämme puhetta paremmin kuin koneet, koska tunnemme myös sen fyysisen tuottomekanismin, jolla akustinen puhe syntyy.
Tutkin, voisiko puheen artikuloinnin oppimisessa syntyviä akustisia esitysmuotoja käyttää myös hyväksi automaattisessa puheentunnistuksessa. Parhaimpien puheentunnistimien koulutus vaatii nykyään niin paljon äänitettyä puhedataa, ettei ihmislapsi koskaan kuule tällaisia puhemääriä. Puheen ymmärtäminen on siis mahdollista oppia pienemmillä datamäärillä, joten fyysisellä artikulaatiolla voi olla oma osuutensa oppimisessa.
Viime vuonna julkaistussa tutkimuksessa koulutin neuroverkon tunnistamaan puheesta samanaikaisesti sekä puheen äänteitä että fyysistä artikulaatiota. Hypoteesina oli, että artikulaation opettelu muokkaisi verkon oppimaa puheen esitystapaa, ja tämä uusi esitystapa voisi vahvistaa myös äänteiden tunnistusta. Tarvitsin kokeeseen sekä äänitettyä puhetta että siihen liittyvän artikulatorisen esitystavan. Kielipankista löytämäni aineisto (Aalto-yliopiston DSP-kurssin keskustelukorpus) sisälsi riittävästi suomenkielistä puhemateriaalia ja sen lisäksi puheen transkription, jonka avulla pystyin tuottamaan koko aineistolle karkeaa syntetisoitua artikulatorista dataa käyttämällä suomenkielistä puhesyntetisaattoria. Kokeen tulokset olivat lupaavia: artikulaation oppiminen muokkasi puheen esitysmuotoa haluttuun suuntaan.
Aiemmassa tutkimuksessani olen käyttänyt myös CAREGIVER-korpusta (saatavilla ELRAn kautta), joka koostuu yksinkertaisista lauseista ja niiden ortografisista transkriptioista. Akatemiatutkija Okko Räsäsen kanssa olemme korpuksen avulla tutkineet algoritmeja, jotka mahdollistavat sana-merkitysparien, sanojen segmentoinnin sekä sanojen akustisten hahmojen oppimista.
Rasilo, H. (2020). Phonemic learning based on articulatory-acoustic speech representations. Teoksessa S. Denison., M. Mack, Y. Xu, & B.C. Armstrong (Eds.), Proceedings of the 42nd Annual Conference of the Cognitive Science Society (pp. 2203–2209). Cognitive Science Society. Saatavilla: https://cogsci.mindmodeling.org/2020/papers/0512/index.html
Rasilo, H. & Räsänen, O. (2017), An online model for vowel imitation learning. Speech Communication, 86, 1-23. Saatavilla: https://doi.org/10.1016/j.specom.2016.10.010
Räsänen, O. & Rasilo, H. (2015), A joint model of word segmentation and meaning acquisition through cross-situational learning. Psychological Review, 122(4), 792–829. Saatavilla: https://psycnet.apa.org/doi/10.1037/a0039702
Rasilo, H. & Räsänen, O. (2015), Weakly-supervised word learning is improved by an active online algorithm. Proceedings of the 16th Annual Conference of the International Speech Communication Association (Interspeech 2015), Dresden, Germany, pp. 1561-1565. Saatavilla: https://www.isca-speech.org/archive/interspeech_2015/i15_1561.html
FIN-CLARIN eli suomalaisten yliopistojen, CSC – Tieteen tietotekniikan keskuksen ja Kotimaisten kielten keskuksen muodostama konsortio auttaa humanististen tieteiden tutkijoita käyttämään, jalostamaan, säilyttämään ja jakamaan tutkimusaineistoja. Aineistoja ja työkaluja tarjoaa Kielipankki.
Kaikki tähän saakka esitellyt Kielipankin käyttäjät löytyvät Kuukauden tutkija -arkistosta. Tämä artikkeli julkaistaan myös Helsingin yliopiston humanistisen tiedekunnan verkkosivuilla.
