Kuva: Veikko Somerpuro
Kielipankki koostuu kattavasta joukosta aineistoja sekä niiden tutkimiseen soveltuvista ohjelmistoista tehokkaassa laiteympäristössä. Juraj Šimko kertoo meille puheen artikulaatioon ja prosodiaan liittyvästä tutkimuksestaan. Helsingin yliopiston fonetiikan ja puhesynteesin tutkimusryhmä aikoo myös hyödyntää työssään suuria kielimalleja etsiäkseen vastauksia eräisiin puheeseen liittyviin teoreettisiin kysymyksiin.
Olen fonetiikan yliopistonlehtori Helsingin yliopistossa, jossa olen työskennellyt vuodesta 2013 lähtien. Sitä ennen opiskelin ja työskentelin useissa yliopistoissa Slovakiassa, Irlannissa ja Saksassa sekä toimin useita vuosia kieliasiantuntijana Microsoftilla. Tällä hetkellä minulla on myös kunniaprofessuuri Intian teknillisessä instituutissa Guwahatissa. Taustani on matematiikassa, kognitiotieteessä ja fonetiikassa.
Kuulun fonetiikan ja puhesynteesin tutkimusryhmään digitaalisten ihmistieteiden laitoksella, mutta olen tällä hetkellä mukana myös ERC Advanced Grant -rahoitetussa hankkeessa Planning the Articulation of Spoken Utterances (johtajana professori Alice Turk) Edinburghin yliopistossa, jossa tutkimme ja mallinnamme puheen tuottamisen ja artikulaation taustalla olevia kognitiivisia prosesseja.
Minua kiehtoo ihmisen puheen tutkimus. Puheen artikulaation lisäksi sekä oma että ryhmämme tärkein tutkimusaihe on puheen prosodia, eli pohjimmiltaan kaikki ne puheen melodiset, rytmiset ja emotionaaliset piirteet, jotka ulottuvat pidemmälle kuin pelkkä puheessa välittämämme kielellinen viesti. Nykyisessä hankkeessamme Predictive Processing Approach to Modelling Prosodic Hierarchy for Speech Synthesis työskentelemme uudenlaisen puhesynteesiarkkitehtuurin parissa, jonka innoituksena on toiminut vaikutusvaltainen teoreettinen paradigma ennakoiva prosessointi (Predictive Processing), jolla voidaan mallintaa ihmisen kognitiota. Tärkein tavoitteemme on tuottaa kansainvälisen tason puhesynteesi, ja tiimimme on jo ollutkin mukana luomassa huippuluokan suomen- ja suomenruotsin synteesijärjestelmiä. Tahdomme myös käyttää valtavia kielimalleja, jotka toimivat erilaisten teknologisten sovellusten käyttövoimana, tilastollisina representaatioina siitä puhemateriaalista, jota on käytetty niiden kouluttamiseen. Kielimallien avulla voimme vastata eräisiin puheeseen liittyviin teoreettisiin kysymyksiin, joita ovat muun muassa aksenttien ja murteiden levinneisyys ja kehitys, sosiolingvistiikan ja prosodian välinen suhde sekä poliitikkojen tuottamien eduskuntapuheiden prosodiset piirteet.
Tehdäksemme kaiken edellä mainitun, tarvitsemme melkoisen määrän dataa. Osan datasta luomme itse Kielipankin asiantuntijoiden avustuksella: olemme suunnitelleet ja äänittäneet korkealaatuista puheaineistoa sisältävän FinSyn-korpuksen puhesynteesiä ja muita puheteknologisia sovelluksia varten. Korpus sisältää noin 75 tuntia studiolaatuisia äänityksiä kolmelta ääninäyttelijältä, joista kaksi puhuu suomea ja yksi suomenruotsia. Tämä korpus julkaistaan myöhemmin Kielipankin kautta. Käytämme murteita ja sosiolingvistiikkaa koskevassa tutkimuksessamme myös muita Kielipankista löytyviä aineistoja, varsinkin ainutlaatuista Lahjoita puhetta -aineistoa sekä Aallon suomenkielistä puheentunnistuskorpusta eduskunnan istunnoista.
Törö, T., Suni, A. and Šimko, J. (2024). Analysis of regional variants in a vast corpus of Finnish spontaneous speech using a large-scale self-supervised model, Proceedings of Speech Prosody 2024, Leiden, Netherlands.
Vainio, M., Suni, A., Šimko, J. and Kakouros, S. (2024). The Power of Prosody and Prosody of Power: An Acoustic Analysis of Finnish Parliamentary Speech, Proceedings of Speech Prosody 2024, Leiden, Netherlands.
Elie, B., and Šimko, J., and Turk, A. (2024). Optimization-based modeling of Lombard speech articulation: Supraglottal characteristics. JASA Express Letters, 4(1). https://doi.org/10.1121/10.0024364
Kakouros, S., Šimko, J., Vainio M., and Suni, A. (2023). Investigating the Utility of Surprisal from Large Language Models for Speech Synthesis Prosody, Proceedings of the 12th ISCA Speech Synthesis Workshop (SSW), Grenoble, France. https://doi.org/10.21437/SSW.2023-20
Šimko, J., Törö, T., Vainio M., and Suni, A. (2023). Prosody under control: Controlling prosody in text-to-speech synthesis by adjustments in latent reference space, Proceedings of the 18th International Congress of Phonetic Sciences, Prague, Czech Republic. http://hdl.handle.net/10138/565382
Šimko, J., Adigwe, A., Suni, A. and Vainio M. (2022). A Hierarchical Predictive Processing Approach to Modelling Prosody, Proc. 11th International Conference on Speech Prosody, Lisbon, Portugal. https://doi.org/10.21437/SpeechProsody.2022-86
FIN-CLARIN eli suomalaisten yliopistojen, CSC – Tieteen tietotekniikan keskuksen ja Kotimaisten kielten keskuksen muodostama konsortio auttaa humanististen tieteiden tutkijoita käyttämään, jalostamaan, säilyttämään ja jakamaan tutkimusaineistoja. Aineistoja ja työkaluja tarjoaa Kielipankki.
Kaikki tähän saakka esitellyt Kielipankin käyttäjät löytyvät Kuukauden tutkija -arkistosta. Tämä artikkeli julkaistaan myös Helsingin yliopiston humanistisen tiedekunnan verkkosivuilla.
