Kuva: Sofoklis Kakouros
Kielipankki koostuu kattavasta joukosta aineistoja sekä niiden tutkimiseen soveltuvista ohjelmistoista tehokkaassa laiteympäristössä. Sofoklis Kakouros kertoo meille tutkimuksestaan, joka keskittyy prosodian ja siihen liittyvien ilmiöiden ymmärtämiseen.
Olen Sofoklis Kakouros, tutkijatohtori Helsingin yliopiston digitaalisten ihmistieteiden laitokselta, fonetiikan ja puhesynteesin tutkimusryhmästä. Ennen tähän ryhmään liittymistä olen toiminut tutkimustehtävissä eri yliopistoissa ympäri Suomea sekä Alankomaissa, ja olen myös työskennellyt yksityisellä puolella puhetieteilijänä. Taustani liittyy signaalinkäsittelyyn, kognitiotieteeseen ja fonetiikkaan.
Tutkimukseni kohdistuu puheeseen ja kieleen, erityisesti prosodian ja siihen liittyvien ilmiöiden ymmärtämiseen. Prosodia ei niinkään käsittele sitä, mitä sanotaan, vaan pikemminkin sitä, miten jotakin sanotaan; se lisää sanojen yli ulottuvia merkityksiä. Prosodisia tekijöitä ovat muun muassa intonaatio ja ajoitus. Vuosien varrella olen tutkinut prosodian eri puolia keskittyen kyseisen alan informaatioteoreettisiin prosesseihin. Kaiken kaikkiaan työni lisää ymmärrystämme siitä, miten akustiset ja kielelliset vaihtelut ovat tilastollisesti järjestyneet prosodiaksi, jonka havaitsemme. Viime vuosina olen tehnyt tutkimusta Suomen Akatemian hankkeessa nimeltä ”Puheen prosodian laskennallinen mallinnus”, jonka tavoitteena on ymmärtää puheen akustiikan tilastollista järjestymistä ja sen yhteyksiä esimerkiksi prominenssin ja tunnesävyn kaltaisiin prosodisiin ulottuvuuksiin. Tätä tutkimusta voidaan soveltaa lukuisilla aloilla, kuten murteiden ja eduskuntapuheen prosodisessa analyysissa.
Jotta laskennallisia puhemalleja voitaisiin analysoida ja kouluttaa tehokkaasti, tarvitaan yhä enemmän dataa. Kielipankki tarjoaa monipuolisen alustan, jonka kautta on pääsy tutkimukseni kannalta välttämättömiin resursseihin, kuten puheen ja kielen tutkimusaineistoihin. Ryhmämme hiljattain toteuttamassa hankkeessa analysoin suomalaisten eduskuntapuheiden äänitteitä Kielipankin suomenkielisen ASR-korpuksen avulla.
Vainio, M., Suni, A., Šimko, J., and Kakouros, S. (2024). The Power of Prosody and Prosody of Power: An Acoustic Analysis of Finnish Parliamentary Speech. In Proceedings of the Conference of the Speech Prosody Special Interest Group (SProSIG) of the International Speech Communication Association – Speech Prosody (SpeechPro-2024), Leiden, The Netherlands, pp. 662–666. 10.21437/SpeechProsody.2024-134
Kakouros, S., Šimko, J., Vainio, M., and Suni, A. (2023). Investigating the Utility of Surprisal from Large Language Models for Speech Synthesis Prosody. In Proceedings of the 12th ISCA Speech Synthesis Workshop (SSW-2023), Grenoble, France, pp. 127–133. 10.21437/SSW.2023-20
Kakouros, S. and O’Mahony, J. (2023). What does BERT learn about prosody? In R. Skarnitzl, & J. Volín (Eds.), Proceedings of the 20th International Congress of Phonetic Sciences (ICPhS-2023) (pp. 1454-1458). GUARANT International spol. s r.o.., Prague, Czechia. https://www.internationalphoneticassociation.org/icphs-proceedings/ICPhS2023/full_papers/622.pdf
Kakouros, S., Stafylakis, T., Mošner, L., and Burget, L. (2023). Speech-based emotion recognition with self-supervised models using attentive channel-wise correlations and label smoothing. In Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP-2023), Rhodes, Greece, pp. 1–5. 10.1109/ICASSP49357.2023.10094673
FIN-CLARIN eli suomalaisten yliopistojen, CSC – Tieteen tietotekniikan keskuksen ja Kotimaisten kielten keskuksen muodostama konsortio auttaa ihmistieteiden tutkijoita käyttämään, jalostamaan, säilyttämään ja jakamaan tutkimusaineistoja. Aineistoja ja työkaluja tarjoaa Kielipankki.
Kaikki tähän saakka esitellyt Kielipankin käyttäjät löytyvät Kuukauden tutkija -arkistosta. Tämä artikkeli julkaistaan myös Helsingin yliopiston humanistisen tiedekunnan verkkosivuilla.
