Lost In Transcription Competition - Development Data (Javanese-Indonesian)

Overview

The development dataset for the "Lost In Transcription: Advancing Speech Recognition for Underserved Linguistic Contexts" competition from Mozilla Data Collective. More information about the competition can be found at the competition website.

Languages

Javanese has tens of millions of native speakers — one of the largest languages in the world by that measure — yet remains under-resourced in digital and speech corpora relative to its size. Javanese and Indonesian are unusually close to begin with: Indonesian absorbed much of its Sanskrit-derived and courtly vocabulary via Old Javanese, and Javanese loanwords are embedded throughout everyday Indonesian, so the lexical boundary between the two is porous rather than clean. As a result, a given word can’t always be cleanly assigned to one language or the other, which complicates the basic assumption behind word-level language tagging.

Data collection and details

The speech data was recorded by 2 pairs of Indonesian-Javanese bilinguals via WhatsApp voice notes. These were first automatically transcribed using omniASR_LLM_3B, and manually post-edited by the participants. They were also annotated for turn-level language and for PII. PII-containing turns were omitted.

The dataset consists of 2.5 hours of transcribed speech 372 conversational turns. 95% of the turns contain both Indonesian and Javanese, with the remaining 5% containing only Indonesian.

Format and structure

Directories

./metadata.tsv
./clips/:
  ./clips/06dc5edd03f8c0b6386d1c4d01b2e55d.mp3

Metadata

• audio_filename: The name of the file

• speaker: A speaker ID

• transcript: The transcript

• language: javind or ind

• convo_id: The conversation ID

Example

audio_filename	speaker	transcript	language	convo_id
4b06a9aa2fed4d32202b2107e7e698e2.mp3	1	Eh kalau di waktu-waktu SMP Mba I punya pengalaman apa yang menarik dan iso diceritané karo awak dhewe nggo bahan reflektif, apa dinggo bahan-bahan cerita wae. Apa mungkin iso membuat insight baru kanggo aku?	javind	5
44936fd5f5af5d4dcf1dd4f7aff84509.mp3	6	Nah, jadilah pas jeda, ada jeda sehari itu aku sekeluarga memutuskan untuk jalan-jalan sebentar gitu ke daerah Dieng namanya. Dieng ki daerah dataran tinggi gitu ya, di Kota Wonosobo itu. Nah, itu pergi ke sana sebenarnya agak mendadak dan tanpa persiapan sama sekali.	javind	5
16d7a532aef6a22c60429c13def72923.mp3	6	ya, jadi awalnya, awalnya itu aku udah lama pengen banget pergi ke luar kota gitu ya, sendiri, terus ya main-main di sana, sendiri gitu, cuma masih ragu-ragu dan nggak tahu tujuan. Terus ya rodok wedi juga sih nek misale neng kota tujuane, ora ono sopo-sopo, bener-bener dhewekan.	javind	5
26762cb7047517e044dcf6f9e17e1cc7.mp3	6	Sebelumnya aku cerita kalau pas SD aku agak belajar semuanya gitu, ya. Belum punya pelajaran favorit. Nah, pas SMP ini aku udah mulai bisa ... apa ya ... punya pelajaran favorit sama pelajaran yang aku kurang suka. Aku terutama suka pelajaran bahasa, bahasa Indonesia, bahasa Inggris. Terus matematika juga soalnya matematika SMP masih gampang sih, dulu menurutku.	javind	5
5dda7b9ec6558c748d3c22e168f83a82.mp3	1	Jadi tiap-tiap kelas itu ngirim wakil buat e... ikutan lomba itu.. lomba mapel. Nah, karena guruku juga notice aku diajak lah untuk gabung ke lomba mampel kui dan aku mewakili lomba mapel IPS. Dan alhamdulillah é kemarin kui aku dapet juara... juara tiga atau dua kalau gak salah ,aku lupa é.	javind	5
2b3a8a4f7b42c773cdb59cc0877fe7f0.mp3	6	Kami dulu ini tuh temen kuliah, terus juga deket banget sih selama kuliah dulu. Terus ya pokoknya sering tugas kelompok bareng opo ngerjain tugas bareng gitu, dan dari dulu pas kuliah juga udah beberapa kali pengen coba main ke rumahnya. Tapi, ya, ternyata gak sempet-sempet selama kuliah dulu.	javind	5