Kunci jawaban kami tidak lebih baik dari jawaban AI dalam uji coba benchmark bahasa Jawa

Bahasa yang belum ada angkanya

Kalau seseorang bertanya seberapa baik model AI memahami bahasa Jawa, kami tidak punya angka yang dapat ditunjuk. Set uji untuk bahasa daerah Indonesia memang ada, tetapi yang kami temukan menyasar tugas lain, terutama klasifikasi dan analisis sentimen, bukan pemahaman kalimat sehari-hari.

Kami punya bahan yang tampaknya cocok. Kamus kami memuat 391 makna berbahasa Jawa yang sudah diperiksa manusia, dan setiap satunya membawa contoh kalimat dengan pola yang seragam:

Kowe selak telat, ndang mreneo saiki! (Kamu hampir terlambat, cepat ke sini sekarang!)

Ojo ngono karo kancane, kudu sing rukun. (Jangan begitu sama temannya, harus rukun.)

Kalimat Jawa di depan, glos bahasa Indonesia dalam kurung. Sudah berpasangan, sudah diperiksa, dan sudah terbit di kamus bahasa Jawa kami. Mengubahnya jadi soal terjemahan terlihat seperti jalan pintas yang sah: kalimat Jawa jadi pertanyaan, glos jadi kunci jawaban.

Artikel ini melaporkan apa yang terjadi ketika jalan pintas itu diuji, dan kenapa ia tidak dapat dilanjutkan dalam bentuk itu.

Soal ujian benchmarknya

Dari halaman kamus itu terkumpul 399 soal. Bentuknya satu perintah dan satu kalimat Jawa, dan kunci jawabannya adalah glos yang memang sudah menyertai kalimat itu:

Terjemahkan kalimat bahasa Jawa berikut ke bahasa Indonesia.

Jawab HANYA dengan kalimat terjemahannya, tanpa penjelasan.



Kalimat: 'Aku mrene nggawa oleh-oleh kanggo kowe.'



Kunci  : Aku ke sini membawa oleh-oleh untukmu.

20 soal kita ambil untuk pengukuran pertama, dipilih berlapis agar kalimat yang mudah dan yang sulit sama-sama terwakili.

Masalah metodologinya: kunci jawaban tunggal

Mesin penilai yang sudah kami pakai untuk set lain membandingkan jawaban dengan kunci secara persis. Untuk tugas normalisasi teks cara itu bekerja, karena jawaban benarnya memang tunggal.

Pada terjemahan, cara itu gugur seketika. Dari 20 soal yang dijalankan pada model pertama, 0 jawaban cocok persis dengan glos kami. Bukan satu pun.

Sebelum menyalahkan modelnya, kami menguji penilainya sendiri. Setiap glos diubah dengan cara yang pasti masih benar: urutan klausa dibalik di sekitar koma, tanda baca dihapus, sinonim ditukar, kata perancah seperti itu dan yang dibuang. Terkumpul 945 ragam yang seluruhnya masih terjemahan yang sah.

Cocok persis menolak 6 dari 10 terjemahan yang benar. Setiap tukar sinonim, setiap pembalikan urutan klausa, setiap perancah yang dibuang menghasilkan nol.

Ini bukan penemuan baru. Bidang penerjemahan mesin sudah lama mencatat bahwa menilai terjemahan terhadap satu rujukan tidak memadai. Kritik yang paling sering dikutip terbit pada 2006, ketika Callison-Burch, Osborne, dan Koehn menunjukkan bahwa skor BLEU tidak selalu sejalan dengan penilaian manusia.

Konferensi WMT, tolok ukur tahunan bidang itu, sekarang menentukan peringkat resminya lewat anotator manusia profesional. Laporan tugas terjemahan umum WMT24 menjalankannya memakai protokol anotasi rentang kesalahan, bukan metrik otomatis.

Kami tetap menabraknya, dan bagian berikutnya menjelaskan bagaimana.

Menguji langsung pada dua model AI

Dua model diuji pada 20 soal identik dengan temperature 0. Mistral Small 3 dari Mistral AI mewakili kelas murah dengan latensi rendah. Gemini 3.5 Flash dari Google mewakili kelas penalar yang jauh lebih mahal.

Selisih ongkosnya 360 kali, selisih latensinya 4,6 kali. Model murah bukan hanya mencetak lebih rendah: ia mengembalikan kalimat Jawa apa adanya pada 4 soal, dan sekali menjawab bahwa ia tidak memahami maksud kalimatnya.

Sampai titik ini angkanya terbaca rapi, dan kesimpulannya tampak jelas. Bagian berikutnya membatalkannya.

Angka pertama Gemini keliru, dan kekeliruannya milik kami

Pengujian benchmark pertama pada Gemini memakai batas 200 token per jawaban, dan menghasilkan median 0,571. Angka itu menempatkannya hanya sedikit di atas model murah, dan kesimpulannya sudah hampir ditulis: perbedaan kelas model tidak sebesar yang diduga pada bahasa Jawa.

Yang menyelamatkannya adalah satu kolom yang kebetulan dibaca. Jumlah token keluaran tercatat 196 pada seluruh 20 panggilan, angka yang sama persis, sementara teks yang terlihat hanya sekitar 20 huruf:

Jika berkenan, penyampa

Mungkin bes

Aduh, sakitnya bad

Gemini 3.5 Flash adalah model penalar (thinking model). Ia menghabiskan hampir 190 token untuk menalar sebelum menulis jawaban, lalu terpotong di batas sebelum kalimatnya selesai. Jawaban terpotong dinilai salah oleh penilai mana pun, dan tidak ada satu pesan galat pun muncul.

Dengan batas dinaikkan ke 1.024, median yang sama naik dari 0,571 menjadi 0,857. Kesimpulan yang hampir terbit bukan sekadar meleset, melainkan terbalik arah.

Jebakan ini sudah tertulis di catatan internal benchmark kami sejak lama, dan kami tetap menabraknya. Perkakas pilotnya sekarang menolak melaporkan angka apa pun kalau ada jawaban yang mentok di batas token.

Adu buta, dan angka yang membatalkan seluruh rancangan

Satu keberatan masih tersisa, dan ia yang paling menentukan. Seluruh angka di tabel atas mengukur kemiripan jawaban model dengan glos kami, dan itu hanya bermakna kalau glos kami memang lebih baik.

Untuk mengujinya, 20 pasang disusun buta. Setiap pasang memuat glos kamus dan jawaban Gemini tanpa label mana yang mana, dengan posisi diacak per soal supaya tidak ada pola yang terbaca. Pengadilnya penyusun kamus itu sendiri, dan pertanyaannya satu: mana terjemahan yang lebih baik.

11 dari 20

Selisih 5 lawan 4 pada sisanya tidak menanggung kesimpulan apa pun. Dari 9 soal yang menghasilkan keputusan, sebaran itu persis yang paling mungkin muncul kalau kedua sisi memang setara. Yang ditanggung angkanya hanya satu: pada tingkat kalimat penuh, jawaban model dan glos kami tidak dapat dibedakan.

Catatan pengadilnya mengatakannya lebih langsung daripada tabel mana pun:

sama saja bagusnya

makna sama baiknya

sama hasilnya

Empat kesimpulan yang tidak ditanggung angka ini

Bukan berarti model AI sudah setara penutur Jawa. Yang diukur satu arah saja, yaitu dari bahasa Jawa ke bahasa Indonesia, dan arah itu jauh lebih ringan daripada sebaliknya. Terjemahan ke bahasa Jawa menuntut pemilihan tingkat tutur, dan itu belum diuji sama sekali di sini.

Bukan berarti glos kamus kami lemah. Keduanya dinilai setara, bukan salah satu dinilai buruk. Sebagian glos yang dinilai kalah pun kalah pada pilihan kata, bukan pada makna.

Bukan berarti model murah tidak berguna. Ia 360 kali lebih murah dan 4,6 kali lebih cepat, dan untuk pekerjaan yang bukan penerjemahan bahasa daerah angka itu menentukan.

Bukan berarti benchmark bahasa Jawa mustahil dibangun. Yang gugur satuan ukurnya, bukan bahannya.

Di mana kamus masih menang

Keempat soal yang dimenangkan glos punya satu pola yang sama, dan pola itu yang menyelamatkan sisa proyeknya.

Tidak satu pun dimenangkan karena tata kalimat. Seluruhnya dimenangkan karena satu kata:

Kata bladak berarti bakwan di wilayah Semarang dan sekitarnya, dan sepanjang penelusuran kami ia tidak ada di kamus bahasa Jawa mana pun yang tersedia daring. Model tidak mengenalnya karena memang tidak ada tempat untuk mempelajarinya. Seluruh lema Jawa yang kami kumpulkan terbuka di laman topik bahasa Jawa.

Di situlah nilai kamus kurasi manusia bertahan, dan bukan pada kalimat umum. Pertanyaan yang sekarang layak diukur bukan lagi seberapa baik model menerjemahkan bahasa Jawa, sebab jawabannya sudah ada, melainkan seberapa jauh ekor kosakata daerah yang tidak dimiliki model mana pun.

Pertanyaan itu juga jauh lebih murah diukur. Ia tidak menuntut glos sebagai rujukan, tidak menghasilkan seri, dan tidak menuntut pengadil manusia untuk tiap soal. Jawabannya biner: model mengenal kata itu, atau tidak.

Tiga hal yang berlaku di luar bahasa Jawa

Tiga hal dari pengukuran ini berlaku di luar bahasa Jawa.

Uji penilainya sebelum menguji modelnya. Ragam yang pasti masih benar dapat dibuat secara mekanis dari kunci jawaban yang sudah ada, tanpa memanggil model sama sekali. Penilai yang menolak 6 dari 10 terjemahan benar akan ketahuan sebelum satu sen pun terpakai.

Naikkan batas token sebelum menguji model penalar, lalu periksa jumlah token keluarannya. Jumlah yang identik di seluruh panggilan adalah tanda jawaban terpotong, dan jawaban terpotong menyalahkan model untuk kesalahan penguji.

Uji kunci jawabannya sendiri secara buta. Kalau pengadil manusia menyatakan seri pada sebagian besar pasangan, kunci jawaban itu tidak memisahkan mutu, dan tidak ada penilai yang dapat memperbaikinya. Pemeriksaan ini menuntut 20 pasang dan satu jam, dan ia mendahului seluruh pekerjaan lain.