Dari 5% sampai 91%: hasil 4 model AI mengartikan 43 kata Jawa

Soal yang jawabannya tidak dapat berakhir seri

Melanjutkan dari pengujian benchmark bahasa Jawa sebelumnya, yang berakhir dengan alat ukur kami sendiri yang gugur, tapi menyisakan satu hal yang tetap berguna sebagai pijakan.

Rancangan lamanya menilai terjemahan kalimat terhadap satu glos kamus, dan itu gugur karena alasan yang sudah lama diketahui bidang penerjemahan mesin: satu kalimat dapat diterjemahkan dengan banyak cara yang sama benarnya, sehingga menilainya terhadap satu rujukan mengukur kesepakatan pilihan kata. Pada adu buta 20 pasang, 11 di antaranya berakhir seri.

Satu kalimat bisa diterjemahkan dengan banyak cara yang sama benarnya. Menilainya lewat satu rujukan bukan mengukur kemampuan, melainkan mengukur kesepakatan pilihan kata.

Pertanyaan "apa arti kata ini" tidak memikul keberatan itu. Jawabannya biner, tidak ada seri, dan tidak ada diksi yang dapat diperdebatkan. Yang tersisa satu hal yang dapat diperiksa mesin, yaitu apakah padanan Indonesianya disebut.

Yang membuat pertanyaan ini layak diajukan adalah kata-kata yang kami pilih untuk mengujinya: 43 kata yang sengaja langka.

Kami mengerjakan ini berulang-ulang

Bagian ini menjelaskan bagaimana benchmark ini kami jalankan, karena angka di bawah tidak dapat dibaca tanpanya.

Menanyai model itu bagian yang paling mudah dan paling murah. Seluruh 172 panggilan pada pengukuran ini selesai dalam hitungan menit dan menghabiskan $0,1339. Yang menghabiskan waktu justru yang datang sesudahnya.

Tiap kali satu model selesai menjawab, jawabannya disusun jadi lembar tinjau: satu blok per kata, memuat definisi kamus, kunci yang berlaku, dan jawaban model apa adanya. Penutur Jawa membacanya satu per satu, dan menjawab satu pertanyaan yang sengaja dibuat sesempit mungkin: apakah jawaban ini benar?

Yang membuatnya melelahkan bukan jumlahnya, melainkan seberapa sering jawabannya "benar, tetapi tidak dengan kata yang kami daftarkan". Model menjawab guntur sementara kunci kami berbunyi gemuruh. Menjawab perselingkuhan sementara kunci kami selingkuhan. Menjawab aduh untuk kata seru yang kunci kami sebut sebagai interjeksi, yaitu kelas katanya, bukan artinya.

Tiap kasus seperti itu bukan skor yang hilang, melainkan alat ukur yang tertangkap basah. Padanan yang kurang ditambahkan, lalu seluruh model dihitung ulang dengan kunci yang sama, termasuk yang sudah diukur sebelumnya. Itu terjadi dua kali di pengukuran ini.

Urutannya, dan tiap panah adalah satu putaran pembacaan manusia:

2 model (Mistral, Gemini)    →  kunci tunggal terbukti terlalu sempit

      ↓  kunci diperbaiki jadi jamak

1 model (GPT-5.6 Luna)       →  padanan baru bermunculan lagi

      ↓  kunci ditambah penutur

1 model (DeepSeek V4 Flash)  →  diuji dengan kunci yang sudah jadi

Dan satu penambahan justru ditolak setelah diukur, yang akan diceritakan di bawah. Menambah kunci tidak selalu membuat alat ukurnya lebih baik.

Kata yang tidak punya tempat untuk dipelajari

Dari 386 lema Jawa di kamus kami, tiap kata dicari di tiga sumber Jawa terbuka yang paling mungkin masuk data latih model: leksikon dan korpus NusaX, korpus NusaWrites, dan seluruh judul entri Wiktionary Jawa.

48 lema tidak muncul di satu pun dari ketiganya. Lima dikeluarkan karena contoh kalimatnya ternyata berbahasa Indonesia, menyisakan 43.

Ketidakhadiran itu bukan bukti kata tersebut tidak ada di data latih, sebab web jauh lebih luas daripada tiga sumber ini. Yang dapat kami nyatakan lebih sempit dan lebih dapat diperiksa: kata-kata ini tidak ada di sumber Jawa terkurasi yang tersedia untuk siapa pun.

Empat model, satu pertanyaan

Tiap model ditanya hal yang sama, pada temperature 0, satu ulangan:

Apa arti kata Jawa berikut dalam bahasa Indonesia?

Jawab singkat, maksimal satu kalimat.



Kata: bladak

Seluruh pengukuran ini menghabiskan $0,1339, dan 95 persennya terpakai untuk satu model saja.

Yang menarik bukan urutannya, melainkan jaraknya. Gemini 268 kali lebih mahal per panggilan daripada Mistral, dan GPT-5.6 Luna mencetak 81 persen dengan ongkos 32 kali lebih murah daripada Gemini. Model termahal tidak selalu satu-satunya yang sanggup.

Benchmark pengujian kami revisi 2 kali, dan itu bagian temuannya

Bagian ini melaporkan bagaimana angka di atas berubah sebelum sempat terbit.

Tambalan pertama: satu kunci jawaban tidak cukup. Penilaian awal memeriksa apakah satu padanan tunggal muncul di jawaban. Dengan cara itu Gemini mencetak 60 persen. Setelah kunci diperluas menjadi himpunan padanan yang sama-sama sah, jawaban yang sama persis mencetak 91 persen.

Selisih 31 poin itu tidak menyentuh satu panggilan pun. Ia sepenuhnya cacat alat ukur, dan arahnya selalu sama: kunci sempit menghukum model yang menjawab benar dengan kata lain, tidak pernah model yang menjawab salah.

Tambalan kedua: kunci ditinjau ulang oleh penutur. Setelah GPT-5.6 Luna diukur, seluruh jawabannya dibaca satu per satu dan padanan yang belum terdaftar ditambahkan. Skor Luna naik dari 67 persen menjadi 81 persen, sekali lagi tanpa satu panggilan pun diulang. Dua model lain tidak bergerak sama sekali pada tambalan yang sama, sebab padanan yang ditambahkan memang padanan yang hanya Luna pakai.

Satu penambahan ditolak setelah diukur. Kata jawa sempat diusulkan sebagai padanan untuk satu lema, dan ternyata ia muncul di 37 persen jawaban seluruh lema, sebab pertanyaannya sendiri berbunyi "apa arti kata Jawa berikut". Kunci seperti itu meloloskan model yang tidak memahami apa pun.

Setiap kali kunci diperbanyak, peluang mengenainya secara kebetulan ikut naik. Kami mengukurnya dengan menyilangkan kunci tiap lema terhadap jawaban seluruh lema lain: 23 dari 1.806 pasang, atau 1,3 persen, naik dari 0,8 persen sebelum kunci ditambah. Masih jauh di bawah selisih antarmodel, dan angka itu akan berhenti bermakna bila melewati sekitar 5 persen.

Satu model tidak pernah dibaca, dan itu terlihat di angkanya

Perlakuan yang diterima keempat model tidak sama, dan itu perlu dinyatakan sebelum angkanya dikutip.

Jawaban Mistral Small 3 dan Gemini 3.5 Flash dibaca satu per satu pada putaran pertama, dan GPT-5.6 Luna pada putaran kedua. Tiap pembacaan menambahkan padanan yang belum terdaftar. DeepSeek V4 Flash 0731 satu-satunya yang tidak pernah dibaca, sebab ia diuji paling akhir memakai kunci yang sudah jadi.

Untuk memperkirakan seberapa besar akibatnya, kami menghitung jawaban yang dinilai salah tetapi memuat kata dari definisi lemanya sendiri, yaitu tanda kuat bahwa yang meleset kuncinya, bukan modelnya:

Ruang terlebar ada pada DeepSeek, yaitu 14 poin, dan ruang itu ada persis karena jawabannya belum pernah dibaca. Angka 53 persen untuk model itu lantai, bukan vonis.

Tiga model lain sudah melewati pembacaan, sehingga sisa ruang mereka lebih mungkin berasal dari padanan yang memang tidak terpikir daripada dari ketidakadilan perlakuan.

Satu kata yang membuat keempat model mengarang

Satu kata layak diceritakan sendiri.

Bladak berarti gorengan khas daerah Semarang, terbuat dari adonan tepung dengan kol dan tauge. Sepanjang penelusuran kami ia tidak ada di kamus bahasa Jawa mana pun yang tersedia daring.

Mistral Small 3      "banyak"

DeepSeek V4 Flash    "tiba-tiba"

GPT-5.6 Luna         "terbuka atau terlihat dengan jelas"

Gemini 3.5 Flash     "lantai atau papan landasan"

Empat model, empat jawaban berbeda, seluruhnya salah. Dan tidak satu pun menyatakan tidak tahu.

Itu perilaku yang berbeda sifatnya dari sekadar skor rendah. Model yang menjawab "saya tidak mengenal kata ini" memberi tahu pemakainya bahwa ia sedang berada di luar jangkauannya.

Model yang mengarang dengan yakin tidak memberi tanda apa pun, dan pemakainya baru tahu ketika sudah terlambat.

Yang tidak ditanggung angka ini

Bukan berarti model AI tidak menguasai bahasa Jawa. 43 kata ini dipilih justru karena kelangkaannya. Pada kosakata Jawa sehari-hari, pengukuran kami sebelumnya menemukan jawaban model tidak dapat dibedakan dari glos kamus kami sendiri.

Bukan berarti urutan keempat model ini berlaku di tugas lain. Yang diukur pengenalan kosakata langka satu bahasa daerah. Model yang unggul di sini belum tentu unggul pada penalaran, penulisan, atau bahasa lain.

Bukan berarti selisih antara dua model yang berdekatan sudah terbukti. Dengan 43 lema, satu lema bernilai 2,3 poin, dan tanpa ulangan kami tidak dapat memisahkan selisih beberapa lema dari derau.

Bukan berarti model yang lebih mahal selalu lebih baik. GPT-5.6 Luna mencetak 81 persen dengan ongkos 32 kali lebih murah daripada Gemini.

Yang membuat pengukuran ini murah

Rancangan yang kami revisi di artikel sebelumnya menuntut pengadil manusia untuk tiap soal, sebab tidak ada rujukan tunggal yang sah. Rancangan ini tidak. Sekali padanannya ditulis, penilaiannya berjalan sendiri, dan penutur hanya dibutuhkan ketika sebuah model memakai padanan yang belum pernah muncul.

Ongkos seluruh pengukuran empat model $0,1339. Yang mahal bukan panggilannya, melainkan pembacaan manusia yang menyusul, dan itulah yang paling patut dihemat.

Tiga hal yang berlaku di luar bahasa Jawa. Ukur lantai kebetulan penilai setiap kali kuncinya diperluas, sebab kunci yang lebih longgar menaikkan skor sekaligus menaikkan peluang kena secara kebetulan, dan keduanya terlihat sama di tabel hasil. Catat model mana saja yang keluarannya sudah dibaca manusia, sebab model yang ditinjau selalu unggul terhadap model yang belum, dan keunggulan itu milik alat ukurnya. Dan hitung berapa kali model mengaku tidak tahu, sebab angka itu memberi tahu hal yang tidak diberi tahu oleh skor.