Tiga artikel sebelumnya berakhir dengan pengakuan yang sama: tiap kali kami membaca jawaban satu model dan memperbaiki kunci, model itulah yang paling diuntungkan. Kali ini protokolnya dirancang supaya hal itu mustahil, dan pada 135 kata Jawa dengan 6 model AI, protokolnya bekerja. Yang tidak kami duga: setelah alat ukurnya berhenti bergerak, model AI-nya sendiri yang goyah. Pada temperature 0 yang seharusnya menghasilkan jawaban identik, 36 persen jawaban berubah antara dua panggilan berturut-turut.
135Kata Jawa6Model AI36%Jawaban berubah
Peringkat model di benchmark Jawa kami selama ini ditentukan kunci jawaban tulisan manusia. Untuk memeriksa apakah peringkat itu nyata, kami pasang alat ukur kedua yang tidak pernah melihat kunci: IndoBERT, model kecil 40 MB yang berjalan di komputer sendiri. Urutan keempat modelnya keluar sama persis. Tetapi 63 persen kemiripan yang diukurnya ternyata bukan makna, melainkan pola kalimat yang sama, dan itu harus diukur lebih dulu sebelum satu angka pun dapat dibaca.
43Kata Jawa diuji40 MBIndoBERT lokal, alat ukur kedua63%Kemiripan yang ternyata pola kalimat
Empat model AI ditanya arti 43 kata Jawa yang tidak muncul di NusaX, NusaWrites, maupun Wiktionary Jawa. Mistral Small 3 benar 5 persen, DeepSeek V4 Flash 53 persen, GPT-5.6 Luna 81 persen, Gemini 3.5 Flash 91 persen. Alat ukurnya sendiri ditambal dua kali di tengah pengukuran, dan tiap tambalan menaikkan skor tanpa satu panggilan pun diulang.
43Kata Jawa91%Skor maksimum4 ModelMistral, DeepSeek, GPT, Gemini
Contoh kalimat di kamus Jawa kami dipakai sebagai soal, glos Indonesianya dipakai sebagai kunci jawaban. Dua model AI diuji. Pada adu buta 20 pasang, glos kami menang 4 kali, model menang 5 kali, dan 11 sisanya seri. Kunci jawaban yang tidak lebih baik dari yang dinilainya tidak mengukur kemampuan, melainkan kesepakatan diksi.
11 dari 20Adu buta berakhir seri0 dari 20Cocok persis dengan glos kami2Model AI diuji
Kami cocokkan 72.454 lema dengan dua juta kalimat bahasa Indonesia. Separuhnya tak muncul, dan daftar tandingannya sendiri ternyata cacat.
72.454total lema kamus46,8%cakupan kamus di korpus38.559lema yang tak muncul