Tiga artikel sebelumnya berakhir dengan pengakuan yang sama: tiap kali kami membaca jawaban satu model dan memperbaiki kunci, model itulah yang paling diuntungkan. Kali ini protokolnya dirancang supaya hal itu mustahil, dan pada 135 kata Jawa dengan 6 model AI, protokolnya bekerja. Yang tidak kami duga: setelah alat ukurnya berhenti bergerak, model AI-nya sendiri yang goyah. Pada temperature 0 yang seharusnya menghasilkan jawaban identik, 36 persen jawaban berubah antara dua panggilan berturut-turut.
135Kata Jawa6Model AI36%Jawaban berubah
Peringkat model di benchmark Jawa kami selama ini ditentukan kunci jawaban tulisan manusia. Untuk memeriksa apakah peringkat itu nyata, kami pasang alat ukur kedua yang tidak pernah melihat kunci: IndoBERT, model kecil 40 MB yang berjalan di komputer sendiri. Urutan keempat modelnya keluar sama persis. Tetapi 63 persen kemiripan yang diukurnya ternyata bukan makna, melainkan pola kalimat yang sama, dan itu harus diukur lebih dulu sebelum satu angka pun dapat dibaca.
43Kata Jawa diuji40 MBIndoBERT lokal, alat ukur kedua63%Kemiripan yang ternyata pola kalimat
Empat model AI ditanya arti 43 kata Jawa yang tidak muncul di NusaX, NusaWrites, maupun Wiktionary Jawa. Mistral Small 3 benar 5 persen, DeepSeek V4 Flash 53 persen, GPT-5.6 Luna 81 persen, Gemini 3.5 Flash 91 persen. Alat ukurnya sendiri ditambal dua kali di tengah pengukuran, dan tiap tambalan menaikkan skor tanpa satu panggilan pun diulang.
43Kata Jawa91%Skor maksimum4 ModelMistral, DeepSeek, GPT, Gemini
Contoh kalimat di kamus Jawa kami dipakai sebagai soal, glos Indonesianya dipakai sebagai kunci jawaban. Dua model AI diuji. Pada adu buta 20 pasang, glos kami menang 4 kali, model menang 5 kali, dan 11 sisanya seri. Kunci jawaban yang tidak lebih baik dari yang dinilainya tidak mengukur kemampuan, melainkan kesepakatan diksi.
11 dari 20Adu buta berakhir seri0 dari 20Cocok persis dengan glos kami2Model AI diuji
Mistral Small 3 dan Llama 3.1 8B Instruct dijual dengan harga yang sama persis dan sama cepatnya. Pada 69 soal menormalkan tulisan singkatan ke bahasa Indonesia baku, yang satu benar 56,52%, yang lain 26,09%.
69 soalSoal56,52%Mistral Small 326,09%Llama 3.1 8B
Dua model Anthropic diuji pada 36 soal tingkat tutur bahasa Jawa. Claude Sonnet 4.6 salah 3 soal, Claude Haiku 4.5 salah 10 soal.
36 soalSoal pilihan ganda91,67%Skor Claude Sonnet 4.672,22%Skor Claude Haiku 4.5
Peta lima alat internal kami dan cara masing-masing memverifikasi bahasa Indonesia, termasuk cara AI diuji, lengkap dengan tautan ke data mentahnya.
3×Ulangan per angka5Alat internal