Tiga artikel sebelumnya berakhir dengan pengakuan yang sama: tiap kali kami membaca jawaban satu model dan memperbaiki kunci, model itulah yang paling diuntungkan. Kali ini protokolnya dirancang supaya hal itu mustahil, dan pada 135 kata Jawa dengan 6 model AI, protokolnya bekerja. Yang tidak kami duga: setelah alat ukurnya berhenti bergerak, model AI-nya sendiri yang goyah. Pada temperature 0 yang seharusnya menghasilkan jawaban identik, 36 persen jawaban berubah antara dua panggilan berturut-turut.
135Kata Jawa6Model AI36%Jawaban berubah
Peringkat model di benchmark Jawa kami selama ini ditentukan kunci jawaban tulisan manusia. Untuk memeriksa apakah peringkat itu nyata, kami pasang alat ukur kedua yang tidak pernah melihat kunci: IndoBERT, model kecil 40 MB yang berjalan di komputer sendiri. Urutan keempat modelnya keluar sama persis. Tetapi 63 persen kemiripan yang diukurnya ternyata bukan makna, melainkan pola kalimat yang sama, dan itu harus diukur lebih dulu sebelum satu angka pun dapat dibaca.
43Kata Jawa diuji40 MBIndoBERT lokal, alat ukur kedua63%Kemiripan yang ternyata pola kalimat
Empat model AI ditanya arti 43 kata Jawa yang tidak muncul di NusaX, NusaWrites, maupun Wiktionary Jawa. Mistral Small 3 benar 5 persen, DeepSeek V4 Flash 53 persen, GPT-5.6 Luna 81 persen, Gemini 3.5 Flash 91 persen. Alat ukurnya sendiri ditambal dua kali di tengah pengukuran, dan tiap tambalan menaikkan skor tanpa satu panggilan pun diulang.
43Kata Jawa91%Skor maksimum4 ModelMistral, DeepSeek, GPT, Gemini
Contoh kalimat di kamus Jawa kami dipakai sebagai soal, glos Indonesianya dipakai sebagai kunci jawaban. Dua model AI diuji. Pada adu buta 20 pasang, glos kami menang 4 kali, model menang 5 kali, dan 11 sisanya seri. Kunci jawaban yang tidak lebih baik dari yang dinilainya tidak mengukur kemampuan, melainkan kesepakatan diksi.
11 dari 20Adu buta berakhir seri0 dari 20Cocok persis dengan glos kami2Model AI diuji
Set uji slang kami menyediakan jawaban gratis bagi siapa saja yang membaca opsi. Namun, model AI hanya mengambil paling banyak 1,00 dari 4,1 item.
38 soalSet slang yang diuji4,1 soalJawaban gratis yang tersedia1,00 soalYang benar-benar diambil model
Mistral Small 3 dan Llama 3.1 8B Instruct dijual dengan harga yang sama persis dan sama cepatnya. Pada 69 soal menormalkan tulisan singkatan ke bahasa Indonesia baku, yang satu benar 56,52%, yang lain 26,09%.
69 soalSoal56,52%Mistral Small 326,09%Llama 3.1 8B
Hipotesisnya masuk akal: biarkan model bahasa kontekstual memilih kandidat koreksi terbaik berdasarkan makna kalimat. Diuji A/B dengan satu sakelar dan kunci jawaban 1.500 pasang, akurasi saran justru turun dari 88,3 persen ke 77,1 persen, sementara model itu memakan 98,5 persen waktu analisis.
1.500Pasangan berkunci jawaban88,3%Saran benar, peranking mati77,1%Saran benar, peranking nyala
Dua model Anthropic diuji pada 36 soal tingkat tutur bahasa Jawa. Claude Sonnet 4.6 salah 3 soal, Claude Haiku 4.5 salah 10 soal.
36 soalSoal pilihan ganda91,67%Skor Claude Sonnet 4.672,22%Skor Claude Haiku 4.5
Tujuh model diuji pada satu set yang sama. Selisih token keluaran 876 kali untuk jawaban satu huruf, dan angkanya sendiri bergerak antar-run.
875,8token, model paling boros1,0token, model paling hemat876xselisih pada set yang sama
Tingkat lolosnya 5,8%. Angka itu adalah harga sebenarnya dari verifikasi, dan alasan kenapa "biar AI saja yang urus" bukan jawaban.
744koreksi ditambang43lolos verifikasi5,8%tingkat lolos
Kami arahkan pemeriksa ejaan buatan sendiri ke tulisan orang sungguhan, bukan ke kalimat uji. Ia menandai 3.740 hal, dan sebagian besar bukan kesalahan. Ini catatan delapan ronde perbaikannya.
3.740penandaan, ronde 12.554penandaan, ronde 732%turun
Enam dari 40 item uji bahasa Jawa kami gugur. Bukan karena modelnya menjawab salah, melainkan karena aturan bukunya bertentangan dengan apa yang benar-benar diterima penutur.
6item Jawa gugur40total item Jawa1varian dialek diuji