Kami mengujinya sendiri, lalu menerbitkan angkanya bersama data mentah dan batasannya. Termasuk ketika hasilnya tidak seperti yang kami harapkan.
Berbasis kamus bahasa tutur dan dialek daerah yang kami kurasi sendiri.
Data uji kami susun sendiri, dan sebagian sengaja tidak diterbitkan agar tidak terserap ke data latih.
Kami menguji ox-alpha dan GLM-5.3 pada tingkat tutur Jawa dan slang Indonesia di lajur uji terpisah dari papan resmi. GLM-5.3 unggul di keempat pengukuran, dan kecocokan jawaban 71% menunjukkan keduanya bukan model yang sama.
Kami menguji 10 model AI pada 135 kata Jawa dan memperkirakan hasilnya terbelah dua kelompok dengan celah kosong di tengah. 3 model terakhir kami pilih justru karena paling mungkin menggugurkan perkiraan itu, dan 2 di antaranya mendarat tepat di celah yang kami sebut kosong.
Tiga artikel sebelumnya berakhir dengan pengakuan yang sama: tiap kali kami membaca jawaban satu model dan memperbaiki kunci, model itulah yang paling diuntungkan. Kali ini protokolnya dirancang supaya hal itu mustahil, dan pada 135 kata Jawa dengan 6 model AI, protokolnya bekerja. Yang tidak kami duga: setelah alat ukurnya berhenti bergerak, model AI-nya sendiri yang goyah. Pada temperature 0 yang seharusnya menghasilkan jawaban identik, 36 persen jawaban berubah antara dua panggilan berturut-turut.
Peringkat model di benchmark Jawa kami selama ini ditentukan kunci jawaban tulisan manusia. Untuk memeriksa apakah peringkat itu nyata, kami pasang alat ukur kedua yang tidak pernah melihat kunci: IndoBERT, model kecil 40 MB yang berjalan di komputer sendiri. Urutan keempat modelnya keluar sama persis. Tetapi 63 persen kemiripan yang diukurnya ternyata bukan makna, melainkan pola kalimat yang sama, dan itu harus diukur lebih dulu sebelum satu angka pun dapat dibaca.
Empat model AI ditanya arti 43 kata Jawa yang tidak muncul di NusaX, NusaWrites, maupun Wiktionary Jawa. Mistral Small 3 benar 5 persen, DeepSeek V4 Flash 53 persen, GPT-5.6 Luna 81 persen, Gemini 3.5 Flash 91 persen. Alat ukurnya sendiri ditambal dua kali di tengah pengukuran, dan tiap tambalan menaikkan skor tanpa satu panggilan pun diulang.