Claude Haiku salah 10 dari 36 soal tingkat tutur Jawa, Claude Sonnet cuma 3

Dua model, satu perusahaan, satu ujian

Bahasa Jawa punya tingkat tutur yang mengubah kata itu sendiri, bukan cuma nadanya. "Makan" jadi mangan kepada teman sebaya, nedha kepada orang yang dihormati, dhahar kepada orang yang jauh lebih tinggi kedudukannya. Memilih tingkat yang keliru bukan salah tata bahasa, melainkan salah sopan santun, dan penutur langsung menangkapnya.

Itu yang kami uji: bukan apakah model tahu arti sebuah kata, melainkan apakah ia tahu kepada siapa kata itu pantas diucapkan. Dua model dari Anthropic, satu kelas murah dan satu kelas mahal, mengerjakan set soal yang sama persis: 36 soal pilihan ganda tingkat tutur bahasa Jawa, urutan pilihan diacak per soal, tiga kali ulangan, temperature nol (0).

Selisihnya 19,45 poin persentase. Model murah salah lebih dari tiga kali lipat lebih sering daripada model mahal dari keluarga yang sama, dan seluruh pengujian kedua model, 264 panggilan, menghabiskan sebelas sen.

Selisih ini lolos ambang uji statistik yang lazim (p dua-arah sekitar 0,03), tapi tipis: satu soal saja yang berpindah sisi sudah cukup menggeser kesimpulan.

Kami hampir melaporkan hasilnya terbalik

Sebelum sampai ke skor, ada satu angka lain yang nyaris kami jadikan temuan utama, dan untungnya kami periksa dulu.

Dibaca apa adanya, rerata waktu jawab Claude Haiku 4.5 adalah 2.444 ms, sementara Claude Sonnet 4.6 cuma 1.609 ms. Model murah tampak 52% lebih lambat daripada model mahal dari keluarga yang sama. Menarik, berlawanan naluri, dan salah.

Sebabnya bukan kecepatan model, melainkan jaringan. Angka waktu kami mengukur waktu dinding satu panggilan, termasuk jeda tunggu ketika penyedia sedang penuh dan permintaannya harus diulang. Anthropic kebetulan sedang kelebihan beban tepat pada giliran Haiku: tujuh panggilannya gagal seluruhnya dan harus diulang, dan jawaban terlamanya sampai 23.897 ms. Ekor sepanjang itu yang menyeret reratanya, bukan modelnya yang lambat.

Ini bukan kejadian sekali ini saja. Diukur pada seluruh 5.705 baris pengukuran kami, rerata melampaui median antara 4% sampai 152% tergantung modelnya. Pelajarannya: pada data yang berekor panjang karena gangguan jaringan, rerata adalah pembohong yang piawai.

Yang tidak boleh disimpulkan dari angka ini

Godaan paling besar dari tabel di atas adalah menyimpulkan "model mahal lebih baik untuk bahasa daerah". Datanya tidak mendukung klaim seluas itu. Yang ditunjukkan cuma bahwa dua model tertentu, dari satu perusahaan yang sama, terpisah jauh pada satu dimensi ini.

Pada pengukuran kami sebelumnya di dimensi yang sama, sebuah model terbuka kelas murah mencetak 96,88%, dan sebuah model kelas termahal mencetak 100%, keduanya di atas Claude Sonnet 4.6 dalam pengujian ini. Jumlah soalnya berbeda (32 lawan 36) sehingga tidak sebanding langsung, tapi cukup untuk melarang kesimpulan bahwa urutan harga adalah urutan kemampuan.

Kabar baiknya, di sisi lain: bahasa daerah sering diasumsikan sebagai wilayah yang seluruh model AI sama buruknya, dan pengujian ini membantahnya. Claude Sonnet 4.6 menjawab benar 33 dari 36 soal tingkat tutur Jawa. Tingkat tutur Jawa ternyata bukan tembok yang mustahil ditembus AI, asal kapasitas dasarnya memang memadai.