Diuji Unggah-Ungguh Jawa, AI Termurah Anthropic Salah 10 Kali

Kenapa ini penting

Bahasa Jawa punya tingkat tutur yang mengubah kata itu sendiri, bukan hanya nadanya. Kata "makan" berubah bentuk tergantung kepada siapa Anda bicara: mangan kepada teman sebaya, nedha kepada orang yang dihormati, dhahar kepada orang yang jauh lebih tinggi kedudukannya. Ini bukan tiga sinonim yang bebas dipakai. Salah satunya benar untuk satu situasi, dan dua lainnya salah untuk situasi yang sama.

Memilih tingkat yang keliru bukan salah tata bahasa, melainkan salah sopan santun, dan penutur langsung menangkapnya. Itu yang membuat kemampuan ini berbeda dari sekadar menghafal kosakata: model AI harus tahu bukan hanya arti sebuah kata, tapi juga kepada siapa kata itu pantas diucapkan. Semakin banyak orang memakai AI untuk menulis atau menerjemahkan bahasa Jawa, semakin penting kemampuan ini diukur, bukan diasumsikan.

Kami menguji dua model dari Anthropic pada kemampuan ini secara langsung: Claude Haiku 4.5, kelas termurah, dan Claude Sonnet 4.6, kelas mahal dari perusahaan yang sama. Claude Haiku salah pada 10 dari 36 soal. Claude Sonnet salah pada 3 soal saja.

Temuannya

Kedua model mengerjakan set soal yang sama persis: 36 soal pilihan ganda tingkat tutur bahasa Jawa, urutan pilihannya diacak tiap soal, tiga kali ulangan. Ketiga ulangan memberi jawaban yang identik persis pada kedua model, jadi selisih yang ditemukan bukan kebetulan satu kali jalan.

Claude Haiku 4.5 menjawab benar 72,22 persen soal, dengan biaya $0,026 untuk seluruh pengujiannya. Claude Sonnet 4.6 menjawab benar 91,67 persen, dengan biaya $0,079, tiga kali lipat lebih mahal daripada Claude Haiku untuk jumlah soal yang sama. Selisih skornya 19,45 poin persentase, dan seluruh pengujian kedua model bersama-sama, 264 panggilan, hanya menghabiskan $0,11.

Selisih ini lolos ambang uji statistik yang lazim, tapi tipis: satu soal saja yang berpindah jawaban sudah cukup menggeser kesimpulannya.

Godaan paling besar dari angka ini adalah menyimpulkan bahwa model yang lebih mahal selalu lebih paham bahasa daerah. Datanya tidak mendukung klaim seluas itu. Pada pengujian kami sebelumnya di keahlian yang sama, sebuah model gratis yang jauh lebih murah daripada keduanya justru mengungguli Claude Sonnet. Pengujian ini hanya menunjukkan bahwa dua model tertentu, dari satu perusahaan yang sama, terpisah jauh pada satu kemampuan ini.

Batasannya

Kabar baiknya ada di sisi lain. Bahasa daerah sering dianggap wilayah yang sama-sama sulit ditembus AI, dan pengujian ini membantahnya sebagian: Claude Sonnet menjawab benar 33 dari 36 soal. Tingkat tutur bahasa Jawa bukan tembok yang mustahil ditembus AI, asal kemampuan dasar modelnya memang memadai. Model termurah sekalipun, Claude Haiku, masih menjawab benar 72,22 persen soal, jauh dari sekadar menebak asal.

Satu pertanyaan belum terjawab: apakah pola yang sama berlaku untuk perusahaan AI lain, untuk bahasa daerah lain, atau untuk soal yang bentuknya berbeda dari pilihan ganda. Delapan soal isian pada set yang sama juga dijalankan, tapi belum dinilai karena masih menunggu penutur Jawa memeriksanya, jadi angka di artikel ini belum mencakup seluruh dimensi kemampuan yang sebenarnya ingin kami ukur.

Dua hal lagi yang perlu diketahui sebelum memakai angka ini. Perhitungan kuasa statistik kami sendiri menyebut selisih sebesar ini idealnya menuntut sekitar 57 soal untuk diukur dengan yakin. Kami baru punya 36, jadi anggap ini bukti awal, bukan angka final. Kedua model juga dipanggil langsung ke Anthropic, sementara sebagian besar pengujian kami yang lain lewat satu perantara, sehingga perbandingan Claude Haiku terhadap Claude Sonnet di sini bersih, tapi perbandingannya terhadap model dari perusahaan lain di rubrik ini tidak selalu setara.

Metode lengkap, ulangan berkali-kali, dan data mentahnya ada di versi teknis artikel ini.