Kami menguji sendiri seberapa jauh AI memahami bahasa Indonesia dan bahasa daerahnya, memetakan kata yang menjebak penuturnya, dan menerbitkan angkanya beserta data mentah serta batasannya, termasuk ketika hasilnya tidak sesuai harapan kami sendiri.
Set uji slang kami menyediakan jawaban gratis bagi siapa saja yang membaca opsi. Namun, model AI hanya mengambil paling banyak 1,00 dari 4,1 item.
Mistral Small 3 dan Llama 3.1 8B Instruct dijual dengan harga yang sama persis dan sama cepatnya. Pada 69 soal menormalkan tulisan singkatan ke bahasa Indonesia baku, yang satu benar 56,52%, yang lain 26,09%.
Hipotesisnya masuk akal: biarkan model bahasa kontekstual memilih kandidat koreksi terbaik berdasarkan makna kalimat. Diuji A/B dengan satu sakelar dan kunci jawaban 1.500 pasang, akurasi saran justru turun dari 88,3 persen ke 77,1 persen, sementara model itu memakan 98,5 persen waktu analisis.
Dua model Anthropic diuji pada 36 soal tingkat tutur bahasa Jawa. Claude Sonnet 4.6 salah 3 soal, Claude Haiku 4.5 salah 10 soal.
Tujuh model diuji pada satu set yang sama. Selisih token keluaran 876 kali untuk jawaban satu huruf, dan angkanya sendiri bergerak antar-run.
Tingkat lolosnya 5,8%. Angka itu adalah harga sebenarnya dari verifikasi, dan alasan kenapa "biar AI saja yang urus" bukan jawaban.
Kami arahkan pemeriksa ejaan buatan sendiri ke tulisan orang sungguhan, bukan ke kalimat uji. Ia menandai 3.740 hal, dan sebagian besar bukan kesalahan. Ini catatan delapan ronde perbaikannya.
Enam dari 40 item uji bahasa Jawa kami gugur. Bukan karena modelnya menjawab salah, melainkan karena aturan bukunya bertentangan dengan apa yang benar-benar diterima penutur.