Kami menguji mesin koreksi kami sendiri dan berbagai model AI dari luar terhadap bahasa Indonesia dan bahasa daerah, lalu menerbitkan angkanya apa adanya. Di halaman ini, kami meringkas tiap temuan jadi satu gambar saja. Metode lengkap dan data mentahnya bisa dibuka lewat tautan di tiap kartu.
5 temuan
Claude Haiku, model termurah Anthropic, salah menjawab 10 dari 36 soal sopan santun bahasa Jawa. Claude Sonnet, versi mahalnya, hanya salah 3.
Kami arahkan pemeriksa ejaan buatan sendiri ke tulisan orang sungguhan, bukan ke kalimat uji. Ia menandai 3.741 hal, dan sebagian besar bukan kesalahan. Ini catatan enam ronde perbaikannya, termasuk angka yang sempat kami salah hitung sendiri.
Riwayat suntingan Wikipedia terlihat seperti sumber koreksi ejaan siap pakai. Dari 744 yang kami tambang, cuma 43 yang benar-benar layak jadi soal uji. Sisanya bukan koreksi sungguhan.
Kami susun soal uji bahasa Jawa dari aturan buku tata bahasa. Enam dari 40 soal gugur, bukan karena AI menjawab salah, tapi karena bentuk yang menurut buku salah ternyata diterima luas oleh penutur asli.
Kami cari kata yang sering dipakai orang Indonesia tapi absen dari kamus kami. Ketemu 3.289 kandidat kata baru, tapi begitu diperiksa lebih dekat, hanya 899 yang benar-benar layak, sisanya nama merek, nama tempat, atau kata yang nyaris tidak pernah dipakai.