94,2% koreksi Wikipedia gagal jadi fixture uji
Tingkat lolosnya 5,8%. Angka itu adalah harga sebenarnya dari verifikasi, dan alasan kenapa "biar AI saja yang urus" bukan jawaban.
744koreksi ditambang43lolos verifikasi5,8%tingkat lolos
Koleksi Terukur
Artikel
Kami menguji sendiri seberapa jauh AI memahami bahasa Indonesia dan bahasa daerahnya, memetakan kata yang menjebak penuturnya, dan menerbitkan angkanya beserta data mentah serta batasannya, termasuk ketika hasilnya tidak sesuai harapan kami sendiri.
19 artikelTiap artikel menaut ke data mentahnya
Mesin koreksi kami gagal di teks liar, lalu turun 27% dalam dua hari
Kami arahkan pemeriksa ejaan buatan sendiri ke tulisan orang sungguhan, bukan ke kalimat uji. Ia menandai 3.740 hal, dan sebagian besar bukan kesalahan. Ini catatan delapan ronde perbaikannya.
3.740penandaan, ronde 12.554penandaan, ronde 732%turun
Ketika buku tata bahasa salah dan penutur aslinya benar
Enam dari 40 item uji bahasa Jawa kami gugur. Bukan karena modelnya menjawab salah, melainkan karena aturan bukunya bertentangan dengan apa yang benar-benar diterima penutur.
6item Jawa gugur40total item Jawa1varian dialek diuji