Kami menguji sendiri seberapa jauh AI memahami bahasa Indonesia dan bahasa daerahnya, memetakan kata yang menjebak penuturnya, dan menerbitkan angkanya beserta data mentah serta batasannya, termasuk ketika hasilnya tidak sesuai harapan kami sendiri.
Kami menguji 4 model AI pada 69 kalimat yang sama dengan tiga rumusan prompt berbeda. Rumusan kedua menaikkan skor satu model dari 32 menjadi 59, dan rumusan itu bertentangan dengan kunci jawaban kami sendiri di 40 tempat.
Hipotesisnya masuk akal: biarkan model bahasa kontekstual memilih kandidat koreksi terbaik berdasarkan makna kalimat. Diuji A/B dengan satu sakelar dan kunci jawaban 1.500 pasang, akurasi saran justru turun dari 88,3 persen ke 77,1 persen, sementara model itu memakan 98,5 persen waktu analisis.
Kami arahkan pemeriksa ejaan buatan sendiri ke tulisan orang sungguhan, bukan ke kalimat uji. Ia menandai 3.740 hal, dan sebagian besar bukan kesalahan. Ini catatan delapan ronde perbaikannya.