Idenya tampak bagus
Bayangkan seseorang mengetik kanus. Kata itu tidak ada dalam bahasa Indonesia. Pemeriksa ejaan harus menebak maksudnya, dan ada lebih dari satu tebakan yang masuk akal kalau yang dilihat hanya bentuk hurufnya. kamus berjarak satu huruf, kaus juga.
Keputusannya baru jelas kalau kalimatnya ikut dibaca:
Saya pinjam kanus di perpustakaan. -> hampir pasti "kamus"
Saya pakai kanus warna biru. -> hampir pasti "kaus"
Mesin koreksi kami awalnya hanya menghitung bentuk huruf, buta terhadap makna. Maka kami memasang AI di langkah kedua, yaitu model bahasa IndoBERT yang bertugas membaca kalimat lalu memilih kandidat yang paling masuk akal. Di atas kertas kedua langkah ini saling melengkapi, karena yang satu tahu bentuk dan yang satu tahu makna.
Kami uji dengan kunci jawaban yang ditetapkan lebih dulu
Supaya hasilnya jujur, kami merusak 1.500 kata yang benar secara terkendali, sehingga jawaban benarnya sudah diketahui sebelum mesin melihat datanya. Lalu mesin dijalankan dua kali dengan satu sakelar, yaitu AI dinyalakan dan AI dimatikan. Selain sakelar itu, semuanya persis sama.
Ibaratnya, guru menyegel kunci jawaban sebelum lembar ujian dibagikan, sehingga kunci itu tidak bisa digeser agar cocok dengan jawaban murid.
88,3
91,4
79
89
94
Di setiap kelas kesalahan, akurasi saat AI menyala selalu lebih buruk daripada saat AI mati. Kerusakan terbesar ada di kelas paling mekanis, yaitu huruf yang tertukar tempat, seperti kamsu dari kamus, yang tidak butuh pemahaman makna sama sekali. Di kelas itu akurasinya jatuh 28 poin.
Kandidat yang benar sudah ada, tetapi AI salah memilih
Satu perbandingan tambahan membuat kami yakin. Kami memeriksa daftar kandidat koreksi paling mentah, sebelum disentuh AI, dan hasilnya identik di kedua kondisi, yaitu 88,5%.
Begitu AI dinyalakan dan diberi wewenang memilih dari daftar kandidat yang sama persis, koreksi yang sampai ke pengguna turun menjadi 77,1%. Bahan bakunya sama. AI-nya yang memilih lebih buruk.
Ongkosnya juga mahal, bukan hanya salah
Kami juga mengukur lama prosesnya pada 10.000 kalimat berita. Mematikan AI membuat mesin 67 kali lebih cepat, dengan jumlah kesalahan yang berhasil ditandai tetap identik di kedua kondisi. AI menghabiskan 98,5 persen dari seluruh waktu analisis untuk memilih jawaban yang hasilnya justru lebih sering keliru daripada tanpa AI.
Kenapa ini tidak ketahuan lebih awal
Bagian ini paling berguna bagi orang lain, sebab penyebabnya bukan soal bahasa Indonesia dan bukan soal AI yang bodoh.
Kami sudah punya alat pemantau, dan alat itu melaporkan aman. AI mengubah jawaban pada hampir separuh kasus, tetapi hampir semua perubahan terjadi di antara kandidat yang bentuknya sama-sama mirip, jadi dianggap sah. Kesimpulan itu keliru. Alat pemantau kami hanya bisa melihat seberapa sering AI mengubah jawaban, bukan apakah perubahannya benar. Tanpa kunci jawaban yang ditetapkan lebih dulu, dua hal itu tidak bisa dibedakan, dan yang pertama jauh lebih mudah dibuat tampak aman.
Arah yang sama sebenarnya pernah tercatat tujuh bulan sebelumnya, dalam komentar kode, dan tidak pernah ditindaklanjuti. Kali ini kami mengukurnya dengan kunci jawaban yang ditetapkan lebih dulu, sehingga hasilnya tidak bisa diabaikan.
Perubahan setelah temuan ini
Langkah AI untuk memilih koreksi ejaan sekarang kami matikan secara bawaan. Sakelarnya tetap ada, jadi keputusan itu bisa diukur ulang kapan saja tanpa mengubah kode.
Cara kami merusak kata-katanya dan seluruh data mentahnya ada di versi teknis artikel ini. Mesin koreksi yang sama juga kami uji pada tulisan nyata di Mesin Koreksi Lulus Ujian, Gagal di Tulisan Asli.
Di balik temuan ini
Versi teknisnya memuat angka mentah, susunan pengujian, dan hal-hal yang justru tidak bisa disimpulkan darinya.