Dari kalimat uji ke tulisan orang
Alat koreksi bahasa hampir selalu diuji dengan kalimat yang memang dibuat untuk mengujinya. Kalimatnya pendek, kesalahannya satu, konteksnya bersih. Mesin kami lulus di sana, dan kami sempat merasa cukup senang.
Lalu kami arahkan ke tulisan yang benar-benar dibuat orang.
Angka pertama yang keluar 3.741. Bukan 3.741 kesalahan, melainkan 3.741 hal yang mesin anggap perlu diperbaiki. Begitu kami periksa satu per satu, sebagian besar ternyata bukan kesalahan sama sekali: nama tempat dianggap salah eja, partikel percakapan direkatkan ke kata di depannya, istilah teknis "diperbaiki" jadi kata lain yang tidak dimaksud siapa pun.
Alat koreksi yang lebih sering salah daripada benar bukan hanya tidak berguna. Ia berbahaya, sebab orang cenderung menuruti saran yang muncul di layar, apalagi kalau saran itu terlihat yakin.
Enam ronde perbaikan, dan angkanya turun 27%
Tiap penurunan punya sebabnya sendiri, dan tidak satu pun dilakukan dengan menaikkan ambang kepercayaan mesin. Kami sengaja menghindari jalan itu. Menaikkan ambang memang menurunkan angka dengan cepat, tapi itu hanya menyembunyikan masalah, bukan memperbaikinya, sebab yang hilang lebih dulu justru penandaan yang benar. Kalau angkanya bagus karena mesinnya berhenti bekerja, itu bukan kemajuan.
Kejutan terbesar datang dari perbaikan yang paling besar. Ketika satu aturan berhenti merekatkan partikel ke kata sebelumnya, token partikel itu tidak lenyap. Ia jatuh ke aturan berikutnya yang tidak punya datanya, lalu menebak. Angka totalnya turun, sementara jenis kesalahannya hanya pindah tempat.
Perbaikan yang paling banyak menurunkan angka ternyata memindahkan masalah, bukan menghapusnya.
Tulisan ini sendiri sempat salah hitung
Enam angka pertama masing-masing kurang satu. Sebabnya perintah penghitung baris yang kami pakai menghitung baris baru, bukan rekaman, dan berkas keluaran kami tidak diakhiri baris baru, jadi tiap hitungan kehilangan rekaman terakhirnya.
Masalah angka ketujuh lebih besar: angka itu diambil dari berkas yang terus ditimpa ulang tiap kali audit dijalankan, jadi isinya sudah berganti beberapa kali sejak tulisan ini pertama terbit. Angka itu kami buang, bukan kami betulkan, sebab tidak ada versi beku dari berkas itu yang bisa dirujuk lagi.
Jadi penurunannya 27 persen, bukan 32 persen seperti yang sempat kami tulis di versi awal.
Batas simpulan
Angka 27 persen itu penurunan jumlah penandaan, bukan peningkatan akurasi. Keduanya berkorelasi, tapi tidak sama. Mesin yang berhenti menandai apa pun akan mencetak penurunan 100 persen dan sepenuhnya tidak berguna.
Kami juga belum membandingkannya dengan alat lain, dan dua hari adalah jendela yang sangat pendek. Laju perbaikan pada dua hari kerja intensif tidak memberi tahu apa pun tentang laju perbaikan sebulan ke depan. Kalau nanti kurvanya mendatar, kami akan menuliskannya juga.
Seluruh data mentahnya ada di versi teknis artikel ini.
Di balik temuan ini
Versi teknisnya memuat angka mentah, susunan pengujian, dan hal-hal yang justru tidak bisa disimpulkan darinya.