Kelihatannya seperti tambang emas
Setiap kali seseorang memperbaiki salah ketik di Wikipedia, tersimpan sepasang data: sebelum dan sesudah, gratis, dalam jumlah besar, lengkap dengan cap waktu. Buat siapa pun yang butuh contoh "kata salah -> kata benar" untuk melatih pemeriksa ejaan, itu kedengarannya seperti sumber data siap pakai.
Kami menambangnya. Dapat 744 kandidat koreksi. Lalu kami periksa satu per satu.
Cuma segitu yang lolos. Sembilan dari sepuluh kandidat ternyata bukan koreksi sungguhan.
Kenapa sembilan dari sepuluh gugur
Asumsi kami di awal keliru: kami kira "seseorang mengubah A jadi B" sudah cukup jadi tanda koreksi. Ternyata tidak.
Sebagian besar cuma penyuntingan gaya, satu kata diganti kata lain yang sama benarnya. Sebagian lagi kasus di mana kedua bentuknya sah, dan penyuntingnya kebetulan lebih suka salah satu. Ada juga yang justru memperkenalkan kesalahan, yang baru diperbaiki lagi beberapa suntingan kemudian. Kalau ditambang mentah-mentah, kami akan belajar dari kesalahannya, bukan dari perbaikannya. Kategori paling licin: nama diri yang memang punya dua ejaan resmi. Mengganti salah satunya bukan koreksi, itu cuma selera.
Tiap kandidat kami baca bersama kalimat aslinya, lalu diputuskan satu hal saja: apakah bentuk sesudahnya benar-benar lebih benar, bukan sekadar berbeda. Ambangnya sengaja tinggi, sebab yang lolos akan jadi acuan tetap untuk menilai apakah perbaikan kode di kemudian hari benar-benar perbaikan. Acuan yang salah lebih berbahaya daripada tidak punya acuan sama sekali, karena ia mengunci kesalahannya dan membuat perbaikan yang benar malah terlihat seperti kemunduran.
Kenapa ini penting di luar Wikipedia
Bagian ini yang menurut kami paling berguna diketahui orang banyak, sebab sering hilang dari obrolan soal otomatisasi: menambang data itu murah dan cepat, tetapi memutuskan mana yang benar itu mahal dan lambat. Ia menuntut seseorang yang tahu bahasanya, membaca konteksnya, lalu mengambil keputusan yang bisa dipertanggungjawabkan.
AI bisa membantu menyaring lapisan pertama, mempersempit 744 jadi lebih sedikit yang perlu dicek manusia. Tapi ia belum bisa dipercaya mengambil alih keputusan terakhirnya sendirian, sebab kalau ia salah, tak ada yang tahu sampai kesalahannya sudah terlanjur terkunci jadi acuan.
Angka 5,8 persen ini bukan nilai rapor Wikipedia bahasa Indonesia. Yang kami uji adalah seberapa layak riwayat suntingannya dipakai sebagai bahan koreksi otomatis, dan jawabannya: layak, asalkan 94 persen dari yang ditambang dibuang lebih dulu.
Cara kami memeriksa tiap kandidat, dan seluruh data mentahnya, ada di versi teknis di bawah ini.
Di balik temuan ini
Versi teknisnya memuat angka mentah, susunan pengujian, dan hal-hal yang justru tidak bisa disimpulkan darinya.