94,2% koreksi Wikipedia gagal jadi fixture uji

Riwayat suntingan Wikipedia terlihat seperti tambang emas. Tiap kali seseorang memperbaiki salah ketik, tersimpan pasangan sebelum dan sesudah, gratis, dalam jumlah besar, dengan cap waktu dan penyuntingnya.

Kami menambangnya. Dapat 744 kandidat koreksi. Lalu kami periksa satu per satu, dan angkanya runtuh.

Dari 744 tersisa 43

Tingkat lolosnya 5,8%. Sembilan dari sepuluh kandidat tidak layak pakai.

Ini bukan salah penambangannya. Masalahnya ada di asumsi dasarnya: kami mengira "seseorang mengubah A jadi B" adalah sinyal koreksi. Ternyata bukan.

Sebagian besar bukan perbaikan ejaan sama sekali, melainkan penyuntingan gaya, satu kata diganti kata lain yang sama benarnya. Sebagian lagi adalah kasus di mana kedua bentuk sah, dan penyuntingnya kebetulan lebih suka salah satu. Ada juga yang justru memperkenalkan kesalahan, lalu diperbaiki lagi beberapa suntingan kemudian, sehingga kalau ditambang mentah-mentah kami akan mempelajari kesalahannya, bukan perbaikannya.

Kategori terakhir yang paling licin: nama diri yang memang punya dua ejaan resmi. Mengubah salah satunya bukan koreksi, itu preferensi.

Cara kami memeriksanya

Tiap kandidat dilihat bersama konteks kalimatnya, lalu diputuskan satu hal saja: apakah bentuk "sesudah" benar-benar lebih benar daripada bentuk "sebelum", bukan sekadar berbeda.

Ambangnya sengaja tinggi. Yang lolos akan dipakai sebagai fixture uji, artinya ia jadi acuan tetap yang menentukan apakah perubahan kode di kemudian hari dianggap perbaikan atau kemunduran. Fixture yang salah lebih buruk daripada tidak punya fixture, karena ia mengunci kesalahan dan membuat perbaikan yang benar terlihat seperti regresi.

Satu hal yang mungkin bisa diperdebatkan: verifikasinya cuma dikerjain satu orang. Harusnya sih ada dua penilai independen supaya kita bisa hitung tingkat kesepakatannya. Karena kami tidak melakukan itu, angka 5,8% tersebut jadi punya ketidakpastian yang belum sempat kami ukur.

Kenapa 43 lebih penting daripada 744

Kalau kami berhenti di 744 dan langsung memakainya, aturan koreksi kami akan memuat ratusan "perbaikan" yang tidak memperbaiki apa pun. Sebagian akan aktif merusak teks yang sudah benar.

Selisih antara 744 dan 43 adalah pekerjaan yang tidak bisa dilewati, dan tidak bisa dipercepat dengan model yang lebih besar.

Bagian ini yang sering hilang dari percakapan soal otomatisasi. Menambang data itu murah dan cepat. Memutuskan mana yang benar itu mahal dan lambat, karena ia menuntut seseorang yang tahu bahasanya, membaca konteksnya, lalu mengambil keputusan yang bisa dipertanggungjawabkan.

Model bahasa bisa membantu menyaring lapisan pertama. Ia tidak bisa mengambil alih keputusan terakhir, karena kalau ia salah, tidak ada yang tahu sampai fixture-nya sudah mengunci kesalahan itu ke dalam sistem.

Yang tidak bisa disimpulkan dari sini

Angka 5,8% bukan "tingkat kesalahan Wikipedia". Wikipedia bahasa Indonesia tidak sedang dinilai di sini. Yang dinilai adalah seberapa jauh riwayat suntingan bisa dipakai sebagai sumber data koreksi otomatis, dan jawabannya: bisa, asalkan 94% dari yang ditambang dibuang lebih dulu.

Angka ini juga tidak bisa digeneralisasi ke korpus lain. Riwayat suntingan forum, media sosial, atau naskah editorial punya karakter berbeda, dan rasionya kemungkinan besar berbeda pula.

Dan karena verifikasinya satu orang tanpa pembanding, kami tidak tahu seberapa banyak angka itu akan bergeser di tangan penilai lain. Itu keterbatasan yang kami catat, bukan yang kami singkirkan.