Model bahasa memakan 98,5% waktu saat dipasang ke pemeriksa ejaan

Hipotesis yang sulit dibantah

Seseorang mengetik kanus. Kata itu tidak ada dalam bahasa Indonesia, jadi pemeriksa ejaan harus menebak apa yang sebenarnya dimaksud. Di sinilah persoalannya mulai: ada lebih dari satu jawaban yang sama masuk akalnya kalau yang dilihat hanya bentuk hurufnya. kamus berjarak satu huruf. kaus juga.

Yang bisa memutuskan hanyalah kalimatnya:

Saya pinjam kanus di perpustakaan.   ->  hampir pasti "kamus"

Saya pakai kanus warna biru.         ->  hampir pasti "kaus"

Mesin koreksi bahasa Indonesia yang kami kembangkan menangani salah ketik dalam dua langkah, dan langkah keduanya lahir persis dari pengamatan itu. Langkah pertama menyisir leksikon mencari kata yang bentuknya paling mirip, memakai jarak edit, lalu menyerahkan sebuah daftar kandidat. Ia sepenuhnya buta terhadap makna. Langkah kedua mengurutkan ulang daftar itu dengan model bahasa, dengan harapan konteks kalimat menyelesaikan sisa pekerjaannya.

Model yang kami pakai IndoBERT, sebuah model bahasa yang dilatih khusus pada teks berbahasa Indonesia. Kemampuannya satu, dan kebetulan itu yang dibutuhkan di sini: diberi kalimat yang salah satu katanya ditutup, ia menilai kata mana yang paling mungkin mengisi tempat itu. Kami menjalankannya lewat ONNX, format yang memungkinkan model semacam ini dieksekusi langsung oleh mesin kami tanpa perlu menyeret Python ikut ke produksi.

Di atas kertas, pasangan ini melengkapi satu sama lain dengan rapi. Jarak edit tahu bentuk, model bahasa tahu makna. Yang kami ukur satu hal: apakah tebakan yang sampai ke pengguna jadi lebih sering benar.

Satu sakelar, kunci jawaban yang sudah pasti

Dua lengan, pipeline sama persis, satu-satunya perbedaan sebuah sakelar yang menyalakan atau mematikan langkah kedua.

Kunci jawabannya tidak ditentukan oleh penilaian manusia. Kami merusak 1.500 kata yang benar secara terkendali dengan seed tetap, sehingga jawaban benarnya diketahui sebelum mesin melihat datanya. Itu penting karena yang menilai di sini adalah pihak yang membangun mesinnya, dan tanpa kunci yang terkunci lebih dulu, penilaian semacam itu punya arah bias yang bisa ditebak.

11,2 poin

Kerusakan terbesar jatuh di kelas tukar huruf, turun 28 poin. Itu justru kelas yang paling murni mekanis: kamsu dari kamus, dua huruf bertukar tempat. Tidak ada yang perlu dipahami maknanya di situ.

Kolom yang mengunci sebabnya

Angka besar saja belum membuktikan siapa pelakunya. Yang membuat temuan ini tidak bisa dialihkan ke komponen lain adalah dua kolom berikut.

Yang pertama membandingkan akurasi kandidat teratas symspell mentah dengan akurasi yang benar-benar dikirim ke pengguna:

Angka mentahnya identik di kedua lengan. Bahan bakunya sama, jadi yang berubah hanyalah apa yang dipilih untuk dikirim.

Yang kedua memisahkan dua sebab kegagalan. Gagal karena kata yang benar tidak pernah masuk daftar kandidat, atau gagal karena ia masuk daftar tapi kalah peringkat:

Pengambilan identik sampai satuan. Kegagalan peringkat turun 160 kasus begitu modelnya dimatikan.

Yang tidak bergerak sedikit pun, dan kenapa itu penting

Peranking tidak merusak segalanya. Justru itu yang membuat temuan ini bisa dipercaya, sebab perubahan yang merusak segalanya biasanya berarti pengukurannya yang keliru.

Audit teks nyata bahkan identik sampai pecahan per kelasnya: gabungan 196, PUEBI 524, slang 290, pisah 72, salah ketik 1.401.

Sebabnya struktural. Peranking hanya memilih di antara kandidat yang sudah ada; ia tak pernah menentukan apakah sesuatu ditandai. Itu sudah diputuskan oleh langkah pertama. Jadi seluruh biayanya jatuh di satu titik saja: memilih jawaban mana yang dikirim.

Ongkos waktunya

Diukur pada 10.000 kalimat berita, 148.839 kata.

Peranking memakan 98,5 persen waktu analisis. Mematikannya membuat mesin 67 kali lebih cepat, dengan jumlah temuan yang identik.

98,5 persen dari anggaran waktu kami dibelanjakan untuk memilih jawaban yang lebih sering salah.

Kenapa tidak ketahuan lebih awal

Bagian ini yang paling berguna untuk orang lain, sebab kesalahannya bukan soal bahasa Indonesia dan bukan soal model.

Kami punya alat pemantau, dan ia melaporkan: peranking mengubah jawaban teratas pada 48,2 persen kasus, tapi 99 persen perpindahan itu terjadi antar-kandidat berjarak edit sama, jadi sah. Kesimpulannya aman.

Kesimpulan itu keliru, dan kekeliruannya rapi. Alat itu tidak punya kunci jawaban. Ia hanya bisa melihat seberapa sering peringkat berubah, bukan apakah perubahannya benar. Seluruh kerusakan justru terjadi persis di tempat yang selama ini dianggap paling aman: di antara kandidat yang berjarak edit sama.

Kaidahnya: metrik yang mengukur seberapa aktif sebuah komponen sering disalahartikan sebagai metrik yang mengukur manfaatnya. Selama tak ada kunci jawaban, keduanya tidak bisa dibedakan, dan yang pertama jauh lebih mudah dibuat.

Ini pengukuran kedua, bukan pertama

Tujuh bulan sebelumnya, pengukuran internal lain mencatat symspell mentah benar 70,7 persen di posisi pertama, lalu turun jadi 66,3 persen setelah peranking. Turun 4,4 poin, arah yang sama.

Temuan itu ditulis sebagai komentar di dalam kode, dan tidak pernah ditindaklanjuti.

Jadi bukti pertamanya sudah ada di repositori kami sendiri selama lebih dari setengah tahun, dalam bentuk yang tak seorang pun akan membacanya. Dua pengukuran yang independen, berjarak beberapa bulan, memakai metode berbeda, sama-sama menunjuk ke arah yang sama. Yang membedakan kali ini bukan angkanya, melainkan tempat ia mendarat: sebuah laporan yang benar-benar dibaca dan punya konsekuensi.

Yang tidak boleh disimpulkan dari sini

Bukan berarti model bahasa tak berguna untuk koreksi teks.

Probe kami merusak huruf secara mekanis, dan itu memang ranah jarak edit. Kelas galat yang justru dijanjikan model kontekstual, yaitu kata yang ejaannya benar tapi keliru dipilih menurut makna kalimat, tidak terwakili sama sekali dalam pengujian ini. Untuk kelas itu kami tidak punya bukti ke arah mana pun.

Yang terbukti lebih sempit dan lebih pasti: pada salah ketik mekanis, bentuk kata adalah bukti yang lebih kuat daripada makna yang masuk akal, dan membiarkan makna mengalahkan bentuk justru merugikan. Salah ketik itu kegagalan jari, bukan kegagalan berpikir, jadi wajar kalau yang paling tahu jawabannya adalah kemiripan bentuk.

Sakelarnya sengaja dipertahankan di kode, bukan dihapus. Kalau kelak kami punya korpus draf nyata dengan galat kontekstual, pertanyaan ini bisa diukur ulang tanpa menyentuh satu baris pun.