Buku bilang salah, penutur bilang wajar
Saat menyusun soal uji tingkat tutur bahasa Jawa, kami pikir sumber kunci jawabannya jelas: buku tata bahasa. Tingkat tutur punya aturan tertulis, dan aturan tertulis bisa jadi kunci jawaban.
Enam dari 40 soal gugur karena keyakinan itu.
Soal-soal itu menanyakan bentuk mana yang benar, dengan kunci diambil dari aturan buku. Semuanya rapi di atas kertas. Begitu diperiksa ke penutur aslinya, kuncinya tidak bertahan. Bentuk yang "salah" menurut buku ternyata diterima secara luas. Dalam beberapa kasus malah terdengar lebih wajar daripada bentuk yang diresepkan buku, sampai penutur yang kami tanyai perlu beberapa detik untuk mengingat bahwa versi buku itu memang ada.
Keenam soal itu tidak diperbaiki kuncinya. Kami buang. Memperbaiki kuncinya saja tidak cukup, sebab masalahnya bukan di kuncinya, melainkan di pertanyaannya sendiri.
Dua jenis "benar" yang tidak boleh dicampur
Dari situ kami memisahkan dua hal yang sebelumnya kami anggap satu.
Yang pertama, kebenaran preskriptif, berjangkar pada dokumen resmi. Ini sah untuk aturan ejaan: ada dokumen yang menetapkannya, bentuk benarnya satu, dan siapa pun bisa merujuk ke sana untuk menyelesaikan perdebatan.
Yang kedua, keberterimaan penutur, berjangkar pada penutur asli. Inilah yang sebenarnya berlaku untuk tingkat tutur bahasa Jawa, sebab keberterimaannya jauh lebih longgar daripada tabel mana pun di buku.
Soal yang mencampur keduanya tidak bisa ditafsirkan sama sekali. Kalau sebuah AI menjawab "salah" pada soal semacam itu, tidak ada cara tahu apakah ia benar-benar gagal memahami bahasanya, atau justru menjawab persis seperti penutur asli sementara kunci jawabannya mengikuti buku. Dua kemungkinan itu perlu ditangani sangat berbeda, padahal skornya terlihat sama persis.
Pertanyaannya yang harus diubah
Perbaikannya kecil di permukaan, besar akibatnya. Kami berhenti bertanya "mana yang benar", dan mulai bertanya "mana yang lebih wajar". Pertanyaan pertama mengandaikan ada satu bentuk benar, yang kedua mengukur penilaian yang relatif, dan itulah yang sebenarnya dilakukan penutur ketika mendengar dua kalimat.
Efek sampingnya menarik: format perbandingan ini ternyata jauh lebih stabil dinilai. Penutur yang ragu-ragu menyebut sebuah kalimat "benar" atau "salah" hampir tidak pernah ragu menyebut satu kalimat lebih wajar daripada yang lain.
Kenapa ini penting di luar bahasa Jawa
Masalah yang sama menunggu di tiap bahasa daerah yang mau diukur. Sunda, Minang, Bugis, semuanya punya tradisi tulis yang tidak selalu sejalan dengan kebiasaan penuturnya hari ini.
Kalau soal uji cuma disusun dari buku tata bahasa, yang terukur seberapa jauh AI menghafal buku itu, bukan seberapa jauh ia memahami bahasanya. Dua hal itu berbeda, dan yang kedua jauh lebih berguna bagi orang yang benar-benar memakai bahasanya sehari-hari.
Ini bukan pernyataan bahwa buku tata bahasa Jawa keliru. Buku menjelaskan norma, penutur menjalankan kebiasaan, dan keduanya bisa berbeda tanpa salah satunya salah. Bahasa yang normanya persis sama dengan kebiasaannya kemungkinan besar bahasa yang sudah berhenti dipakai.
Cara lengkap kami menyusun soal ini, dan seluruh data mentahnya, ada di versi teknis di bawah ini.
Di balik temuan ini
Versi teknisnya memuat angka mentah, susunan pengujian, dan hal-hal yang justru tidak bisa disimpulkan darinya.