Ketika buku tata bahasa salah dan penutur aslinya benar

Pada tahap penyusunan soal uji bahasa Jawa, sumber jawaban ditentukan berdasarkan buku tata bahasa. Tingkat tutur memiliki aturan tertulis yang dapat digunakan sebagai kunci jawaban.

Namun ternyata, 6 item gugur karena keyakinan kami itu.

Kunci jawabannya yang salah, bukan modelnya

Item-item itu menanyakan bentuk mana yang benar, dengan kunci diambil dari aturan preskriptif. Semuanya rapi di atas kertas.

Begitu diperiksa terhadap keberterimaan penutur, kuncinya tidak bertahan. Bentuk yang "salah" menurut buku ternyata diterima secara luas. Dalam beberapa kasus bentuk itu justru terdengar lebih wajar daripada bentuk yang diresepkan, dan penutur yang kami tanyai perlu beberapa detik untuk mengingat bahwa versi buku memang ada.

Keenam item itu tidak diperbaiki. Mereka dibuang. Memperbaiki kuncinya saja tidak cukup, karena masalahnya bukan di kuncinya melainkan di pertanyaannya.

Dua jenis kebenaran yang tidak boleh dicampur

Dari situ kami membedakan secara eksplisit dua hal yang sebelumnya kami anggap satu.

Preskriptif berjangkar pada dokumen resmi. Ini sah untuk kaidah ejaan: ada dokumen yang menetapkan, bentuk benarnya tunggal, dan siapa pun bisa merujuk ke sana untuk menyelesaikan perdebatan.

Keberterimaan penutur berjangkar pada penutur asli. Ini yang berlaku untuk tingkat tutur bahasa Jawa, di mana keberterimaan jauh lebih longgar daripada tabel mana pun.

Set yang mencampur keduanya tidak bisa ditafsirkan sama sekali. Kalau sebuah model menjawab "salah", kamu tidak punya cara tahu apakah ia gagal memahami bahasanya, atau justru menjawab persis seperti penutur asli sementara kunci jawabanmu mengikuti buku. Dua kemungkinan itu menuntut tindakan yang berlawanan, dan skornya terlihat sama.

Pertanyaannya yang harus berubah

Perbaikannya kecil di permukaan dan besar akibatnya. Kami berhenti bertanya "mana yang tepat", dan mulai bertanya "mana yang paling tepat", atau menanyakan letak: unsur mana yang tidak sejalan.

Yang pertama mengandaikan ada satu bentuk benar. Yang kedua mengukur penilaian relatif, dan itulah yang sebenarnya dilakukan penutur ketika mendengar dua kalimat.

Efek sampingnya menarik. Format komparatif ternyata jauh lebih stabil untuk dinilai, karena penutur yang ragu menyebut sebuah kalimat "benar" atau "salah" hampir tidak pernah ragu menyebut satu kalimat lebih wajar daripada yang lain.

Ini juga yang membuat kami menuliskan norm_basis sebagai kolom eksplisit di tiap set, bukan sebagai kesepakatan tak tertulis. Kesepakatan tak tertulis bertahan sampai orang berikutnya menambahkan item, lalu hilang.

Yang tidak bisa disimpulkan dari sini

Ini bukan pernyataan bahwa buku tata bahasa Jawa keliru. Buku menjelaskan norma, penutur menjalankan kebiasaan, dan keduanya bisa berbeda tanpa salah satunya salah. Bahasa yang normanya persis sama dengan kebiasaannya kemungkinan besar bahasa yang sudah berhenti dipakai.

Angka enam dari 40 juga tidak bisa digeneralisasi. Itu hitungan pada satu putaran penyusunan, dengan satu penyusun. Putaran lain dengan penyusun lain bisa menghasilkan angka berbeda.

Dan karena set kami memakai satu varian dialek saja, batas antara "diterima" dan "tidak" yang kami pakai adalah batas milik Yogya-Solo. Penutur Jawa Timuran atau Banyumasan mungkin menggambar garis di tempat lain. Itu keterbatasan yang kami catat, bukan yang sudah kami selesaikan.

Kenapa ini penting di luar bahasa Jawa

Masalah yang sama menunggu di tiap bahasa daerah yang mau kami ukur. Sunda, Minang, Bugis, semuanya punya tradisi tulis yang tidak selalu sejalan dengan kebiasaan penuturnya hari ini.

Kalau kami menyusun soal dari buku tata bahasa saja, kami akan mengukur seberapa jauh model menghafal buku itu, bukan seberapa jauh ia memahami bahasanya. Dua hal itu berbeda, dan yang kedua jauh lebih berguna bagi orang yang benar-benar memakai bahasanya.

Konsekuensinya tidak nyaman: tiap set bahasa daerah butuh penutur yang mau meluangkan waktu memeriksa item satu per satu. Itu lambat, sulit diskalakan, dan tidak bisa digantikan model. Kami belum punya jawaban yang rapi untuk itu, dan lebih memilih menuliskannya sebagai masalah terbuka daripada berpura-pura sudah selesai.