36% jawaban AI berubah walau pertanyaannya sama persis

Setiap kali kami memperbaiki kunci jawaban, satu model diuntungkan

Kami menguji seberapa jauh model AI mengenal kosakata bahasa Jawa. Soalnya satu kalimat: apa arti kata Jawa ini dalam bahasa Indonesia?

Cara kami menilai jawabannya juga sederhana. Untuk tiap kata, kami menyiapkan daftar padanan Indonesia yang kami terima sebagai jawaban benar, dan kami menyebutnya kunci jawaban. Sebuah jawaban dinyatakan benar bila memuat salah satu padanan di daftar itu.

Masalah muncul ketika sebuah model menjawab dengan padanan yang sah tetapi tidak terpikirkan oleh penulis kunci. Kami lalu membaca jawaban tersebut, menambahkan padanannya ke kunci, dan menghitung ulang seluruh skor. Kunci jawaban jadi lebih lengkap, dan itu memang perbaikan.

Tetapi model yang jawabannya kami baca menerima seluruh keuntungan dari perbaikan tersebut. Model lain, yang jawabannya tidak pernah kami baca, tetap dihukum oleh kunci yang sama kurangnya.

Di pengukuran 43 kata Jawa langka, satu putaran pembacaan menaikkan GPT-5.6 Luna 14 poin sendirian. Dua model lain tidak bergerak satu poin pun, bukan karena keduanya lebih buruk, melainkan karena padanan yang kami tambahkan memang padanan yang Luna pakai.

Alat ukur yang membaik hanya untuk peserta yang kebetulan diperiksa bukan alat ukur, melainkan cermin.

Kami ubah urutannya: jalankan semua model dulu, baru sentuh kuncinya

Menutup celah itu tidak menuntut teknologi baru. Kami hanya perlu mengubah urutan kerjanya.

SALAH   jalankan model A → baca jawabannya → perbaiki kunci → hitung skor

        jalankan model B → hitung skor dengan kunci yang sudah condong ke A



BENAR   jalankan SELURUH model

        baca jawaban semuanya dalam satu putaran

        baru hitung skor semuanya dengan kunci final

Urutan itu murah karena penilaian berjalan atas jawaban yang sudah tersimpan. Menghitung ulang 810 jawaban dengan kunci yang berubah tidak menuntut satu panggilan pun ke model AI, dan selesai dalam hitungan detik. Jadi selama setiap model mendapat pembacaan, tidak ada model yang diuntungkan oleh urutan.

Kami menguji cara kerja ini pada 135 kata Jawa dari kamus kami sendiri, dengan 6 model AI, dan 540 padanan yang rata-rata 4,00 per lema.

Tiga metode yang kami gabung, dan kenapa tidak satu pun BLEU

Banyak orang mengira menilai jawaban AI berarti membandingkan kalimatnya dengan kalimat rujukan, seperti yang dilakukan BLEU pada terjemahan mesin. Cara kami berbeda, dan ketiga bagiannya punya nama sendiri di literatur.

Bentuk soalnya disebut definition modeling. Model diminta menyebutkan arti sebuah kata, dan jawabannya dinilai. Bentuk soal ini pernah jadi shared task di SemEval, dan makalahnya menyebut sendiri salah satu penerapannya: menghasilkan data kamus untuk bahasa berdaya rendah. Persis pekerjaan kami.

Cara menilainya disebut exact match dengan kumpulan alias, praktik baku di penilaian sistem tanya-jawab. Jawaban dinyatakan benar bila memuat salah satu dari daftar jawaban yang diterima. Peneliti di bidang itu sudah lama mengakui satu hal yang persis kami alami: menyediakan daftar alias mengurangi kekakuan penilaian, tetapi menambah beban mengumpulkan datanya.

Struktur kuncinya paling mirip bilingual lexicon induction, yaitu menilai terjemahan satu kata terhadap kamus emas yang memuat lebih dari satu terjemahan sah. Satu kata sumber, banyak padanan, benar bila salah satu kena.

Lalu kenapa bukan BLEU. BLEU menilai satu kalimat terjemahan terhadap satu kalimat rujukan, padahal satu kalimat dapat diterjemahkan dengan banyak cara yang sama benarnya. Keberatan itulah yang menggugurkan percobaan pertama kami. Pertanyaan "apa arti kata ini" bebas dari keberatan tersebut: jawabannya benar atau salah, dan tidak bisa berakhir seri.

Berapa skor yang didapat model kalau ia asal menjawab?

Pertanyaan itu wajib dijawab sebelum satu angka pun dilaporkan, dan alasannya begini.

Menambah padanan ke kunci menaikkan skor. Menambah padanan juga menaikkan peluang sebuah jawaban kena secara kebetulan, tanpa model itu memahami apa pun. Kedua hal tersebut terlihat persis sama di tabel hasil: angkanya naik. Jadi menambah kunci tidak pernah aman tanpa satu pengukuran pendamping.

Kami mengukurnya begini: ambil jawaban model untuk sebuah lema, lalu adu dengan kunci seluruh lema lain. Pasangan semacam itu dijamin salah. Apa pun yang lolos adalah keberuntungan murni, dan berapa banyak yang lolos itulah titik nol kami.

Hasilnya 694 dari 108.540 pasang, atau 0,6 persen. Kami menghitungnya ulang setiap kali kunci disunting, dan sepanjang enam putaran angka tersebut tidak pernah naik.

Pemeriksaan yang sama menyaring keluar tiga jenis kunci rusak. Yang paling memalukan: sebuah kunci yang isinya lemanya sendiri, ditulis dua kali. Model selalu mengulang kata yang ditanyakan saat menjawab, sehingga kunci itu meloloskan jawaban apa pun, termasuk jawaban yang salah total.

Enam kali kami perbaiki kunci, dan tidak ada model yang diuntungkan

Inilah bukti bahwa mengubah urutan kerja tadi memang berhasil.

Kami menjalankan enam putaran pembacaan, satu putaran per model. Tiap putaran memperbaiki kunci, dan tiap perbaikan berlaku untuk seluruh model. Ini yang terjadi pada skornya:

Bandingkan dengan pengukuran sebelumnya, ketika satu model naik 14 poin sendirian sementara dua model lain diam di tempat. Kali ini setiap model naik, tidak ada yang turun, dan tidak ada yang naik jauh melampaui yang lain. Kenaikan terbesar 4 poin, terkecil 1 poin. Dan yang paling sedikit naik justru model berskor tertinggi, yang memang paling sedikit menyisakan kesalahan untuk diperbaiki.

Satu pemeriksaan lain berjalan sendiri di sebelahnya. Sepanjang perbaikan, kami menghitung seberapa sering penilai kunci dan penilai kemiripan makna menjatuhkan vonis yang sama. Penilai kedua itu IndoBERT yang berjalan di komputer kami sendiri, dan ia tidak pernah melihat kunci jawaban sama sekali. Kedua penilai makin sering sepakat:

sebelum ditinjau     0,879

sesudah 3 putaran    0,896

sesudah 6 putaran    0,913

Dua penilai yang tidak berbagi apa pun makin sering sependapat setiap kali kunci diperbaiki. Itu tanda bahwa yang kami perbaiki memang alat ukurnya, bukan sekadar melonggarkan penilaian supaya semua model lolos.

Kami jalankan satu model tiga kali, dan skornya berbeda-beda

Setelah alat ukur kami berhenti bergeser, kami memanggil satu model berulang kali untuk memastikan hasilnya stabil. Setelannya temperature 0, yang meminta model selalu memilih kata paling mungkin. Pertanyaannya sama persis. Setnya sama persis.

jalan 1   25 dari 135

jalan 2   21 dari 135

jalan 3   21 dari 135

Skor model itu bergeser 4 lema. Kami lalu membandingkan jawabannya satu per satu antara dua jalan terakhir:

jawaban identik  :  86 dari 135  (64%)

jawaban BERBEDA  :  49           (36%)

Lebih dari sepertiga jawaban berubah antara dua panggilan berturut-turut, pada setelan yang seharusnya menjamin jawaban yang sama.

Sebagian besar perubahan itu kosmetik saja, kalimat yang disusun ulang tetapi sama-sama salah. Tetapi sebagian menyeberangi batas benar-salah, dan perubahan itulah yang menggeser skornya.

temperature 0 memang tidak pernah menjanjikan apa yang orang kira. Setelan tersebut mengatur cara model memilih kata berikutnya; ia tidak menjamin penyedia menjalankan perhitungan yang sama persis. Model besar yang dilayani berbarengan dengan permintaan pengguna lain memang bergeser.

Ketidakpastian sebesar itu langsung menyentuh angka kami sendiri:

Jarak kedua model itu 1 lema. Ragam antar-ulangan yang baru kami ukur 4 lema. Artinya kedua model tersebut tidak dapat dibedakan oleh data ini, dan menyatakan salah satunya lebih baik sama saja dengan melaporkan derau sebagai temuan.

Kami menghabiskan berhari-hari menutup celah pada alat ukur kami. Ternyata sumber ketidakpastian yang lebih besar bukan di alat ukurnya, melainkan di dalam model yang sedang kami ukur.

Hasil pengukurannya

Seluruh 810 panggilan menghabiskan $0,41, dan 90 persen dari jumlah itu jatuh pada satu model saja.

Dua hal menonjol, dan tidak satu pun dapat ditebak dari harganya.

Gemma 4 31B menyamai model yang 3 kali lebih mahal. Ia tertinggal 1 lema dari GPT-5.6 Luna, dengan ongkos $0,0000133 per panggilan lawan $0,0000418.

Claude Haiku 4.5 tertinggal 23 poin dari Gemma sambil 14 kali lebih mahal. Urutan harga dan urutan skor tidak sejalan sama sekali kecuali di kedua ujungnya.

Yang tidak boleh disimpulkan dari angka ini

Bukan berarti keenam model ini diperingkat untuk bahasa Jawa secara umum. Yang kami ukur pengenalan arti kata tunggal. Menerjemahkan kalimat, memilih tingkat tutur, atau menulis dalam bahasa Jawa adalah kemampuan lain yang tidak disentuh sama sekali di sini.

Bukan berarti selisih 1 sampai 4 lema bermakna. Ragam antar-ulangan yang kami ukur 4 lema. Empat model teratas berada dalam rentang 14 lema, dan sebagian besar jarak antar-tetangga di dalamnya lebih kecil daripada derau itu.

Bukan berarti skor tinggi membuktikan penguasaan bahasa Jawa. Halaman kamus kami terindeks publik, dan 135 lema ini bukan kata langka. Model mana pun bisa saja pernah membacanya.

Bukan berarti kunci jawaban kami sudah lengkap. Penilai kemiripan makna mengukur celah yang tersisa: 14 persen jawaban yang kami nilai salah ternyata sangat dekat dengan definisi kamus kami sendiri, hanya tidak menyebut kata yang kebetulan terdaftar di kunci. Menambah padanan mempersempit celah tersebut, tidak pernah menutupnya.

Bukan berarti ragam antar-ulangan itu sama besar untuk semua model. Kami mengukurnya pada satu model saja, yang terlemah. Model lemah duduk dekat batas keputusan sehingga jawabannya lebih mudah terbalik.

Yang berlaku di luar bahasa Jawa

Urutan membaca adalah bagian dari metodologi, bukan sekadar urusan kerapian. Selama perbaikan alat ukur dituntun oleh keluaran satu peserta, peserta itu menerima keuntungan yang tidak akan pernah muncul di tabel hasil. Obatnya bukan berhenti memperbaiki, melainkan memperbaiki setelah semua peserta selesai diuji.

Ukur berapa skor yang didapat tanpa memahami apa pun, dan ukur ulang tiap kali penilainya berubah. Tanpa angka itu, skor tinggi tidak dapat dibedakan antara penilaian yang benar dan penilai yang mudah dilewati siapa saja.

Jangan menganggap temperature 0 menjamin jawaban yang berulang. Kalau jarak antara dua sistem lebih kecil daripada ragam antar-ulangan yang belum pernah diukur, peringkat di antara keduanya belum ada. Mengukurnya murah: jalankan dua kali, lalu bandingkan.