Bagaimana model AI melewatkan jawaban gratis pada 38 soal slang

Soal slang buatan sendiri yang ternyata membocorkan jawabannya sendiri

Ketika kami menyusun perangkat benchmark internal kami, tujuan awalnya sangat sederhana dan pragmatis. Kami ingin memilih model mana yang paling handal menangani bahasa Indonesia dan Jawa sebelum kami memutuskan infrastruktur produksi. Dari lima set soal dengan total 351 item yang kami kembangkan, salah satu yang paling menarik perhatian kami adalah set id-B yang berisi 38 item bahasa gaul. Set ini mencakup 30 item makna slang dan 8 item kata palsu yang jawaban benarnya justru menyatakan bahwa kata tersebut tidak dikenal. Set ini dirancang untuk menguji pemahaman semantik, tetapi dalam proses audit pasca-pengujian, kami menemukan sebuah cacat struktural yang mencolok. Cacat tersebut bukan pada modelnya, melainkan pada set kami sendiri.

Set soal ini secara tidak sengaja menyediakan jawaban gratis kepada siapa saja, atau sistem apa saja, yang memperhatikan bentuk fisik opsi jawaban tanpa perlu memahami makna bahasanya. Aturan mekanis yang sama sekali tidak membaca isi soal, seperti memilih opsi terpanjang atau mendeteksi pola tertentu, ternyata mampu menghasilkan skor yang jauh melampaui tebakan acak. Fenomena ini kami sebut sebagai baseline buta. Pertanyaan utamanya berubah drastis di tengah jalan. Kami tidak lagi bertanya seberapa pintar model menangani slang, melainkan seberapa besar model memanfaatkan kecerobohan kami dalam menyusun pengecoh. Baseline buta mengukur apa yang set izinkan, bukan apa yang model lakukan, dan kedua hal tersebut sering kali disamakan secara keliru dalam literatur evaluasi otomatis.

Eksperimen A/B terkontrol untuk mengukur celah panjang opsi jawaban

Untuk mengukur seberapa jauh kebocoran format ini mempengaruhi hasil akhir, kami merancang sebuah eksperimen A/B terkontrol pada set slang id-B bertanggal 2026-08-02. Dua lengan dijalankan dengan kondisi yang identik dalam segala hal kecuali satu variabel tunggal: aturan di skrip penyusun set yang memotong opsi lebih panjang dari 90 karakter. Lengan A bertindak sebagai lengan bocor dengan 59 dari 152 opsi terpotong, menghasilkan baseline buta sebesar 35,7% dan 228 panggilan serta 228 baris berskor dari 2 model dengan 3 ulangan menggunakan seed pengacakan opsi 20260802. Lengan B bertindak sebagai lengan bersih dengan 0 dari 152 opsi terpotong, menghasilkan baseline buta sebesar 25,0% dengan jumlah panggilan, baris berskor, model, ulangan, dan seed yang persis sama.

Eksperimen ini dijalankan melalui harness kami, yaitu program yang mengirimkan soal ke model dan mencatat hasilnya. Pemilihan dua model kelas murah dilakukan untuk memastikan pengujian berjalan cepat dan konsisten. Seed pengacakan opsi diatur pada angka 20260802 di kedua lengan untuk mengunci posisi pilihan ganda agar tidak bergeser secara acak di luar kontrol variabel panjang teks. Lengan A sengaja direkonstruksi dari aturan pemotongan karena berkas aslinya tertimpa sebelum kontrolnya dijalankan dan tidak dapat dipulihkan. Rekonstruksi tersebut menghasilkan 59 opsi terpotong dengan persentase 35,7%, lebih lemah dari berkas aslinya yang memuat 75 opsi terpotong dengan persentase 39,7%. Meskipun demikian, perbedaan parameter ini sudah cukup untuk menciptakan kontras yang tajam antara kondisi di mana struktur panjang opsi memberikan petunjuk fisik dan kondisi di mana struktur tersebut diratakan.

Bug harness yang menyamar jadi data dan nyaris menggagalkan seluruh proses

Eksperimen ini hampir saja gagal total bukan karena masalah kecerdasan model, melainkan karena bug tersembunyi di alat ukur kami sendiri. Jalan pertama pengujian menghasilkan lengan yang tidak simetris, di mana Lengan A hanya mencatat 226 baris berskor sementara Lengan B mencatat 228 baris. Pada eksperimen yang mengklaim kondisi identik kecuali satu variabel, selisih dua baris ini adalah lonceng kematian bagi validitas data. Kecurigaan awal mengarah pada ketidakstabilan API, namun penyelidikan mendalam membuktikan bahwa penyebabnya adalah penanganan galat yang keliru di dalam harness.

OpenRouter meneruskan kegagalan penyedia di belakangnya sebagai kode HTTP 400. Harness kami yang terlalu kaku melabeli semua respons 400 sebagai galat permanen, sehingga permintaan tersebut tidak pernah diulang dan barisnya hilang begitu saja dari run. Bahwa label itu keliru dapat dibaca langsung dari datanya sendiri tanpa asumsi tambahan. Item id-b1-003 dan id-b1-026 tercatat gagal pada ulangan pertama, lalu berhasil dua kali berturut-turut pada permintaan yang benar-benar identik berikutnya. Permintaan yang cacat secara sintaksis tidak pernah berperilaku seperti itu. Setelah respons 400 dipindahkan ke kelas galat sementara di dalam harness, Lengan A dijalankan ulang dan menghasilkan 228 dari 228 baris berskor dengan nol error dan satu percobaan ulang. Kolom token juga dibenarkan dari angka nol menjadi kosong untuk menghindari asumsi keliru bahwa pengukuran telah terjadi.

Model AI hampir sepenuhnya mengabaikan jawaban gratis yang kami sediakan

Setelah data dibersihkan dari bug harness, hasil perbandingan antara kedua lengan memberikan temuan yang mengejutkan sekaligus melegakan. Tebakan acak murni pada 4 opsi pilihan ganda adalah 25,0%. Lengan A yang cacat menyediakan 10,7 poin atau setara dengan 4,1 item secara cuma-cuma kepada siapa saja yang memilih berdasarkan bentuk fisik opsi tanpa membaca isinya. Namun, dari 4,1 item gratis yang tersedia di hadapan mereka, model-model yang kami uji ternyata mengambil paling banyak 1,00 item saja. Angka ini membuktikan bahwa model tidak serta-merta mengeksploitasi celah format mentah yang ada pada set soal.

Tabel di atas merangkum skor akhir dari kedua model di kedua lengan pengujian.

Lantai derau pada set yang berisi 38 item ini dihitung berada pada angka 2,63 poin, yang merupakan representasi tepat dari satu item tunggal. Selisih skor deepseek berada di angka 1,75 poin, yang berada di bawah lantai derau sehingga tidak boleh dilaporkan sebagai efek nyata dari kebocoran format. Sebaliknya, selisih skor gemini berada tepat di angka 2,63 poin atau tepat satu item, yang merupakan batas terkecil yang masih bisa dibedakan dari fluktuasi kebetulan. Sisi sebaliknya dari data ini juga harus diakui, di mana tidak semua bentuk kebocoran diabaikan oleh model. Bagian id-b3 yang memuat frasa unik pada kunci jawabannya terbukti menarik perhatian model dengan skor sempurna 100,0% di beberapa pengujian, menunjukkan bahwa kebocoran yang melekat pada teks spesifik memiliki daya tarik yang berbeda dibandingkan dengan kebocoran posisi.

Perubahan nyata yang kami ambil dalam penyusunan soal berikutnya

Temuan ini mengubah cara kerja tim kami secara permanen dalam memproduksi perangkat benchmark. Kami tidak lagi mempercayai verifikasi per item yang dilakukan secara manual oleh peninjau manusia, karena verifikasi tersebut terbukti meloloskan cacat sistemik lintas item yang baru terlihat setelah seluruh data dihitung. Sekarang, setiap set soal baru wajib melewati audit baseline buta sebelum diuji coba ke model komersial mana pun. Jika aturan mekanis sederhana seperti memilih opsi terpendek atau opsi pertama berhasil menebak lebih dari seperempat total soal, set tersebut langsung dikembalikan ke meja penyusunan untuk diratakan panjang dan struktur opsi jawabannya.

Perubahan operasional kedua berkaitan langsung dengan penanganan galat di dalam harness pengujian. Kami memisahkan secara tegas antara galat permanen yang berasal dari struktur permintaan yang cacat dan galat sementara yang berasal dari kegagalan infrastruktur penyedia layanan. Pengabaian terhadap perbedaan ini terbukti hampir merusak integritas eksperimen kami sebelumnya. Selain itu, kami kini memastikan bahwa kolom metrik token pada permintaan yang gagal diberi nilai kosong alih-alih angka nol, demi menjaga kejujuran catatan data mentah. Semua langkah mitigasi ini kini menjadi standar wajib di repositori riset internal kami sebelum dataset apa pun dinyatakan layak masuk tahap publikasi.

Keterbatasan ruang lingkup dan metodologi pengujian

Setiap temuan riset memiliki batasnya sendiri, dan kami menyatakannya secara transparan tanpa sikap defensif. Pengujian ini hanya melibatkan dua model AI, dan keduanya berasal dari kelas model berbiaya murah. Model penalaran tingkat tinggi sama sekali tidak diuji dalam eksperimen ini. Jumlah item dalam set slang id-B terbatas pada 38 item saja, sehingga lantai derau sebesar 2,63 poin membuat efek-efek kecil tidak terdeteksi menurut rancangan, bukan menurut kebetulan semata. Selisih skor gemini yang tepat menyentuh angka 2,63 poin berada di ambang batas tersebut dan tidak boleh diinterpretasikan lebih jauh dari batas minimum deteksi.

Lengan A yang digunakan dalam analisis ini merupakan rekonstruksi dari aturan pemotongan, bukan berkas asli tertanggal 27 Juli yang telah tertimpa dan tidak dapat dipulihkan. Berkas rekonstruksi tersebut menghasilkan 59 opsi terpotong dengan persentase 35,7%, lebih lemah dari berkas asli yang memuat 75 opsi terpotong dengan persentase 39,7%. Simpangan baku hanya bergerak pada satu model dari dua model yang diuji, di mana deepseek mencatat angka 0,00 di lengan bersih dan 1,24 di lengan bocor, sementara gemini tetap stabil di angka 0,00 pada kedua lengan. Pengamatan ini tidak cukup untuk menyimpulkan bahwa opsi terpotong secara konsisten menambah keraguan model. Bagian id-b3 masih memuat kebocoran frasa yang belum diperbaiki sehingga skor pada bagian tersebut belum sepenuhnya dapat dipercaya. Terakhir, penyusunan item ini hanya melibatkan satu peninjau utama tanpa pengujian inter-annotator agreement yang formal.