Prompt yang keliru menaikkan skor AI 27 poin

Satu tugas, satu kunci, tiga cara bertanya

Set uji kami yang bernama id-N berisi 69 kalimat berbahasa Indonesia bergaya pesan singkat, lengkap dengan singkatan dan ejaan yang tidak baku. Tugas modelnya satu, yaitu mengembalikan tiap kalimat ke bentuk bakunya. Kalimat Hrs dikerjain skrg punya satu jawaban benar, dan jawaban itu sudah kami tulis sebelum model mana pun dipanggil.

Setelah menjalankan 4 model, kami memeriksa jawaban yang dinilai salah. Gemma 4 31B salah 37 dari 69, tetapi 23 di antaranya bermakna sama dengan kunci dan hanya berbeda pilihan kata. Gemma menulis Saya ingin tahu mengapa dia marah untuk kunci Aku ingin tahu kenapa dia marah. Bukan salah paham, melainkan melangkah lebih jauh daripada yang diminta.

Kami menyalahkan prompt kami sendiri, dan menulis rumusan kedua. Supaya keduanya dapat diadu, kami memindahkan prompt-nya keluar dari data, sebab dulu ia menyatu di dalam tiap item. Rumusan lama tetap utuh dan rumusan baru berjalan di atas 69 kalimat dan kunci yang sama persis.

Kunci kami tidak bekerja seperti dugaan kami

Rumusan kedua kami susun dari satu dugaan, yakni kunci id-N memulihkan singkatan tetapi tidak pernah mengganti kata. Dugaan itu keliru, dan kami baru tahu setelah menghitung 69 pasang kalimat sumber dan kunci, kata demi kata.

Kunci kami mengganti kata, 40 kali, dan ia melakukannya tanpa satu pun penyimpangan. Kata yang sudah baku tidak pernah disentuh. Contohnya, aku bertahan 18 dari 18 kali, kamu 6 dari 6. Kata yang tidak baku selalu diganti. Misalnya, gak 7 dari 7, lalu pengen, bgt, dan seneng 5 dari 5.

Jadi aturannya tunggal, dan persis seperti bunyi prompt lama: jadikan setiap kata baku, dan yang sudah baku dibiarkan. Model yang menulis Saya untuk Aku memang salah, sebab aku sudah baku.

Satu skor, dua kemampuan

Begitu aturan kuncinya jelas, skor id-N dapat dibelah jadi dua kemampuan yang dapat bergerak ke arah berlawanan. Keduanya kami baca dari kunci, bukan dari daftar kata baku yang kami karang sendiri.

A, yaitu 40 substitusi yang kunci lakukan. Apakah model mengubah gak jadi tidak?

B, yaitu 63 kata yang kunci pertahankan. Apakah model membiarkan aku tetap aku?

Angka 63 itu bukan seluruh kata yang bertahan, melainkan yang setidaknya satu model benar-benar ganti. Dari 243 kata yang bertahan di kunci, sisanya seperti hari dan buku tidak menggoda siapa pun, dan memasukkannya hanya akan mengencerkan penyebut sampai semua model tampak patuh.

Rumusan kedua menaikkan skor dengan menukar kemampuan

Rumusan kedua berbunyi jangan mengganti kata dengan sinonim dan jangan mengubah tingkat keformalan. Skor Gemma melonjak 27 poin.

Rumusan 1Rumusan 2Rumusan 3

Gemma 4 31B

32 · 59 · 60

Qwen3-30B-A3B

40 · 43 · 46

Ling 3.0 Flash

39 · 43 · 41

Mistral Small 3

39 · 38 · 38

Dibelah jadi A dan B, lonjakan itu berhenti terlihat seperti perbaikan.

Rumusan 1Rumusan 2Rumusan 3

Gemma 4 31B

87,5 · 77,5 · 87,5

Qwen3-30B-A3B

77,5 · 57,5 · 80,0

Ling 3.0 Flash

80,0 · 56,4 · 82,5

Mistral Small 3

72,5 · 60,0 · 72,5

Rumusan 1Rumusan 2Rumusan 3

Gemma 4 31B

54,0 · 98,4 · 95,2

Qwen3-30B-A3B

81,0 · 88,9 · 84,1

Ling 3.0 Flash

55,6 · 87,3 · 71,4

Mistral Small 3

81,0 · 93,7 · 82,5

Rumusan kedua menyempurnakan B pada keempat model, dan merusak A pada keempat model juga, tanpa satu pun pengecualian. Rumusan itu membeli kepatuhan dengan membayar kemampuan.

Dari situ selisih skornya berhenti jadi teka-teki dan berubah jadi hitungan. Gemma naik 27 karena utangnya di B paling besar, dan ia hanya kehilangan 4 substitusi di A. Mistral turun 1 karena utang B-nya paling kecil, sehingga sedikit yang bisa ia beli, sementara kerugian A-nya penuh. Ling dan Qwen duduk di antara keduanya.

Sekarang jelas dari mana skor itu datang. Rumusan kedua melarang model mengganti kata, padahal kunci kami mengganti kata 40 kali.

Model yang paling patuh pada rumusan kedua justru model yang paling banyak berhenti mengerjakan tugas yang kami minta.

27

Rumusan ketiga yang benar

Rumusan ketiga menyatakan aturan kunci apa adanya, yaitu ubah setiap kata yang tidak baku menjadi bentuk bakunya, dan kata yang sudah baku jangan diganti walaupun terasa santai. Kami sengaja tidak menyebut aku atau kamu sebagai contoh, sebab mayoritas kasus B adalah kedua kata itu dan menyebutnya akan membocorkan jawaban.

Hasilnya berbeda bentuk dari rumusan kedua, meskipun skor Gemma-nya mirip. A kembali ke angka semula pada keempat model, dan pada Gemma serta Mistral ia sama persis dengan rumusan pertama, yakni 35 dari 40 dan 29 dari 40. B tetap jauh di atas titik awalnya. Gemma mencapai 60 dari 69, tertinggi dari ketiga rumusan.

Perhatikan apa yang tidak berubah. Rumusan yang benar tidak menambah kemampuan satu model pun, melainkan berhenti menghalanginya. Pada kalimat dan kunci yang sama persis, rumusan kami menyembunyikan 28 poin kemampuan Gemma, dari 32 ke 60. Peringkatnya ikut terbalik. Pada rumusan pertama Gemma juru kunci dari 4 model, pada rumusan ketiga ia teratas, dan Mistral yang turun ke juru kunci.

Kami hampir melaporkan yang kedua sebagai perbaikan

Rumusan kedua lulus setiap pemeriksaan yang biasanya kami pakai. Item dan kuncinya identik, penilainya sama, biayanya kecil, dan skornya naik pada 3 dari 4 model. Kalau kami berhenti di angka skor, artikel ini akan berjudul "prompt yang lebih baik menaikkan skor 27 poin", dan setiap kalimatnya benar kecuali kesimpulannya.

Kami tertolong bukan oleh kecurigaan, melainkan oleh penguraian A dan B, dan penguraian itu sendiri lahir dari kesalahan kami. Kami baru menghitung aturan kunci kata demi kata setelah dugaan pertama kami tentang aturan itu terbukti salah. Seandainya dugaan kami kebetulan benar, alat pemisahnya tidak akan pernah dibuat.

Kami juga menguji penjelasan tandingan yang paling mungkin, yaitu bahwa keempat model hanya sedang menebak dan selisihnya derau. Penjelasan itu tidak bertahan. Arah perubahan A seragam pada keempat model, dan 6 kalimat tetap tidak terjawab benar oleh model mana pun di ketiga rumusan. Dua di antaranya menyingkap pengecualian pada kunci kami sendiri, yaitu dikerjain dan ngerti dibiarkan di jawaban benar padahal keduanya tidak baku, jadi keduanya melanggar aturan yang baru saja kami nyatakan. Kami melaporkannya dan tidak merapikan kuncinya di belakang layar.

Batas simpulan

Hasil ini bukan papan peringkat model. Keempatnya dipilih karena murah dan cepat, dan Gemma yang naik paling tinggi bukan berarti Gemma model terbaik untuk tugas normalisasi.

Angka ini juga tidak menyatakan bahwa prompt yang lebih rinci selalu lebih baik. Rumusan ketiga menang karena cocok dengan kunci, bukan karena lebih panjang. Rumusan kedua juga lebih rinci daripada yang pertama, dan justru merusak.

Hanya satu hal yang berlaku di luar set ini, dan hal itu tidak khusus untuk bahasa Indonesia, yakni skor yang naik bukan bukti bahwa prompt-nya lebih benar. Selama sebuah skor menjumlahkan lebih dari satu kemampuan, satu perubahan prompt dapat menaikkan angkanya sambil menurunkan pekerjaan yang sebenarnya diukur. Cara memeriksanya murah. Pisahkan skor itu jadi kemampuan-kemampuan penyusunnya, baca pemisahnya dari kunci jawaban, lalu lihat apakah semuanya bergerak ke arah yang sama. Seluruh eksperimen ini, 826 panggilan pada 4 model, menghabiskan $0,017.