Kenapa Ini Penting
Papan peringkat AI dibaca seperti daftar fakta. Model ini 60, model itu 38, jadi yang pertama lebih pintar. Satu hal jarang ikut terbaca, yaitu angka itu bukan sifat modelnya, melainkan hasil pertemuan antara model dan pertanyaan yang disusun manusia.
Kami membuat papan peringkat semacam itu untuk tugas yang sederhana, yaitu mengubah 69 kalimat bergaya pesan singkat menjadi bahasa Indonesia yang baku. Lalu kami membalikkannya sendiri, tanpa menyentuh satu pun soal dan tanpa mengubah satu kata pun di kunci jawaban.
Temuan Kami
Kami menanyakan 69 kalimat yang sama kepada 4 model dengan tiga rumusan prompt yang berbeda. Peringkatnya terbalik di kedua ujungnya.
60
46
41
38
Pada rumusan pertama, Gemma 4 31B buatan Google juru kunci dari 4 model. Pada rumusan ketiga, ia teratas, dan Mistral Small 3 dari Mistral AI yang turun ke juru kunci. Soalnya sama, kuncinya sama, penilainya sama. Kami hanya mengubah prompt-nya.
Penyebabnya bukan sihir prompt, melainkan kesalahan kami. Rumusan pertama menyuruh model membakukan kalimat, dan Gemma menuruti terlalu jauh. Ia menulis Saya di tempat kunci menulis Aku, padahal aku sudah baku. Dari 37 jawaban Gemma yang dinilai salah, 23 bermakna sama dengan kunci dan hanya berbeda pilihan kata.
Perbaikan pertama kami sendiri hampir menambah kekacauan. Kami menulis rumusan kedua yang melarang model mengganti kata, dan nilai Gemma langsung melompat ke 59. Hampir saja kami umumkan sebagai soal yang lebih baik, sebelum menyadari rumusan itu justru melanggar kunci jawaban kami sendiri di 40 tempat. Nilainya naik untuk alasan yang salah.
Kami lalu menghitung ulang kunci jawaban kami sendiri, kata demi kata. Kunci itu memulihkan singkatan 128 kali, dan mengganti kata 40 kali. gak jadi tidak, pengen jadi ingin. Aturannya ternyata tunggal, yaitu jadikan setiap kata baku dan biarkan yang sudah baku. Rumusan ketiga menyatakan aturan itu apa adanya, dan Gemma langsung mencapai 60 dari 69.
Jadi selama ini bukan Gemma yang tidak mampu, melainkan pertanyaan kami yang tidak jelas. Keduanya menghasilkan angka rendah yang persis sama, dan angka itu sendiri tidak pernah memberi tahu yang mana. Pembaca papan peringkat hanya melihat angkanya.
Sementara Mistral bergeming di 38 sampai 39 pada ketiga rumusan. Untuk model yang satu itu, soal kami memang tidak pernah jadi penghalang, dan justru itu yang membuatnya turun peringkat ketika model lain terlepas dari hambatannya.
Batasannya
Papan peringkat kami sendiri yang terbalik di sini, pada satu tugas dan satu bahasa. Temuan ini bukan pernyataan bahwa Gemma model terbaik atau Mistral model terburuk. Keempatnya dipilih karena murah dan cepat, supaya tiga rumusan penuh terjangkau, dan tidak ada model besar di dalamnya.
Urutan tengahnya jangan dibaca terlalu serius. Pada rumusan pertama Mistral dan Ling sama-sama 39, dan pada rumusan ketiga jarak Ling ke Mistral hanya 3 poin. Tiap kalimat ditanyakan sekali saja, tanpa pengulangan, jadi selisih sekecil itu bisa saja derau. Hanya gerak 28 poin pada Gemma yang cukup besar untuk tahan dibaca sebagai temuan.
Enam kalimat tidak pernah dijawab benar oleh model mana pun, di ketiga rumusan. Dua di antaranya membongkar pengecualian pada kunci kami sendiri, dan kami memilih melaporkannya alih-alih merapikan kuncinya diam-diam.
Hanya satu hal yang berlaku di luar set ini, dan hal itu tidak khusus untuk bahasa Indonesia, yakni peringkat yang bisa dibalik oleh orang yang menulis soalnya bukan peringkat kemampuan. Sebelum memercayai sebuah papan peringkat AI, tanyakan siapa yang menyusun pertanyaannya dan apakah rumusannya pernah diuji. Seluruh pengujian ini, 826 panggilan pada 4 model, menghabiskan $0,017.
Di balik temuan ini
Versi teknisnya memuat angka mentah, susunan pengujian, dan hal-hal yang justru tidak bisa disimpulkan darinya.