Evaluasi ox-alpha sebelum Z.ai mengungkapnya sebagai GLM-5.3-Flash

Model yang sama, dua meja penilaian

Pada artikel sebelumnya kami mengukur ox-alpha, model samaran yang sedang viral, di lajur uji: jalur karantina yang memakai soal dan penilai yang sama dengan papan utama tetapi angkanya tidak pernah masuk klasemen. Di sana kami menulis dua janji. Ox-alpha tidak akan pernah tampil di papan utama karena identitasnya akan berganti. Dan GLM-5.3, model resmi dari Z.ai yang setengah mirip dengannya, akan kami jalankan di papan utama awal September.

Tiga hari kemudian, 26 Agustus, Z.ai membuka suara: ox-alpha adalah GLM-5.3-Flash, versi hemat dari GLM-5.3. Dua prediksi itu sekaligus matang untuk dipanen. Model resminya kini ada di katalog berbayar dengan tarif $0,075 per juta token masuk dan $0,25 per juta token keluar, jadi ia boleh dan wajib masuk papan utama beserta irisan tertahannya, sekaligus menutup janji kedua.

Jadi sekarang kami punya sesuatu yang hampir tidak dimiliki orang lain: model yang sama, diukur dua kali, sebelum dan sesudah identitasnya terbuka. Pertanyaannya berubah bentuk. Bukan lagi "siapa dia", melainkan: apakah model gratis dan model resminya benar-benar satu model yang sama saat melayani?

Apa yang kami bandingkan

Satu baris tabel itu layak diceritakan panjang. Ox-alpha saat itu menyimpan prompt penggunanya, jadi kami menolak mengirim soal irisan tertahan ke sana. Itu kebijakan yang sudah berlaku sejak sebelum ox-alpha, bukan reaksi pada satu model. Karena itu, perbandingan kali ini memakai irisan publik kedua set: 42 soal slang Indonesia dan 38 soal tingkat tutur Jawa. Semua angka di artikel ini dihitung ulang dari buku besar kedua sesi pada hari penulisannya, bukan disalin dari catatan lama.

Kebetulan yang tidak direncanakan: dua sesi itu berjarak hanya delapan hari, dan yang pertama berjalan dua hari sebelum pengumuman Z.ai. Kalau sesuai dugaan komunitas masa promosi gratis itu dimanfaatkan pemiliknya untuk memanen cara manusia memakai modelnya, maka data pelatihan yang ia panen belum sempat mempengaruhi bobot model resmi yang kami ukur kemarin. Ini spekulasi, dan kami tandai sebagai spekulasi. Tapi ia menjadikan jendela delapan hari ini salah satu pembanding paling bersih yang bisa diharapkan tanpa akses ke server siapa pun.

Slang Indonesia dan tingkat tutur pilihan ganda dinilai mesin terhadap kunci. Ada lengan ketiga yang tidak masuk grafik itu, dan justru ia yang paling menarik.

Angkanya naik di kedua set

Di slang Indonesia, ox-alpha menjawab benar 49 dari 60 saat kami mengukurnya di lajur uji. Versi resminya, delapan hari kemudian di papan utama, menjawab benar 54 dari 60. Di tingkat tutur Jawa, 27 dari 38 naik menjadi 32 dari 38. Kedua set bergerak dengan arah yang sama dan jarak yang nyaris sama: 5 jawaban, dua kali.

Dari 60 soal slang, 53 dijawab dengan huruf yang sama persis oleh kedua model. Dari 38 soal Jawa, 30. Artinya kecocokan jawaban 88% dan 79%, naik tipis dari 71% yang kami laporkan antara ox-alpha dan GLM-5.3 penuh pada artikel lalu. Model resminya juga tampak lebih dekat dengan model samaran itu daripada kakaknya sendiri.

Tapi 5 jawaban dari 60, itu berapa banyak? Pada kedua set, hanya 7 soal yang dijawab berbeda oleh kedua model, dan di dalam 7 itu versi resmi lebih benar pada 6 sementara ox-alpha lebih benar pada 1. Uji McNemar eksak yang dirancang persis untuk perbandingan berpasangan seperti ini memberi p sekitar 0,125 di kedua set. Dua set dengan arah sama itu bukti yang lebih kuat daripada satu set saja, tetapi angka ini belum menutup kemungkinan kebetulan. Klaim yang sah bukan "versi resmi lebih pintar", melainkan "versi resmi berskor lebih tinggi di kedua set, dengan pola yang konsisten".

Lengan yang dinilai manusia

Set tingkat tutur Jawa punya 8 soal terbuka yang tidak bisa dinilai mesin: model diminta menulis ulang kalimat ngoko menjadi krama alus, dan penutur asli menilai jawabannya per kriteria dengan rubrik berbobot. Di lajur uji, penutur kami menerima ox-alpha dengan skor 6,72 dari 8. Versi resminya, yang dinilai dengan rubrik yang sama oleh penutur yang sama, menerima 7,67 dari 8.

Jaraknya satu poin penuh, dan di lengan ini jarak itu bermakna lebih besar daripada 5 jawaban pilihan ganda. Jawaban terbuka dinilai pada kualitas bahasanya, bukan pada satu huruf, dan rubrik yang sama berlaku untuk keduanya. Satu perbedaan kecil yang wajib kami tulis: vonis lajur uji diberikan sebelum identitas ox-alpha terbuka, dengan penanda penilai yang berbeda dari vonis resmi, jadi keduanya tidak boleh dibaca sebagai satu kolom nilai yang sama.

Skor tertahannya tetap diam: 2 dari 2 jawaban pada soal tertahan menerima skor sempurna. Tidak ada sinyal kontaminasi yang berubah antara dua sesi, meski 2 soal terlalu sedikit untuk menutup kemungkinan itu. Inilah alasan pengukuran bertahap kami tetap berjalan.

Kenapa model gratis dan resminya bisa beda

Bobot GLM-5.3-Flash dinyatakan terbuka dan dapat diunduh, jadi secara teori keduanya harus menjawab sama persis. Keduanya tidak, dan penyebabnya bukan misteri: bobot hanya satu bagian dari model yang melayani. Ada setidaknya empat lapisan yang bisa berbeda di antara dua endpoint, dan semua lapisan itu terdokumentasi di tempat lain, bukan dugaan kami:

1. System prompt tersembunyi. Model samaran tidak pernah berjalan tanpa perias. Penelusuran independen terhadap ox-alpha menemukan sekitar 75 token tambahan yang disisipkan setiap permintaan, mayoritas dilayani dari cache yang isinya sama setiap kali, termasuk instruksi untuk tidak membuka identitasnya. Model resminya tidak membawa instruksi sembunyi itu. Instruksi yang berbeda menggeser jawaban, sekecil apa pun sisipannya.
2. Kuantisasi serving. Bobot yang diunduh dan bobot yang dijalankan di server tidak selalu presisinya sama. Menurunkan presisi dari 16-bit ke 8-bit atau lebih rendah memangkas biaya server secara drastis, dan pergeseran kecil di bobot cukup untuk membalik satu jawaban pilihan ganda yang ragu-ragu. Tanpa pengumuman penyedia, dua endpoint boleh saja melayani presisi yang berbeda.
3. Routing dan penyetelan sampling. Satu id di agregator bisa diarahkan ke penyedia belakang yang berbeda, dengan temperature atau top_p bawaan yang berbeda pula. Praktik ini cukup umum sehingga penelitian pada endpoint gratis dan berbayar OpenRouter menemukan perilaku yang berbeda secara statistik pada prompt yang sama persis, dan arahnya bahkan tidak konsisten antar model.
4. Kontaminasi data pelatihan masa promosi. Inilah pertanyaan yang membuka artikel ini. Endpoint gratis yang menyimpan prompt dan masa promosiannya dimanfaatkan untuk mengumpulkan penggunaan nyata adalah kombinasi yang, kalau dipakai untuk melatih, mengubah bobotnya. Pengumuman Z.ai menyebut rilis bobot, bukan praktik pelatihan mereka, jadi lapisan ini tetap terbuka. Satu hal yang bisa kami katakan: jendela delapan hari itu terlalu pendek untuk satu siklus pelatihan, sehingga kenaikan skor kemungkinan besar berasal dari tiga lapisan pertama.

Keempatnya punya satu akibat yang sama: skor model samaran adalah skor konfigurasi serving itu, bukan skor bobotnya. Kalau orang lain mengukur ox-alpha minggu ini di endpoint lain, angkanya boleh berbeda dari milik kami, dan itu bukan siapa pun yang salah. Inilah alasan model samaran tidak pernah masuk papan utama kami, dan sekarang alasan itu bisa ditunjukkan dengan angka: identitas yang berganti menghasilkan pengukuran yang tidak bisa dirujuk ulang. Lengan terbuka di atas memberi arah yang sama dari sisi lain: ox-alpha 6,72 dan versi resminya 7,67, dua angka yang selisihnya tidak akan hilang meski kuantisasi atau routing-nya sama persis, sebab yang bergerak di sana adalah kualitas jawabannya sendiri di mata penutur.

Batas simpulan

Tiga hal tidak boleh disimpulkan dari angka di artikel ini. Pertama, bahwa GLM-5.3-Flash "membaik" sejak masa promosi: satu run per sisi, dan p sekitar 0,125 belum menggugurkan kebetulan. Kedua, bahwa selisihnya disebabkan satu sebab tertentu: kami tidak punya akses ke server, jadi lapisan mana yang berperan tidak dapat dipisahkan dari luar. Ketiga, bahwa ox-alpha dan versi resminya identik dalam bobot: kecocokan 88% tinggi, tetapi identitas model tidak pernah bisa dipastikan dari perilaku bahasa semata, dan pernyataan resmi Z.ai adalah bukti terbaik yang kami punya, bukan verifikasi kami sendiri.

Pelajaran dari sini: menilai model lewat endpoint gratis siapa pun berarti menilai layanannya, bukan modelnya. Ukurlah yang resmi, dengan tarif yang ditulis, sebelum mengambil keputusan apa pun darinya.