GLM-5.3 mengungguli ox-alpha, model misterius yang sedang viral, di 3 pengukuran benchmark kami

Model tanpa nama yang sedang viral

Pada 20 Agustus 2026 sebuah model bernama ox-alpha muncul gratis di OpenRouter dan OpenCode: konteks sejuta token, tanpa nama perusahaan, dan dalam tiga hari sudah dipakai ratusan ribu orang.

Komunitas berlomba menebak identitasnya lewat probe tokenizer dan sidik gaya kode, dan teori terkuat menunjuk keluarga GLM milik Z.ai. Kami penasaran pada pertanyaan yang tidak dijawab probe mana pun: model misterius ini bisa bahasa Jawa atau tidak, dan kalau ia memang sekeluarga dengan GLM, apakah GLM-5.3 yang resmi berperilaku sama?

Satu hal perlu ditegaskan sejak awal. Ox-alpha tidak ada di papan peringkat ibahasa.com/benchmark, dan tidak akan pernah ada. Model samaran berganti identitas dalam hitungan hari, sehingga kami mengukurnya pada lajur uji (trial session): jalur terpisah yang menggunakan soal dan rubrik penilai yang sama dengan papan resmi namun hasil pengukurannya dikarantina serta tidak pernah dicampurkan dengan angka resmi. GLM-5.3 berbeda karena merupakan model resmi yang stabil, dan kami akan menjalankannya pada papan resmi awal September. Angka dalam artikel ini nantinya dapat dibandingkan langsung dengan angka resminya.

Bagaimana kami mengukurnya?

Kami memakai dua set dari benchmark kami. Pertama, set tingkat tutur Jawa (jv-A): 38 soal pilihan ganda tentang memilih register yang tepat, ditambah 8 soal terbuka yang meminta model menulis ulang kalimat ngoko menjadi krama alus atau sebaliknya. Jawaban terbuka dinilai satu per satu oleh penutur Jawa dengan rubrik berbobot per kata. Jawaban yang membiarkan pronomina atau verba utamanya tetap ngoko dinyatakan gugur dan bernilai nol. Kedua, set slang Indonesia (id-B): 60 soal pilihan ganda pemahaman bahasa gaul. Sebagai pembanding ukuran, kami ikutkan hy-mt2, model kecil 1,8 miliar parameter.

Soal dan kunci kedua set tidak pernah kami terbitkan, jadi ketiga model tidak mungkin pernah melihatnya saat dilatih. Seluruh pengukuran menghabiskan sekitar 3 sen dolar AS, dan ox-alpha gratis selama masa promosinya.

Hasil benchmark

57/60

Dalam persen, kedua set pilihan ganda menceritakan hal yang sama dari dua sudut. Pada tingkat tutur Jawa, GLM-5.3 menjawab benar 84,2% dan ox-alpha 71,1%. Pada slang Indonesia, GLM-5.3 mencapai 95,0% dan ox-alpha 81,7%. Model kecil hy-mt2 benar 34,2% di soal Jawa dan 56,7% di soal slang.

GLM-5.3ox-alphahy-mt2 (1,8B)

Tingkat tutur Jawa (38 soal)

84,2 · 71,1 · 34,2

Slang Indonesia (60 soal)

95,0 · 81,7 · 56,7

Grafik di atas memperlihatkan dua jarak yang berbeda maknanya. Jarak antara batang GLM-5.3 dan ox-alpha tipis di kedua set: keduanya sekelas, dengan GLM-5.3 selalu sedikit di depan. Jarak ke batang hy-mt2 jauh, dan paling lebar justru di soal Jawa: model kecil masih sanggup separuh benar di slang Indonesia, tetapi jatuh mendekati tebakan acak begitu soalnya tingkat tutur. Kemampuan bahasa daerah rupanya yang paling sulit dikuasai model kecil.

Pada benchmark Tingkat tutur krama jawa, ceritanya berbeda lagi: GLM-5.3 dan ox-alpha sama-sama nyaris sempurna. Dari 8 kalimat, penutur kami menerima hampir semuanya, sesuatu yang belum pernah dicapai model mana pun di papan resmi selain barisan teratasnya, sementara hy-mt2 gugur di kedelapan kalimat.

Jadi, ox-alpha itu GLM menyamar?

Kalau ox-alpha adalah GLM-5.3 yang disamarkan, jawaban keduanya seharusnya nyaris identik. Kenyataannya tidak.

11

Berbeda 11Sama 27

11 soal di segmen merah itulah inti temuannya: pada 11 dari 38 soal, kedua model memilih huruf yang berbeda, sehingga kecocokannya berhenti di 71%. Ox-alpha salah 11 soal, GLM-5.3 salah 6, dan salahnya bertemu di 3 soal saja. Dua model yang benar-benar sama, dijalankan dua kali, lazimnya cocok di atas 90%, dan cincin donutnya akan nyaris satu warna.

Kesimpulan kami: secara perilaku bahasa, ox-alpha bukan GLM-5.3 versi resmi. Keduanya masih mungkin sekeluarga, misalnya varian multimodal atau hasil tuning lanjutan yang berbeda dari basis yang sama, dan skor produksi krama yang sama-sama tinggi mendukungnya. Tapi data menolak anggapan keduanya kembar identik.

Bukti yang gugur

3 soal yang keduanya salah dengan huruf yang sama semula kami baca sebagai sidik keluarga. Lalu kami periksa soal-soal itu pada 14 model papan resmi, dan 2 dari 3 sidik itu gugur: pada satu soal, 12 dari 14 model papan memilih huruf salah yang persis sama, dan pada soal lainnya 5 model ikut memilihnya. Keduanya jebakan pengecoh yang menjerat hampir semua model, bukan tanda kekerabatan. Sidik yang tersisa tinggal satu soal: pilihan salah ox-alpha dan GLM-5.3 di soal itu hanya pernah dipilih satu model lain di seluruh papan.

Kami juga menemukan cacat di alat ukur kami sendiri selama sesi benchmark ini. Pada satu soal di Tingkat tutur bahasa Jawa, ox-alpha menulis krama yang hampir sempurna tetapi membiarkan kata "aku" tetap ngoko, dan rubrik kami ternyata tidak punya kriteria untuk pronomina di soal itu: kesalahan itu lolos tanpa penalti. Rubriknya akan kami revisi lewat mekanisme versi soal, dan catatan ini kami tulis di sini supaya pembaca tahu skor 6,72 milik ox-alpha sedikit lebih tinggi dari seharusnya.

Kesimpulan

Selisih 5 jawaban di jv-A pilihan ganda masih bisa terjadi karena kebetulan (uji dua proporsi memberi z sekitar 1,4). Jadi simpulan yang jujur bukan berarti GLM-5.3 lebih mahir tingkat tutur, melainkan GLM-5.3 konsisten unggul di ketiga pengukuran, dan baru di id-B selisihnya tegas secara statistik.

Identitas ox-alpha sendiri tetap teori. Data kami membantah keduanya kembar identik, tapi tidak membuktikan siapa pembuat ox-alpha. Seluruh angka di atas juga lahir dari satu run per model saja. Angka resmi GLM-5.3 di papan awal September nanti yang akan menguji seberapa stabil semuanya.

Data turunan untuk irisan publik tersedia di dataset trial-model-probes yang ditaut di bawah artikel ini. Berisi ringkasan per model dan penanda kecocokan per soal. Kalau kelak identitas ox-alpha diumumkan, angka-angka ini sudah menunggu untuk dibandingkan.

Koreksi 26 Agustus 2026

Versi pertama artikel ini menulis bahwa skor GLM-5.3 di slang Indonesia "jauh di atas skor tertinggi papan resmi kami (42 dari 60)". Itu keliru. Angka 42 kami ambil dari kolom ekspor yang ternyata hanya menghitung irisan publik 42 soal, bukan keseluruhan 60 soal. Skor sebenarnya gpt-5.6-luna di set ini adalah 60 dari 60, dan GLM-5.3 dengan 57 justru setara deepseek-v4-flash serta di bawah gemma-4-31b. Ox-alpha dengan 49 berada di papan bawah, di atas hunyuan-a13b dan tiga model lokal saja.

Kami juga membetulkan hitungan "empat pengukuran" menjadi tiga, sesuai isi tabelnya: pilihan ganda tingkat tutur Jawa, produksi krama, dan slang Indonesia. Temuan utama artikel ini, yaitu kecocokan jawaban 71 persen yang membantah ox-alpha sebagai kembaran GLM-5.3, tidak berubah oleh koreksi ini.