GPT-6 Astra dan Luna imbang pada benchmark slang Indonesia

Skor sempurna yang tetap kalah

Kami menguji GPT-6 Astra pada benchmark slang Indonesia milik kami, 60 soal pilihan ganda yang menanyakan arti sebuah istilah gaul di dalam kalimat tempat istilah itu dipakai. 42 soal di antaranya terbit ke publik. Sisanya, 18 soal, kami tahan dan tidak pernah dirilis ke dataset mana pun, supaya model yang dilatih belakangan tidak mungkin sempat membacanya.

Astra menjawab benar seluruh 42 soal publik. Belum ada model lain di panel kami yang menyamainya. Astra kemudian keliru pada 1 dari 18 soal tertahan dan menutup keseluruhan set di angka 59 dari 60, terpaut 1 soal di belakang GPT-5.6 Luna, model OpenAI yang lebih murah dan justru hendak digantikan oleh Astra, yang menjawab benar 60 soal tanpa cela.

Selisih 1 soal dari 60 bukan jarak yang nyata. Uji dua proporsi memberi z = 1,00 dan p ≈ 0,32, cara lain untuk mengatakan bahwa kedua model itu sama sekali tidak dapat kami bedakan pada set ini. Siapa pun yang melaporkan hasil ini sebagai kemenangan Luna atas Astra sedang membaca derau sebagai temuan.

Kedua model berakhir dengan urutan yang sama pada uji arti kata Jawa langka kami, tempat Luna menjawab benar 35 dari 43 soal dan Astra 33. Selisih itu pun tidak signifikan. Dua pengujian yang condong ke arah sama belum menjadi bukti adanya perbedaan nyata di antara kedua model, dan kami tidak menyajikannya sebagai bukti.

Separuh soal publik berhenti mengukur

Temuan yang lebih awet justru terlihat di puncak tabel itu. Dua model menjawab benar 42 dari 42 soal publik, dan satu model lain meleset di satu soal saja. Pada titik jenuh seperti ini, separuh soal yang terbit sudah kehilangan daya pisahnya. Tiga model terkuat kami terpisah oleh satu soal publik saja, jarak yang masih berada di dalam rentang ketika satu pengujian ulang bisa membalik urutannya.

Seluruh pembeda di antara model-model teratas kini datang dari 18 soal tertahan, dan bahkan di situ sinyalnya tipis. Luna, DeepSeek V4 Flash, dan Claude Haiku 4.5 sama-sama menjawab benar 18 dari 18 soal tertahan, tetapi ketiganya menutup keseluruhan set di angka 60, 57, dan 56. Separuh soal yang kami tahan mengerjakan hampir seluruh tugas pemeringkatan, padahal jumlahnya lebih sedikit.

Benchmark yang separuh soal publiknya dilewati semua peserta adalah benchmark yang berhenti bertanya.

Kami pernah menyampaikan argumen yang sama untuk mempertahankan irisan tertahan (held-out slice), hanya saja kali ini argumennya tiba dari arah sebaliknya. Kekhawatiran yang biasa adalah kontaminasi, ketika soal yang sudah terbit bocor ke data pelatihan lalu berhenti mengukur apa pun. Di sini soal publik kami tidak bocor, melainkan sudah terpecahkan. Kedua jalan itu bermuara di tempat yang sama, dan hanya soal tertahan yang masih benar-benar bertanya.

Mahal, dan juga tidak cepat

Biaya memisahkan model-model ini jauh lebih tajam daripada akurasi. Satu putaran Astra menghabiskan $0,1455 dengan tarif resmi OpenAI, $10 per juta token input dan $50 per juta token output. Putaran yang sama persis pada Luna menghabiskan $0,0031, atau 47 kali lipat lebih murah, untuk 1 jawaban benar lebih banyak. Gemma 4 31B menutup pengujian terpaut 1 soal di belakang Astra dengan biaya $0,0010, sekitar 145 kali lipat lebih murah.

Waktu respon mengikuti pola yang sama dengan yang kami ukur pada kosa kata Jawa di pengujian sebelumnya. Median waktu respon Astra di set ini 2.759 ms, berhadapan dengan 1.103 ms milik Luna, 1.214 ms milik GLM 5.3, dan 614 ms milik Gemma 4 31B. Hanya DeepSeek V4 Flash dan GLM 5.3 Flash yang lebih lambat, dan keduanya memang mengeluarkan jejak penalaran yang panjang. Astra irit dalam menuliskan jawaban, dan tetap butuh waktu lebih lama untuk menuliskannya.

Batas dari selisih satu soal

Astra tidak gagal di pengujian ini. Astra menyamai skor publik terbaik di panel kami dan menutup set terpaut 1 soal tertahan saja dari hasil sempurna, pada set yang model-model terkuatnya sudah bertumpuk di posisi teratas. Dibaca dengan ketat, pengujian ini menyatakan Astra berada di puncak panel slang Indonesia dan tidak dapat dibedakan dari model-model di sekitarnya.

Pengujian ini juga menyatakan sesuatu tentang alat ukur kami, bukan tentang modelnya. Ketika separuh soal yang terbit tidak lagi sanggup memisahkan model-model teratas, tanggapan yang jujur adalah mengatakannya dalam tarikan napas yang sama dengan skornya, lalu terus membangun soal yang belum terpecahkan oleh model-model itu.