GPT-6 Astra, Model Termahal OpenAI, Kalah dari Model Murahnya Sendiri di Kata Jawa Langka

Model andalan untuk reasoning, bukan kosa kata

OpenAI merilis GPT-6 Astra pada 3 September 2026 sebagai model andalan baru penerus GPT-5.6 Sol. Peluncurannya mengusung angka-angka yang memikat perhatian: klaim skor 99,9% pada ARC-AGI-3 (naik tajam dari 7,8% di versi Sol) serta ucapan Presiden OpenAI Greg Brockman bahwa "masuk akal jika kita menganggap kita sudah berada di era AGI." Pernyataan tersebut, melampaui tabel benchmark di belakangnya, menjadi hal yang paling banyak diperbincangkan.

Angka 99,9% itu lahir dari harness buatan OpenAI sendiri. Saat diuji pada evaluasi independen tim ARC Prize, model yang sama meraih 62,7%. Penyelenggara ARC Prize menegaskan bahwa skor tersebut "tidak mengklaim pencapaian AGI." Dari segi harga, tarif Astra dipatok $10 per juta token input dan $50 per juta token output, atau 2,5 kali lipat dari tarif promosi GPT-5.6 Sol. Pengujian kami tidak berfokus pada klaim-klaim tersebut. Kami menguji Astra pada dua benchmark bahasa Jawa milik kami, dan selisih yang kami temukan berada di ranah yang jauh lebih spesifik: mengingat arti kata yang tidak umum.

Kalah dari model murahnya sendiri

Kami mencoba GPT-6 Astra, Google Gemini 3.5 Flash, dan GPT-5.6 Luna milik OpenAI sendiri untuk mendefinisikan 43 kata Jawa yang tak ada di NusaX, NusaWrites, maupun Wiktionary bahasa Jawa, pada set benchmark arti kata Jawa langka. Setiap jawaban dicocokkan dengan kunci jawaban hasil verifikasi penutur asli yang mencakup lebih dari satu makna yang diterima.

Astra menjawab benar 33 kata, atau 76,7%. Gemini 3.5 Flash menjawab benar 40 kata, atau 93,0%. GPT-5.6 Luna, model OpenAI yang hendak digantikan Astra, menjawab benar 35 kata (81,4%), unggul 2 kata atas model penerusnya.

Selisih antara Astra dan Gemini terbukti signifikan secara statistik (z = 2,11, p ≈ 0,035). Sebaliknya, selisih antara Astra dan Luna tidak signifikan (z = 0,53, p ≈ 0,60): pada 43 soal, keunggulan 2 jawaban belum cukup untuk menyebut model lama pasti lebih unggul, melainkan hanya membuktikan bahwa model baru tidak lebih baik daripadanya secara konsisten.

Menjalankan 43 kata pada Astra menghabiskan $0,22 sesuai tarif resmi OpenAI. Pengujian yang sama pada Luna hanya membutuhkan $0,004.

Pengujian yang 56 kali lipat lebih murah justru meraih skor lebih tinggi.

Seri di pengujian tingkat tutur

Model-model ini juga menjalani uji tingkat tutur bahasa Jawa, yang mengukur apakah model memilih register yang tepat sesuai lawan bicara, sebuah kemampuan yang berbeda dari sekadar mengingat arti kata.

Hasil imbang ini bertahan di irisan tertahan (held-out slice), yakni soal yang tidak pernah dipublikasikan agar tak bisa masuk data pelatihan model. Di set tersebut, Astra dan Gemini sama-sama menjawab benar 11 dari 11 soal pilihan ganda dan 2 dari 2 soal terbuka. Pemisah antara Astra dan Gemini di kosa kata langka jelas bukan kelemahan penalaran umum. Sementara itu, GPT-5.6 Luna yang hanya diuji pada bagian pilihan ganda meraih skor 85,2%, di belakang keduanya.

Token lebih hemat, tapi bukan lebih cepat

OpenAI dan Artificial Analysis menggambarkan Astra sekitar 70% lebih hemat token dibanding GPT-5.6 Sol yang digantikannya: sepertiga token Sol pada harness koding Codex, seperlima token Claude Opus 5, dan 65% token output lebih sedikit dibanding Opus 5 di Agents' Last Exam. Setiap angka tersebut mengukur hal yang sama: penggunaan token output per tugas, bukan waktu respon.

Log internal kami mengonfirmasi klaim efisiensi token tersebut. Pada uji tingkat tutur dengan tingkat akurasi Astra dan Gemini 3.5 Flash yang persis sama, Astra menggunakan token output per soal 16,3 kali lipat lebih sedikit pada pilihan ganda dan 4,4 kali lipat lebih sedikit pada bagian terbuka. Jawabannya sama, dengan porsi token yang jauh lebih kecil.

Waktu respon menunjukkan cerita lain. Di ketiga perbandingan, Astra tidak pernah menjadi model tercepat. Astra adalah yang paling lambat dari ketiga model pada uji kata langka, tes yang ia kalahkan. Astra juga paling lambat dari dua model pada bagian terbuka uji tingkat tutur, tempat ia meraih skor tertinggi dengan kurang dari seperempat token output Gemini.

Kami belum menemukan laporan independen lain yang mencatat Astra berjalan lebih lambat dibanding model sekelasnya. Ini bukan pertentangan dengan angka kami, melainkan ketiadaan data: halaman penyedia Astra di Artificial Analysis mencantumkan kecepatan output, time to first token, dan waktu respon end-to-end sebagai "No data available." Acuan standar industri untuk latensi mentah model belum memiliki angka untuk model ini, sehingga pengujian kami bisa jadi merupakan data publik pertama di luar OpenAI.

Satu rincian teknis terdokumentasi dapat menjelaskan sebagian dari selisih waktu tersebut. Artificial Analysis mencatat bahwa struktur harga Astra menyertakan kategori reasoning token terpisah, yang dihitung biaya dan waktunya bersamaan dengan kata-kata yang dikembalikan. Sebuah model bisa menghabiskan beberapa detik untuk berpikir sebelum menulis jawaban singkat, dan waktu berpikir itu tidak terlihat pada hitungan token yang dipromosikan hemat.

Temuan spesifik dari uji spesifik

Sampel 43 kata memang tergolong kecil, dan setiap kata di dalamnya sengaja dipilih karena sifatnya yang samar dan langka. Temuan di sini bukan berarti GPT-6 Astra adalah model yang lemah. Astra menyamai skor terbaik di panel pada tugas yang membutuhkan pertimbangan sosial mengenai konteks pembicara. Temuan ini menunjukkan bahwa pada satu set kosa kata yang sengaja dibuat sulit ini, model terbaru dan termahal OpenAI tidak melampaui pendahulunya, dan meraih skor lebih sedikit daripada Gemini 3.5 Flash milik Google yang notabene lebih murah.