Ringkasan cepat
Diambil dari papan pilihan ganda, papan dengan model terbanyak di set ini. Papan lain punya angkanya sendiri di bawah.
Hasil
Berapa soal yang dijawab benar oleh tiap model, dari soal yang sama persis. Batang menunjukkan jumlah jawaban benar, bukan peringkat kemampuan model secara umum.
pilihan ganda
Model membaca soal beserta pilihan jawabannya, lalu menjawab satu huruf saja. Soalnya dinilai mesin: jawaban benar kalau hurufnya sama dengan kunci.
suhu 0batas token bervariasiKeteranganBaris di tabel ini dijalankan dengan batas token yang berbeda-beda, dan sebagian pengujian lama tidak mencatat batasnya sama sekali. Karena itu tidak ada satu angka yang berlaku untuk seluruhnya, dan menyebut salah satunya akan menyatakan sesuatu yang tidak pernah terjadi.
GPT-6 Astra26/27 96,3%GPT-6 AstraOpenAIBenar26/27 96,3%$/benar$0.001961Latensi1.930 msTerakhir7 Sep 2026
DeepSeek V4.1 Flash26/27 96,3%DeepSeek V4.1 FlashDeepSeekBenar26/27 96,3%$/benar$0.000354Latensi4.278 msTerakhir15 Sep 2026
Gemini 3.5 Flash26/27 96,3%Gemini 3.5 FlashGoogleBenar26/27 96,3%$/benar$0.002148Latensi2.217 msTerakhir14 Agu 2026
Gemma 4 31B26/27 96,3%Gemma 4 31BGoogleBenar26/27 96,3%$/benar$0.000015Latensi803 msTerakhir13 Agu 2026
DeepSeek V4 Flash 073125/27 92,6%DeepSeek V4 Flash 0731DeepSeekBenar25/27 92,6%$/benar$0.000054Latensi4.324 msTerakhir14 Agu 2026
GPT-5.6 Luna23/27 85,2%GPT-5.6 LunaOpenAIBenar23/27 85,2%$/benar$0.000023Latensi988 msTerakhir14 Agu 2026
GLM 5.3 Flash22/27 81,5%GLM 5.3 FlashZ-aiBenar22/27 81,5%$/benar$0.000130Latensi8.156 msTerakhir1 Sep 2026
MiMo-V2.6-Flash22/27 81,5%MiMo-V2.6-FlashXiaomiBenar22/27 81,5%$/benar$0.000143Latensi5.547 msTerakhir22 Sep 2026
Mercury 2.522/27 81,5%Mercury 2.5InceptionBenar22/27 81,5%$/benar$0.000054Latensi979 msTerakhir15 Sep 2026
GLM 5.321/27 77,8%GLM 5.3Z-aiBenar21/27 77,8%$/benar$0.000283Latensi1.017 msTerakhir3 Sep 2026
Claude Haiku 4.520/27 74,1%Claude Haiku 4.5AnthropicBenar20/27 74,1%$/benar$0.000256Latensi2.228 msTerakhir14 Agu 2026
Ling-3.0-flash18/27 66,7%Ling-3.0-flashAnt GroupBenar18/27 66,7%$/benar$0.000058Latensi1.547 msTerakhir18 Agu 2026
Gemma-SEA-LION v4.5 E2B-IT16/27 59,3%Gemma-SEA-LION v4.5 E2B-ITBenar16/27 59,3%$/benartanpa tagihanLatensi837 msTerakhir15 Agu 2026
Solar Pro 416/27 59,3%Solar Pro 4UpstageBenar16/27 59,3%$/benar$0.000010Latensi6.680 msTerakhir14 Agu 2026
Qwen3 30B A3B Instruct 250714/27 51,9%Qwen3 30B A3B Instruct 2507AlibabaBenar14/27 51,9%$/benar$0.000023Latensi612 msTerakhir13 Agu 2026
Seed-2.0-Mini13/27 48,1%Seed-2.0-MiniBytedance-seedBenar13/27 48,1%$/benar$0.001133Latensi7.893 msTerakhir21 Agu 2026
Llama3 8B CPT Sahabat-AI v1 Instruct13/27 48,1%Llama3 8B CPT Sahabat-AI v1 InstructBenar13/27 48,1%$/benartanpa tagihanLatensi311 msTerakhir15 Agu 2026
Hunyuan A13B Instruct12/27 44,4%Hunyuan A13B InstructTencentBenar12/27 44,4%$/benar$0.000039Latensi1.396 msTerakhir14 Agu 2026
Mistral Small 311/27 40,7%Mistral Small 3MistralBenar11/27 40,7%$/benar$0.000014Latensi547 msTerakhir13 Agu 2026
Llama 3.1 8B Instruct9/27 33,3%Llama 3.1 8B InstructBenar9/27 33,3%$/benartanpa tagihanLatensi432 msTerakhir15 Agu 2026
Model yang namanya tidak berakhir dengan tanggal dipanggil lewat id yang tidak mengunci versi. Lihat keterangan di sebelah namanya.
Cara angka ini dihitung
cara bertanya
mcq-py1KeteranganCara bertanya pilihan ganda. Soal dan opsinya disusun dari item, urutan opsinya diacak dengan benih tetap supaya sama untuk semua model, dan model diminta menjawab satu huruf saja.cara menilai mcq-py1KeteranganCara menilai pilihan ganda. Kami membaca satu huruf opsi dari jawaban dan membandingkannya dengan kunci. Jawaban yang tidak memuat huruf opsi dicatat sebagai gagal format, terpisah dari jawaban salah, supaya alat yang rusak tidak terbaca sebagai model yang lemah.versi soal c0c83850858eKeteranganSidik jari 12 karakter dari seluruh soal yang dilihat oleh model: nomor item, kalimat pertanyaannya, pilihan jawabannya, dan urutan opsinya. Mengubah satu kata saja mengubah sidik jarinya. Skor dengan sidik jari berbeda menjawab pertanyaan yang berbeda, jadi halaman ini hanya membandingkan angka yang sidik jarinya sama.versi kunci 18e8ec378904KeteranganSidik jari 12 karakter dari kunci jawabannya: rujukan, padanan lain yang kami terima, dan vonis penutur untuk soal yang tidak dinilai mesin. Soalnya dapat sama persis sementara kuncinya berubah. Ketika itu terjadi, skornya bisa berubah padahal soal tidak berubah satu kata pun. Karena itu ia dipisah dari versi soal.jawaban isian
Model menulis jawabannya sendiri, tanpa diberi pilihan. Sebagian dinilai mesin dengan mencocokkan rujukan, sebagian dibaca penutur asli satu per satu memakai rubrik berbobot.
suhu 0batas token bervariasiKeteranganBaris di tabel ini dijalankan dengan batas token yang berbeda-beda, dan sebagian pengujian lama tidak mencatat batasnya sama sekali. Karena itu tidak ada satu angka yang berlaku untuk seluruhnya, dan menyebut salah satunya akan menyatakan sesuatu yang tidak pernah terjadi.
GPT-6 Astra6/6 100,0%GPT-6 AstraOpenAIBenar6/6 100,0%$/benar$0.005116Latensi5.008 msTerakhir7 Sep 2026
DeepSeek V4.1 Flash6/6 100,0%DeepSeek V4.1 FlashDeepSeekBenar6/6 100,0%$/benar$0.000830Latensi5.308 msTerakhir15 Sep 2026
Gemini 3.5 Flash6/6 100,0%Gemini 3.5 FlashGoogleBenar6/6 100,0%$/benar$0.003273Latensi2.753 msTerakhir14 Agu 2026
Gemma 4 31B6/6 100,0%Gemma 4 31BGoogleBenar6/6 100,0%$/benar$0.000019Latensi1.318 msTerakhir14 Agu 2026
GLM 5.3 Flash5/6 83,3%GLM 5.3 FlashZ-aiBenar5/6 83,3%$/benar$0.000232Latensi13.476 msTerakhir2 Sep 2026
Gemma-SEA-LION v4.5 E2B-IT5/6 83,3%Gemma-SEA-LION v4.5 E2B-ITBenar5/6 83,3%$/benartanpa tagihanLatensi920 msTerakhir15 Agu 2026
MiMo-V2.6-Flash5/6 83,3%MiMo-V2.6-FlashXiaomiBenar5/6 83,3%$/benar$0.000125Latensi7.016 msTerakhir22 Sep 2026
Mercury 2.54/6 66,7%Mercury 2.5InceptionBenar4/6 66,7%$/benar$0.000058Latensi992 msTerakhir15 Sep 2026
GLM 5.33/6 50,0%GLM 5.3Z-aiBenar3/6 50,0%$/benar$0.000740Latensi1.465 msTerakhir3 Sep 2026
Qwen3 30B A3B Instruct 25072/6 33,3%Qwen3 30B A3B Instruct 2507AlibabaBenar2/6 33,3%$/benar$0.000050Latensi477 msTerakhir14 Agu 2026
Llama 3.1 8B Instruct1/6 16,7%Llama 3.1 8B InstructBenar1/6 16,7%$/benartanpa tagihanLatensi571 msTerakhir15 Agu 2026
Llama3 8B CPT Sahabat-AI v1 Instruct1/6 16,7%Llama3 8B CPT Sahabat-AI v1 InstructBenar1/6 16,7%$/benartanpa tagihanLatensi426 msTerakhir15 Agu 2026
Seed-2.0-Mini1/6 16,7%Seed-2.0-MiniBytedance-seedBenar1/6 16,7%$/benar$0.003426Latensi8.121 msTerakhir21 Agu 2026
Mistral Small 30/6 0,0%Mistral Small 3MistralBenar0/6 0,0%$/benar-Latensi1.098 msTerakhir14 Agu 2026
Model yang namanya tidak berakhir dengan tanggal dipanggil lewat id yang tidak mengunci versi. Lihat keterangan di sebelah namanya.
Cara angka ini dihitung
cara bertanya
open-py1KeteranganPromptnya berbunyi “Ubah kalimat berikut menjadi bahasa Indonesia baku”, diambil apa adanya dari dalam soal. Longgar: ia tidak menyebut apa yang tidak boleh disentuh, jadi model bebas menafsirkan sampai mengganti kata dengan sinonimnya.cara menilai open-py1KeteranganCara menilai jawaban terbuka. Jawaban dinormalkan lebih dulu, lalu dibandingkan dengan rujukan dan daftar jawaban lain yang kami terima. Item yang menuntut penilaian manusia sengaja tidak diberi skor otomatis.versi soal 9f2d79048c32KeteranganSidik jari 12 karakter dari seluruh soal yang dilihat oleh model: nomor item, kalimat pertanyaannya, pilihan jawabannya, dan urutan opsinya. Mengubah satu kata saja mengubah sidik jarinya. Skor dengan sidik jari berbeda menjawab pertanyaan yang berbeda, jadi halaman ini hanya membandingkan angka yang sidik jarinya sama.versi kunci 061ea38a9d7bKeteranganSidik jari 12 karakter dari kunci jawabannya: rujukan, padanan lain yang kami terima, dan vonis penutur untuk soal yang tidak dinilai mesin. Soalnya dapat sama persis sementara kuncinya berubah. Ketika itu terjadi, skornya bisa berubah padahal soal tidak berubah satu kata pun. Karena itu ia dipisah dari versi soal.Rincian per model
Angka yang sama dengan grafik di atas, ditambah biaya untuk tiap jawaban benar, waktu tunggu, dan tanggal pengujian terakhir. Kolom yang tidak dapat ditebak dari namanya membawa keterangannya sendiri.
pilihan ganda
Urutkan
| KeteranganBerapa jawaban model yang cocok dengan kunci, dari sekian soal yang dinilai. | KeteranganSkor pada soal yang kuncinya tidak pernah kami terbitkan. Kolom di sebelah kirinya memuat soal yang kuncinya sudah publik, jadi skor di sana tidak dapat dibedakan dari model yang pernah membacanya. Kolom ini yang membedakannya. Kelompok soal tertahan di set ini terlalu kecil untuk dibaca sebagai pengukuran: selisih baru berarti di atas sekitar 44,8 poin, dan itu jauh lebih besar daripada selisih yang realistis. Karena itu persentasenya sengaja tidak ditampilkan, hanya cacahannya. Menerbitkan skor ini juga mengikis kegunaannya pelan-pelan, sebab tiap angka yang terbit adalah informasi tentang soal yang kami tahan. Karena itu, kelompok soal tertahan ini punya umur terbatas, dan akan dirotasi. | KeteranganBiaya satu kali pengujian penuh dibagi SELURUH jawaban benarnya, termasuk yang di kolom Ditahan. Kolom Benar memuat soal yang kuncinya sudah terbit saja, jadi penyebut di sini jumlah kedua kolom itu. BUKAN biaya per panggilan: model yang murah tetapi banyak salah bisa lebih mahal per jawaban benar daripada model yang lebih mahal per panggilan. | KeteranganMedian waktu tunggu satu panggilan. Median, bukan rata-rata, supaya satu panggilan yang tersendat tidak menggeser angkanya. Baris bertanda lokal dijalankan di perangkat keras kami sendiri, jadi angkanya mengukur mesin kami dan tidak dapat diadu dengan model yang dipanggil lewat layanan. | KeteranganTanggal terakhir kami menjalankan model ini pada soal dan kunci jawaban yang sama. | |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI | 26/2796,3% | 11/11 | $0.001961$0.0725 | 1.930 msmedian | |
| DeepSeek V4.1 FlashDeepSeek | 26/2796,3% | 11/11 | $0.000354$0.0131 | 4.278 msmedian | |
| Gemini 3.5 FlashGoogle | 26/2796,3% | 11/11 | $0.002148$0.0795 | 2.217 msmedian | |
| Gemma 4 31BGoogle | 26/2796,3% | 10/11 | $0.000015$0.0006 | 803 msmedian | |
| DeepSeek V4 Flash 0731DeepSeek | 25/2792,6% | 11/11 | $0.000054$0.0020 | 4.324 msmedian | |
| GPT-5.6 LunaOpenAI | 23/2785,2% | 11/11 | $0.000023$0.0008 | 988 msmedian | |
| GLM 5.3 FlashZ-ai | 22/2781,5% | 10/11 | $0.000130$0.0042 | 8.156 msmedian | |
| MiMo-V2.6-FlashXiaomi | 22/2781,5% | 9/11 | $0.000143$0.0044 | 5.547 msmedian | |
| Mercury 2.5Inception | 22/2781,5% | 9/11 | $0.000054$0.0017 | 979 msmedian | |
| GLM 5.3Z-ai | 21/2777,8% | 8/11 | $0.000283$0.0082 | 1.017 msmedian | |
| Claude Haiku 4.5Anthropic | 20/2774,1% | 8/11 | $0.000256$0.0072 | 2.228 msmedian | |
| Ling-3.0-flashAnt Group | 18/2766,7% | 8/11 | $0.000058$0.0015 | 1.547 msmedian | |
| Gemma-SEA-LION v4.5 E2B-ITlokal | 16/2759,3% | 6/11 | - | 837 msmedian | |
| Solar Pro 4Upstage | 16/2759,3% | 6/11 | $0.000010$0.0002 | 6.680 msmedian | |
| Qwen3 30B A3B Instruct 2507Alibaba | 14/2751,9% | 5/11 | $0.000023$0.0004 | 612 msmedian | |
| Seed-2.0-MiniBytedance-seed | 13/2748,1% | 7/11 | $0.001133$0.0227 | 7.893 msmedian | |
| Llama3 8B CPT Sahabat-AI v1 Instructlokal | 13/2748,1% | 5/11 | - | 311 msmedian | |
| Hunyuan A13B InstructTencent | 12/2744,4% | 9/11 | $0.000039$0.0008 | 1.396 msmedian | |
| Mistral Small 3Mistral | 11/2740,7% | 7/11 | $0.000014$0.0003 | 547 msmedian | |
| Llama 3.1 8B Instructlokal | 9/2733,3% | 6/11 | - | 432 msmedian |
Model bertanda lokal dijalankan di perangkat keras kami sendiri, jadi tidak ada tagihan untuk dicatat dan waktu tunggunya mengukur mesin kami, bukan layanan yang orang lain dapat beli. Skornya tetap sebanding: soal, kunci, dan suhunya sama persis dengan model lain di tabel ini.
jawaban isian
Urutkan
| KeteranganBerapa jawaban model yang cocok dengan kunci, dari sekian soal yang dinilai. | KeteranganSkor pada soal yang kuncinya tidak pernah kami terbitkan. Kolom di sebelah kirinya memuat soal yang kuncinya sudah publik, jadi skor di sana tidak dapat dibedakan dari model yang pernah membacanya. Kolom ini yang membedakannya. Kelompok soal tertahan di set ini terlalu kecil untuk dibaca sebagai pengukuran: selisih baru berarti di atas sekitar 75,3 poin, dan itu jauh lebih besar daripada selisih yang realistis. Karena itu persentasenya sengaja tidak ditampilkan, hanya cacahannya. Menerbitkan skor ini juga mengikis kegunaannya pelan-pelan, sebab tiap angka yang terbit adalah informasi tentang soal yang kami tahan. Karena itu, kelompok soal tertahan ini punya umur terbatas, dan akan dirotasi. | KeteranganBiaya satu kali pengujian penuh dibagi SELURUH jawaban benarnya, termasuk yang di kolom Ditahan. Kolom Benar memuat soal yang kuncinya sudah terbit saja, jadi penyebut di sini jumlah kedua kolom itu. BUKAN biaya per panggilan: model yang murah tetapi banyak salah bisa lebih mahal per jawaban benar daripada model yang lebih mahal per panggilan. | KeteranganMedian waktu tunggu satu panggilan. Median, bukan rata-rata, supaya satu panggilan yang tersendat tidak menggeser angkanya. Baris bertanda lokal dijalankan di perangkat keras kami sendiri, jadi angkanya mengukur mesin kami dan tidak dapat diadu dengan model yang dipanggil lewat layanan. | KeteranganTanggal terakhir kami menjalankan model ini pada soal dan kunci jawaban yang sama. | |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI | 6/6100,0% | 2/2 | $0.005116$0.0409 | 5.008 msmedian | |
| DeepSeek V4.1 FlashDeepSeek | 6/6100,0% | 2/2 | $0.000830$0.0066 | 5.308 msmedian | |
| Gemini 3.5 FlashGoogle | 6/6100,0% | 2/2 | $0.003273$0.0262 | 2.753 msmedian | |
| Gemma 4 31BGoogle | 6/6100,0% | 2/2 | $0.000019$0.0001 | 1.318 msmedian | |
| GLM 5.3 FlashZ-ai | 5/683,3% | 2/2 | $0.000232$0.0016 | 13.476 msmedian | |
| Gemma-SEA-LION v4.5 E2B-ITlokal | 5/683,3% | 1/2 | - | 920 msmedian | |
| MiMo-V2.6-FlashXiaomi | 5/683,3% | 1/2 | $0.000125$0.0007 | 7.016 msmedian | |
| Mercury 2.5Inception | 4/666,7% | 2/2 | $0.000058$0.0004 | 992 msmedian | |
| GLM 5.3Z-ai | 3/650,0% | 2/2 | $0.000740$0.0037 | 1.465 msmedian | |
| Qwen3 30B A3B Instruct 2507Alibaba | 2/633,3% | 0/2 | $0.000050$0.0001 | 477 msmedian | |
| Llama 3.1 8B Instructlokal | 1/616,7% | 0/2 | - | 571 msmedian | |
| Llama3 8B CPT Sahabat-AI v1 Instructlokal | 1/616,7% | 0/2 | - | 426 msmedian | |
| Seed-2.0-MiniBytedance-seed | 1/616,7% | 0/2 | $0.003426$0.0034 | 8.121 msmedian | |
| Mistral Small 3Mistral | 0/60,0% | 0/2 | -$0.0001 | 1.098 msmedian |
Model bertanda lokal dijalankan di perangkat keras kami sendiri, jadi tidak ada tagihan untuk dicatat dan waktu tunggunya mengukur mesin kami, bukan layanan yang orang lain dapat beli. Skornya tetap sebanding: soal, kunci, dan suhunya sama persis dengan model lain di tabel ini.
Tiap angka di tabel ini dapat dihitung ulang dari data mentahnya. Buka datanya →
Biaya dan tokenpilihan gandaTermurah untuk tiap jawaban benar: Solar Pro 4 ($0.000010). Termahal: Gemini 3.5 Flash ($0.002148).Lihat grafikSembunyikan
Seluruh angka biaya dalam dolar AS.
Biaya untuk tiap jawaban benar · pilihan ganda
Model dengan skor tertinggi belum tentu yang paling murah. Angka ini membagi biaya satu kali pengujian penuh dengan jumlah jawaban benarnya.
Solar Pro 4$0.000010
Mistral Small 3$0.000014
Gemma 4 31B$0.000015
GPT-5.6 Luna$0.000023
Qwen3 30B A3B Instruct 2507$0.000023
Hunyuan A13B Instruct$0.000039
Mercury 2.5$0.000054
DeepSeek V4 Flash 0731$0.000054
Ling-3.0-flash$0.000058
GLM 5.3 Flash$0.000130
MiMo-V2.6-Flash$0.000143
Claude Haiku 4.5$0.000256
GLM 5.3$0.000283
DeepSeek V4.1 Flash$0.000354
Seed-2.0-Mini$0.001133
GPT-6 Astra$0.001961
Gemini 3.5 Flash$0.002148
Biaya satu kali pengujian penuh · pilihan ganda
Angka mentahnya, sebelum dibagi jumlah jawaban benar. Tiap model menjawab soal yang sama persis, jadi angka ini langsung dapat dibandingkan: inilah yang kamu bayar untuk menjalankan benchmark ini sekali pada tiap model.
Solar Pro 4$0.000213
Mistral Small 3$0.000257
Qwen3 30B A3B Instruct 2507$0.000444
Gemma 4 31B$0.000556
GPT-5.6 Luna$0.000792
Hunyuan A13B Instruct$0.000816
Ling-3.0-flash$0.001511
Mercury 2.5$0.001668
DeepSeek V4 Flash 0731$0.001953
GLM 5.3 Flash$0.004174
MiMo-V2.6-Flash$0.004448
Claude Haiku 4.5$0.007156
GLM 5.3$0.008218
DeepSeek V4.1 Flash$0.013095
Seed-2.0-Mini$0.022656
GPT-6 Astra$0.072540
Gemini 3.5 Flash$0.079461
Token yang dipakai · pilihan ganda
Input dan output dipisah karena harganya bisa berbeda sampai sepuluh kali lipat. Batang output yang panjang berarti model menghasilkan banyak token, sering karena bernalar panjang sebelum menjawab, dan di situlah hampir seluruh selisih biaya antar-model berasal. Model tanpa batang berarti tokennya tidak tercatat, bukan nol.
InputOutput
Seed-2.0-Mini6.220,0 · 55.086,0
Ling-3.0-flash6.245,0 · 13.504,0
MiMo-V2.6-Flash5.593,0 · 13.119,0
GLM 5.3 Flash5.656,0 · 11.291,0
DeepSeek V4.1 Flash5.949,0 · 10.803,0
Mercury 2.54.971,0 · 9.793,0
Gemini 3.5 Flash4.122,0 · 8.142,0
DeepSeek V4 Flash 07314.960,0 · 6.495,0
GPT-5.6 Luna4.754,0 · 528,0
GPT-6 Astra4.754,0 · 500,0
GLM 5.35.692,0 · 464,0
Claude Haiku 4.56.396,0 · 152,0
Solar Pro 46.781,0 · 78,0
Mistral Small 35.016,0 · 78,0
Llama 3.1 8B Instruct5.740,0 · 77,0
Gemma 4 31B4.908,0 · 76,0
Gemma-SEA-LION v4.5 E2B-IT4.654,0 · 76,0
Llama3 8B CPT Sahabat-AI v1 Instruct5.740,0 · 76,0
Hunyuan A13B Instruct5.517,0 · 76,0
Qwen3 30B A3B Instruct 25075.669,0 · 67,0
Biaya dan tokenjawaban isianTermurah untuk tiap jawaban benar: Gemma 4 31B ($0.000019). Termahal: GPT-6 Astra ($0.005116).Lihat grafikSembunyikan
Seluruh angka biaya dalam dolar AS.
Biaya untuk tiap jawaban benar · jawaban isian
Model dengan skor tertinggi belum tentu yang paling murah. Angka ini membagi biaya satu kali pengujian penuh dengan jumlah jawaban benarnya.
Gemma 4 31B$0.000019
Qwen3 30B A3B Instruct 2507$0.000050
Mercury 2.5$0.000058
MiMo-V2.6-Flash$0.000125
GLM 5.3 Flash$0.000232
GLM 5.3$0.000740
DeepSeek V4.1 Flash$0.000830
Gemini 3.5 Flash$0.003273
Seed-2.0-Mini$0.003426
GPT-6 Astra$0.005116
Biaya satu kali pengujian penuh · jawaban isian
Angka mentahnya, sebelum dibagi jumlah jawaban benar. Tiap model menjawab soal yang sama persis, jadi angka ini langsung dapat dibandingkan: inilah yang kamu bayar untuk menjalankan benchmark ini sekali pada tiap model.
Mistral Small 3$0.000060
Qwen3 30B A3B Instruct 2507$0.000101
Gemma 4 31B$0.000150
Mercury 2.5$0.000351
MiMo-V2.6-Flash$0.000749
GLM 5.3 Flash$0.001625
Seed-2.0-Mini$0.003426
GLM 5.3$0.003699
DeepSeek V4.1 Flash$0.006643
Gemini 3.5 Flash$0.026187
GPT-6 Astra$0.040930
Token yang dipakai · jawaban isian
Input dan output dipisah karena harganya bisa berbeda sampai sepuluh kali lipat. Batang output yang panjang berarti model menghasilkan banyak token, sering karena bernalar panjang sebelum menjawab, dan di situlah hampir seluruh selisih biaya antar-model berasal. Model tanpa batang berarti tokennya tidak tercatat, bukan nol.
InputOutput
Seed-2.0-Mini1.277,0 · 8.245,0
DeepSeek V4.1 Flash1.202,0 · 5.221,0
GLM 5.3 Flash1.213,0 · 4.831,0
Gemini 3.5 Flash802,0 · 2.776,0
MiMo-V2.6-Flash1.203,0 · 2.168,0
Mercury 2.5964,0 · 2.080,0
GPT-6 Astra968,0 · 625,0
GLM 5.31.219,0 · 581,0
Llama3 8B CPT Sahabat-AI v1 Instruct1.231,0 · 132,0
Qwen3 30B A3B Instruct 25071.219,0 · 122,0
Mistral Small 31.031,0 · 108,0
Llama 3.1 8B Instruct1.231,0 · 103,0
Gemma 4 31B962,0 · 97,0
Gemma-SEA-LION v4.5 E2B-IT914,0 · 96,0