Seberapa banyak yang dijawab benar
Tiap batang mewakili satu benchmark, dan panjangnya menunjukkan berapa soal yang dijawab benar dari seluruh soal di benchmark itu. Soal dan kunci jawabannya kami susun sendiri, lalu diperiksa oleh dua penutur asli, dan tiap model menjawab soal yang sama persis.
8 benchmark
Pemahaman slang Indonesia42/42 100,0%
Tingkat tutur bahasa Jawa23/27 85,2%
Normalisasi teks Indonesiaversi soal 3KeteranganSoal di benchmark ini pernah kami tanyakan dengan beberapa rumusan yang berbeda, pada soal dan kunci jawaban yang sama. Skor antar-rumusan tidak dapat dibandingkan langsung. Buka halaman benchmarknya untuk melihat perbandingannya.41/49 83,7%
Arti kata Jawa sehari-hari112/135 83,0%
Arti kata Jawa langka35/43 81,4%
Normalisasi teks Indonesiaversi soal 2KeteranganSoal di benchmark ini pernah kami tanyakan dengan beberapa rumusan yang berbeda, pada soal dan kunci jawaban yang sama. Skor antar-rumusan tidak dapat dibandingkan langsung. Buka halaman benchmarknya untuk melihat perbandingannya.38/49 77,6%
Koreksi ejaan Indonesia25/38 65,8%
Normalisasi teks Indonesiaversi soal 1KeteranganSoal di benchmark ini pernah kami tanyakan dengan beberapa rumusan yang berbeda, pada soal dan kunci jawaban yang sama. Skor antar-rumusan tidak dapat dibandingkan langsung. Buka halaman benchmarknya untuk melihat perbandingannya.22/49 44,9%
Hasil dibanding biayanya
Kami urutkan dari yang paling murah untuk tiap jawaban benar. Kolom kiri menunjukkan berapa banyak yang dijawab benar. Baris teratas yang kolom kirinya juga panjang berarti murah sekaligus tepat.
8 punya catatan biaya
Jawaban benarBiaya tiap jawaban benar
Normalisasi teks Indonesiaversi soal 1KeteranganSoal di benchmark ini pernah kami tanyakan dengan beberapa rumusan yang berbeda, pada soal dan kunci jawaban yang sama. Skor antar-rumusan tidak dapat dibandingkan langsung. Buka halaman benchmarknya untuk melihat perbandingannya.44,9%$0.000069
Normalisasi teks Indonesiaversi soal 3KeteranganSoal di benchmark ini pernah kami tanyakan dengan beberapa rumusan yang berbeda, pada soal dan kunci jawaban yang sama. Skor antar-rumusan tidak dapat dibandingkan langsung. Buka halaman benchmarknya untuk melihat perbandingannya.83,7%$0.000074
Normalisasi teks Indonesiaversi soal 2KeteranganSoal di benchmark ini pernah kami tanyakan dengan beberapa rumusan yang berbeda, pada soal dan kunci jawaban yang sama. Skor antar-rumusan tidak dapat dibandingkan langsung. Buka halaman benchmarknya untuk melihat perbandingannya.77,6%$0.000081
Token yang dipakai
Input dan output dipisah karena harganya bisa berbeda sampai sepuluh kali lipat. Batang output yang panjang berarti model menghasilkan banyak token, sering karena bernalar panjang sebelum menjawab, dan di situlah hampir seluruh selisih biaya berasal.
61.262 masuk, 33.725 keluar
InputOutput
Pemahaman slang Indonesia10.310 · 831
Tingkat tutur bahasa Jawa4.754 · 528
Normalisasi teks Indonesiaversi soal 3KeteranganSoal di benchmark ini pernah kami tanyakan dengan beberapa rumusan yang berbeda, pada soal dan kunci jawaban yang sama. Skor antar-rumusan tidak dapat dibandingkan langsung. Buka halaman benchmarknya untuk melihat perbandingannya.9.999 · 5.122
Arti kata Jawa sehari-hari6.029 · 12.966
Normalisasi teks Indonesiaversi soal 2KeteranganSoal di benchmark ini pernah kami tanyakan dengan beberapa rumusan yang berbeda, pada soal dan kunci jawaban yang sama. Skor antar-rumusan tidak dapat dibandingkan langsung. Buka halaman benchmarknya untuk melihat perbandingannya.10.689 · 5.256
Koreksi ejaan Indonesia10.655 · 6.923
Normalisasi teks Indonesiaversi soal 1KeteranganSoal di benchmark ini pernah kami tanyakan dengan beberapa rumusan yang berbeda, pada soal dan kunci jawaban yang sama. Skor antar-rumusan tidak dapat dibandingkan langsung. Buka halaman benchmarknya untuk melihat perbandingannya.8.826 · 2.099
1 benchmark tidak digambar di sini karena pengujiannya tidak mencatat jumlah token. Tidak tercatat, bukan nol.
Waktu tunggu tiap panggilan
Median waktu tunggu satu panggilan pada tiap benchmark. Median, bukan rata-rata, supaya satu panggilan yang tersendat tidak menggeser angkanya.
8 punya catatan waktu tunggu
Normalisasi teks Indonesiaversi soal 1KeteranganSoal di benchmark ini pernah kami tanyakan dengan beberapa rumusan yang berbeda, pada soal dan kunci jawaban yang sama. Skor antar-rumusan tidak dapat dibandingkan langsung. Buka halaman benchmarknya untuk melihat perbandingannya.1.03 s
Normalisasi teks Indonesiaversi soal 3KeteranganSoal di benchmark ini pernah kami tanyakan dengan beberapa rumusan yang berbeda, pada soal dan kunci jawaban yang sama. Skor antar-rumusan tidak dapat dibandingkan langsung. Buka halaman benchmarknya untuk melihat perbandingannya.2.02 s
Normalisasi teks Indonesiaversi soal 2KeteranganSoal di benchmark ini pernah kami tanyakan dengan beberapa rumusan yang berbeda, pada soal dan kunci jawaban yang sama. Skor antar-rumusan tidak dapat dibandingkan langsung. Buka halaman benchmarknya untuk melihat perbandingannya.2.20 s
Koreksi ejaan Indonesia2.70 s
Arti kata Jawa langka3.71 s
Cakupan pengujian
6/ 6
Model ini sudah diuji pada seluruh 6 benchmark yang kami terbitkan.
Versi soal sebelumnya
Kami mengubah soal atau kunci jawabannya setelah angka ini diukur. Kami menyimpannya sebagai riwayat, bukan sebagai hasil sekarang.lihat 2 baristutup
Pemahaman slang Indonesia27/27 100,0%
Arti kata Jawa sehari-hari3 pengujianKeteranganBenchmark ini dijalankan 3 kali pada versi soal atau kunci ini, dan batangnya menggambar titik tengah dari 3 hasil itu.121/135 87,8%
Log12 kali model ini dipanggil, tersebar di 5 hari.BukaTutup
Model ini dipanggil lewat id penyedia yang belum tentu mengunci versi, jadi tanggal di bawah menyatakan bobot mana yang benar-benar diuji. Tanggal pada baris bertanda tanda hubung tidak dicatat saat model dipanggil, melainkan kami perkirakan belakangan, jadi tanggalnya bisa meleset sehari dan jamnya tidak kami tampilkan.
1 pengujian
- 22:49Pemahaman slang Indonesiapilihan ganda42/42
1 pengujian
- 20:50Arti kata Jawa sehari-hariarti kata112/135
8 pengujian
- -Keterangantanggal taksiranArti kata Jawa langkaarti kata35/43
- -Keterangantanggal taksiranArti kata Jawa sehari-hariarti kata116/135
- 07:47Normalisasi teks Indonesiajawaban isianPrompt yang menyatakan aturan kunci41/49
- 07:16Normalisasi teks Indonesiajawaban isianPrompt bawaan22/49
- 07:00Normalisasi teks Indonesiajawaban isianPrompt rinci yang melarang ganti kata38/49
- 06:54Pemahaman slang Indonesiapilihan ganda27/27
- 06:50Koreksi ejaan Indonesiajawaban isian25/38
- 06:34Tingkat tutur bahasa Jawapilihan ganda23/27
1 pengujian
- 00:00Arti kata Jawa sehari-hariarti kata119/135
1 pengujian
- 22:46Arti kata Jawa sehari-hariarti kata121/135