Seberapa banyak yang dijawab benar
Tiap batang mewakili satu benchmark, dan panjangnya menunjukkan berapa soal yang dijawab benar dari seluruh soal di benchmark itu. Soal dan kunci jawabannya kami susun sendiri, lalu diperiksa oleh dua penutur asli, dan tiap model menjawab soal yang sama persis.
Hasil dibanding biayanya
Kami urutkan dari yang paling murah untuk tiap jawaban benar. Kolom kiri menunjukkan berapa banyak yang dijawab benar. Baris teratas yang kolom kirinya juga panjang berarti murah sekaligus tepat.
Token yang dipakai
Input dan output dipisah karena harganya bisa berbeda sampai sepuluh kali lipat. Batang output yang panjang berarti model menghasilkan banyak token, sering karena bernalar panjang sebelum menjawab, dan di situlah hampir seluruh selisih biaya berasal.
1 benchmark tidak digambar di sini karena pengujiannya tidak mencatat jumlah token. Tidak tercatat, bukan nol.
Waktu tunggu tiap panggilan
Median waktu tunggu satu panggilan pada tiap benchmark. Median, bukan rata-rata, supaya satu panggilan yang tersendat tidak menggeser angkanya.
Cakupan pengujian
Model ini diuji pada 3 dari 6 benchmark yang kami terbitkan. Sisanya belum dijalankan, jadi kami belum tahu kemampuannya di sana.
Versi soal sebelumnya
Kami mengubah soal atau kunci jawabannya setelah angka ini diukur. Kami menyimpannya sebagai riwayat, bukan sebagai hasil sekarang.
Log5 kali model ini dipanggil, tersebar di 2 hari.BukaTutup
Model ini dipanggil lewat id penyedia yang belum tentu mengunci versi, jadi tanggal di bawah menyatakan bobot mana yang benar-benar diuji. Tanggal pada baris bertanda tanda hubung tidak dicatat saat model dipanggil, melainkan kami perkirakan belakangan, jadi tanggalnya bisa meleset sehari dan jamnya tidak kami tampilkan.
- 21:55Arti kata Jawa sehari-hariarti kata128/135
- -Keterangantanggal taksiranArti kata Jawa langkaarti kata40/43
- -Keterangantanggal taksiranArti kata Jawa sehari-hariarti kata127/135
- 06:02Tingkat tutur bahasa Jawajawaban isian6/6
- 04:01Tingkat tutur bahasa Jawapilihan ganda26/27