AnthropicModel AI

Claude Sonnet 5.5

Hasil Claude Sonnet 5.5 pada seluruh benchmark bahasa Indonesia dan bahasa daerah yang kami terbitkan.Baca selengkapnya
Terakhir dijalankanpada Arti kata Jawa langka

Benchmark diuji

6

dari 6 benchmark yang kami terbitkan

Model ini sudah dijalankan pada seluruh benchmark yang kami terbitkan.

Pengujian dijalankan

9

pengujian penuh tercatat

Satu pengujian berarti model menjawab seluruh soal satu set sekali habis. Set yang dijalankan berulang menyumbang lebih dari satu.

Biaya seluruhnya

$0.9639

untuk seluruh pengujian di atas

Angka tagihan sungguhan dari penyedia, dijumlahkan, bukan taksiran dari harga per token. Belum dibagi jumlah jawaban benar.

Token seluruhnya

195.999

input dan output dijumlahkan

Dihitung hanya dari pengujian yang mencatat pemakaian tokennya. Sebagian pengujian lama tidak mencatatnya, dan angkanya tidak kami tebak.

Seberapa banyak yang dijawab benar

Tiap batang mewakili satu benchmark, dan panjangnya menunjukkan berapa soal yang dijawab benar dari seluruh soal di benchmark itu. Soal dan kunci jawabannya kami susun sendiri, lalu diperiksa oleh dua penutur asli, dan tiap model menjawab soal yang sama persis.

9 benchmark
Tingkat tutur bahasa Jawajawaban isian6/6 100,0%
Tingkat tutur bahasa Jawapilihan ganda26/27 96,3%
Pemahaman slang Indonesia40/42 95,2%
Arti kata Jawa sehari-hari122/135 90,4%
Arti kata Jawa langka34/43 79,1%
Koreksi ejaan Indonesia28/38 73,7%
Normalisasi teks Indonesiaversi soal 3Keterangan32/49 65,3%
Normalisasi teks Indonesiaversi soal 2Keterangan31/49 63,3%
Normalisasi teks Indonesiaversi soal 1Keterangan20/49 40,8%
Persentase jawaban benar di 9 benchmark

Hasil dibanding biayanya

Kami urutkan dari yang paling murah untuk tiap jawaban benar. Kolom kiri menunjukkan berapa banyak yang dijawab benar. Baris teratas yang kolom kirinya juga panjang berarti murah sekaligus tepat.

9 punya catatan biaya
Jawaban benarBiaya tiap jawaban benar
Tingkat tutur bahasa Jawapilihan ganda96,3%$0.001172
Pemahaman slang Indonesia95,2%$0.001301
Arti kata Jawa sehari-hari90,4%$0.001637
Tingkat tutur bahasa Jawajawaban isian100,0%$0.001695
Normalisasi teks Indonesiaversi soal 2Keterangan63,3%$0.002089
Normalisasi teks Indonesiaversi soal 1Keterangan40,8%$0.002219
Koreksi ejaan Indonesia73,7%$0.003165
Normalisasi teks Indonesiaversi soal 3Keterangan65,3%$0.003167
Arti kata Jawa langka79,1%$0.003332
Berapa jawaban benar, dibanding berapa ongkosnya untuk tiap jawaban benar

Token yang dipakai

Input dan output dipisah karena harganya bisa berbeda sampai sepuluh kali lipat. Batang output yang panjang berarti model menghasilkan banyak token, sering karena bernalar panjang sebelum menjawab, dan di situlah hampir seluruh selisih biaya berasal.

124.509 masuk, 71.490 keluar
InputOutput
Tingkat tutur bahasa Jawajawaban isian1.941 · 968
Tingkat tutur bahasa Jawapilihan ganda8.288 · 2.679
Pemahaman slang Indonesia19.318 · 3.550
Arti kata Jawa sehari-hari12.585 · 26.291
Arti kata Jawa langka2.743 · 10.779
Koreksi ejaan Indonesia20.756 · 8.827
Normalisasi teks Indonesiaversi soal 3Keterangan19.948 · 10.580
Normalisasi teks Indonesiaversi soal 2Keterangan21.328 · 5.345
Normalisasi teks Indonesiaversi soal 1Keterangan17.602 · 2.471
Token satu kali pengujian penuh, tiap benchmark

Waktu tunggu tiap panggilan

Median waktu tunggu satu panggilan pada tiap benchmark. Median, bukan rata-rata, supaya satu panggilan yang tersendat tidak menggeser angkanya.

9 punya catatan waktu tunggu
Pemahaman slang Indonesia1.05 s
Normalisasi teks Indonesiaversi soal 1Keterangan1.09 s
Tingkat tutur bahasa Jawapilihan ganda1.15 s
Normalisasi teks Indonesiaversi soal 2Keterangan1.17 s
Arti kata Jawa sehari-hari1.48 s
Normalisasi teks Indonesiaversi soal 3Keterangan1.78 s
Koreksi ejaan Indonesia2.72 s
Tingkat tutur bahasa Jawajawaban isian3.30 s
Arti kata Jawa langka3.56 s
Median waktu tunggu satu panggilan, tiap benchmark

Cakupan pengujian

Model ini sudah diuji pada seluruh 6 benchmark yang kami terbitkan.

6 dari 6 benchmark yang kami terbitkan
Log9 kali model ini dipanggil, tersebar di 1 hari.

Model ini dipanggil lewat id penyedia yang belum tentu mengunci versi, jadi tanggal di bawah menyatakan bobot mana yang benar-benar diuji. Tanggal pada baris bertanda tanda hubung tidak dicatat saat model dipanggil, melainkan kami perkirakan belakangan, jadi tanggalnya bisa meleset sehari dan jamnya tidak kami tampilkan.

9 pengujian
  1. 07:49Arti kata Jawa langkaarti kata34/43
  2. 07:45Arti kata Jawa sehari-hariarti kata122/135
  3. 07:31Normalisasi teks Indonesiajawaban isianPrompt yang menyatakan aturan kunci32/49
  4. 07:25Normalisasi teks Indonesiajawaban isianPrompt rinci yang melarang ganti kata31/49
  5. 07:19Normalisasi teks Indonesiajawaban isianPrompt bawaan20/49
  6. 07:15Koreksi ejaan Indonesiajawaban isian28/38
  7. 07:09Tingkat tutur bahasa Jawajawaban isian6/6
  8. 07:08Tingkat tutur bahasa Jawapilihan ganda26/27
  9. 07:05Pemahaman slang Indonesiapilihan ganda40/42

← Lihat semua model