AnthropicModel AI

Claude Haiku 5.5

Hasil Claude Haiku 5.5 pada seluruh benchmark bahasa Indonesia dan bahasa daerah yang kami terbitkan.Baca selengkapnya
Terakhir dijalankanpada Normalisasi teks Indonesia

Benchmark diuji

6

dari 6 benchmark yang kami terbitkan

Model ini sudah dijalankan pada seluruh benchmark yang kami terbitkan.

Pengujian dijalankan

9

pengujian penuh tercatat

Satu pengujian berarti model menjawab seluruh soal satu set sekali habis. Set yang dijalankan berulang menyumbang lebih dari satu.

Biaya seluruhnya

$0.0741

untuk seluruh pengujian di atas

Angka tagihan sungguhan dari penyedia, dijumlahkan, bukan taksiran dari harga per token. Belum dibagi jumlah jawaban benar.

Token seluruhnya

247.779

input dan output dijumlahkan

Dihitung hanya dari pengujian yang mencatat pemakaian tokennya. Sebagian pengujian lama tidak mencatatnya, dan angkanya tidak kami tebak.

Seberapa banyak yang dijawab benar

Tiap batang mewakili satu benchmark, dan panjangnya menunjukkan berapa soal yang dijawab benar dari seluruh soal di benchmark itu. Soal dan kunci jawabannya kami susun sendiri, lalu diperiksa oleh dua penutur asli, dan tiap model menjawab soal yang sama persis.

9 benchmark
Pemahaman slang Indonesia40/42 95,2%
Tingkat tutur bahasa Jawapilihan ganda24/27 88,9%
Tingkat tutur bahasa Jawajawaban isian5/6 83,3%
Arti kata Jawa sehari-hari108/135 80,0%
Normalisasi teks Indonesiaversi soal 3Keterangan36/49 73,5%
Koreksi ejaan Indonesia25/38 65,8%
Normalisasi teks Indonesiaversi soal 2Keterangan32/49 65,3%
Arti kata Jawa langka23/43 53,5%
Normalisasi teks Indonesiaversi soal 1Keterangan25/49 51,0%
Persentase jawaban benar di 9 benchmark

Hasil dibanding biayanya

Kami urutkan dari yang paling murah untuk tiap jawaban benar. Kolom kiri menunjukkan berapa banyak yang dijawab benar. Baris teratas yang kolom kirinya juga panjang berarti murah sekaligus tepat.

9 punya catatan biaya
Jawaban benarBiaya tiap jawaban benar
Pemahaman slang Indonesia95,2%$0.000081
Arti kata Jawa sehari-hari80,0%$0.000111
Tingkat tutur bahasa Jawapilihan ganda88,9%$0.000128
Tingkat tutur bahasa Jawajawaban isian83,3%$0.000165
Normalisasi teks Indonesiaversi soal 1Keterangan51,0%$0.000176
Normalisasi teks Indonesiaversi soal 2Keterangan65,3%$0.000239
Koreksi ejaan Indonesia65,8%$0.000244
Normalisasi teks Indonesiaversi soal 3Keterangan73,5%$0.000271
Arti kata Jawa langka53,5%$0.000286
Berapa jawaban benar, dibanding berapa ongkosnya untuk tiap jawaban benar

Token yang dipakai

Input dan output dipisah karena harganya bisa berbeda sampai sepuluh kali lipat. Batang output yang panjang berarti model menghasilkan banyak token, sering karena bernalar panjang sebelum menjawab, dan di situlah hampir seluruh selisih biaya berasal.

124.509 masuk, 123.270 keluar
InputOutput
Pemahaman slang Indonesia19.318 · 5.328
Tingkat tutur bahasa Jawapilihan ganda8.288 · 7.080
Tingkat tutur bahasa Jawajawaban isian1.941 · 1.917
Arti kata Jawa sehari-hari12.585 · 32.667
Normalisasi teks Indonesiaversi soal 3Keterangan19.948 · 23.617
Koreksi ejaan Indonesia20.756 · 13.885
Normalisasi teks Indonesiaversi soal 2Keterangan21.328 · 17.679
Arti kata Jawa langka2.743 · 12.618
Normalisasi teks Indonesiaversi soal 1Keterangan17.602 · 8.479
Token satu kali pengujian penuh, tiap benchmark

Waktu tunggu tiap panggilan

Median waktu tunggu satu panggilan pada tiap benchmark. Median, bukan rata-rata, supaya satu panggilan yang tersendat tidak menggeser angkanya.

9 punya catatan waktu tunggu
Pemahaman slang Indonesia1.21 s
Normalisasi teks Indonesiaversi soal 1Keterangan1.41 s
Arti kata Jawa sehari-hari1.43 s
Tingkat tutur bahasa Jawapilihan ganda1.76 s
Normalisasi teks Indonesiaversi soal 2Keterangan1.86 s
Koreksi ejaan Indonesia1.95 s
Normalisasi teks Indonesiaversi soal 3Keterangan2.10 s
Arti kata Jawa langka2.14 s
Tingkat tutur bahasa Jawajawaban isian3.23 s
Median waktu tunggu satu panggilan, tiap benchmark

Cakupan pengujian

Model ini sudah diuji pada seluruh 6 benchmark yang kami terbitkan.

6 dari 6 benchmark yang kami terbitkan
Log9 kali model ini dipanggil, tersebar di 2 hari.

Model ini dipanggil lewat id penyedia yang belum tentu mengunci versi, jadi tanggal di bawah menyatakan bobot mana yang benar-benar diuji. Tanggal pada baris bertanda tanda hubung tidak dicatat saat model dipanggil, melainkan kami perkirakan belakangan, jadi tanggalnya bisa meleset sehari dan jamnya tidak kami tampilkan.

2 pengujian
  1. 06:57Normalisasi teks Indonesiajawaban isianPrompt yang menyatakan aturan kunci36/49
  2. 06:51Normalisasi teks Indonesiajawaban isianPrompt rinci yang melarang ganti kata32/49
7 pengujian
  1. 16:58Arti kata Jawa langkaarti kata23/43
  2. 16:54Arti kata Jawa sehari-hariarti kata108/135
  3. 16:41Normalisasi teks Indonesiajawaban isianPrompt bawaan25/49
  4. 16:37Koreksi ejaan Indonesiajawaban isian25/38
  5. 16:31Tingkat tutur bahasa Jawajawaban isian5/6
  6. 16:30Tingkat tutur bahasa Jawapilihan ganda24/27
  7. 16:28Pemahaman slang Indonesiapilihan ganda40/42

← Lihat semua model