Model AIlokal

Gemma-SEA-LION v4.5 E2B-IT

Hasil Gemma-SEA-LION v4.5 E2B-IT pada seluruh benchmark bahasa Indonesia dan bahasa daerah yang kami terbitkan.Baca selengkapnya
Terakhir dijalankanpada Pemahaman slang Indonesia

Model ini kami jalankan di perangkat keras sendiri, bukan lewat penyedia berbayar. Skornya tetap sebanding dengan model lain, sebab soal, kunci, dan suhunya sama persis, tapi biaya dan waktu tunggunya tidak, jadi keduanya tidak kami gambarkan sebagai grafik.

Benchmark diuji

6

dari 6 benchmark yang kami terbitkan

Model ini sudah dijalankan pada seluruh benchmark yang kami terbitkan.

Pengujian dijalankan

11

pengujian penuh tercatat

Satu pengujian berarti model menjawab seluruh soal satu set sekali habis. Set yang dijalankan berulang menyumbang lebih dari satu.

Biaya seluruhnya

$0.0000

untuk seluruh pengujian di atas

Angka tagihan sungguhan dari penyedia, dijumlahkan, bukan taksiran dari harga per token. Belum dibagi jumlah jawaban benar.

Token seluruhnya

65.841

input dan output dijumlahkan

Dihitung hanya dari pengujian yang mencatat pemakaian tokennya. Sebagian pengujian lama tidak mencatatnya, dan angkanya tidak kami tebak.

Seberapa banyak yang dijawab benar

Tiap batang mewakili satu benchmark, dan panjangnya menunjukkan berapa soal yang dijawab benar dari seluruh soal di benchmark itu. Soal dan kunci jawabannya kami susun sendiri, lalu diperiksa oleh dua penutur asli, dan tiap model menjawab soal yang sama persis.

9 benchmark
Tingkat tutur bahasa Jawajawaban isian5/6 83,3%
Normalisasi teks Indonesiaversi soal 2Keterangan36/49 73,5%
Normalisasi teks Indonesiaversi soal 3Keterangan35/49 71,4%
Tingkat tutur bahasa Jawapilihan ganda16/27 59,3%
Normalisasi teks Indonesiaversi soal 1Keterangan23/49 46,9%
Persentase jawaban benar di 9 benchmark

Hasil dibanding biayanya

Model ini dijalankan di perangkat keras kami sendiri, bukan lewat penyedia berbayar, jadi tidak ada tagihan untuk dicatat. Nol di sini akan menjadikannya model termurah yang pernah kami uji, dan itu bukan angka yang kami ukur.

Token yang dipakai

Input dan output dipisah karena harganya bisa berbeda sampai sepuluh kali lipat. Batang output yang panjang berarti model menghasilkan banyak token, sering karena bernalar panjang sebelum menjawab, dan di situlah hampir seluruh selisih biaya berasal.

60.198 masuk, 5.643 keluar
InputOutput
Tingkat tutur bahasa Jawajawaban isian914 · 96
Pemahaman slang Indonesia9.920 · 120
Normalisasi teks Indonesiaversi soal 2Keterangan9.900 · 684
Normalisasi teks Indonesiaversi soal 3Keterangan9.210 · 687
Koreksi ejaan Indonesia9.909 · 184
Tingkat tutur bahasa Jawapilihan ganda4.654 · 76
Normalisasi teks Indonesiaversi soal 1Keterangan8.106 · 687
Arti kata Jawa sehari-hari6.228 · 2.594
Arti kata Jawa langka1.357 · 515
Token satu kali pengujian penuh, tiap benchmark

Waktu tunggu tiap panggilan

Waktu tunggunya kami catat, tetapi ia mengukur mesin kami sendiri, bukan layanan yang orang lain dapat beli. Menaruhnya di grafik yang sama dengan model dari penyedia berbayar berarti membandingkan dua hal yang berbeda, jadi angkanya tidak digambar di sini.

Cakupan pengujian

Model ini sudah diuji pada seluruh 6 benchmark yang kami terbitkan.

6 dari 6 benchmark yang kami terbitkan

Versi soal sebelumnya

Kami mengubah soal atau kunci jawabannya setelah angka ini diukur. Kami menyimpannya sebagai riwayat, bukan sebagai hasil sekarang.
Pemahaman slang Indonesia21/27 77,8%
Arti kata Jawa sehari-hari60/135 44,4%
Hasil pada soal atau kunci jawaban versi sebelumnya
Log11 kali model ini dipanggil, tersebar di 3 hari.

Model ini dipanggil lewat id penyedia yang belum tentu mengunci versi, jadi tanggal di bawah menyatakan bobot mana yang benar-benar diuji. Tanggal pada baris bertanda tanda hubung tidak dicatat saat model dipanggil, melainkan kami perkirakan belakangan, jadi tanggalnya bisa meleset sehari dan jamnya tidak kami tampilkan.

1 pengujian
  1. 22:06Pemahaman slang Indonesiapilihan ganda33/42
1 pengujian
  1. 22:05Arti kata Jawa sehari-hariarti kata60/135
9 pengujian
  1. 16:57Tingkat tutur bahasa Jawajawaban isian5/6
  2. 16:57Arti kata Jawa sehari-hariarti kata60/135
  3. 16:52Arti kata Jawa langkaarti kata9/43
  4. 16:50Tingkat tutur bahasa Jawapilihan ganda16/27
  5. 16:49Normalisasi teks Indonesiajawaban isianPrompt yang menyatakan aturan kunci35/49
  6. 16:47Normalisasi teks Indonesiajawaban isianPrompt rinci yang melarang ganti kata36/49
  7. 16:44Normalisasi teks Indonesiajawaban isianPrompt bawaan23/49
  8. 16:42Koreksi ejaan Indonesiajawaban isian25/38
  9. 16:24Pemahaman slang Indonesiapilihan ganda21/27

← Lihat semua model