Model AIlokal

Llama 3.1 8B Instruct

Hasil Llama 3.1 8B Instruct pada seluruh benchmark bahasa Indonesia dan bahasa daerah yang kami terbitkan.Baca selengkapnya
Terakhir dijalankanpada Pemahaman slang Indonesia

Model ini kami jalankan di perangkat keras sendiri, bukan lewat penyedia berbayar. Skornya tetap sebanding dengan model lain, sebab soal, kunci, dan suhunya sama persis, tapi biaya dan waktu tunggunya tidak, jadi keduanya tidak kami gambarkan sebagai grafik.

Benchmark diuji

6

dari 6 benchmark yang kami terbitkan

Model ini sudah dijalankan pada seluruh benchmark yang kami terbitkan.

Pengujian dijalankan

11

pengujian penuh tercatat

Satu pengujian berarti model menjawab seluruh soal satu set sekali habis. Set yang dijalankan berulang menyumbang lebih dari satu.

Biaya seluruhnya

$0.0000

untuk seluruh pengujian di atas

Angka tagihan sungguhan dari penyedia, dijumlahkan, bukan taksiran dari harga per token. Belum dibagi jumlah jawaban benar.

Token seluruhnya

85.806

input dan output dijumlahkan

Dihitung hanya dari pengujian yang mencatat pemakaian tokennya. Sebagian pengujian lama tidak mencatatnya, dan angkanya tidak kami tebak.

Seberapa banyak yang dijawab benar

Tiap batang mewakili satu benchmark, dan panjangnya menunjukkan berapa soal yang dijawab benar dari seluruh soal di benchmark itu. Soal dan kunci jawabannya kami susun sendiri, lalu diperiksa oleh dua penutur asli, dan tiap model menjawab soal yang sama persis.

9 benchmark
Normalisasi teks Indonesiaversi soal 2Keterangan20/49 40,8%
Tingkat tutur bahasa Jawapilihan ganda9/27 33,3%
Normalisasi teks Indonesiaversi soal 1Keterangan16/49 32,7%
Normalisasi teks Indonesiaversi soal 3Keterangan12/49 24,5%
Tingkat tutur bahasa Jawajawaban isian1/6 16,7%
Persentase jawaban benar di 9 benchmark

Hasil dibanding biayanya

Model ini dijalankan di perangkat keras kami sendiri, bukan lewat penyedia berbayar, jadi tidak ada tagihan untuk dicatat. Nol di sini akan menjadikannya model termurah yang pernah kami uji, dan itu bukan angka yang kami ukur.

Token yang dipakai

Input dan output dipisah karena harganya bisa berbeda sampai sepuluh kali lipat. Batang output yang panjang berarti model menghasilkan banyak token, sering karena bernalar panjang sebelum menjawab, dan di situlah hampir seluruh selisih biaya berasal.

78.726 masuk, 7.080 keluar
InputOutput
Pemahaman slang Indonesia12.771 · 120
Koreksi ejaan Indonesia12.831 · 255
Normalisasi teks Indonesiaversi soal 2Keterangan13.098 · 955
Tingkat tutur bahasa Jawapilihan ganda5.740 · 77
Normalisasi teks Indonesiaversi soal 1Keterangan10.752 · 945
Normalisasi teks Indonesiaversi soal 3Keterangan12.477 · 971
Arti kata Jawa sehari-hari8.062 · 2.910
Tingkat tutur bahasa Jawajawaban isian1.231 · 103
Arti kata Jawa langka1.764 · 744
Token satu kali pengujian penuh, tiap benchmark

Waktu tunggu tiap panggilan

Waktu tunggunya kami catat, tetapi ia mengukur mesin kami sendiri, bukan layanan yang orang lain dapat beli. Menaruhnya di grafik yang sama dengan model dari penyedia berbayar berarti membandingkan dua hal yang berbeda, jadi angkanya tidak digambar di sini.

Cakupan pengujian

Model ini sudah diuji pada seluruh 6 benchmark yang kami terbitkan.

6 dari 6 benchmark yang kami terbitkan

Versi soal sebelumnya

Kami mengubah soal atau kunci jawabannya setelah angka ini diukur. Kami menyimpannya sebagai riwayat, bukan sebagai hasil sekarang.
Pemahaman slang Indonesia22/27 81,5%
Arti kata Jawa sehari-hari26/135 19,3%
Hasil pada soal atau kunci jawaban versi sebelumnya
Log11 kali model ini dipanggil, tersebar di 3 hari.

Model ini dipanggil lewat id penyedia yang belum tentu mengunci versi, jadi tanggal di bawah menyatakan bobot mana yang benar-benar diuji. Tanggal pada baris bertanda tanda hubung tidak dicatat saat model dipanggil, melainkan kami perkirakan belakangan, jadi tanggalnya bisa meleset sehari dan jamnya tidak kami tampilkan.

1 pengujian
  1. 22:01Pemahaman slang Indonesiapilihan ganda32/42
1 pengujian
  1. 22:11Arti kata Jawa sehari-hariarti kata26/135
9 pengujian
  1. 16:40Tingkat tutur bahasa Jawajawaban isian1/6
  2. 16:40Arti kata Jawa sehari-hariarti kata26/135
  3. 16:36Arti kata Jawa langkaarti kata1/43
  4. 16:34Tingkat tutur bahasa Jawapilihan ganda9/27
  5. 16:33Normalisasi teks Indonesiajawaban isianPrompt yang menyatakan aturan kunci12/49
  6. 16:31Normalisasi teks Indonesiajawaban isianPrompt rinci yang melarang ganti kata20/49
  7. 16:29Normalisasi teks Indonesiajawaban isianPrompt bawaan16/49
  8. 16:27Koreksi ejaan Indonesiajawaban isian19/38
  9. 16:26Pemahaman slang Indonesiapilihan ganda22/27

← Lihat semua model