Model AIlokal

Llama3 8B CPT Sahabat-AI v1 Instruct

Hasil Llama3 8B CPT Sahabat-AI v1 Instruct pada seluruh benchmark bahasa Indonesia dan bahasa daerah yang kami terbitkan.Baca selengkapnya
Terakhir dijalankanpada Pemahaman slang Indonesia

Model ini kami jalankan di perangkat keras sendiri, bukan lewat penyedia berbayar. Skornya tetap sebanding dengan model lain, sebab soal, kunci, dan suhunya sama persis, tapi biaya dan waktu tunggunya tidak, jadi keduanya tidak kami gambarkan sebagai grafik.

Benchmark diuji

6

dari 6 benchmark yang kami terbitkan

Model ini sudah dijalankan pada seluruh benchmark yang kami terbitkan.

Pengujian dijalankan

12

pengujian penuh tercatat

Satu pengujian berarti model menjawab seluruh soal satu set sekali habis. Set yang dijalankan berulang menyumbang lebih dari satu.

Biaya seluruhnya

$0.0000

untuk seluruh pengujian di atas

Angka tagihan sungguhan dari penyedia, dijumlahkan, bukan taksiran dari harga per token. Belum dibagi jumlah jawaban benar.

Token seluruhnya

99.322

input dan output dijumlahkan

Dihitung hanya dari pengujian yang mencatat pemakaian tokennya. Sebagian pengujian lama tidak mencatatnya, dan angkanya tidak kami tebak.

Seberapa banyak yang dijawab benar

Tiap batang mewakili satu benchmark, dan panjangnya menunjukkan berapa soal yang dijawab benar dari seluruh soal di benchmark itu. Soal dan kunci jawabannya kami susun sendiri, lalu diperiksa oleh dua penutur asli, dan tiap model menjawab soal yang sama persis.

9 benchmark1 dijalankan berulang
Pemahaman slang Indonesia2 pengujianKeterangan40-40/42 95,2%
Normalisasi teks Indonesiaversi soal 2Keterangan29/49 59,2%
Tingkat tutur bahasa Jawapilihan ganda13/27 48,1%
Normalisasi teks Indonesiaversi soal 3Keterangan20/49 40,8%
Normalisasi teks Indonesiaversi soal 1Keterangan17/49 34,7%
Tingkat tutur bahasa Jawajawaban isian1/6 16,7%
rentang antar-pengujianbenchmark tanpa blok gelap dijalankan sekali
Persentase jawaban benar di 9 benchmark

Hasil dibanding biayanya

Model ini dijalankan di perangkat keras kami sendiri, bukan lewat penyedia berbayar, jadi tidak ada tagihan untuk dicatat. Nol di sini akan menjadikannya model termurah yang pernah kami uji, dan itu bukan angka yang kami ukur.

Token yang dipakai

Input dan output dipisah karena harganya bisa berbeda sampai sepuluh kali lipat. Batang output yang panjang berarti model menghasilkan banyak token, sering karena bernalar panjang sebelum menjawab, dan di situlah hampir seluruh selisih biaya berasal.

91.497 masuk, 7.825 keluar
InputOutput
Pemahaman slang Indonesia2 pengujianKeterangan12.771 · 120
Normalisasi teks Indonesiaversi soal 2Keterangan13.098 · 939
Koreksi ejaan Indonesia12.831 · 205
Tingkat tutur bahasa Jawapilihan ganda5.740 · 76
Arti kata Jawa sehari-hari8.062 · 3.281
Normalisasi teks Indonesiaversi soal 3Keterangan12.477 · 942
Normalisasi teks Indonesiaversi soal 1Keterangan10.752 · 950
Tingkat tutur bahasa Jawajawaban isian1.231 · 132
Arti kata Jawa langka1.764 · 1.060
Token satu kali pengujian penuh, tiap benchmark

Waktu tunggu tiap panggilan

Waktu tunggunya kami catat, tetapi ia mengukur mesin kami sendiri, bukan layanan yang orang lain dapat beli. Menaruhnya di grafik yang sama dengan model dari penyedia berbayar berarti membandingkan dua hal yang berbeda, jadi angkanya tidak digambar di sini.

Cakupan pengujian

Model ini sudah diuji pada seluruh 6 benchmark yang kami terbitkan.

6 dari 6 benchmark yang kami terbitkan

Versi soal sebelumnya

Kami mengubah soal atau kunci jawabannya setelah angka ini diukur. Kami menyimpannya sebagai riwayat, bukan sebagai hasil sekarang.
Pemahaman slang Indonesia22/27 81,5%
Arti kata Jawa sehari-hari62/135 45,9%
Hasil pada soal atau kunci jawaban versi sebelumnya
Log12 kali model ini dipanggil, tersebar di 4 hari.

Model ini dipanggil lewat id penyedia yang belum tentu mengunci versi, jadi tanggal di bawah menyatakan bobot mana yang benar-benar diuji. Tanggal pada baris bertanda tanda hubung tidak dicatat saat model dipanggil, melainkan kami perkirakan belakangan, jadi tanggalnya bisa meleset sehari dan jamnya tidak kami tampilkan.

2 pengujian
  1. 22:10Pemahaman slang Indonesiapilihan ganda40/42
  2. 22:04Pemahaman slang Indonesiapilihan ganda40/42
1 pengujian
  1. 22:08Arti kata Jawa sehari-hariarti kata61/135
4 pengujian
  1. 00:56Arti kata Jawa sehari-hariarti kata62/135
  2. 00:52Arti kata Jawa langkaarti kata4/43
  3. 00:51Tingkat tutur bahasa Jawajawaban isian1/6
  4. 00:50Tingkat tutur bahasa Jawapilihan ganda13/27
5 pengujian
  1. 23:26Normalisasi teks Indonesiajawaban isianPrompt yang menyatakan aturan kunci20/49
  2. 23:24Normalisasi teks Indonesiajawaban isianPrompt rinci yang melarang ganti kata29/49
  3. 23:22Normalisasi teks Indonesiajawaban isianPrompt bawaan17/49
  4. 23:20Koreksi ejaan Indonesiajawaban isian21/38
  5. 23:06Pemahaman slang Indonesiapilihan ganda22/27

← Lihat semua model