NVIDIAModel AI

Nemotron 3.5 Lightning

Hasil Nemotron 3.5 Lightning pada seluruh benchmark bahasa Indonesia dan bahasa daerah yang kami terbitkan.Baca selengkapnya
Terakhir dijalankanpada Arti kata Jawa sehari-hariversi tidak terkunciKeterangan

Benchmark diuji

2

dari 6 benchmark yang kami terbitkan

Sisanya belum dijalankan, jadi kami belum tahu kemampuannya di 4 benchmark lain.

Pengujian dijalankan

3

pengujian penuh tercatat

Satu pengujian berarti model menjawab seluruh soal satu set sekali habis. Set yang dijalankan berulang menyumbang lebih dari satu.

Biaya seluruhnya

$0.0722

untuk seluruh pengujian di atas

Angka tagihan sungguhan dari penyedia, dijumlahkan, bukan taksiran dari harga per token. Belum dibagi jumlah jawaban benar.

Token seluruhnya

163.694

input dan output dijumlahkan

Dihitung hanya dari pengujian yang mencatat pemakaian tokennya. Sebagian pengujian lama tidak mencatatnya, dan angkanya tidak kami tebak.

Seberapa banyak yang dijawab benar

Tiap batang mewakili satu benchmark, dan panjangnya menunjukkan berapa soal yang dijawab benar dari seluruh soal di benchmark itu. Soal dan kunci jawabannya kami susun sendiri, lalu diperiksa oleh dua penutur asli, dan tiap model menjawab soal yang sama persis.

2 benchmark
Persentase jawaban benar di 2 benchmark

Hasil dibanding biayanya

Kami urutkan dari yang paling murah untuk tiap jawaban benar. Kolom kiri menunjukkan berapa banyak yang dijawab benar. Baris teratas yang kolom kirinya juga panjang berarti murah sekaligus tepat.

2 punya catatan biaya
Jawaban benarBiaya tiap jawaban benar
Arti kata Jawa sehari-hari18,5%$0.001081
Arti kata Jawa langka7,0%$0.003700
Berapa jawaban benar, dibanding berapa ongkosnya untuk tiap jawaban benar

Waktu tunggu tiap panggilan

Median waktu tunggu satu panggilan pada tiap benchmark. Median, bukan rata-rata, supaya satu panggilan yang tersendat tidak menggeser angkanya.

2 punya catatan waktu tunggu
Median waktu tunggu satu panggilan, tiap benchmark

Cakupan pengujian

Model ini diuji pada 2 dari 6 benchmark yang kami terbitkan. Sisanya belum dijalankan, jadi kami belum tahu kemampuannya di sana.

2 dari 6 benchmark yang kami terbitkan

Versi soal sebelumnya

Kami mengubah soal atau kunci jawabannya setelah angka ini diukur. Kami menyimpannya sebagai riwayat, bukan sebagai hasil sekarang.
Arti kata Jawa sehari-hari26/135 19,3%
Hasil pada soal atau kunci jawaban versi sebelumnya
Log3 kali model ini dipanggil, tersebar di 2 hari.

Model ini dipanggil lewat id penyedia yang belum tentu mengunci versi, jadi tanggal di bawah menyatakan bobot mana yang benar-benar diuji. Tanggal pada baris bertanda tanda hubung tidak dicatat saat model dipanggil, melainkan kami perkirakan belakangan, jadi tanggalnya bisa meleset sehari dan jamnya tidak kami tampilkan.

1 pengujian
  1. 21:44Arti kata Jawa sehari-hariarti kata25/135
2 pengujian
  1. 21:28Arti kata Jawa sehari-hariarti kata26/135
  2. 21:02Arti kata Jawa langkaarti kata3/43

← Lihat semua model