Kami mengujinya sendiri, lalu menerbitkan angkanya bersama data mentah dan batasannya. Termasuk ketika hasilnya tidak seperti yang kami harapkan.
Berbasis kamus bahasa tutur dan dialek daerah yang kami kurasi sendiri.
Data uji kami susun sendiri, dan sebagian sengaja tidak diterbitkan agar tidak terserap ke data latih.
Dua model NVIDIA yang dibagikan gratis kami uji pada 42 soal slang Indonesia. Nemotron Super 120 miliar parameter menjawab benar 34, Nemotron 3.5 Lightning menjawab benar 26, dan keduanya masih di bawah Gemma 31 miliar parameter yang tarifnya recehan.
Dua model terkecil yang pernah kami uji, LFM2.5 2,6 miliar parameter dan hy-mt2 1,8 miliar, bertarung pada 60 soal slang Indonesia. Skornya imbang telak, tetapi cara keduanya gagal bertolak belakang, dan satu di antaranya sempat mencoba memanggil Google di ruang ujian tertutup.
Kami menguji 10 model AI pada 135 kata Jawa dan memperkirakan hasilnya terbelah dua kelompok dengan celah kosong di tengah. 3 model terakhir kami pilih justru karena paling mungkin menggugurkan perkiraan itu, dan 2 di antaranya mendarat tepat di celah yang kami sebut kosong.
Tiga artikel sebelumnya berakhir dengan pengakuan yang sama: tiap kali kami membaca jawaban satu model dan memperbaiki kunci, model itulah yang paling diuntungkan. Kali ini protokolnya dirancang supaya hal itu mustahil, dan pada 135 kata Jawa dengan 6 model AI, protokolnya bekerja. Yang tidak kami duga: setelah alat ukurnya berhenti bergerak, model AI-nya sendiri yang goyah. Pada temperature 0 yang seharusnya menghasilkan jawaban identik, 36 persen jawaban berubah antara dua panggilan berturut-turut.
Peringkat model di benchmark Jawa kami selama ini ditentukan kunci jawaban tulisan manusia. Untuk memeriksa apakah peringkat itu nyata, kami pasang alat ukur kedua yang tidak pernah melihat kunci: IndoBERT, model kecil 40 MB yang berjalan di komputer sendiri. Urutan keempat modelnya keluar sama persis. Tetapi 63 persen kemiripan yang diukurnya ternyata bukan makna, melainkan pola kalimat yang sama, dan itu harus diukur lebih dulu sebelum satu angka pun dapat dibaca.