Model AI mungil ini mencoba mencari jawaban ujian kami di Google

Dua petarung paling ringan yang pernah masuk instrumen kami

Sesudah menguji model misterius ox-alpha pekan ini, kami turun ke kelas paling ringan, model kelas bulu. LFM2.5-2.6B buatan Liquid AI: 2,6 miliar parameter, gratis, arsitektur hibrida yang bukan transformer murni, dan dirancang sebagai agen kecil di perangkat yang selalu menimbang dulu sebelum menjawab. Lawannya hy-mt2-1.8b buatan Tencent: 1,8 miliar parameter, tarif termurah yang pernah kami bayar, dan menjawab seketika tanpa banyak pikir. Arena tandingnya 60 soal pilihan ganda pemahaman slang Indonesia dari benchmark kami.

Seperti biasa untuk model di luar panel: kedua skor ini tidak ada di papan peringkat ibahasa.com/benchmark dan tidak akan masuk ke sana. Keduanya kami ukur di lajur uji, jalur terpisah yang memakai soal dan rubrik penilai yang sama dengan papan resmi tetapi hasilnya dikarantina.

Cara kami melakukan benchmark, dan kenapa tidak ada set soal bahasa Jawa

Set slang kami berisi 60 soal pilihan ganda yang pertanyaan dan kuncinya tidak pernah diterbitkan, jadi tidak ada model yang mungkin menghafalnya dari data latihan. Tiap model menjawab sekali per soal, jawaban dinilai otomatis oleh kunci, dan seluruh episode menghabiskan kurang dari sepersepuluh sen dolar.

Pembaca artikel kami sebelumnya akan bertanya: mana babak krama Jawa-nya? Memang sengaja tidak kami lakukan pada model ini. Karena model bertarif gratis lazimnya menyimpan setiap prompt yang masuk, sementara sebagian soal kami adalah cadangan pengukur kontaminasi yang nilainya justru pada kerahasiaannya. Kami memilih tidak membocorkan soal-soal itu sedikit demi sedikit ke log pihak lain demi satu artikel. Babak bahasa Jawa menyusul sesudah penyaring soal-cadangan kami selesai dibangun.

Angkanya

hy-mt2 1,8B

34

LFM2.5 2,6B

32

Dua batang yang nyaris sama panjang itu memang temuan utamanya. Selisih dua jawaban dari 60 soal memberi z sekitar 0,4: benar-benar imbang. Keduanya juga jauh di atas ambang tebakan acak 25%, jadi ini bukan dua model yang sama-sama menebak. Kelas bulu berakhir seri, dan yang membedakan keduanya bukan skor.

Satu menjawab cepat, satu bersemadi (menalar) dulu

LFM2.5 2,6B

716

hy-mt2 1,8B

2

Perbedaan wataknya terbaca dari grafik di atas. hy-mt2 menjawab satu huruf saja: rerata 2 token per soal, median 469 milidetik. LFM2.5 selalu menyalakan mode "bersemadi" atau mode menalar lebih dulu: rerata 716 token per soal, median 2,5 detik, sekitar 358 kali lipat keluaran lawannya, untuk berakhir dengan skor yang secara statistik sama. Pada soal pengetahuan leksikal seperti slang, anggaran berpikir sebesar itu tidak membeli apa-apa: kata yang tidak dikenal tetap tidak dikenal, berapa pun lama merenungnya. Satu catatan jujur: latensi di tabel adalah latensi layanan yang kami pakai, bukan kecepatan on-device yang diiklankan pembuatnya. Hitungan token, sebaliknya, tidak peduli servernya sedang sibuk atau menganggur.

Petarung yang mencoba mencari jawabannya di Google

Satu soal di set kami memakai lema jebakan: kata yang dirancang menguji apakah model mengarang makna untuk kata yang tidak ia kenal. hy-mt2 menjawabnya salah dengan tenang, satu huruf seperti biasa. LFM2.5 melakukan sesuatu yang belum pernah kami lihat di instrumen ini: alih-alih menjawab, ia mengeluarkan panggilan tools, lengkap dengan dua kueri pencarian yang disusun dwibahasa, kira-kira berbentuk begini dengan kata kuncinya kami samarkan:

<|tool_call_start|>[google(query='<lema itu> bahasa Indonesia slang meaning'),

                    google(query='<lema itu> kata gaul Indonesia')]<|tool_call_end|>

LFM2.5 memang dilatih sebagai model agen dengan pemanggilan tools bawaan (tool_calls), dan di ruang ujian tertutup tanpa tools, kebiasaan bawaan itu keluar di tempat yang salah: LFM2.5 tidak tahu jawabannya, akhirnya ia mencoba mencari "wangsit". Jawaban itu tercatat sah dan bernilai nol, karena kami menilai model apa adanya, sebagaimana model itu berjalan. Tetapi sebagai perilaku, ini jendela kecil ke generasi model baru: model mungil masa kini tidak lagi sekadar salah memilih huruf, ia bisa gagal secara agentic.

Kami hampir keliru

Pertama, kami hampir menulis "model agen ini panik mencari Google" sebagai pola. Lalu kami hitung: panggilan tools hanya muncul pada 1 dari 60 soal. Sisanya, LFM2.5 menjawab seperti murid biasa. Maka insiden ini kami laporkan sebagai anekdot satu soal, bukan mode kegagalan.

Kedua, alat kami sendiri hampir merugikan LFM2.5. Satu soal kandas karena jawabannya terpotong di batas 2.400 token, kebiasaan berpikir panjangnya tidak muat. Kami ulangi soal itu dengan batas 9.600 token, dan ia menjawab benar. Tanpa pengulangan itu skornya tercatat 31, bukan 32, dan selisihnya berasal dari batas token kami, bukan dari kemampuannya. Untuk model yang selalu bersemadi, ruang berpikir adalah bagian dari cara mengukur yang adil.

Kesimpulan

Imbang bukan kemenangan siapa pun: 34 lawan 32 dari 60 soal tidak memisahkan kedua model ini. Tiap model hanya kami ukur sekali, dan hanya pada soal pilihan ganda slang Indonesia. Jadi simpulannya sebatas itu: kemampuan lain keduanya belum teruji, dan kalau pengukurannya diulang, angkanya bisa bergeser satu-dua jawaban. Perbedaan arsitektur keduanya nyata, tetapi data ini tidak cukup untuk menyatakan arsitektur mana yang lebih cocok untuk bahasa Indonesia. Baru harganya yang terlihat tegas: anggaran berpikir 358 kali lipat dengan hasil setara. Dan kedua model belum diuji tingkat tutur Jawa, bagian tersulit instrumen kami, karena alasan yang kami tulis di atas.

Data turunannya tersedia di dataset trial-model-probes yang ditaut di bawah artikel ini. Isinya ringkasan per model, lengkap dengan latensi dan token, supaya seluruh klaim di sini bisa dihitung ulang.