Koleksi Terukur

Artikel

Kami menguji sendiri seberapa jauh AI memahami bahasa Indonesia dan bahasa daerahnya, memetakan kata yang menjebak penuturnya, dan menerbitkan angkanya beserta data mentah serta batasannya, termasuk ketika hasilnya tidak sesuai harapan kami sendiri.

24 artikelTiap artikel menaut ke data mentahnya

24 artikel

Empiris

Mercury 2.5 Cepat, tapi Hanya Benar 13 dari 43 Kata Jawa Langka

Kami menguji dua model yang rilis pada 8 dan 10 September 2026 di empat tugas dari tiga benchmark bahasa Indonesia dan Jawa. Mercury 2.5, model difusi dari Inception, menjawab dengan latensi median sekitar 1 detik di keempat tugas, tetapi hanya benar 13 dari 43 kata Jawa langka, jauh di bawah GPT-5.6 Luna yang diklaim setara. DeepSeek V4.1 Flash menjawab benar 58 dari 60 soal slang dan 37 dari 38 soal tingkat tutur, tidak berbeda nyata dari DeepSeek V4 Flash, dengan biaya 6,7 sampai 10,8 kali lipat pendahulunya.

1.041 msLatensi Mercury13/43Kata langka10,8×Biaya V4.1
Empiris

GPT-6 Astra dan Luna imbang pada benchmark slang Indonesia

GPT-6 Astra menjawab benar 42 dari 42 soal pada separuh publik benchmark slang Indonesia kami, hasil terbaik bersama di panel. Dihitung bersama 18 soal tertahan, Astra menutup pengujian di angka 59 dari 60, terpaut 1 soal di belakang GPT-5.6 Luna milik OpenAI sendiri yang jauh lebih murah. Selisih 1 soal dari 60 bukan jarak yang berarti secara statistik, dan justru di situ letak temuan yang lebih menarik: separuh soal publik sudah tidak lagi memisahkan model-model terkuat.

42/42Astra publik59/60Astra total$0,15Biaya Astra
Empiris

GPT-6 Astra, Model Termahal OpenAI, Kalah dari Model Murahnya Sendiri di Kata Jawa Langka

GPT-6 Astra, model terbaru dan termahal OpenAI, menjawab benar 33 dari 43 kata Jawa langka, berada di belakang Gemini 3.5 Flash milik Google (40/43) dan GPT-5.6 Luna yang jauh lebih murah (35/43), dengan tarif 56 kali lipat Luna. Pada uji tingkat tutur Jawa terpisah, Astra meraih skor tertinggi sejajar dengan Gemini 3.5 Flash.

$0,22Biaya Astra76,7%Skor Astra93,0%Skor Gemini
Empiris

36% jawaban AI berubah walau pertanyaannya sama persis

Tiga artikel sebelumnya berakhir dengan pengakuan yang sama: tiap kali kami membaca jawaban satu model dan memperbaiki kunci, model itulah yang paling diuntungkan. Kali ini protokolnya dirancang supaya hal itu mustahil, dan pada 135 kata Jawa dengan 6 model AI, protokolnya bekerja. Yang tidak kami duga: setelah alat ukurnya berhenti bergerak, model AI-nya sendiri yang goyah. Pada temperature 0 yang seharusnya menghasilkan jawaban identik, 36 persen jawaban berubah antara dua panggilan berturut-turut.

135Kata Jawa6Model AI36%Jawaban berubah
Empiris

IndoBERT kami adu dengan kunci jawaban manusia di benchmark Jawa

Peringkat model di benchmark Jawa kami selama ini ditentukan kunci jawaban tulisan manusia. Untuk memeriksa apakah peringkat itu nyata, kami pasang alat ukur kedua yang tidak pernah melihat kunci: IndoBERT, model kecil 40 MB yang berjalan di komputer sendiri. Urutan keempat modelnya keluar sama persis. Tetapi 63 persen kemiripan yang diukurnya ternyata bukan makna, melainkan pola kalimat yang sama, dan itu harus diukur lebih dulu sebelum satu angka pun dapat dibaca.

43Kata Jawa diuji40 MBIndoBERT lokal, alat ukur kedua63%Kemiripan yang ternyata pola kalimat
Empiris

Dari 5% sampai 91%: hasil 4 model AI mengartikan 43 kata Jawa

Empat model AI ditanya arti 43 kata Jawa yang tidak muncul di NusaX, NusaWrites, maupun Wiktionary Jawa. Mistral Small 3 benar 5 persen, DeepSeek V4 Flash 53 persen, GPT-5.6 Luna 81 persen, Gemini 3.5 Flash 91 persen. Alat ukurnya sendiri ditambal dua kali di tengah pengukuran, dan tiap tambalan menaikkan skor tanpa satu panggilan pun diulang.

43Kata Jawa91%Skor maksimum4 ModelMistral, DeepSeek, GPT, Gemini