Koleksi Terukur

Artikel

Kami menguji sendiri seberapa jauh AI memahami bahasa Indonesia dan bahasa daerahnya, memetakan kata yang menjebak penuturnya, dan menerbitkan angkanya beserta data mentah serta batasannya, termasuk ketika hasilnya tidak sesuai harapan kami sendiri.

1 artikelTiap artikel menaut ke data mentahnya
TersaringInceptionHapus penyaring

1 artikel

Empiris

Mercury 2.5 Cepat, tapi Hanya Benar 13 dari 43 Kata Jawa Langka

Kami menguji dua model yang rilis pada 8 dan 10 September 2026 di empat tugas dari tiga benchmark bahasa Indonesia dan Jawa. Mercury 2.5, model difusi dari Inception, menjawab dengan latensi median sekitar 1 detik di keempat tugas, tetapi hanya benar 13 dari 43 kata Jawa langka, jauh di bawah GPT-5.6 Luna yang diklaim setara. DeepSeek V4.1 Flash menjawab benar 58 dari 60 soal slang dan 37 dari 38 soal tingkat tutur, tidak berbeda nyata dari DeepSeek V4 Flash, dengan biaya 6,7 sampai 10,8 kali lipat pendahulunya.

1.041 msLatensi Mercury13/43Kata langka10,8×Biaya V4.1