BenchmarkEmpiris
Kami menanyakan arti 135 kata Jawa kepada 10 model AI. Gemini 3.5 Flash menjawab benar paling banyak, 128 dari 135, dan sekaligus jadi model paling boros, 187 kali lebih mahal untuk tiap jawaban benar daripada model yang tertinggal 11 kata saja.
22 September 2026 · 4 menit bacaBaca temuannya →
BenchmarkEmpiris
Kami menguji 4 model AI pada 69 kalimat yang sama dengan tiga cara bertanya. Gemma 4 31B buatan Google juru kunci pada cara pertama dan teratas pada cara ketiga, dengan soal dan kunci jawaban yang tidak pernah berubah.
15 September 2026 · 3 menit bacaBaca temuannya →
BenchmarkEmpiris
Pada 24 Agustus kami menulis bahwa ox-alpha bukan GLM-5.3, melainkan kerabatnya. Pada 26 Agustus Z.ai mengumumkan model itu adalah GLM-5.3-Flash. Bukan tebakan yang membawa kami ke sana, melainkan 38 soal bahasa Jawa.
30 Agustus 2026 · 3 menit bacaBaca temuannya →
Mesin koreksiData Terstruktur
Sebelum menulis aturan tata bahasa dari nol, kami cek dulu apa yang bisa dipinjam dari LanguageTool, pemeriksa tata bahasa sumber terbuka terbesar yang ada. Ia punya modul untuk 35 bahasa. Bahasa dengan penutur terbanyak keempat di dunia bukan salah satunya.
21 Agustus 2026 · 2 menit bacaBaca temuannya →
BenchmarkEmpiris
Claude Haiku, model termurah Anthropic, salah menjawab 10 dari 36 soal sopan santun bahasa Jawa. Claude Sonnet, versi mahalnya, hanya salah 3.
19 Agustus 2026 · 3 menit bacaBaca temuannya →
Mesin koreksiEmpiris
Kami arahkan pemeriksa ejaan buatan sendiri ke tulisan orang sungguhan, bukan ke kalimat uji. Ia menandai 3.741 hal, dan sebagian besar bukan kesalahan. Ini catatan enam ronde perbaikannya, termasuk angka yang sempat kami salah hitung sendiri.
17 Agustus 2026 · 2 menit bacaBaca temuannya →
KorpusEmpiris
Riwayat suntingan Wikipedia terlihat seperti sumber koreksi ejaan siap pakai. Dari 744 yang kami tambang, cuma 43 yang benar-benar layak jadi soal uji. Sisanya bukan koreksi sungguhan.
15 Agustus 2026 · 2 menit bacaBaca temuannya →
Bahasa JawaEmpiris
Kami susun soal uji bahasa Jawa dari aturan buku tata bahasa. Enam dari 40 soal gugur, bukan karena AI menjawab salah, tapi karena bentuk yang menurut buku salah ternyata diterima luas oleh penutur asli.
14 Agustus 2026 · 2 menit bacaBaca temuannya →
KamusData Terstruktur
Kami cari kata yang sering dipakai orang Indonesia tapi absen dari kamus kami. Ketemu 3.289 kandidat kata baru, tapi begitu diperiksa lebih dekat, hanya 899 yang benar-benar layak, sisanya nama merek, nama tempat, atau kata yang nyaris tidak pernah dipakai.
13 Agustus 2026 · 2 menit bacaBaca temuannya →