Observatorium Bahasa Indonesia
Benchmark Nusantara
Kami menguji sendiri model AI pada bahasa Indonesia dan bahasa daerah, memakai soal dan kunci jawaban yang kami susun sendiri dan diperiksa oleh dua penutur. Angkanya diterbitkan apa adanya, lengkap dengan batasnya.Baca selengkapnya
6 benchmark471 soalPengujian terakhir
Indonesia
Koreksi ejaan Indonesia
Menerima atau menolak saran pemeriksa ejaan pada teks nyata.
54 soal16 ditahan16 modelPengujian terakhir
Sebaran skor
Gemma 4 31B29/38 76,3%MiMo-V2.6-Flash26/38 68,4%GLM 5.326/38 68,4%GLM 5.3 Flash25/38 65,8%Ling-3.0-flash25/38 65,8%GPT-5.6 Luna25/38 65,8%Gemma-SEA-LION v4.5 E2B-IT25/38 65,8%DeepSeek V4 Flash 073123/38 60,5%Solar Pro 423/38 60,5%Seed-2.0-Mini22/38 57,9%Mistral Small 322/38 57,9%Qwen3 30B A3B Instruct 250721/38 55,3%Llama3 8B CPT Sahabat-AI v1 Instruct21/38 55,3%Hunyuan A13B Instruct21/38 55,3%Claude Haiku 4.520/38 52,6%Llama 3.1 8B Instruct19/38 50,0%
Gemma 4 31B29/38 76,3%
Indonesia
Normalisasi teks Indonesia
Mengubah teks bergaya pesan singkat menjadi bahasa Indonesia baku.
69 soal20 ditahan15 modelPengujian terakhir
Sebaran skor
jawaban isian, rentang antar 3 rumusan15 model
MiMo-V2.6-Flash76–76%antar rumusanGLM 5.361–76%antar rumusanGemma 4 31B43–88%antar rumusanGPT-5.6 Luna45–84%antar rumusanDeepSeek V4 Flash 073149–76%antar rumusanQwen3 30B A3B Instruct 250759–63%antar rumusanSeed-2.0-Mini51–71%antar rumusanGemma-SEA-LION v4.5 E2B-IT47–73%antar rumusanLing-3.0-flash55–65%antar rumusanGLM 5.3 Flash51–69%antar rumusanMistral Small 347–55%antar rumusanSolar Pro 439–61%antar rumusanLlama3 8B CPT Sahabat-AI v1 Instruct35–59%antar rumusanLlama 3.1 8B Instruct24–41%antar rumusanHunyuan A13B Instruct22–39%antar rumusan
MiMo-V2.6-Flash76%
Indonesia
Pemahaman slang Indonesia
Menjelaskan arti kata gaul Indonesia di dalam kalimat.
60 soal18 ditahan19 modelPengujian terakhir
Sebaran skor
GPT-5.6 Luna42/42 100,0%GPT-6 Astra42/42 100,0%Gemma 4 31B41/42 97,6%DeepSeek V4.1 Flash41/42 97,6%MiMo-V2.6-Flash40/42 95,2%Llama3 8B CPT Sahabat-AI v1 Instruct40/42 95,2%GLM 5.340/42 95,2%DeepSeek V4 Flash 073139/42 92,9%Mercury 2.539/42 92,9%Claude Haiku 4.538/42 90,5%GLM 5.3 Flash38/42 90,5%Ling-3.0-flash37/42 88,1%Seed-2.0-Mini37/42 88,1%Qwen3 30B A3B Instruct 250737/42 88,1%Solar Pro 437/42 88,1%Gemma-SEA-LION v4.5 E2B-IT33/42 78,6%Llama 3.1 8B Instruct32/42 76,2%Mistral Small 332/42 76,2%Hunyuan A13B Instruct29/42 69,0%
GPT-5.6 Luna42/42 100,0%
Jawa
Arti kata Jawa langka
Menjelaskan 43 kata Jawa yang absen dari sumber terbuka mana pun.
43 soal16 modelPengujian terakhir
Sebaran skor
Gemini 3.5 Flash40/43 93,0%GPT-5.6 Luna35/43 81,4%GPT-6 Astra33/43 76,7%Gemma 4 31B26/43 60,5%DeepSeek V4 Flash 073122/43 51,2%DeepSeek V4.1 Flash22/43 51,2%MiMo-V2.6-Flash15/43 34,9%GLM 5.314/43 32,6%Mercury 2.513/43 30,2%GLM 5.3 Flash11/43 25,6%Gemma-SEA-LION v4.5 E2B-IT9/43 20,9%Llama3 8B CPT Sahabat-AI v1 Instruct4/43 9,3%Solar Pro 44/43 9,3%Nemotron 3.5 Lightning3/43 7,0%Llama 3.1 8B Instruct1/43 2,3%Mistral Small 31/43 2,3%
Gemini 3.5 Flash40/43 93,0%
Jawa
Arti kata Jawa sehari-hari
Menjelaskan arti kata Jawa sehari-hari yang terverifikasi penutur, sebagian ditahan.
199 soal64 ditahan18 modelPengujian terakhir
Sebaran skor
Gemini 3.5 Flash128/135 94,8%Gemma 4 31B116/135 85,9%GPT-5.6 Luna112/135 83,0%DeepSeek V4 Flash 0731107/135 79,3%MiMo-V2.6-Flash100/135 74,1%GLM 5.398/135 72,6%GLM 5.3 Flash97/135 71,9%Claude Haiku 4.586/135 63,7%Ling-3.0-flash69/135 51,1%Llama3 8B CPT Sahabat-AI v1 Instruct61/135 45,2%Gemma-SEA-LION v4.5 E2B-IT60/135 44,4%Solar Pro 452/135 38,5%Qwen3 30B A3B Instruct 250751/135 37,8%Seed-2.0-Mini29/135 21,5%Llama 3.1 8B Instruct26/135 19,3%Nemotron 3.5 Lightning25/135 18,5%Mistral Small 325/135 18,5%Hunyuan A13B Instruct21/135 15,6%
Gemini 3.5 Flash128/135 94,8%
Jawa
Tingkat tutur bahasa Jawa
Memilih ragam tutur Jawa yang tepat bagi lawan bicara.
46 soal13 ditahan20 modelPengujian terakhir
Sebaran skor
pilihan ganda
GPT-6 Astra26/27 96,3%DeepSeek V4.1 Flash26/27 96,3%Gemini 3.5 Flash26/27 96,3%Gemma 4 31B26/27 96,3%DeepSeek V4 Flash 073125/27 92,6%GPT-5.6 Luna23/27 85,2%GLM 5.3 Flash22/27 81,5%MiMo-V2.6-Flash22/27 81,5%Mercury 2.522/27 81,5%GLM 5.321/27 77,8%Claude Haiku 4.520/27 74,1%Ling-3.0-flash18/27 66,7%Gemma-SEA-LION v4.5 E2B-IT16/27 59,3%Solar Pro 416/27 59,3%Qwen3 30B A3B Instruct 250714/27 51,9%Seed-2.0-Mini13/27 48,1%Llama3 8B CPT Sahabat-AI v1 Instruct13/27 48,1%Hunyuan A13B Instruct12/27 44,4%Mistral Small 311/27 40,7%Llama 3.1 8B Instruct9/27 33,3%
GPT-6 Astra26/27 96,3%
jawaban isian
GPT-6 Astra6/6 100,0%DeepSeek V4.1 Flash6/6 100,0%Gemini 3.5 Flash6/6 100,0%Gemma 4 31B6/6 100,0%GLM 5.3 Flash5/6 83,3%Gemma-SEA-LION v4.5 E2B-IT5/6 83,3%MiMo-V2.6-Flash5/6 83,3%Mercury 2.54/6 66,7%GLM 5.33/6 50,0%Qwen3 30B A3B Instruct 25072/6 33,3%Llama 3.1 8B Instruct1/6 16,7%Llama3 8B CPT Sahabat-AI v1 Instruct1/6 16,7%Seed-2.0-Mini1/6 16,7%Mistral Small 30/6 0,0%
GPT-6 Astra6/6 100,0%
Bahasa daerah yang sudah terukur sejauh ini baru bahasa Jawa. Untuk Sunda, Madura, Bali, Batak, Bugis, dan Minang, datanya masih kami kumpulkan. Setnya belum ada, jadi belum ada angkanya. Kami menerbitkan angka hanya untuk yang sudah benar-benar diuji.
Setiap angka di sini dihitung dari soal yang sama untuk semua model, dan kuncinya tidak berubah di tengah pengujian.