Satu huruf, 876 token
Pada 25 Juli 2026 kami memberi 7 AI soal pilihan ganda yang sama dari benchmark tingkat tutur bahasa Jawa. Jawaban yang diminta hanya satu huruf, entah A, B, C, maupun D.
Dari 7 AI itu, hanya Gemma 4 31B yang kini punya halaman model di ibahasa.
Tidak ada kelompok tengah. Sebanyak 4 AI memakai kurang dari 2 token, sedangkan 3 AI memakai lebih dari 700 token. Tidak satu pun berada di antaranya. Untuk pekerjaan yang persis sama, AI paling boros memakai 876 kali lebih banyak token daripada yang paling hemat.
Penyebabnya bukan misteri. AI jenis penalaran menyusun rantai pemikiran sebelum menjawab, dan rantai itu ikut ditagih meski jawaban yang diminta hanya satu huruf. AI-nya tidak punya cara tahu bahwa soalnya sepele.
Harga katalog tidak meramalkan tagihan sebenarnya
Harga API dikutip per token, jadi wajar orang membandingkan AI lewat angka itu. Masalahnya, angka itu hanya separuh dari perkalian. Separuh lainnya adalah jumlah token yang benar-benar dipakai AI, dan jumlah itu tidak tertulis di katalog mana pun.
Ibaratnya, dua jasa tulis menarik tarif per halaman yang sama. Tarif itu tidak memberi tahu apakah satu jasa akan menulis 1 halaman atau 700 halaman untuk pertanyaan yang sama.
AI dengan harga per token lebih murah bisa berakhir jauh lebih mahal, dan orang tidak akan tahu sebelum menjalankannya sendiri.
Dalam data kami, Qwen 3.5 Flagship dan DeepSeek V3.2 berada di kelas harga per token yang serupa. Qwen memakai rata-rata 726 token per jawaban, sedangkan DeepSeek 1,9. Kalau anggaran hanya disusun dari katalog harga, hasilnya bisa meleset ratusan kali lipat.
Kami sempat salah lapor, lalu membetulkannya
Versi pertama artikel teknis kami menyebut selisihnya sekitar 2.291 kali, bukan 876. Angka itu nyata, tetapi diambil dari 2 run yang berbeda. Salah satu run hanya punya 8 panggilan per AI, sampel terkecil yang kami punya. Pada set yang benar-benar sama, AI itu hanya memakai 726 token, bukan 2.291.
Kami membetulkannya begitu ketahuan. Kesalahannya bukan pada datanya, melainkan pada kami yang mengambil angka paling mencolok tanpa memeriksa apakah angka itu sebanding dengan angka lain.
Angka token berubah dari satu pengujian ke pengujian lain
Penelusuran itu membuahkan temuan yang lebih berguna daripada temuan aslinya. AI yang sama, jika diuji ulang di waktu berbeda, bisa memakai jumlah token yang jauh berbeda. Satu AI kami catat memakai antara 726 dan 2.291 token dalam 5 pengujian, sehingga angka tertingginya lebih dari 3 kali angka terendahnya.
Artinya, satu kali pengujian tidak cukup untuk memperkirakan biaya sebuah AI. Angka biaya tunggal apa pun patut dicurigai, termasuk di versi pertama artikel teknis kami dan angka 876 di artikel ini, yang juga hasil satu kali pengujian. Bacalah 876 sebagai urutan besaran, bukan angka pasti.
Polanya bertahan di model yang lebih baru
Run ini berasal dari Juli, dan modelnya sudah berganti. Polanya bertahan. Pada 60 soal slang, DeepSeek V4.1 Flash memakai 21.239 token keluaran, sekitar 4 kali pendahulunya yang 4.981 token, padahal skornya hanya selisih 1 soal (selengkapnya di sini). Di kata Jawa, model dengan skor tertinggi ternyata 187 kali lebih mahal per jawaban benar daripada model yang tertinggal 11 kata darinya.
Cara pengukuran dan data mentahnya ada di versi teknis artikel ini.
Di balik temuan ini
Versi teknisnya memuat angka mentah, susunan pengujian, dan hal-hal yang justru tidak bisa disimpulkan darinya.