Cara Kami Menguji: Metodologi di Balik Setiap Angka yang Kami Terbitkan

Dua pertanyaan yang berbeda

Ketika orang bertanya "seberapa bagus AI berbahasa Indonesia", sebenarnya ada dua pertanyaan berbeda di baliknya, dan kami mengukurnya dengan dua cara yang tidak bisa saling menggantikan.

Sebuah model bisa unggul di satu dan biasa saja di yang lain, dan itu memang yang ingin kami perlihatkan, bukan disembunyikan di balik satu skor gabungan.

Alat yang membangunnya

Angka yang kami terbitkan tidak lahir dari satu alat, melainkan dari beberapa yang saling menopang.

Korpus

Sebelum ada yang bisa diuji, harus ada bahan ujinya. Kami mengumpulkan pemakaian bahasa Indonesia dan bahasa daerah yang sungguh terjadi, bukan contoh karangan, sebagai bahan baku kamus maupun data uji.

Kamus dan korektor

Alat koreksi internal kami memeriksa ejaan dan tata bahasa Indonesia. Ia dinilai bukan dari seberapa sering ia benar pada contoh yang kami pilih sendiri, melainkan dari seberapa sering ia salah pada teks nyata yang belum pernah dilihatnya, sebab alat koreksi yang hanya diuji pada contoh mudah akan selalu tampak sempurna.

Salah satu komponennya memanfaatkan IndoBERT versi terkuantisasi (ONNX) untuk meranking ulang saran ejaan. Kami mengukur sendiri jalur ini lebih akurat, tapi juga jauh lebih lambat, sehingga saat ini nonaktif di jalur produksi sampai keseimbangannya lebih masuk akal.

Data uji (Benchmark)

Ini yang menguji model AI pihak ketiga pada soal tertutup, mencakup ejaan baku, normalisasi ragam informal, hingga tingkat tutur bahasa daerah. Soalnya kami tulis sendiri dari korpus terverifikasi, dan sebagian sengaja tidak pernah kami terbitkan.

Audit lapisan data

Terpisah dari ketiganya, ada pemeriksaan atas kamus kami sendiri: apakah entri, makna, contoh, dan relasi antar-kata di dalamnya benar-benar koheren, diperiksa langsung terhadap data yang sedang berjalan di produksi. Ini pemeriksaan ke dalam, bukan ke model AI luar.

Arena AI (Battle)

Di sinilah pembaca ikut menilai. Dua model menjawab pertanyaan yang sama tanpa nama disebut, dan Anda memilih jawaban yang lebih tepat. Hasilnya dipakai menyusun peringkat model untuk bahasa Indonesia, dan ke depan kami rencanakan hasil arena ini turut menjadi bahan artikel riset, bukan cuma papan peringkat yang berdiri sendiri.

Aturan yang kami pegang

• Data uji kami tulis sendiri dari korpus yang sudah kami verifikasi, bukan diambil dari tolok ukur yang sudah beredar. Model tidak mungkin menghafal soal yang belum ada sebelum kami menulisnya.
• Sebagian butir sengaja tidak pernah diterbitkan, supaya tetap bisa dipakai memeriksa apakah suatu model pernah melihat bahan itu sebelumnya.
• Nama model tersembunyi di Arena AI sampai Anda memilih, dan sisi jawaban diacak server, supaya yang dinilai tulisannya, bukan mereknya.
• Setiap angka yang terbit menaut ke berkas datanya di repositori publik, dikunci ke versi saat angka itu dikutip.

3×

Ingin memeriksa sendiri berkas datanya, atau mengutip angka yang kami kutip pada versi persis yang kami maksud? Semuanya ada di sini, berlisensi CC BY 4.0.