Implementasi Jev di DARIA

Saat mengerjakan DARIA, saya perlu menilai apakah jawaban peserta benar-benar menunjukkan perilaku yang tertulis dalam rubrik. Satu jawaban bisa terkait dengan beberapa indikator, dan setiap hasilnya perlu bisa ditinjau asesor. Saya mencoba Jev untuk membantu menjawab pertanyaan kecil yang berulang itu.

DARIA adalah aplikasi untuk mengolah hasil assessment yang dilakukan di luar platform. Aplikasi ini menerima bukti, membuat Observation, membantu review asesor, dan menyusun laporan. Saya memakai Jev pada tahap Observation untuk membandingkan teks peserta dengan pernyataan perilaku dalam rubrik.

Contoh alur · satu turn × satu PCA

Dari teks peserta ke keputusan yang bisa diperiksa.

1. 01 Sumber

   Teks dan konteks

   “Saya membagi tugas tim dan memantau hasilnya.”

2. 02 Jev / Noul

   Perilaku ini tampak?

   Satu pertanyaan untuk satu PCA.

   p(ya)0,86

3. 03 Aturan DARIA

   Probabilitas menjadi status

   Contoh batas atas: 0,80

   0,86 ≥ 0,80Match

4. 04 Asesor

   Manusia menetapkan hasil

   Periksa teks sumber, koreksi bila perlu, lalu tetapkan hasil.

Apa itu Jev?

Jev adalah model System One dari TypeSafe. Alih-alih menulis paragraf, model ini menerima sebuah state—fakta dan konteks yang perlu dibaca—serta sejumlah pertanyaan bertipe. Hasilnya berupa jawaban terstruktur dan probabilitas yang dapat dipakai kode aplikasi. Beberapa pertanyaan dapat menilai state yang sama dalam satu request; tiap pertanyaan tetap dijawab secara independen. Dokumentasi TypeSafe menjelaskan pola ini sebagai keputusan kecil yang digabungkan oleh kode.

TypeSafe menyediakan tiga jenis pertanyaan:

Jenis	Pertanyaan yang cocok	Hasil
Noul	Apakah perilaku tertentu tampak dalam teks?	Probabilitas jawaban “ya”, dari 0 sampai 1.
Choice	Ke antrean mana sebuah permintaan sebaiknya masuk?	Satu pilihan, distribusi probabilitas, dan confidence.
Score	Seberapa kuat suatu dimensi menurut tingkat yang telah dijelaskan?	Nilai pada tingkat berurutan, distribusi probabilitas, dan confidence.

Dalam alur Observation DARIA yang saya bahas di sini, saya memakai Noul. Alasannya terlihat dari cara DARIA membandingkan jawaban peserta dengan rubrik.

Jev tidak menghasilkan kutipan atau alasan dalam bentuk teks bebas. Kode harus menentukan apa yang dilakukan terhadap hasilnya. Probabilitas Noul sebesar 0,86, misalnya, adalah keluaran untuk satu pertanyaan tertentu; angka itu bukan “skor kompetensi 86” dan bukan bukti bahwa jawabannya benar 86%. confidence pada Choice dan Score juga tidak boleh dibaca sebagai jaminan ketepatan seluruh alur. Lihat panduan confidence untuk perbedaannya.

Bagaimana DARIA memakai Jev

Rubrik DARIA memuat pernyataan perilaku yang disebut PCA. Satu bagian jawaban peserta, atau turn, bisa berkaitan dengan banyak PCA. DARIA membuat satu pertanyaan Noul untuk setiap pasangan turn dan PCA: apakah perilaku konkret dalam PCA itu benar-benar tampak pada teks peserta dan konteks turn? Kemiripan topik, rencana, atau jawaban hipotetis tidak otomatis dihitung sebagai perilaku yang dilakukan.

Mengapa saya memilih Noul?

Pada tahap ini, saya ingin menjawab satu pertanyaan untuk setiap PCA: apakah perilaku itu tampak dalam turn peserta? Noul memberi probabilitas jawaban “ya” untuk pertanyaan tersebut. DARIA lalu memakai batas yang ditetapkan di kode untuk menentukan Match, No match, atau Needs review. Angka itu menunjukkan keyakinan model terhadap kehadiran perilaku, bukan tingkat kompetensi peserta.

Choice memilih satu opsi dari daftar. Satu turn bisa menunjukkan beberapa PCA sekaligus, sehingga meminta Jev memilih satu PCA akan menghilangkan kecocokan lain. Saya dapat membuat Choice “tampak/tidak tampak” untuk setiap PCA, tetapi pertanyaan biner seperti itu sudah diwakili secara langsung oleh Noul.

Score dipakai untuk menilai posisi pada tingkat yang berurutan, misalnya dari bukti lemah sampai kuat. Tahap Observation ini belum menanyakan seberapa kuat perilaku itu atau berapa rating kompetensinya; saya perlu tahu apakah perilaku yang dirumuskan PCA tampak. Memakai Score di sini akan mencampur tingkat bukti dengan peluang kecocokan. Hasil Observation masih perlu ditinjau asesor, sedangkan perhitungan skor berada di alur terpisah.

Untuk satu turn, DARIA mengirim jenis turn, konteks, dan teks peserta sebagai state. Pernyataan PCA berada dalam instruksi tiap pertanyaan. Pertanyaan yang muat dalam batas request dikirim bersama, sehingga teks turn tidak perlu diulang pada setiap pertanyaan. DARIA memecah request jika batas input terlampaui; teks dan PCA tidak dipotong diam-diam.

Setelah Jev mengembalikan probabilitas, kode DARIA memetakan hasilnya menjadi tiga status:

Aturan status

p = probabilitas jawaban “ya”

p ≤ batas bawah

No match

batas bawah < p < batas atas

Needs review

p ≥ batas atas

Match

Batas tersebut disimpan bersama snapshot run. Pilihan untuk menahan hasil yang tidak pasti bagi review juga ditentukan saat run dibuat. Dengan begitu, perubahan konfigurasi setelahnya tidak diam-diam mengubah cara sebuah run lama dibaca. Hasil Observation tetap merupakan masukan untuk review; penilaian final dan perhitungan skor kompetensi berada di alur terpisah.

Jalur Jev ini tidak menghasilkan kutipan sumber. Karena itu, status Match tetap perlu ditinjau asesor bersama teks asli peserta.

LLM generatif di DARIA

DARIA juga mendukung AI Observation melalui model generatif. Keduanya memecahkan bagian masalah yang sama dengan kontrak keluaran yang berbeda.

Aspek	LLM generatif	Jev di DARIA
Tugas model	Menghasilkan observasi terstruktur dan kutipan untuk target yang diberikan.	Menjawab satu pertanyaan kecocokan per turn dan PCA.
Keluaran	Verdict dalam JSON beserta kutipan verbatim bila perilaku dinyatakan terlihat.	Probabilitas Noul; verdict ditentukan kode dengan batas yang dikonfigurasi.
Pemeriksaan	DARIA memvalidasi ID target, kelengkapan, dan kecocokan kutipan dengan teks sumber. Respons yang tidak valid dapat diminta diperbaiki.	DARIA memvalidasi tipe, cakupan, dan nilai probabilitas. Hasil Jev tidak menyertakan kutipan sumber.
Ketidakpastian	Model dapat mengeluarkan needs_review sesuai kontrak.	Rentang antara dua batas diarahkan menjadi Needs review oleh kode.

Biaya dan waktu respons

Tarif API dapat dibandingkan, tetapi biaya per run bergantung pada jumlah target, panjang teks, jumlah request, dan model yang dipilih. Per 24 September 2026, Jev 1.13 dikenai USD 0,042 per 1 juta token input; token output tidak dikenai biaya. Sebagai contoh LLM generatif, GPT-4o mini dikenai USD 0,15 per 1 juta token input dan USD 0,60 per 1 juta token output. DARIA tidak mengunci jalur generatif ke GPT-4o mini; model dan tarifnya dapat berbeda menurut konfigurasi provider.

Dengan contoh 10.000 token input per request, biaya Jev sekitar USD 0,00042. Jika GPT-4o mini menerima 10.000 token input dan menghasilkan 1.000 token output, biayanya sekitar USD 0,00210. Ini perhitungan tarif, bukan biaya nyata per Observation. Jev hanya mengembalikan keputusan bertipe, sedangkan LLM generatif di DARIA juga diminta menghasilkan kutipan. Jumlah token dan request pada kedua jalur perlu dihitung dari run yang sama sebelum saya menyatakan penghematan biaya.

Untuk kecepatan, TypeSafe melaporkan respons Jev sekitar 70–500 milidetik dan respons LLM frontier sekitar 3–329 detik pada pengujian mereka. Angka itu adalah hasil uji vendor untuk tugas keputusan terstruktur, bukan pengukuran DARIA atau perbandingan langsung dengan GPT-4o mini. Di DARIA, kedua jalur dapat mengelompokkan beberapa target per request. Jev mengembalikan probabilitas, sedangkan jalur generatif menulis JSON dan kutipan serta dapat mengulang respons yang gagal validasi. Kecepatan satu request tetap belum menunjukkan waktu selesai seluruh run.

Saya belum bisa menyimpulkan bahwa Jev lebih akurat, lebih murah per run, atau lebih cepat di DARIA. Pengujian otomatis proyek memeriksa payload, validasi, pemetaan status, dan batas request menggunakan respons tiruan. Akurasi pada data assessment berbahasa Indonesia, kalibrasi probabilitas, latensi provider, dan biaya total masih perlu diukur pada contoh yang telah diberi label asesor.

Yang menarik dari pendekatan Jev

Kontrak keluaran lebih sempit. DARIA tidak perlu meminta model menulis JSON panjang ketika yang dibutuhkan hanya keputusan semantik. Jawaban bertipe memudahkan aplikasi memeriksa apakah semua target telah dijawab.

Kebijakan tetap berada di kode. Pertanyaan “apakah perilaku tampak?” dipisahkan dari keputusan “kapan hasil ditahan untuk review?”. Batas review dapat diuji dan diubah tanpa mengubah definisi pertanyaan. Probabilitas mentah tetap tersimpan untuk evaluasi.

Satu konteks untuk banyak pertanyaan. Pada satu turn, banyak PCA dapat dinilai terhadap state yang sama. Ini berpotensi mengurangi pengulangan input dibanding satu request per PCA, tetapi dampak biaya dan latensi tetap harus diukur pada workload DARIA sendiri.

Batas dan risiko yang belum selesai

Jawaban bertipe tidak sama dengan jawaban benar. Jev masih bisa salah menafsirkan bahasa, konteks, negasi, atau pelaku tindakan. Dokumentasi TypeSafe sendiri mencatat bahwa Jev dapat membaca instruksi terlalu harfiah dan kesulitan pada tugas numerik atau state yang terlalu penuh. Hitungan dan aturan skor tetap dikerjakan kode. Baca catatan batas Jev.

Bahasa Indonesia perlu diuji sendiri. TypeSafe menyebut bahasa Inggris sebagai bahasa dengan akurasi terbaik saat ini. Karena bukti DARIA dapat berbahasa Indonesia, keputusan otomatis belum layak dipercaya hanya dari demo atau benchmark berbahasa Inggris. Lihat catatan dukungan bahasa.

Bukti dan narasi memerlukan tahap lain. Jev tidak menulis laporan dan jalur Noul yang saya pakai tidak menunjukkan kutipan. Model generatif masih berperan untuk menyusun kalimat laporan. Saat meninjau hasil Jev, asesor perlu memeriksa teks sumber untuk memastikan perilakunya memang terlihat.

Biaya sistem lebih luas daripada harga model. Ada pekerjaan untuk membatasi payload, menangani kegagalan provider, menyimpan versi metode, meninjau hasil, serta menjaga data assessment personal. DARIA menyediakan koneksi TypeSafe langsung atau melalui Vercel AI Gateway, tetapi pilihan transport tidak menghilangkan kebutuhan menguji privasi, retensi, biaya, dan kinerja pada lingkungan yang dipakai.

Apa yang perlu dibuktikan berikutnya

Langkah berikutnya bagi saya adalah mengumpulkan contoh turn dan PCA yang telah diberi label asesor. Dengan sumber dan rubrik yang sama, saya ingin menjalankan jalur Jev dan LLM generatif, lalu mengukur:

1. Kecocokan: berapa Match yang benar, berapa perilaku terlewat, dan di jenis teks mana keduanya terjadi.
2. Review: berapa kasus masuk Needs review, dan apakah kasus yang ditahan memang lebih sulit bagi asesor.
3. Kalibrasi: apakah kelompok probabilitas tinggi benar-benar lebih sering cocok dengan label asesor daripada kelompok probabilitas rendah.
4. Dukungan bukti: ketika Jev memberi Match, apakah asesor dapat menemukan perilaku tersebut dalam teks asli peserta.
5. Operasional: biaya per run dari token yang dilaporkan provider, durasi request dan run, jumlah percobaan ulang, serta waktu review asesor.

Sampai pengukuran itu tersedia, manfaat Jev di DARIA yang sudah bisa saya lihat adalah pemisahan tugas: model memberi penilaian semantik kecil, kode menentukan aturan tindak lanjut, dan asesor tetap memegang keputusan akhir. Alur ini lebih mudah saya periksa, tetapi probabilitas yang rapi saja belum cukup untuk memvalidasi sebuah assessment.