5.4 · Evidence of Mastery
Prinsip Inti
Completion ≠ Mastery
Hanya karena pengguna sudah membuka atau menyelesaikan sebuah mission, bukan berarti mereka sudah menguasai kemampuan yang dilatih. ELJoy membutuhkan bukti nyata bahwa pengguna benar-benar bisa menggunakan kemampuan tersebut dalam komunikasi.
Apa itu Evidence of Mastery?
Evidence of Mastery adalah kumpulan bukti dari beberapa sesi latihan yang menunjukkan bahwa pengguna benar-benar mampu menggunakan kemampuan komunikasi yang ditargetkan oleh Learning Objective.
Ini bukan satu angka atau satu sesi ujian - tapi pola konsisten dari beberapa sesi.
Dimensi Penilaian
| Dimensi | Indikator Mastery |
|---|---|
| Kelancaran (Fluency) | Mampu mempertahankan percakapan tanpa jeda berlebihan |
| Penggunaan Natural | Menggunakan kosakata dan ekspresi target secara natural (bukan hafalan) |
| Respons Spontan | Mampu menjawab pertanyaan lanjutan yang tidak terduga |
| Konsistensi | Menunjukkan kemampuan yang sama di lebih dari satu sesi |
| Konteks Berbeda | Bisa menggunakan kemampuan di konteks yang sedikit berbeda |
Kriteria Mastery per Objective
Setiap Learning Objective memiliki kriteria Evidence of Mastery yang spesifik.
Contoh: Objective "Make and Respond to Requests Politely"
| Kriteria | Standar Minimum |
|---|---|
| Pengguna menggunakan ekspresi request yang polite | Minimal 3 variasi ekspresi yang berbeda |
| Pengguna merespons request dari AI dengan tepat | Respon sesuai konteks di 80% interaksi |
| Kelancaran saat meminta dan merespons | Jeda natural, tanpa kebingungan yang panjang |
| Konsistensi | Menunjukkan kemampuan ini di minimal 2 sesi berbeda |
Mekanisme Evaluasi
[Pengguna menyelesaikan mission]
↓
[AI mengevaluasi berdasarkan kriteria mastery]
↓
[Data evaluasi disimpan sebagai "evidence"]
↓
[Sistem mengumpulkan evidence dari beberapa sesi]
↓
[Apakah semua kriteria terpenuhi secara konsisten?]
├── Belum → [Rekomendasikan mission tambahan]
└── Sudah → [Evidence of Mastery TERCAPAI]
↓
[Update Blueprint: Objective selesai]
↓
[Lanjut ke Objective berikutnya]
Yang Menentukan Standar Mastery
| Aspek | Pihak yang Bertanggung Jawab |
|---|---|
| Standar/kriteria mastery | Admin (manusia) dibantu dengan AI |
| Pengumpulan evidence | AI (dari setiap sesi latihan) |
| Evaluasi evidence | AI (berdasarkan kriteria yang ditetapkan) |
| Keputusan final | Sistem (otomatis, berdasarkan akumulasi evidence) |
Penting: AI mengeksekusi evaluasi, tapi standar evaluasinya ditentukan oleh manusia.
Pencegahan "Fake Progress"
Evidence of Mastery mencegah skenario berikut:
| Skenario Fake Progress | Dicegah oleh |
|---|---|
| "Saya sudah selesaikan semua lesson" | Completion ≠ Mastery - harus ada bukti kemampuan |
| "Saya hafal jawabannya" | Evaluasi berbasis respons spontan, bukan hafalan |
| "Saya bagus di 1 sesi" | Harus konsisten di minimal 2 sesi |
| "Saya bagus di 1 konteks saja" | Harus bisa di konteks yang bervariasi |
Acceptance Criteria
- Setiap Learning Objective punya kriteria Evidence of Mastery yang terdefinisi
- Evidence dikumpulkan dari beberapa sesi (bukan 1 sesi)
- Evaluasi berbasis respons spontan dan natural (bukan hafalan)
- Konsistensi di minimal 2 sesi diperlukan
- Sistem membedakan antara "mission completed" dan "mastery achieved"
- Ketika mastery tercapai: Blueprint di-update, Objective ditandai selesai
- Ketika mastery belum tercapai: mission tambahan direkomendasikan