Skip to main content

14.4 · AI Context Window Management

Detail lengkap ada di Bagian 6.2 - Konteks & Memori AI.

Strategi Teknis​

StrategiDeskripsi
Layered contextLevel 1 (identitas) selalu ada, Level 2 (riwayat terkini) per sesi, Level 3 (lengkap) on-demand
SummarizationRiwayat panjang di-summarize oleh AI sebelum dimasukkan ke context
Recency biasData terbaru mendapat prioritas lebih tinggi di context window
Token budgetingAlokasi token: 30% system prompt, 20% user context, 50% conversation
Persistent storageSemua data tersimpan di database - context window adalah "view" dari database
Session memoryPercakapan dalam satu sesi dipertahankan di context
Cross-session memorySummarized context dari sesi sebelumnya di-load di awal sesi baru

Tantangan​

TantanganMitigasi
Context window terbatasPrioritize + summarize
Biaya token tinggiGunakan model kecil untuk interaksi ringan
Latency meningkat dengan context panjangOptimal context size, streaming response
Data consistencySingle source of truth di database, bukan di context