Bağlam Penceresi (Context Window) Nedir?
Kısa tanım
Bağlam penceresi (context window), bir dil modelinin tek bir istekte aynı anda dikkate alabildiği en fazla token miktarıdır. Sistem talimatları, konuşma geçmişi, eklenen belgeler, getirilen kaynaklar ve modelin ürettiği cevap bu sınırı paylaşır. Pencereye sığmayan bilgi o istek için model açısından yok hükmündedir.
Diğer adları: context window, bağlam uzunluğu, context length, token limiti
Token cinsinden bir çalışma alanı
Bir dil modeli metni token adı verilen parçalarla işler ve bağlam penceresi de bu birimle ölçülür. Token sayısı kelime sayısıyla birebir örtüşmez: bir kelime tek bir token olabileceği gibi birkaç token'a da bölünebilir. Eklemeli yapısı nedeniyle Türkçe metinler, birçok modelde aynı içeriğin İngilizcesine göre genellikle daha fazla token tutar. Kesin sayı modelden modele değişir; doğru hesap için ilgili sağlayıcının token sayma aracını kullanmak gerekir.
Pencere boyutu modele göre birkaç bin token'dan bir milyon ve üzeri token'a kadar uzanabilir. Sağlayıcılar bu değeri sürüm sürüm değiştirdiği için belirli bir sayıyı ezberlemek yerine kullandığınız modelin güncel belgelerine bakmak daha güvenlidir.
Pencereyi neler paylaşır?
- Sistem talimatları ve araç tanımları
- O ana kadarki konuşma geçmişi
- Kullanıcının eklediği dosyalar ya da yapıştırdığı metin
- Arama veya RAG ile getirilen kaynak parçaları
- Modelin üreteceği cevap (çoğu modelde çıktı için ayrıca bir üst sınır da bulunur)
Uzun bir sohbette ilk mesajların bir noktadan sonra "unutulması", çoğu zaman uygulamanın pencereye sığdırmak için eski içeriği kısaltmasından ya da atmasından kaynaklanır.
Büyük pencere her sorunu çözmez
Pencerenin büyümesi daha fazla belgeyi aynı anda işlemeyi mümkün kılar, ancak beraberinde bazı ödünleşimler getirir:
- Maliyet ve hız: İşlenen her token ücretlendirilir ve gecikmeyi artırır.
- Dikkatin dağılması: Araştırmalar, çok uzun girdilerde modellerin bazı konumlardaki bilgiyi (özellikle ortalarda kalanı) daha az güvenilir kullanabildiğini göstermiştir. Bir bilginin pencerede bulunması, cevapta doğru kullanılacağı anlamına gelmez.
- Gürültü: İlgisiz içerik eklemek, ilgili içeriğin etkisini azaltabilir ve halüsinasyon riskini düşürmez.
Bu yüzden pek çok sistem, mümkün olan her şeyi pencereye doldurmak yerine en ilgili birkaç parçayı seçen bir getirme adımı kullanır. Seçimde genellikle embedding tabanlı benzerlik aramasından yararlanılır.
Web içeriği için sonuçları
Yapay zekâ aramasında modelin önüne çoğu zaman sayfanızın tamamı değil, seçilmiş bölümleri gelir. Birden çok kaynak aynı pencereyi paylaştığı için her sayfaya ayrılan alan sınırlıdır. Bu da şu alışkanlıkları değerli kılar:
- Sorunun cevabını bölümün ilk cümlelerinde vermek
- Her bölümü, öncesi okunmadan da anlaşılacak biçimde yazmak
- Uzun girişler ve tekrarlarla asıl bilgiyi geriye itmemek
- Tabloları ve listeleri gerçekten veri taşıdıkları yerde kullanmak
Bir metnin seçilip doğrudan alıntılanabilecek şekilde yazılmasına cevap çıkarılabilirliği denir; bağlam penceresinin sınırlı olması, bu özelliği önemli kılan nedenlerden biridir.