Parametrik Bilgi Nedir?

Bilgi ağırlıklara nasıl girer?

Bir dil modeli ön eğitimde milyarlarca cümlede sıradaki token'ı tahmin etmeye çalışır ve her hatada parametrelerini biraz düzeltir. Bu süreç sonunda “Ankara Türkiye'nin başkentidir” gibi çok sayıda kaynakta tutarlı biçimde geçen bilgiler, modelin ağırlıkları arasına dağılmış istatistiksel ilişkiler olarak yerleşir. Ortada aranabilir bir kayıt, satır ya da belge yoktur; bilgi, modelin belirli bir soruya belirli bir cevabı üretme eğilimi olarak vardır.

Bu yüzden parametrik bilginin kalitesi, bir olgunun eğitim verisinde ne sıklıkla ve ne kadar tutarlı geçtiğine bağlıdır. Ünlü bir şehrin nüfusu iyi hatırlanabilir; küçük bir işletmenin telefon numarası, yeni açılan şubesi ya da geçen ay değişen fiyatı ise büyük olasılıkla ya hiç öğrenilmemiştir ya da yanlış öğrenilmiştir.

Parametrik bilgi ile getirilen bilgi

Tablodaki ilk satır, bilgi kesim tarihi kavramının neden önemli olduğunu da açıklar: kesimden sonra olan hiçbir şey parametrelerde yer almaz. Bu boşluğu kapatmanın yaygın yolu RAG gibi getirme tabanlı mimarilerdir. Modelin cevabını getirilen kaynaklara bağlamasına ise grounding denir.

İki bilgi çatıştığında

Getirilen bir belge modelin “hatırladığı” bilgiyle çelişebilir: model eski genel müdürün adını biliyordur, ama bağlama koyulan güncel basın bülteni yeni bir isim verir. Modeller çoğu durumda bağlamdaki bilgiyi öne alır, ancak bu her zaman garanti değildir; özellikle parametrik bilgi çok güçlüyse ya da bağlamdaki ifade belirsizse model kendi hafızasına dönebilir. Kurumsal sistemlerde bu riski azaltmak için sistem talimatında “yalnızca verilen kaynaklara dayan” gibi açık kurallar konur ve cevaplar kaynaklarla karşılaştırılarak test edilir.

Parametrik bilgi tamamen boş olduğunda da sorun bitmez. Model, bilmediği bir konuda boşluğu akla yatkın ama yanlış ayrıntılarla doldurabilir; bu davranış halüsinasyon olarak bilinir.

Markalar ve site sahipleri için pratik sonuçlar

• Arama kapalıyken verilen cevap eskiyebilir. Bir asistan web araması yapmadan şirketinizi anlatıyorsa parametrik bilgiye dayanır; adres, ürün yelpazesi veya fiyat gibi değişken bilgiler hatalı olabilir.
• Tutarlılık işe yarar ama garanti vermez. Markanızın adı, ne yaptığı ve nerede olduğu web'in farklı yerlerinde aynı biçimde geçiyorsa, gelecekteki modellerin bu ilişkiyi doğru öğrenme olasılığı artar. Hangi verinin eğitimde kullanılacağını ise dışarıdan bilemezsiniz.
• Güncel bilgi getirme yoluyla ulaşır. Yeni bir hizmeti duyurmak için en güvenilir yol, onu taranabilir, açıkça yazılmış ve kaynak gösterilebilir bir sayfada yayımlamaktır; yapay zekâ arama ürünleri bu sayfayı cevap anında getirebilir.

Sık yapılan bir yanlış: “Model sitemi okudu, artık biliyor”

Bir eğitim tarayıcısının sayfanızı ziyaret etmesi, o sayfanın bir sonraki modelde hatırlanabilir bir iz bırakacağı anlamına gelmez. Veri filtrelenir, tekilleştirilir ve devasa bir koleksiyonun içinde küçük bir paya düşer. Modelin bir bilgiyi kalıcı olarak öğrenmesini istemek yerine, o bilgiyi cevap anında bulunabilir kılmak çoğu durumda daha gerçekçi bir hedeftir. Belirli bir alanın bilgisini modele doğrudan işlemek mümkündür, ancak bu ince ayar gerektirir ve ancak kendi kullandığınız model için geçerlidir.