Getirme (Retrieval) Nedir?
Kısa tanım
Getirme (retrieval), bir sorguya karşılık büyük bir belge koleksiyonundan en ilgili belgeleri veya pasajları bulup sıralı bir aday listesi olarak döndüren adımdır. Bu işi yapan bileşene getirici (retriever) denir. Arama motorlarının ilk aşaması ve RAG sistemlerinde dil modelinin okuyacağı kaynakları belirleyen kısım budur. Getirme kelime eşleşmesine dayalı seyrek yöntemlerle, embedding'lere dayalı yoğun yöntemlerle veya ikisinin birleşimiyle yapılabilir.
Diğer adları: retrieval, retriever, getirici, bilgi getirme, information retrieval
Getiricinin işi: cevap değil, aday listesi
Getirici (retriever) bir soruya cevap yazmaz; elindeki koleksiyondan “bu soruyla en çok ilgisi olabilecek” ilk k belgeyi ya da pasajı bulur ve bir sıralı liste olarak teslim eder. Koleksiyon bir şirketin yardım merkezi, bir ürün kataloğu ya da web'in kendisi olabilir. Bir arama motorunun sonuç sayfasını hazırlarken yaptığı ilk eleme de, bir RAG sisteminin dil modeline vereceği kaynakları seçmesi de bu adıma dayanır.
Getirmenin bir hızı vardır: milyonlarca belge arasından milisaniyeler içinde birkaç yüz aday çıkarması gerekir. Bu yüzden getiriciler, önceden hazırlanmış dizinler üzerinde çalışan nispeten basit ama hızlı benzerlik hesaplarına dayanır. Daha pahalı ve hassas değerlendirmeler sonraki aşamalara bırakılır.
Seyrek ve yoğun getirme
| Seyrek (sparse) | Yoğun (dense) | |
|---|---|---|
| Temsil | Kelime ve kelime ağırlıkları (ör. BM25) | Bir modelin ürettiği embedding vektörü |
| Dizin | Ters dizin (inverted index) | Yaklaşık en yakın komşu dizini |
| Güçlü yanı | Ürün kodları, özel adlar, hata mesajları, tam ifadeler | Eş anlamlılar, farklı ifade edilmiş aynı soru |
| Zayıf yanı | Aynı anlamı farklı kelimelerle anlatan metni kaçırır | Nadir terimleri ve birebir kodları kaçırabilir |
Yoğun getirmenin mekanizması vektör arama maddesinde, iki yöntemin sonuçlarını birleştiren yaklaşım ise hibrit arama maddesinde anlatılıyor. Türkçe gibi eklemeli dillerde seyrek yöntemler, “lastik”, “lastiği” ve “lastiklerin” biçimlerini aynı kelimeye indirgeyen bir dil çözümleyicisi olmadan zorlanır; bu da Türkçe projelerde yoğun ya da hibrit getirmeyi daha cazip kılar.
Recall ve precision
Getirme kalitesi iki ölçüyle konuşulur. Recall (duyarlılık), koleksiyondaki ilgili belgelerin ne kadarının listeye girdiğidir. Precision (kesinlik) ise listedeki belgelerin ne kadarının gerçekten ilgili olduğudur. Bir örnek: koleksiyonda bir soruyla ilgili 10 pasaj var ve getirici 20 sonuç döndürüyor. Bu 20 sonucun 6'sı ilgiliyse recall@20 yüzde 60, precision@20 yüzde 30 olur.
İkisi arasında doğal bir gerilim vardır: listeyi uzatmak recall'u artırır ama araya daha çok alakasız sonuç girer. Bu yüzden modern sistemler genellikle iki aşamalı çalışır. İlk aşamada getirici geniş bir ağ atar ve recall'u yüksek tutmaya çalışır; ikinci aşamada daha yavaş ama daha isabetli bir model adayları yeniden sıralayarak precision'ı yükseltir. İlk aşamada kaçırılan bir pasajı ikinci aşama geri getiremez; recall'un bu kadar önemsenmesinin nedeni budur.
Getirme hatası cevaba nasıl yansır?
- İlgili pasaj hiç gelmezse model ya bilmediğini söyler ya da eğitim verisinden tahmin yürütür; ikincisi halüsinasyon riskini artırır.
- Yanlış pasaj gelirse cevap kendinden emin ama hatalı olabilir; model önüne konan metne güvenir.
- Belgeler kötü bölünmüşse doğru bilgi iki parçaya dağılır ve hiçbiri tek başına yeterince benzer görünmez. Bu yüzden parçalama stratejisi getirme kalitesini doğrudan etkiler.
Bir RAG sistemini değerlendirirken getirmeyi üretimden ayrı ölçmek gerekir: gerçek kullanıcı sorularından oluşan bir test setiyle, doğru pasajın ilk k sonuç içinde olup olmadığına bakılır. Cevap kötü olduğunda sorunun modelde mi, getiricide mi olduğu ancak böyle anlaşılır.
Web içeriği açısından
Yapay zekâ arama sistemleri sayfaları çoğu zaman bütün olarak değil, bölüm bölüm değerlendirir; bu desene pasaj getirme denir. İki tür getiriciyi birlikte düşünmek işe yarar: ürün adlarını, model numaralarını ve teknik terimleri metinde açıkça yazmak seyrek getirmeye; her bölümü tek bir soruya odaklamak ve cevabı bölümün başında vermek yoğun getirmeye yardım eder.