RAG (Retrieval-Augmented Generation) Nedir?
Kısa tanım
RAG (Retrieval-Augmented Generation, getirme destekli üretim), bir dil modelinin cevap yazmadan önce bir arama dizini, belge deposu ya da web gibi dış kaynaklardan ilgili içerikleri getirdiği ve cevabını bu içeriklere dayandırdığı yöntemdir. Modelin güncel ve kaynağa bağlı cevap vermesini sağlar; kaynak gösteren yapay zekâ aramalarının temelinde genellikle bu yaklaşım bulunur.
Diğer adları: Retrieval-Augmented Generation, getirme destekli üretim, erişim destekli üretim
Neden ihtiyaç duyuldu?
Bir büyük dil modelinin bildikleri, eğitim verisinin toplandığı tarihte sabitlenir ve şirketinize özel belgeleri hiç içermez. Modeli her değişiklikte yeniden eğitmek pahalı ve yavaştır. RAG bu sorunu farklı bir yoldan çözer: bilgiyi modelin içine yerleştirmek yerine, soru geldiği anda ilgili metni bulup modele okutur. Böylece cevap, modelin hafızasına değil, o an önüne konan kaynaklara dayanır.
Akış adım adım
- İndeksleme: Belgeler anlamlı parçalara (chunk) bölünür. Her parça bir embedding modeliyle sayısal bir vektöre çevrilir ve bir vektör veritabanında ya da arama dizininde saklanır. Web ölçeğinde çalışan sistemlerde bu katmanın yerini çoğu zaman bir arama motoru dizini alır.
- Getirme (retrieval): Kullanıcının sorusu da vektöre çevrilir ve anlamca en yakın parçalar bulunur. Pek çok sistem bunu anahtar kelime aramasıyla birleştirir (hibrit arama) ve sonuçları ayrı bir modelle yeniden sıralar. Bu adımın arkasındaki fikir anlamsal aramadır.
- Zenginleştirme (augmentation): Seçilen parçalar, soruyla birlikte modele gönderilecek prompt'a eklenir.
- Üretim (generation): Model cevabı bu kaynaklara dayanarak yazar; birçok uygulama hangi parçanın kullanıldığını kaynak olarak gösterir.
Basitleştirilmiş bir örnek
Bir destek asistanının modele gönderdiği prompt, getirme adımından sonra kabaca şöyle görünebilir:
Talimat: Yalnızca aşağıdaki kaynaklara dayanarak cevap ver.
Kaynaklarda cevap yoksa bunu açıkça söyle ve kaynak numarası belirt.
[1] Kargo politikası: Siparişler iş günlerinde 15:00'e kadar
verilirse aynı gün kargoya teslim edilir.
[2] İade koşulları: Ürün, teslimden itibaren 14 gün içinde
iade edilebilir.
Soru: Cuma 16:30'da verdiğim sipariş ne zaman kargoya verilir?Model burada kendi genel bilgisinden değil, [1] numaralı metinden yola çıkarak "bir sonraki iş günü" sonucuna varır ve kaynağı belirtebilir.
RAG mi, ince ayar mı?
| RAG | İnce ayar (fine-tuning) | |
|---|---|---|
| Bilgiyi güncellemek | Kaynak belgeyi güncellemek yeterli | Yeniden eğitim gerekir |
| Kaynak gösterme | Doğal olarak mümkün | Genellikle mümkün değil |
| En uygun olduğu iş | Sık değişen, belgeye dayalı bilgi | Üslup, çıktı formatı, belirli bir görevde davranış |
| Başlıca maliyet | Getirme altyapısı, uzayan prompt | Eğitim verisi hazırlığı ve eğitim süreci |
İki yaklaşım birbirinin rakibi değildir; pek çok üründe birlikte kullanılır.
Sınırları
- Getirme hatası, cevap hatasıdır. Yanlış ya da eksik parça getirilirse model en iyi ihtimalle eksik, kötü ihtimalle yanlış bir cevap kurar.
- Halüsinasyonu sıfırlamaz. Kaynak verilse bile model metni yanlış yorumlayabilir ya da kaynakta olmayan bir ayrıntı ekleyebilir; RAG riski azaltır ama ortadan kaldırmaz.
- Alan sınırlıdır. Getirilen parçaların tamamı bağlam penceresine sığmak zorundadır; bu yüzden sistemler genellikle yalnızca en ilgili birkaç parçayı kullanır.
Web sayfaları açısından ne değişir?
Yapay zekâ aramalarında sayfanız bütün olarak değil, çoğu zaman bir bölümü üzerinden değerlendirilir. Tek başına okunduğunda anlam taşıyan bölümler, açık başlıklar ve sorunun cevabını ilk cümlelerde veren paragraflar getirme ve alıntılama süreçlerinde daha kolay kullanılır; bu özelliğe cevap çıkarılabilirliği denir. Bunun ön koşulu ise ilgili tarayıcının sayfaya erişebilmesidir; robots.txt'te arama amaçlı yapay zekâ botlarını engelleyen bir site, bu sistemlerin getirebileceği kaynaklar arasına giremez.