Anlamsal Arama (Semantic Search) Nedir?
Kısa tanım
Anlamsal arama (semantic search), sorgudaki kelimelerin birebir eşleşmesine değil, sorgunun ve içeriğin anlamına bakarak sonuç getiren arama yaklaşımıdır. Eş anlamlıları, bağlamı, varlıkları ve kullanıcının niyetini dikkate alır. Günümüzde sıklıkla metinlerin sayısal vektörlere (embedding) dönüştürülüp anlamca en yakın içeriklerin bulunduğu vektör aramasıyla uygulanır.
Diğer adları: semantic search, semantik arama
Kelime eşleşmesinden anlam eşleşmesine
Geleneksel (sözcüksel) arama, sorgudaki kelimelerin belgede geçip geçmediğine ve ne sıklıkla geçtiğine bakar. “Araba lastiği nasıl değiştirilir” diye arayan biri, içinde yalnızca “otomobil” ve “teker” kelimeleri geçen mükemmel bir rehberi bu yöntemle kaçırabilir. Anlamsal arama ise iki ifadenin aynı şeyi kastettiğini fark etmeye çalışır.
Bunu yaparken birkaç sinyalden yararlanır: eş anlamlı ve yakın anlamlı kelimeler, cümlenin bağlamı, sorgudaki varlıklar ve kullanıcının arama niyeti. Örneğin “Bodrum'da akşam yemeği” sorgusunda “Bodrum” bir yer varlığıdır ve niyet büyük olasılıkla restoran bulmaktır.
| Sözcüksel arama | Anlamsal arama | |
|---|---|---|
| Eşleşme ölçütü | Ortak kelimeler | Anlam benzerliği |
| Eş anlamlılar | Ayrıca tanımlanmadıkça kaçırılır | Genellikle yakalanır |
| Güçlü olduğu yer | Ürün kodu, özel ad, tam ifade | Doğal dilde sorular, belirsiz ifadeler |
Vektör arama kısaca
Anlamsal aramanın yaygın uygulama yollarından biri vektör aramadır. Bir dil modeli, her metni (sorgu, paragraf, belge) yüzlerce boyutlu bir sayı dizisine, yani bir embedding'e dönüştürür. Anlamca birbirine yakın metinlerin vektörleri de bu uzayda birbirine yakın düşer. Arama sırasında sorgunun vektörü hesaplanır ve kosinüs benzerliği gibi bir ölçütle en yakın vektörler bulunur. Milyonlarca kayıt içinde bunu hızlı yapmak için yaklaşık en yakın komşu (ANN) dizinleri kullanılır.
Pek çok sistem bugün hibrit bir yaklaşım kullanır: sözcüksel arama ile vektör aramanın sonuçlarını birleştirir. Böylece hem tam ifade gerektiren sorgular hem de doğal dilde sorular iyi karşılanır. Yapay zekâ cevap sistemlerinde, modele verilecek pasajları seçmek için kullanılan getirme adımı da çoğu zaman bu tekniklere dayanır; bu desen RAG olarak bilinir.
İçerik üretimine etkisi
- Anahtar kelime tekrarı işe yaramaz: Aynı kelimeyi defalarca kullanmak anlamı güçlendirmez; konuyu iyi açıklamak güçlendirir.
- Kapsam önemlidir: Bir konunun alt sorularını, ilişkili kavramlarını ve örneklerini ele alan içerik, farklı ifadelerle sorulan sorulara daha kolay eşleşir.
- Net pasajlar: Pasaj bazlı getirmede, her bölümün tek bir konuya odaklanması o bölümün doğru sorguyla eşleşmesini kolaylaştırır.
- Özel adlar ve tam ifadeler hâlâ önemli: Ürün kodları, model numaraları ve marka adları için sözcüksel eşleşme belirleyici olmaya devam eder; bunları metinde açıkça yazın.
Sık yapılan yanlış yorumlar
“Anlamsal arama varsa kelime seçimi önemsizdir” düşüncesi yanlıştır; kullanıcıların konuyu nasıl ifade ettiğini bilmek hâlâ değerlidir. Bir diğer yanlış da “LSI anahtar kelimeleri” gibi listelerin anlamsal aramanın sırrı olduğu inancıdır. Google, LSI kelimeleri diye bir sıralama faktörü kullandığını belgelemiş değildir. Anlamsal sistemler için en sağlam yol, konuyu kullanıcının sorusuna gerçekten cevap verecek biçimde, açık ve eksiksiz anlatmaktır.