PerplexityBot Nedir?
Kısa tanım
PerplexityBot, Perplexity'nin web sitelerini kendi arama sonuçlarında göstermek ve onlara bağlantı vermek için kullandığı tarayıcıdır. Perplexity'ye göre bu bot, yapay zekâ temel modellerinin eğitimi için içerik toplamaz. Kullanıcının sorusu üzerine sayfaları anlık getiren ayrı bir user-agent olan Perplexity-User ise genellikle robots.txt kurallarını dikkate almaz.
Diğer adları: Perplexity crawler, Perplexity bot, Perplexity user agent
İki ayrı user-agent
Perplexity, bot belgesinde iki user-agent tanımlar ve ikisinin robots.txt karşısındaki davranışı farklıdır:
| PerplexityBot | Perplexity-User | |
|---|---|---|
| Amaç | Web sitelerini Perplexity arama sonuçlarında göstermek ve bağlantı vermek | Kullanıcı bir soru sorduğunda doğru cevap için sayfayı ziyaret etmek |
| Model eğitimi | Temel model eğitimi için içerik toplamaz | Belgede eğitim amacı tanımlanmaz; kullanıcı eylemlerini destekler |
| robots.txt | Kurallara uyar | Getirme kullanıcı tarafından istendiği için genellikle robots.txt kurallarını dikkate almaz |
| IP listesi | https://www.perplexity.com/perplexitybot.json | https://www.perplexity.com/perplexity-user.json |
OpenAI ve Anthropic'ten farklı olarak Perplexity'nin listesinde ayrı bir eğitim tarayıcısı yer almaz. PerplexityBot'un rolü, OpenAI tarafındaki OAI-SearchBot'a daha yakındır: bir yapay zekâ arama ürününe kaynak sağlamak.
User-agent dizeleri
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)Kayıtlarda bu adlarla gelen isteklerin gerçekten Perplexity'den gelip gelmediğini, yukarıdaki JSON listelerindeki IP aralıklarıyla karşılaştırarak doğrulayabilirsiniz.
robots.txt ile ne yapılabilir?
PerplexityBot'u engellemek için:
User-agent: PerplexityBot
Disallow: /Bu kuralın etkisini doğru okumak gerekir. Botun görevi siteleri arama sonuçlarında göstermek olduğundan, engellemek eğitimi değil, Perplexity aramasında kaynak olarak yer alma ihtimalinizi etkiler. Öte yandan Perplexity-User, kullanıcı isteğiyle çalıştığı için bu kurala bağlı değildir; bir kullanıcı sayfanızı doğrudan sorduğunda yine ziyaret edilebilir. Kullanıcı tetiklemeli bu erişimi de kesin olarak durdurmak isterseniz, robots.txt'nin ötesinde sunucu ya da güvenlik duvarı düzeyinde önlem almanız gerekir; bunun Perplexity'deki görünürlüğünüzü de etkileyeceğini hesaba katın.
Yaygın yanlış anlamalar
- "PerplexityBot'u engellersem içeriğim modelleri eğitmekte kullanılmaz." Perplexity, PerplexityBot'un zaten temel model eğitimi için içerik toplamadığını belirtir. Bu gerekçeyle yapılan bir engelleme, asıl olarak arama görünürlüğünü etkiler.
- "Kayıtlarda Perplexity-User görüyorum, demek ki robots.txt'im çalışmıyor." Perplexity-User'ın kullanıcı isteğiyle çalıştığı ve genellikle robots.txt'yi dikkate almadığı belgelenmiştir; bu bir yapılandırma hatası değildir.
- "
User-agent: *altındaDisallow: /herkesi durdurur." Bu kural yalnızca robots.txt'ye uyan botlar için anlam taşır.
Görünürlük açısından
Perplexity cevaplarında kaynaklar numaralı bağlantılarla gösterilir. Bu nedenle botun erişebildiği, net ve doğrudan cevap veren sayfalar kaynak olarak gösterilmeye aday olabilir. Erişim izni bir garanti değil, ön koşuldur; hangi kaynağın seçileceği Perplexity'nin kendi sistemlerine bağlıdır.
robots.txt yapılandırmanızın genel mantığı için robots.txt maddesine bakabilirsiniz.