Yapay Zekâ Tarayıcısı (AI Crawler) Nedir?
Kısa tanım
Yapay zekâ tarayıcısı (AI crawler), yapay zekâ şirketlerine ait, web sayfalarını ziyaret edip içerik alan botlardır. Üç ana amaçla çalışırlar: model eğitimi için içerik toplamak (GPTBot, ClaudeBot), yapay zekâ aramaları için dizin oluşturmak (OAI-SearchBot, PerplexityBot) ve bir kullanıcının isteği üzerine sayfayı anlık getirmek (ChatGPT-User). Çoğu robots.txt kurallarıyla yönetilebilir.
Diğer adları: AI crawler, AI bot, yapay zeka botu, yapay zekâ botu, LLM crawler
Üç farklı amaç, üç farklı bot türü
"Yapay zekâ botu" tek bir şey değildir. Büyük sağlayıcıların çoğu farklı işler için ayrı user-agent'lar kullanır ve her birini engellemenin sonucu farklıdır:
| Tür | Ne yapar? | Örnekler |
|---|---|---|
| Eğitim tarayıcısı | Gelecekteki modellerin eğitiminde kullanılabilecek içerik toplar. | GPTBot (OpenAI), ClaudeBot (Anthropic); Google tarafında bu tercihi Google-Extended token'ı yönetir |
| Arama / dizin tarayıcısı | Yapay zekâ destekli arama cevaplarında gösterilecek ve kaynak olarak bağlantı verilecek sayfaları dizine ekler. | OAI-SearchBot, Claude-SearchBot, PerplexityBot |
| Kullanıcı tetiklemeli getirici | Bir kullanıcı soru sorduğunda ya da bir bağlantı paylaştığında sayfayı o anda okur. | ChatGPT-User, Claude-User, Perplexity-User |
Bu ayrım önemlidir: eğitim botunu engellemek, aynı şirketin arama botunu engellemez. Örneğin GPTBot'u engelleyip OAI-SearchBot'a izin veren bir site, içeriğinin eğitimde kullanılmamasını isterken ChatGPT aramasında görünmeye devam edebilir.
robots.txt ile yönetim
Bu botların büyük kısmı robots.txt dosyasındaki kendi adlarına yazılmış kuralları dikkate aldığını belirtir. Eğitimi kapatıp arama botlarına açık kalan bir yapılandırma şöyle görünebilir:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
User-agent: *
Disallow: /yonetim/Dikkat edilmesi gereken bir ayrıntı: robots.txt standardına (RFC 9309) göre bir bot, adıyla eşleşen bir grup bulduğunda yalnızca o grubun kurallarına uyar; User-agent: * altındaki kurallar ona ayrıca uygulanmaz. Yukarıdaki örnekte arama botları /yonetim/ dizinine de erişebilir. Tüm botlar için geçerli olmasını istediğiniz kısıtlamaları her gruba ayrıca yazmanız gerekir.
Kullanıcı tetiklemeli getiriciler farklı davranır
Sağlayıcıların belgelerine göre kullanıcı isteğiyle yapılan getirmelerde robots.txt'nin rolü daha sınırlıdır. OpenAI, ChatGPT-User eylemleri kullanıcı tarafından başlatıldığı için robots.txt kurallarının uygulanmayabileceğini; Perplexity ise Perplexity-User'ın genellikle robots.txt kurallarını dikkate almadığını belirtir. Anthropic ise Claude-User'ı devre dışı bırakmanın, içeriğin kullanıcı sorgularına yanıt olarak getirilmesini engelleyeceğini söyler. Kesin davranış için her sağlayıcının güncel belgesine bakmak gerekir.
robots.txt bir güvenlik önlemi değildir
robots.txt'ye uymak gönüllüdür. Standardın kendisi bu kuralların bir erişim yetkilendirmesi olmadığını açıkça yazar (RFC 9309). İyi niyetli botlar uyar; kendini başka bir bot gibi tanıtan ya da kuralları yok sayan yazılımlar uymaz. Gerçekten erişilmemesi gereken içerik parola, oturum ya da sunucu tarafı erişim kontrolüyle korunmalıdır.
User-agent bilgisi kolayca taklit edilebildiği için sunucu kayıtlarında gördüğünüz bir isme tek başına güvenmeyin. OpenAI ve Perplexity gibi sağlayıcılar botlarının IP aralıklarını JSON dosyaları olarak yayımlar; bir isteğin gerçekten o bota ait olup olmadığı bu listelerle doğrulanabilir.
Karar verirken
- Arama botlarını engellemek, ilgili yapay zekâ aramasında kaynak olarak gösterilme ihtimalinizi düşürür; eğitim botlarını engellemek ise içeriğin gelecekteki model eğitiminde kullanılmaması yönünde bir tercih bildirir. İkisini ayrı ayrı değerlendirin.
- OpenAI, Anthropic veya Perplexity botları için yazılan kurallar Googlebot'u ilgilendirmez. Google da Google-Extended'ın Google Arama'ya dahil edilmeyi ve sıralamayı etkilemediğini belirtir.
- Yeni botlar ve user-agent adları zaman zaman eklenir; robots.txt'nizi sağlayıcıların güncel listelerine göre dönem dönem gözden geçirin.
Doruva'nın GEO Analiz Aracı, bir sitenin robots.txt dosyasının başlıca yapay zekâ botlarına erişim izni verip vermediğini kontrol eder.