ClaudeBot Nedir?
Kısa tanım
ClaudeBot, Anthropic'in üretken yapay zekâ modellerinin eğitimine katkı sağlayabilecek web içeriğini toplayan tarayıcısıdır. robots.txt'de ClaudeBot'u engellemek, sitenin bundan sonraki içeriğinin Anthropic'in model eğitimi veri setlerinden hariç tutulması gerektiğini bildirir. Anthropic ayrıca kullanıcı istekleri için Claude-User, arama kalitesi için Claude-SearchBot adlı ayrı botlar kullanır.
Diğer adları: Anthropic ClaudeBot, Anthropic crawler, Claude crawler
Anthropic'in üç botu
Anthropic, web'e farklı amaçlarla erişen üç ayrı bot kullanır ve her birinin robots.txt'de ayrı ayrı yönetilmesine izin verir. Aşağıdaki özet, Anthropic'in yardım merkezi makalesine dayanır:
| User-agent | Amaç | Engellemenin etkisi |
|---|---|---|
ClaudeBot | Model eğitimine katkı sağlayabilecek web içeriği toplamak | Sitenin bundan sonraki içeriğinin eğitim veri setlerinden hariç tutulması gerektiği bildirilir. |
Claude-User | Claude kullanıcılarının sorularına yanıt verirken sayfa getirmek | İçerik kullanıcı sorgularına yanıt olarak getirilemez; kullanıcı yönlendirmeli aramalarda görünürlük azalabilir. |
Claude-SearchBot | Arama sonuçlarının kalitesini iyileştirmek için içeriği dizine eklemek | İçerik arama için dizine eklenmez; arama sonuçlarındaki görünürlük ve doğruluk azalabilir. |
Yani ClaudeBot bu üçlünün eğitim ayağıdır. Claude'un web destekli cevaplarında sitenizin kullanılabilmesi, asıl olarak Claude-SearchBot ve Claude-User'a verdiğiniz izinle ilgilidir. Bu yapı, OpenAI'nin GPTBot ile OAI-SearchBot arasındaki ayrıma benzer.
robots.txt ile yönetmek
Anthropic, botlarının robots.txt içindeki standart "taramayın" talimatlarına uyduğunu belirtir. Sitenin tamamını eğitimden çıkarmak için:
User-agent: ClaudeBot
Disallow: /Eğitimi kapatıp Claude'un arama ve kullanıcı isteklerine açık kalmak için:
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /Anthropic, standart dışı bir uzantı olan Crawl-delay satırını da desteklediğini belirtir. Sunucu yükünü azaltmak için tarama sıklığını sınırlamak isterseniz:
User-agent: ClaudeBot
Crawl-delay: 5Bu satır her tarayıcı tarafından desteklenmez; örneğin Googlebot Crawl-delay kuralını dikkate almaz.
IP engelleme neden önerilmiyor?
Anthropic, IP adreslerini engellemenin kalıcı ve doğru bir devre dışı bırakma sağlamayabileceğini, çünkü bunun botların robots.txt dosyasını okumasını da engellediğini belirtir. Tercihinizi botun okuyabileceği şekilde robots.txt'ye yazmak, sağlayıcının bu tercihi görmesini sağlar.
Eski adlara dikkat
İnternetteki bazı eski rehberlerde ve robots.txt şablonlarında anthropic-ai ya da Claude-Web gibi user-agent adları geçer. Anthropic'in güncel belgesi ise ClaudeBot, Claude-User ve Claude-SearchBot olmak üzere üç botu listeler. Eski adları dosyanızda tutmanın zararı yoktur, ancak yalnızca onlara güvenip güncel adları eklememek, istediğiniz kuralın uygulanmamasına yol açabilir.
Kontrol listesi
- Eğitim ve arama tercihlerinizi ayrı ayrı belirleyin; ClaudeBot'u engellemek Claude-SearchBot'u engellemez.
- Adlandırılmış bir grup yazdığınızda botun
User-agent: *kurallarını artık uygulamayacağını unutmayın. - Sunucu kayıtlarında bu adları arayarak hangi botların sitenizi ziyaret ettiğini görün.
Farklı bot türlerinin genel karşılaştırması için yapay zekâ tarayıcısı maddesine bakabilirsiniz.