İletişim

GPTBot Nedir?

Kısa tanım

GPTBot, OpenAI'nin üretken yapay zekâ temel modellerini daha yararlı ve güvenli hale getirmek amacıyla, eğitimde kullanılabilecek web içeriğini toplayan tarayıcısıdır. robots.txt'de GPTBot'u engellemek, sitenin içeriğinin bu modellerin eğitiminde kullanılmaması gerektiğini bildirir. ChatGPT aramasında görünmeyi belirleyen bot ise ayrı bir user-agent olan OAI-SearchBot'tur; ikisi bağımsız olarak yönetilir.

Diğer adları: OpenAI GPTBot, OpenAI crawler, GPTBot user agent

Yayınlandı
GPTBot'un robots.txt kurallarına göre herkese açık sayfaları toplayıp gelecekteki modellerin eğitim verisine aktardığını gösteren akış

OpenAI'nin bot ailesindeki yeri

OpenAI web'e birden fazla bot ile erişir ve her birini robots.txt'de ayrı ayrı yönetmenize izin verir. OpenAI'nin bot belgesine göre görev dağılımı şöyledir:

User-agentAmaç
GPTBotÜretken yapay zekâ temel modellerini daha yararlı ve güvenli hale getirmek için içerik toplamak (eğitim)
OAI-SearchBotWeb sitelerini ChatGPT'nin arama özelliklerinde göstermek
ChatGPT-UserChatGPT ve Custom GPT'lerde kullanıcının başlattığı bazı eylemler
OAI-AdsBotChatGPT'de reklam olarak gönderilen sayfaların güvenliğini doğrulamak

Kısacası GPTBot, bu ailenin eğitim ayağıdır. Bir sayfanın ChatGPT aramasında kaynak olarak görünüp görünmemesi GPTBot'a değil, OAI-SearchBot'a verdiğiniz izne bağlıdır.

robots.txt örnekleri

Sitenin tamamını eğitimden çıkarmak:

User-agent: GPTBot
Disallow: /

Yalnızca belirli dizinleri kapatmak:

User-agent: GPTBot
Disallow: /uyelere-ozel/
Disallow: /arsiv/

Eğitimi kapatıp ChatGPT aramasına açık kalmak:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

OpenAI, robots.txt güncellemesinin sistemlerine yansımasının yaklaşık 24 saat sürebileceğini belirtir. Kural, eklendiği andan sonraki taramalar için anlam taşır.

Gerçek GPTBot'u tanımak

OpenAI'nin belgelediği user-agent dizesi şu biçimdedir:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Sürüm numarası zamanla değişebileceği için kayıtları filtrelerken dizenin tamamını değil GPTBot ifadesini esas alın. User-agent taklit edilebildiğinden, kritik durumlarda isteğin IP adresini OpenAI'nin yayımladığı https://openai.com/gptbot.json listesiyle karşılaştırın.

Mevcut durumunuzu kontrol etmek

  1. alanadiniz.com/robots.txt adresini açın ve GPTBot adına yazılmış bir grup olup olmadığına bakın.
  2. Ayrı bir grup yoksa GPTBot, User-agent: * grubundaki kurallara uyar; orada Disallow: / varsa GPTBot da engellenmiş olur.
  3. Bazı CDN ve güvenlik duvarı hizmetleri yapay zekâ botlarını kendi ayarlarıyla engelleyebilir. robots.txt izin verse bile istekler bu katmanda durdurulabileceği için bu ayarları da gözden geçirin.
  4. Sunucu kayıtlarında GPTBot ifadesini arayarak botun siteyi gerçekten ziyaret edip etmediğini görün.

Sık karıştırılan noktalar

  • "GPTBot'u engellersem ChatGPT'de hiç görünmem." Doğru değil. ChatGPT aramasında gösterilme OAI-SearchBot ile ilgilidir; ayrıca kullanıcı bir sayfayı doğrudan sorduğunda ChatGPT-User devreye girebilir.
  • "GPTBot'u engellemek Google sıralamamı etkiler." GPTBot OpenAI'nin botudur; Googlebot'un taramasıyla ve Google Arama'yla ilgisi yoktur.
  • "robots.txt GPTBot'u fiziksel olarak durdurur." robots.txt bir talimattır, erişim engeli değildir. OpenAI GPTBot'un bu talimatlara uyduğunu belgeler; ancak gerçek erişim kısıtlaması gerekiyorsa kimlik doğrulama gibi sunucu tarafı yöntemler kullanılmalıdır.

Eğitim ve arama botlarına ilişkin genel çerçeve için yapay zekâ tarayıcısı maddesine bakabilirsiniz.

İlgili terimler

← Sözlüğe dön