OAI-SearchBot Nedir?
Kısa tanım
OAI-SearchBot, OpenAI'nin web sitelerini ChatGPT'nin arama özelliklerinde göstermek için kullandığı tarayıcıdır. Model eğitimi için içerik toplamaz; bu görev GPTBot'a aittir. robots.txt'de OAI-SearchBot'u engelleyen siteler ChatGPT arama cevaplarında gösterilmez, ancak gezinme amaçlı bağlantı olarak yine de görünebilir. OpenAI bu botun engellenmemesini önerir.
Diğer adları: OpenAI SearchBot, ChatGPT search crawler, OAI SearchBot
Görevi: ChatGPT aramasına kaynak sağlamak
ChatGPT bir soruyu web'deki güncel kaynaklarla cevaplarken, gösterebileceği ve bağlantı verebileceği sayfaları OAI-SearchBot'un taramalarından elde eder. Bu yüzden bu bot, ChatGPT özelinde yapay zekâ aramasındaki görünürlüğün ön koşuludur. OpenAI'nin belgesindeki ifade nettir: OAI-SearchBot'u engelleyen siteler ChatGPT arama cevaplarında gösterilmez, ancak gezinme amaçlı bağlantı (navigational link) olarak görünmeye devam edebilir. OpenAI bu nedenle botun robots.txt'de engellenmemesini önerir.
OpenAI'nin diğer botlarıyla ilişkisi
Üç bot birbirinden bağımsızdır ve her biri için ayrı karar verebilirsiniz:
| Yapılandırma | Sonuç |
|---|---|
| OAI-SearchBot izinli, GPTBot izinli | ChatGPT aramasında gösterilebilir; içerik eğitim için de toplanabilir. |
| OAI-SearchBot izinli, GPTBot engelli | ChatGPT aramasında gösterilebilir; eğitimde kullanılmaması tercihi bildirilmiş olur. |
| OAI-SearchBot engelli | ChatGPT arama cevaplarında gösterilmez; yalnızca gezinme bağlantısı olarak görünebilir. |
Kullanıcının başlattığı eylemlerde ise ChatGPT-User devreye girer. OpenAI, bu eylemler kullanıcı tarafından başlatıldığı için robots.txt kurallarının bunlara uygulanmayabileceğini belirtir. Eğitim tarayıcısının ayrıntıları için GPTBot maddesine bakabilirsiniz.
robots.txt'de izin vermek
Sitenizde genel bir kısıtlama yoksa ayrı bir kural yazmanıza gerek yoktur; bot varsayılan olarak her yeri tarayabilir. Açık bir izin yazmak ise niyetinizi belgelemenin ve diğer kurallardan etkilenmemesinin kolay bir yoludur:
User-agent: OAI-SearchBot
Allow: /
Disallow: /sepet/
Disallow: /hesabim/Özellikle User-agent: * altında geniş bir Disallow kuralınız varsa, OAI-SearchBot için yazacağınız ayrı grup bu botun yalnızca kendi grubuna uymasını sağlar. Bu yüzden ayrı grupta da korumak istediğiniz dizinleri tekrar listeleyin. robots.txt değişikliklerinin OpenAI sistemlerine yansıması yaklaşık 24 saat sürebilir.
Kayıtlarda tanımak
OpenAI'nin belgelediği user-agent dizesi:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotDize bir tarayıcı imzasıyla başladığı için kayıt filtrelerinde OAI-SearchBot ifadesini arayın. IP doğrulaması için OpenAI https://openai.com/searchbot.json listesini yayımlar.
Erişim tek başına yeterli değil
Botun siteye girebilmesi, sayfanızın bir cevapta alıntılanacağı anlamına gelmez; bu yalnızca bir ön koşuldur. Hangi sayfaların seçileceği ChatGPT'nin kendi arama ve sıralama sistemlerine bağlıdır ve OpenAI bu sistemlerin ayrıntılarını yayımlamaz. Açık, doğrudan cevap veren ve güvenilir kaynak niteliği taşıyan içerik, kaynak olarak gösterilme ihtimalini destekleyen genel bir yaklaşımdır.