Googlebot Nedir?

İki Googlebot, tek robots.txt belirteci

Googlebot aslında iki tarayıcıdan oluşur ve isteklerdeki user-agent başlığından ayırt edilir:

# Googlebot Smartphone
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
(compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Googlebot Desktop
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1;
+http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

W.X.Y.Z, o sırada kullanılan Chrome sürümünün yerine geçen bir yer tutucudur; Googlebot sayfaları güncel bir Chrome ile render ettiği için bu değer sürekli değişir. Kodunuzda belirli bir sürüm numarasına göre karar vermek bu yüzden hatalıdır. İki tür de robots.txt'de aynı Googlebot belirtecine uyar; yalnızca mobil ya da yalnızca masaüstü tarayıcıyı robots.txt ile hedeflemek mümkün değildir. Google sitelerin büyük çoğunluğunu mobile-first yaklaşımıyla dizine eklediği için isteklerin çoğu Smartphone türünden gelir.

Google'ın diğer tarayıcılarıyla karıştırmamak

• Googlebot-Image ve Googlebot-News: Görsel ve haber ürünleri için çalışır. Googlebot-News'in ayrı bir user-agent dizesi yoktur; robots.txt'de kendi belirteciyle hedeflenebilir.
• Google-InspectionTool: Search Console'daki URL denetimi ve Zengin Sonuç Testi gibi test araçlarının kullandığı tarayıcıdır.
• GoogleOther: Ürün ekiplerinin, örneğin araştırma amaçlı tek seferlik taramalarda kullandığı genel tarayıcıdır.
• Google-Extended: Ayrı bir tarayıcı değil, içeriğin Gemini modellerinin eğitiminde kullanılıp kullanılamayacağını yöneten bir robots.txt belirtecidir. Engellemek Googlebot'un taramasını ve Arama'daki görünürlüğü etkilemez.

Teknik davranışı: ne kadarını, nasıl indirir?

• Boyut sınırı: Google'ın güncel belgesine göre Googlebot desteklenen bir dosya türünün ilk 2 MB'ını, PDF'lerin ise ilk 64 MB'ını işler. Sınır sıkıştırılmamış veriye uygulanır ve sayfanın CSS, JavaScript gibi her kaynağı için ayrı ayrı geçerlidir. Sınırın ötesindeki içerik dikkate alınmaz.
• Protokol ve sıkıştırma: HTTP/1.1 ve HTTP/2 desteklenir; gzip, deflate ve Brotli sıkıştırması kabul edilir.
• Koşullu istekler: ETag ve Last-Modified başlıklarına göre koşullu istek yapılabilir; değişmeyen sayfa için 304 yanıtı tarama kaynaklarını korur.
• Konum: İstekler ağırlıklı olarak ABD'deki IP adreslerinden gelir; bu durumda Googlebot'un saat dilimi Pasifik saatidir.

Tarama hızı nasıl yönetilir?

Google, çoğu site için Googlebot'un ortalamada birkaç saniyede bir istekten daha sık gelmemesi gerektiğini belirtir; kısa süreli artışlar olabilir. Search Console'da tarama hızını elle ayarlayan bir seçenek yoktur. Sunucu zorlanıyorsa geçici olarak 503, 500 veya 429 döndürmek Googlebot'un yavaşlamasını sağlar; ancak Google bunun 1–2 günden uzun sürdürülmemesini önerir; daha uzun süre hata döndürmenin sitenin Arama'daki durumuna olumsuz etkisi olabilir. Hata kodu döndürmek mümkün değilse Google'a özel bir istek formu gönderilebilir; tarama hızının artırılması ise talep edilemez.

Gerçek Googlebot'u tanımak ve yanlışlıkla engellememek

Googlebot kimliğine bürünen kazıyıcılar yaygındır. Gerçek istekler, ters DNS adı googlebot.com ile biten ve Google'ın common-crawlers.json listesindeki IP aralıklarından gelir; adım adım komutlar tarama maddesindedir. Tersi de bir risktir: agresif bot koruması veya güvenlik duvarı kuralları gerçek Googlebot'u engelleyebilir. Search Console'daki URL denetimi ve Tarama istatistikleri raporu bu tür sorunları gösterir; robots.txt'nin bir sayfayı Googlebot'a açıp açmadığını SEO Analiz Aracı ile de kontrol edebilirsiniz. Tüm ayrıntılar Google'ın Googlebot belgesinde yer alır.