Google-Extended Nedir?

Bir bot değil, bir tercih anahtarı

Google-Extended'ı diğer yapay zekâ botlarından ayıran en önemli nokta, kendine ait bir tarayıcısının olmamasıdır. Google'ın tarayıcı belgesine göre Google-Extended'ın ayrı bir HTTP user-agent dizesi yoktur; tarama mevcut Google user-agent'larıyla yapılır. Google-Extended yalnızca robots.txt'de kullanılan bir ürün token'ıdır ve Google'ın taradığı içeriğin hangi amaçlarla kullanılabileceğine dair tercihinizi bildirir.

Bunun pratik bir sonucu vardır: sunucu kayıtlarınızda "Google-Extended" adıyla gelen bir istek görmezsiniz. Kural, içeriğin nasıl toplandığını değil, toplandıktan sonra nerede kullanılabileceğini etkiler.

Neyi kontrol eder?

Google'ın belgesine göre Google-Extended şu kullanımları yönetir:

• Gemini uygulamalarına ve Vertex AI'daki Gemini API'sine güç veren gelecekteki Gemini modellerinin eğitimi
• Bu ürünlerde içeriğin grounding (cevabı kaynağa dayandırma) amacıyla kullanılması

Google aynı belgede Google-Extended'ın bir sitenin Google Arama'ya dahil edilmesini etkilemediğini ve sıralama sinyali olarak kullanılmadığını açıkça belirtir.

AI Overviews ve AI Mode ile ilişkisi

AI Overviews ve AI Mode, Google Arama'nın parçası olan özelliklerdir. Google'ın yapay zekâ özelliklerine ilişkin belgesine göre bu özelliklerde sayfanızdan gösterilen bilgiyi sınırlamak için Arama'nın kendi kontrolleri kullanılır: nosnippet, data-nosnippet, max-snippet ya da noindex. Google-Extended bu belgede Google'ın "diğer bazı sistemlerindeki" eğitim ve grounding kullanımını sınırlamanın yolu olarak anılır. Dolayısıyla Google-Extended'ı engellemek, içeriğinizin AI Overviews'tan çıkarılması için doğru araç değildir.

robots.txt örnekleri

Tüm içeriği bu kullanımların dışında tutmak:

User-agent: Google-Extended
Disallow: /

Belirli bir bölümü dışarıda tutup içindeki bir alt yola izin vermek (Google'ın belgesindeki örneğe benzer):

User-agent: Google-Extended
Allow: /arsiv/2024-raporu/
Disallow: /arsiv/

Burada daha uzun, yani daha spesifik olan kural kazanır; /arsiv/2024-raporu/ izinli kalırken arşivin geri kalanı kapanır.

Kuralı doğrulamak

Google-Extended kayıtlarda görünmediği için kuralın etkisini trafik üzerinden izleyemezsiniz; kontrol edebileceğiniz şey dosyanın doğruluğudur. Search Console'daki robots.txt raporu, Google'ın dosyanızın hangi sürümünü en son aldığını ve ayrıştırma sırasında karşılaştığı sorunları gösterir. Token adının doğru yazıldığından ve kuralın beklediğiniz grupta durduğundan emin olun.

Sık yapılan hata

Yapay zekâ kullanımını sınırlamak için Googlebot'u engellemek, sitenin Google Arama'dan da çıkması anlamına gelir. Gemini eğitimi ve grounding tercihi için doğru araç Google-Extended'dır; Arama'daki görünürlüğünüz ise Googlebot'a ve robots.txt'deki ona ait kurallara bağlıdır. Diğer sağlayıcıların eğitim botlarıyla karşılaştırma için GPTBot ve yapay zekâ tarayıcısı maddelerine bakabilirsiniz.