Applebot-Extended Nedir?
Kısa tanım
Applebot-Extended, Apple'ın robots.txt'de kullanılan ikincil user-agent'ıdır; web yayıncılarının içeriklerinin Apple Intelligence dahil Apple ürünlerindeki üretken yapay zekâ özelliklerini çalıştıran genel amaçlı temel modellerin eğitiminde kullanılmasını reddetmesini sağlar. Apple'a göre Applebot-Extended web sayfalarını taramaz, yalnızca Applebot'un taradığı verinin nasıl kullanılacağını belirler; engellenmesi arama sonuçlarına dahil edilmeyi engellemez.
Diğer adları: Applebot Extended, Applebot-Extended user agent, Apple Intelligence eğitim tercihi, Apple yapay zekâ eğitimi engeli
Tarayıcı değil, kullanım tercihi
Apple'ın web'deki tarayıcısı Applebot'tur. Apple'ın Applebot belgesine göre Applebot'un topladığı veri, Spotlight, Siri ve Safari gibi Apple ekosistemindeki arama deneyimlerine güç verir. Aynı veri, Apple Intelligence, Services ve Developer Tools dahil Apple ürünlerindeki üretken yapay zekâ özelliklerini çalıştıran temel modellerin eğitimine yardımcı olmak için de kullanılabilir. Applebot-Extended, bu ikinci kullanımı reddetmenin yoludur.
Apple, Applebot-Extended'ın web sayfalarını taramadığını ve yalnızca Applebot'un taradığı verinin nasıl kullanılacağını belirlemek için kullanıldığını açıkça yazar. Bu yüzden sunucu kayıtlarında bu adla gelen bir istek görmezsiniz. Yapı, Google'ın Google-Extended token'ına benzer: ikisi de ayrı bir bot değil, mevcut bir tarayıcının topladığı verinin kullanım amacına dair bir tercihtir.
Üç ayrı kontrol, üç ayrı sonuç
Apple'ın belgesi, yapay zekâ kullanımıyla ilgili kolayca karıştırılabilecek üç kontrol tanımlar:
| Kontrol | Neyi değiştirir? | Neyi değiştirmez? |
|---|---|---|
Applebot-Extended için Disallow | İçeriğin Apple'ın genel amaçlı temel modellerinin eğitiminde kullanılmasını | Taramayı ve arama sonuçlarına dahil edilmeyi; Apple, bu kuralların Search sıralamasında dikkate alınmadığını belirtir |
nosnippet meta etiketi | Yapay zekâ modelleri Apple ürünlerinde çıktı üretirken içeriğin ek bağlam olarak kullanılmasını (örneğin Siri ve Search'teki genel bilgi cevapları); sayfa için açıklama ya da web cevabı üretilmesini | Sayfanın taranmasını ve dizinde bulunmasını |
Applebot için Disallow | Taramanın kendisini; içerik Apple'ın arama özelliklerine giremez | Başka sağlayıcıların botlarını |
Kritik ayrım şudur: Applebot-Extended eğitimle ilgilidir, cevap üretimiyle değil. Bir içeriğin Siri ya da Search'teki yapay zekâ destekli cevaplarda bağlam olarak kullanılmasını istemiyorsanız, Apple'ın işaret ettiği araç nosnippet yönergesidir. Apple ayrıca yapılandırılmış veride isAccessibleForFree: false ile işaretlenen sayfaların arama sonuçlarında yer alabileceğini, ancak yapay zekâ çıktılarında ek bağlam olarak kullanılmayacağını belirtir.
robots.txt örnekleri
Sitenin tamamını Apple'ın temel model eğitiminin dışında tutmak:
User-agent: Applebot-Extended
Disallow: /Yalnızca bir dizini dışarıda bırakmak (Apple'ın belgesindeki örnek):
User-agent: Applebot-Extended
Disallow: /private/Bu kurallar Applebot'un taramasını durdurmaz. Apple'a göre Applebot'un taramasına izin verildiği sürece içerik Spotlight, Siri ve Safari üzerinden bulunabilir kalır. Diğer sağlayıcıların eğitim tercihleriyle birlikte değerlendirmek için GPTBot ve yapay zekâ tarayıcısı maddelerine bakabilirsiniz.
Applebot'a özgü iki davranış
- Googlebot kurallarına geri dönüş: Apple'a göre robots.txt Applebot'tan hiç söz etmiyor ama Googlebot'tan söz ediyorsa, Applebot Googlebot için yazılmış talimatları izler. Googlebot'a özel kısıtlamalar bu yüzden Apple'ın taramasını da etkileyebilir.
- Crawl-delay desteklenmez: Apple, Applebot'un
Crawl-delayyönergesini izlemediğini; site yavaşladığında ya da hata döndürdüğünde tarama hızını kendiliğinden ayarladığını belirtir.
Gerçek Applebot trafiği, ters DNS sorgusunun *.applebot.apple.com alanına çözümlenmesiyle ya da IP adresinin Apple'ın yayımladığı https://search.developer.apple.com/applebot.json listesiyle karşılaştırılmasıyla doğrulanabilir.