Log Dosyası Analizi Nedir?

Tek bir log satırının anlattıkları

Sunucuya gelen her istek, nginx ve Apache'de varsayılan olarak kullanılan "combined" biçimine benzer bir satırla kaydedilir:

66.249.79.12 - - [02/Oct/2026:14:05:31 +0300] "GET /urunler/lacivert-kazak/ HTTP/2.0" 200 18432 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X ...) ... (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Sırasıyla: isteği yapan IP adresi, zaman damgası, HTTP metodu ile URL ve protokol, dönen durum kodu, gönderilen bayt miktarı, referrer ve user-agent. Varsayılan biçim yanıt süresini içermez; performansla ilgili sorular da sorulacaksa nginx'te $request_time gibi bir alanı log formatına eklemek gerekir. Bu ham satırlar, Search Console'un örneklenmiş ve özetlenmiş görünümünün aksine, botun yaptığı her isteği gösterir.

Loglar hangi SEO sorularını yanıtlar?

• Önemli sayfalar taranıyor mu? Ürün veya kategori sayfalarının ne sıklıkla ziyaret edildiğini, hiç istenmeyen bölümleri ve yalnızca site haritasında bulunan URL'leri ortaya çıkarır.
• Bot zamanı nereye gidiyor? Parametreli URL'ler, filtre kombinasyonları, takvim sayfaları ve eski yönlendirmeler büyük sitelerde tarama bütçesinin önemli bir bölümünü tüketebilir; loglar bunu yüzde olarak gösterir.
• Bot hangi hatalarla karşılaşıyor? Kullanıcıların nadiren gördüğü 404'ler, gece yarısı yedekleme sırasında artan 5xx yanıtları ya da 429 dalgaları önce loglarda belirir.
• Taşıma doğru işliyor mu? Site taşımasından sonra eski adreslere gelen isteklerin 301 aldığını ve yeni URL'lerin keşfedildiğini günlük olarak izlemek mümkündür.
• Kimler geliyor? Arama motoru botlarının yanında yapay zekâ tarayıcılarının hangi bölümlere ne yoğunlukta eriştiği de aynı kayıtlardan okunur.

Analizden önce botu doğrulamak

User-agent alanı serbestçe yazılabildiği için "Googlebot" ya da "bingbot" diye görünen isteklerin bir kısmı kazıyıcılardan gelir. Bunlar ayıklanmadan yapılan analiz, yanlış sonuçlara götürür. Tek tek kontrol için ters ve ileri DNS sorgusu yeterlidir; adımlar tarama maddesinde anlatılıyor. Milyonlarca satırlık bir logda ise her IP için DNS sorgusu yapmak pratik değildir. Google, büyük ölçekli doğrulama için IP adreslerinin yayımladığı JSON listeleriyle eşleştirilmesini önerir; Googlebot gibi ortak tarayıcılar için bu liste common-crawlers.json dosyasıdır. Bing de benzer bir bingbot.json listesi yayımlar. Google'ın kullanıcı tarafından tetiklenen getiricileri farklı IP listeleri ve alan adları kullanır; bunları Googlebot ile aynı sepete koymamak gerekir. Ayrıntılar Google'ın doğrulama belgesinde yer alır.

Uygulanabilir bir iş akışı

1. Doğru kaynağı toplayın. Site bir CDN veya reverse proxy arkasındaysa, önbellekten sunulan istekler kaynak sunucunun loglarına hiç düşmez. Bot davranışının tamamı için uç katmanın loglarına da ihtiyaç vardır.
2. Yeterli süre biriktirin. Birkaç günlük veri, seyrek taranan sayfalar hakkında güvenilir bir şey söylemez; en az birkaç haftalık kayıt ile çalışmak daha sağlıklıdır.
3. Kişisel veriyi düşünün. Ziyaretçi IP adresleri kişisel veri niteliği taşıyabilir. Saklama süresini sınırlamak ve analiz için gerçek kullanıcı IP'lerini maskelemek, bot IP'lerini ise doğrulama için korumak iyi bir dengedir.
4. Diğer verilerle birleştirin. Log'daki URL'leri site haritasıyla, tarayıcı aracınızın bulduğu sayfalarla ve Search Console'un Tarama istatistikleri raporuyla karşılaştırın; asıl içgörü kesişimlerde ve boşluklarda çıkar.
5. Şablona göre gruplayın. Tek tek URL yerine dizin veya sayfa türü bazında bakmak, örüntüleri görünür kılar.

Log dosyası analizi, genel loglama altyapısının SEO için özel bir kullanımıdır; altyapı iyi kurulduysa bu analiz düzenli ve otomatik bir rapora dönüşebilir.