robots.txt & Sitemap Denetimi

robots.txt tek bir dosyadır ama sitenizin taranma düzenini bütünüyle belirler. Doğru yazıldığında arama motoru zamanını doğrudan yayında olan sayfalarınıza ayırır, site haritanızı ilk taramada bulur. Bu ücretsiz robots.txt kontrolü aracı, alan adınızın dosyasını satır satır çözümler ve bildirilen site haritalarını tek tek açıp doğrular.

robots.txt kontrolü, sitenizin kök dizinindeki bu dosyanın okunabilir olup olmadığını, hangi bota neyin açık olduğunu ve site haritası bildiriminin doğru yapılıp yapılmadığını denetleme işlemidir. Aracımız dosyayı çeker, bot gruplarını ayırır, Allow ve Disallow kurallarını listeler ve çözümlenemeyen satırları işaretler. Ardından sitemap denetimi aşamasına geçer: bildirilen her haritayı açar, durum kodunu okur, urlset veya sitemapindex kökü taşıyıp taşımadığını kontrol eder ve içindeki adres sayısını sayar.

robots.txt Neyi Yönetir, Neyi Yönetmez?

robots.txt taramayı yönetir, dizine almayı değil. Bir sayfanın arama sonuçlarında görünmesini istemiyorsanız kullanılacak doğru kural noindex'tir; sayfa taramaya açık kaldığı için bot bu kuralı okur ve gereğini yapar. Taramaya kapatılan bir adres ise dışarıdan aldığı linkler nedeniyle sonuçlarda içeriksiz biçimde kalabilir. İki kuralı ayrı ayrı, doğru amaçla kullanmak en temiz sonucu verir.

2026 robots.txt Denetiminde Hangi Kurallara Bakılıyor?

• Dosyanın erişilebilir olması ve düz metin olarak sunulması
• User-agent: * grubundaki Allow ve Disallow kurallarının kapsamı
• Belirli botlara verilen özel izinler
• "direktif: değer" biçimine uyan ve bu yüzden işlenecek satırlar
• Crawl-delay değerinin makul aralıkta olması
• Site haritası bildiriminin varlığı ve haritanın açılabilirliği
• Haritaların içerdiği adres sayısı
• Sitede çalışan ama henüz bildirilmemiş haritalar

Crawl-delay konusunda önemli bir ayrım vardır: Google bu direktifi yok sayar, Bing ve Yandex uygular. Değeri düşük tuttuğunuzda diğer motorlarda tarama hızınız yüksek kalır, Google tarafında ise davranış zaten değişmez.

Site Haritası Neden Ayrı Bir Konu?

Site haritası, yeni ve derinde kalan sayfaların keşfini hızlandırır. Doğru bildirilmiş bir harita, arama motorunun sitenizi ilk ziyarette bütün olarak görmesini sağlar. Alan adı veya adres yapısı değiştiğinde robots.txt içindeki Sitemap satırını da güncellemek tek satırlık bir işlemdir ve keşfi anında geri kazandırır.

Türkiye'deki Sitelerde Tarama Bütçesi Nasıl Kazanılır?

Hazır e-ticaret altyapılarında robots.txt çoğu zaman varsayılan haliyle gelir ve filtre, sıralama, arama adreslerinin tamamı taranmaya açıktır. Bu adres gruplarını ayırıp yalnızca arama talebi olanları açık bırakmak, tarama bütçesini doğrudan kategori ve ürün sayfalarına kaydırır. WordPress tarafında ise yenileme sonrası "arama motorlarını engelle" seçeneğini kapatmak ve site haritasını bildirmek, yayın gününde yapılacak iki dakikalık bir kontroldür. 2026 için önerdiğimiz sıra şudur: önce adres gruplarını çıkarın, sonra kuralları yazın, en son haritayı bölümlere ayırın.

robots.txt Yapay Zeka Botlarını Nasıl Yönetiyor?

robots.txt bugün yalnızca arama motoru botlarını değil, GPTBot ve PerplexityBot gibi yapay zeka tarayıcılarını da yönetir. Bu izinleri tabloyla görmek için llms.txt denetimi aracımızı kullanın. Tek bir sayfanın dizine girme durumunu ölçmek içinse indekslenebilirlik denetimi aracımız daha ayrıntılı sonuç verir.

robots.txt Kontrolünden Verimli Bir Tarama Bütçesi Kurgusu Çıkaralım

robots.txt kontrolü sonrası dosyayı yazmak yarım saatlik bir iştir; hangi adreslerin taranmaya değer olduğuna karar vermek asıl uzmanlık gerektiren kısımdır. Sitenizin adres yapısını çıkarıyor, tarama önceliklerini belirliyor ve site haritası kurgusunu bölümlere ayırarak yeniden kuruyoruz. 2026 içinde bu düzeni kurumsal ölçekte oturtmak için kurumsal SEO hizmetimiz teknik denetim ve uygulama adımlarını birlikte yürütür.