Bu rehberde neler bulacaksınız?
Robots.txt kısa bir dosyadır fakat tek bir yanlış kural binlerce URL’nin taranmasını etkileyebilir.
Bu içerik tarama yönetimi, indeks kontrolü ve güvenlik kavramlarını birbirinden ayırarak doğru uygulama çerçevesi kurar.
Robots.txt dosyasının görevi
Robots.txt, bir alan adındaki uyumlu tarayıcılara hangi URL yollarını tarayıp tarayamayacakları konusunda talimat veren düz metin dosyasıdır. Kök dizinde bulunur ve site genelindeki tarama davranışını yönetmeye yardımcı olur. Güvenlik duvarı değildir; hassas bilgileri korumak için kullanılmamalıdır.
Dosyanın ana amacı tarama kaynaklarını yönetmektir. Yönetim paneli, dahili arama sonuçları veya sonsuz filtre kombinasyonları gibi botların ziyaret etmesi gerekmeyen alanlar sınırlandırılabilir. Ancak yanlış bir kural CSS, JavaScript, görsel veya önemli içeriklerin taranmasını engelleyerek sayfanın anlaşılmasını zorlaştırabilir.
User-agent, Disallow ve Allow
User-agent satırı kuralın hangi tarayıcıya uygulanacağını belirtir. Yıldız işareti genel grubu temsil eder. Disallow belirli bir yolun taranmasını sınırlar; Allow ise daha geniş engel içindeki özel bir alt yolun erişilebilir kalmasını sağlayabilir. Kurallar URL yolunun başlangıcına göre dikkatle yazılmalıdır.
Büyük-küçük harf, eğik çizgi ve joker karakter kullanımı beklenmedik kapsam oluşturabilir. Yeni kural canlıya alınmadan önce örnek URL listesiyle test edilmelidir. Özellikle kök yolu engelleyen tek bir karakter hatası bütün sitenin taranmasını etkileyebileceği için değişiklikler kayıt altına alınmalıdır.
Robots.txt ve noindex farkı
Robots.txt taramayı yönetir; bir URL’nin arama sonuçlarında kesinlikle görünmeyeceğini garanti etmez. Arama motoru URL’yi başka bağlantılardan öğrenebilir ve içeriği taramadan sınırlı bilgilerle dizinde tutabilir. İndekslenmemesi gereken erişilebilir sayfalarda noindex direktifi daha uygun olabilir.
Noindex etiketinin görülebilmesi için botun sayfayı tarayabilmesi gerekir. Aynı URL robots.txt ile engellenirse bot noindex bilgisini okuyamaz. Bu nedenle iki yöntemi aynı anda rastgele uygulamak yerine hedefin tarama azaltmak mı, indeks dışı bırakmak mı yoksa erişimi tamamen kapatmak mı olduğu belirlenmelidir.
Sitemap bildirimi ve dosya bakımı
Robots.txt içinde XML sitemap adresi belirtilebilir. Bu bildirim, botların site haritasını kolayca bulmasına yardımcı olur; fakat sitemap yalnızca indekslenmesi istenen canonical URL’leri içermelidir. Farklı alt alan adları ve protokoller için kapsam ayrıca değerlendirilmelidir.
Dosya bir kez oluşturulup unutulmamalıdır. Site taşıma, altyapı değişimi, yeni filtre sistemi veya test ortamından canlıya geçiş sırasında kurallar yeniden kontrol edilmelidir. Geliştirme ortamındaki tam engelin yanlışlıkla üretime taşınması en ciddi teknik SEO hatalarından biridir.
Parametre ve filtre kuralları
Parametreleri topluca engellemeden önce hangi URL’lerin kullanıcı ve organik arama değeri taşıdığı belirlenmelidir. Aynı karakter kalıbı hem değersiz takip parametresinde hem önemli filtre sayfasında bulunabilir.
Engel yalnız teknik dosyada kalmamalı; gereksiz URL’lerin sitemap ve site içi linklerden kaldırılması gerekir. Aksi halde arama motoruna aynı adres için keşfet ve tarama şeklinde çelişkili sinyal verilir.
Hassas içerik nasıl korunur?
Robots.txt herkese açık olduğu için gizli klasörleri korumaz, hatta yolları görünür hale getirebilir. Yönetim ve müşteri alanları kimlik doğrulama, yetkilendirme ve uygun sunucu güvenliğiyle korunmalıdır.
Arama sonuçlarından kaldırma ihtiyacı varsa erişim, noindex, kaldırma aracı ve geçmiş indeks durumu birlikte değerlendirilir. Güvenlik kararı SEO direktifine bırakılmaz.
Yayın öncesi kontrol
Dosyanın 200 yanıt verdiği, metin biçiminin doğru olduğu ve üretim alan adına ait sitemap’i gösterdiği kontrol edilir. Temsilî blog, hizmet, görsel ve kaynak URL’leri kurallara karşı test edilir.
Değişiklik sonrasında Googlebot istekleri ve önemli URL’lerin canlı denetimleri izlenir. Hata durumunda önceki çalışan sürüme dönebilecek kayıtlı bir değişiklik süreci bulunmalıdır.
Doğru robots.txt yaklaşımı
En güvenli yaklaşım mümkün olduğunca sade kurallar kullanmaktır. Her engelin somut bir nedeni, sorumlusu ve test örnekleri bulunmalıdır. Arama motoruna kapatılan alanların iç linklerde yoğun biçimde kullanılmaması, çelişkili sinyallerin azalmasına yardımcı olur.
Değişiklikten sonra tarama istatistikleri, canlı URL kontrolleri ve sunucu günlükleri izlenmelidir. Amaç önemli içerikleri gizlemek değil; botların kullanıcıya değer sunan, indekslenebilir ve güncel sayfalara daha anlaşılır biçimde ulaşmasını sağlamaktır.
İlgili kaynaklar ve sonraki adımlar
Konuyu uygulamaya geçirmek için aşağıdaki hizmet ve rehber sayfalarını inceleyebilirsiniz:
Sık sorulan sorular
Robots.txt sıralamayı yükseltir mi?＋
Doğrudan yükseltmez; tarama kaynaklarının daha doğru kullanılmasına yardımcı olabilir.
Disallow sayfayı indeksten kaldırır mı?＋
Garanti etmez. URL başka bağlantılardan bilinirse içerik taranmadan dizinde görünebilir.
Robots.txt içine noindex yazılır mı?＋
Standart ve güvenilir yöntem değildir; sayfa veya HTTP düzeyinde noindex kullanılmalıdır.
CSS dosyaları engellenmeli mi?＋
Genellikle hayır; sayfanın doğru render edilmesi için kritik kaynaklar erişilebilir olmalıdır.
Dosya nerede bulunur?＋
Alan adının kökünde /robots.txt adresinde bulunur.
Backlink profiliniz için doğru paketi seçin
Güncel paket kapsamlarını, teslimat sürelerini ve fiyatları karşılaştırın.
Paketleri İncele