Robots.txt, bir web sitesinin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayıp hangilerini taramamaları gerektiğini bildiren basit bir metin dosyasıdır. Arama motorları bir siteye geldiğinde, genellikle ilk olarak robots.txt dosyasına bakar ve burada belirtilen kurallara göre hareket eder. Bu sistem, sitenin kontrolünü web yöneticisinin elinde tutmasına yardımcı olur.
Örnek Robots.txt Dosyası
Dosyada en sık kullanılan iki komut vardır: Disallow ve Allow.
Disallow, botlara belirli bir sayfa veya klasöre erişmemelerini söyler.Allowise, özellikle bazı gelişmiş botlar için, erişime izin verilen bölümleri belirtmekte kullanılır.
User-agent: *
Disallow: /admin/
Disallow: /taslak/
Allow: /taslaklar/hakkinda.htmlBu örnekte, tüm botlara (*) /admin/ ve /taslak/ klasörleri yasaklanmıştır. Ancak /taslaklar/ içindeki hakkinda.html sayfasının taranmasına izin verilmiştir.
Robots.txt dosyası, özellikle site içeriğinin arama motorlarında nasıl görüneceğini şekillendirmek için önemlidir. Ancak bu dosya sadece taramayı sınırlar, içeriklerin dizine eklenmesini tamamen engellemez. Sayfanın arama sonuçlarında hiç görünmemesi isteniyorsa, sayfa içinde <meta name="robots" content="noindex"> etiketi de kullanılmalıdır.
