İnternette gezinirken farkında olmadan birçok teknik unsurla karşılaşıyoruz. Ancak, sitelerin perde arkasındaki en önemli oyunculardan biri olan robots.txt, genellikle göz ardı edilen ama SEO dünyasında büyük rol oynayan bir dosya. Peki, robots.txt nedir, nasıl oluşturulur ve neden bu kadar önemlidir? Hadi, bu teknik konuya daha yakından bakalım.
Robots.txt Nedir?
Web siteleri, arama motoru botları tarafından taranarak dizine eklenir. Ancak her sayfanın taranmasını istemeyebiliriz, işte burada robots.txt devreye girer. Robots.txt, arama motoru botlarına hangi sayfaları tarayabileceklerini ve hangilerini es geçmeleri gerektiğini söyleyen bir metin dosyasıdır.
Bu dosya, sitenin kök dizininde bulunur (example.com/robots.txt) ve arama motorlarına bir nevi “giriş izni” sağlar. Kısaca, sitenin trafik polisi diyebiliriz.
Robots.txt Dosyası Nasıl Oluşturulur?
Bir robots.txt dosyası oluşturmak için tek ihtiyacınız olan bir metin düzenleyici (Notepad, VS Code, Sublime Text gibi) ve birkaç temel komut bilgisi.
- Yeni bir dosya oluşturun ve adını
robots.txtkoyun. - Temel komutları belirleyin:
User-agent:Hangi botlara bu kuralların uygulanacağını gösterir.Disallow:Hangi sayfaların taranmaması gerektiğini belirler.Allow:Google gibi bazı botlara özel izinler verebilir.Sitemap:Sitenizin XML site haritasının yolunu gösterir.
Robots.txt Örnekleri
1. Tüm botlara tüm sayfaları açmak
User-agent: *
Disallow:2. Tüm botlara belirli bir klasörü engellemek
User-agent: *
Disallow: /admin/3. Sadece Googlebot’a belirli bir sayfayı engellemek
User-agent: Googlebot
Disallow: /gizli-sayfa.html4. Site haritası eklemek
User-agent: *
Disallow:
Sitemap: https://www.example.com/sitemap.xmlRobots.txt ile Engelleme: Dikkat Edilmesi Gerekenler
Robots.txt dosyası güvenlik duvarı değildir! Örneğin, Disallow komutuyla bir sayfayı engelleseniz bile, o sayfa hâlâ internette indekslenebilir. Sayfanın kesinlikle dizine eklenmemesini istiyorsanız noindex meta etiketi veya X-Robots-Tag HTTP başlığını kullanmalısınız.
Robots.txt Hatalarından Kaçınmak İçin İpuçları:
- Disallow kullanırken dikkatli olun. Önemli sayfaları yanlışlıkla engellemeyin.
- Robots.txt’yi test edin. Google Search Console’un “robots.txt Test Aracı”ndan faydalanın.
- Site haritasını unutmayın. Sitemap eklemek, botların doğru yönlendirilmesine yardımcı olur.
- Gizli bilgileri saklamak için kullanmayın. Çünkü herkes robots.txt dosyanızı görebilir.
Sonuç: Robots.txt ile SEO’yu Şekillendirin
Robots.txt, SEO’nun temel taşlarından biri ve doğru kullanıldığında web sitenizin taranabilirliğini büyük ölçüde optimize eder. Ancak dikkatli kullanılmazsa, arama motorlarının önemli sayfalarınızı dizine eklememesine neden olabilir.
Şimdi siz de kendi sitenizin robots.txt dosyasını inceleyin ve gerekirse optimize edin.