Robots.txt, arama motoru botlarının bir web sitesini nasıl tarayacağını belirleyen özel bir metin dosyasıdır.
Web sitelerinin hangi sayfalarının dizine eklenmesini veya engellenmesini sağlayarak SEO sürecini optimize eder.
İçindekiler
Bu yazıda, robots.txt nedir, nasıl oluşturulur, SEO için nasıl kullanılmalıdır ve en iyi robots.txt örnekleri nelerdir? gibi sorulara detaylı yanıt vereceğiz.
Robots.txt Nedir?
Robots.txt, arama motoru botlarına bir web sitesindeki sayfalar ve dizinler hakkında talimatlar veren bir robots exclusion protocol (robot hariç tutma protokolü) dosyasıdır.
Arama motorları, bir web sitesini taramadan önce robots.txt dosyasını kontrol eder ve burada belirtilen yönergelere uyar.
Robots.txt Dosyasının Kullanım Amaçları
- Arama motoru botlarının gizli veya gereksiz sayfaları taramasını önlemek
- Sunucu yükünü azaltmak için gereksiz taramaları engellemek
- SEO stratejisini geliştirmek için önemli sayfaların taranmasını sağlamak
Robots.txt Dosyası Nasıl Çalışır?
Robots.txt dosyası, belirli botlara yönelik talimatlar içerir. Örneğin:
User-agent: Googlebot Disallow: /private/
Bu kod, Google botlarının “private” klasörünü taramamasını sağlar. Ancak bu, sayfanın tamamen gizli olacağı anlamına gelmez.
Robots.txt Nasıl Olmalıdır? (SEO Uyumlu Robots.txt Hazırlama)
SEO için optimize edilmiş bir robots.txt dosyası, aşağıdaki unsurları içermelidir:
- Önemli sayfaların taranmasını sağlamak
- Gereksiz veya özel sayfaları engellemek
- Site haritasını belirtmek
SEO Uyumlu Robots.txt Örneği
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.siteniz.com/sitemap.xml
Bu robots.txt dosyası:
- Bütün botları kapsar (User-agent: *).
- /wp-admin/ klasörünü engeller ancak admin-ajax.php dosyasına izin verir.
- Site haritasını (sitemap.xml) belirtir.
Robots.txt Dosyası Nerede Bulunur?
Robots.txt dosyası, web sitesinin kök dizininde bulunmalıdır. Örnek URL:
https://www.siteniz.com/robots.txt
Robots.txt Dosyası Nasıl Oluşturulur?
SEO uyumlu bir robots.txt dosyası oluşturmak için şu adımları takip edebilirsiniz:
- Basit bir metin editörü (Notepad, VS Code) açın.
- İlgili User-agent ve Disallow/ Allow komutlarını girin.
- Dosyayı robots.txt adıyla kaydedin.
- FTP veya cPanel aracılığıyla web sitenizin kök dizinine yükleyin.
Robots.txt Kullanımında Yapılan Hatalar
1. Tüm Sayfaları Yanlışlıkla Engellemek
Şu kod, sitenizin tamamının arama motorları tarafından taranmasını engeller:
User-agent: * Disallow: /
Eğer arama motorlarının sitenizi taramasını istiyorsanız bu kodu kullanmamalısınız.
2. Önemli Sayfaları Yanlışlıkla Engellemek
Örneğin, şu satır eğer yanlış kullanılırsa tüm blog yazılarınızın indekslenmesini engelleyebilir:
Disallow: /blog/
3. Site Haritasını Eklememek
Arama motorlarının site haritanızı bulmasını kolaylaştırmak için robots.txt dosyanıza sitemap.xml yolunu ekleyin.
Google Search Console ile Robots.txt Test Etme
Google, Search Console aracılığıyla robots.txt dosyanızı test etmenize olanak tanır.
- Google Search Console‘a giriş yapın.
- “Tarama” → “Robots.txt Test Aracı” sekmesine gidin.
- Dosyanızı kontrol ederek engellenen sayfaları test edin.
Robots.txt ile Noindex Kullanımı
Daha önce robots.txt kullanarak noindex komutu eklemek mümkündü, ancak Google artık bunu desteklememektedir. Bunun yerine, meta noindex etiketi kullanmalısınız:
<meta name="robots" content="noindex, follow">
Örnek Robots.txt Dosyaları
1. Tüm Sayfaları Açık Bırakan Robots.txt
User-agent: * Disallow:
2. Belirli Bir Botu Engelleyen Robots.txt
Bazı kötü niyetli botların sitenizi taramasını engellemek için:
User-agent: BadBot Disallow: /
3. WordPress İçin SEO Uyumlu Robots.txt
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.siteniz.com/sitemap.xml
Robots.txt ile İlgili Sıkça Sorulan Sorular
Robots.txt nedir?
Robots.txt, arama motorlarının web sitenizde hangi sayfaları tarayabileceğini veya tarayamayacağını belirten bir metin dosyasıdır.
Robots.txt dosyası ne işe yarar?
Bu dosya, belirli sayfaların arama motorları tarafından indekslenmesini önlemek veya gereksiz taramaları engellemek için kullanılır.
Robots.txt dosyası nasıl oluşturulur?
Bir metin düzenleyici (Notepad, VS Code vb.) kullanarak “robots.txt” adlı bir dosya oluşturabilir ve içerisine uygun yönergeleri ekleyerek sunucu kök dizinine yükleyebilirsiniz.
Robots.txt dosyası nerede bulunur?
Genellikle bir web sitesinin kök dizininde yer alır ve doğrudan “example.com/robots.txt” şeklinde erişilebilir.
Robots.txt dosyası ile hangi sayfalar engellenebilir?
Admin panelleri, özel sayfalar, üyelik sayfaları, belirli dizinler veya gereksiz içerikler taramaya kapatılabilir.
Robots.txt hatalı kullanılırsa ne olur?
Yanlış kurallar kullanılırsa, önemli sayfalar arama motorları tarafından indekslenmeyebilir ve sitenizin SEO performansı olumsuz etkilenebilir.
Google Robots.txt dosyasına nasıl bakar?
Googlebot, sitenizi taramadan önce “robots.txt” dosyanızı kontrol eder ve belirlenen yönergelere uyar.
Robots.txt ile noindex arasındaki fark nedir?
Robots.txt, sayfanın taranmasını engeller; ancak “noindex” etiketi, sayfanın taranmasına izin verip indekslenmesini engeller.
Robots.txt dosyasını nasıl test edebilirim?
Google Search Console’un “Robots.txt Tester” aracını kullanarak dosyanın doğru çalışıp çalışmadığını kontrol edebilirsiniz.
Robots.txt dosyası SEO’yu nasıl etkiler?
Doğru kullanıldığında, arama motorlarının gereksiz sayfaları taramasını engelleyerek sitenizin tarama bütçesini verimli kullanmasına yardımcı olur.
Sonuç: Robots.txt Dosyanızı SEO Uyumlu Hale Getirin
Robots.txt, web sitenizin arama motorları tarafından nasıl taranacağını belirleyen kritik bir dosyadır. Yanlış bir yapılandırma, sitenizin indekslenmesini engelleyebilir veya SEO performansınızı düşürebilir.
Web sitenizin SEO’sunu en iyi seviyeye çıkarmak için robots.txt dosyanızı düzenli olarak kontrol edin ve optimize edin!
