Robots.txt Dosyası Nedir? Nasıl Kullanılır?
Gün geçtikçe gelişimi ve bir bilinç oluşturmasıyla nice heyecan verici olayları önümüze getirmesi beklenen algoritmaların arama motoru optimizasyonlarında tarama botları ile karşımıza çıktığını bilmekteyiz. Google tarafından oluşturulan Googlebot gibi verilebilecek bu tarama botlarının siteyi tararken ihtiyacı olan rehberliği sağlama yolunda en yardımcı araçlardan biri ise Robots.txt dosyasıdır.
Robots.txt Dosyası Nedir?
Robots.txt dosyası, arama motoru tarama botlarının web sitesinin içinde ögeleri dizinine ekleme sürecinde hangi alanları tarayabileceği veya tarayamayacağı konusunda botlara komut veren bir metin dosyasıdır. Botların, ilgili web sitesini dizinine eklemek için geldiğinde ilk olarak kontrol ettiği dosya olan robots.txt dosyası bir nevi dizine ekleme sürecinde botlara rehberlik sağlamaktadır.
Robots.txt Niçin Kullanılır?
Google, web sitelerin önemli ögelerini tanımlayıp dizine ekleme konusunda iyi performans sergilemekte. Doğru sayfaların dizine eklenmesi konusunda robots.txt dosyası büyük bir bağlayıcılık oluşturmamakta; taranmasının SEO performansına veya tarama bütçesine bir katkısı olmayan veya olumsuz etkisi bulunan ögelerin taranmasını da en başından engellemek adına robots.txt’de doğru komutu eklemek önemlidir.
Robots.txt ve Noindex Arasındaki Fark Nedir? Nasıl Kullanılmalıdır?
Web sitemizde bulunan ögelerin tümünün arama motorunda görüntülenmesi planlar dahilinde olmayabilir. Bu durumda bu ögelerin kullanılmaması için robots.txt dosyası haricinde kullanılan çözümlerden biri de ”noindex” etiketidir. Temel fark: Arama motoru sonuçlarında görüntülenmesini istemediğimiz durumlarda, ögenin dizine eklenmemesi, eklenmiş ise dizinden çıkarılması gibi operasyonlar için ”noindex” kullanılması önerilirken; ilgili ögenin taranıp dizine eklenme sürecini ilk adımda engellemek adına robots.txt kullanılmalıdır.
Sayfanın dizine eklenmesini engellemek adına noindex verildiği takdirde robots.txt’den de taramaya kapatılmamalıdır. Robots.txt’den taranması engellenen öge Googlebot taraıfndan taranıp noindex etiketini göremeyeceğinden sayfa dizinde bulunmaya devam edecektir.
Robots.txt Nasıl Oluşturulur?
Metin dosyası oluşturulabilen tüm uygulamalarla oluşturulabilecek olan robots.txt dosyası, web sitesinin kök dizininde bulunması gerekmektedir. Ayrıca Googlebot’un tanıyıp anlamlandırabildiği karakter biçimi olan UTF-8 şeklinde kodlanmalıdır.
Robots.txt Komutları Nelerdir?
Robots.txt dosyasının asıl amacı tarama botlarına emir vermekken bu emirler belirli başlı komutlarla verilmektedir. Ayrıca hangi botların hangi komutu dikkate alması gerektiği de benzer kelimelerle tetiklenmektedir.
User-agent: User-agent, tüm verilen komutlarının bütün arama motoru botlarını ilgilendirdiğini gösteren tanımlamadır. User-agent:* kullanımı ile bütün botlara emir verilmektedir.
Disallow: Disallow, tarama botunun belirtilen alanı, ögeyi veya web sitesinin tümünü taramasını engelleyen robots.txt komutudur.
Allow: Türkçesi ”izin ver” olan Allow ise tarama botlarının ilgili alanı veya web sitesinin bütününü taramasına izin veren komuttur.
Robots.txt ve RegEx Arasındaki İlişki Nedir?
Düzenli ifadeler olarak adlandırılan biçimsel dil yazımı olan RegEx, işlemcinin komutları anlamasına yardımcı olmaktadır. Örnek olarak ”bütün”ü ifade eden ”*” kullanımı ile tarama botlarının tümünü çağırabilirsiniz veya tüm belirtilen alanın taranmasını sağlayabilirsiniz.
Örnek Robots.txt Kullanımları Nelerdir?
Sitenin tüm arama botlarına açılıp, siteyi aranmasına izin verilmesi için kullanım bu şekildedir:
User-agent:*
Allow: /
Sitenin tüm aranma botlarına açılıp, taranmasına izin verilmemesi ise şu şekildedir:
User-agent:*
Allow: /
Sitenin tüm aranma botlarına açılıp, /example/ dosyasının taranmasına izin verilmemesi şu şekildedir:
User-agent:*
Disallow: /example/
Sitenin tüm aranma botlarına açılıp, example dosyası içindeki ornek sayfasının taranmaması şu şekildedir:
User-agent:*
Disallow:/example/
Allow:/example/ornek/
SEO Performansının temelinde tarama bütçesini efektif kullanmak için değerli dosyalardan biri olan robots.txt dosyası ve neden kullanımının olumlu etki yarattığı hakkında açıklayıcı bir içerik oluşturmaya çalıştık. Dileriz faydalı olmuştur.
Kaynaklar:
Robots.txt Dosyası Nasıl Yazılır ve gönderilir?
Henüz yorum yapılmadı.
Yorum Yaz