“Robots.txt tarafından engelleniyor olsa da dizine eklendi” Sorunu

Yazar: SEMVESEO - Tarih: 3 Nisan 2018

Eski adıyla “Webmaster Tools”, yeni adıyla “Search Console” olan ve Google tarafından webmasterlar ile iletişim kurma amacı taşıyan panelde, ekli siteler hakkında uyarılarla karşılaşmak mümkün. Bu uyarılar, site sahibinin sitesi ile ilgili Google penceresinden incelenerek tespit edilmiş sorunları düzeltmelerini sağlamayı amaçlıyor. İşte bu uyarılardan birisi, ilk okuduğumuzda çok anlamsız gelen, “Robots.txt tarafından engelleniyor olsa da dizine eklendi” başlıklı uyarı. Bu uyarıya göre her ne kadar site sahibi sitesindeki bazı sayfaların indekslenmemesini istemiş olsa da, Google bu talebi göz ardı edip, sayfaları indekslemiş.

Örneğin SEMVESEO sitesindeki /etiket/ sayfalarının indekslenmemesini robots.txt’te bulunan

Disallow: /etiket/

satırı ile istedik ancak Google, webmaster toolsta bize “Robots.txt tarafından engelleniyor olsa da dizine eklendi” uyarısını, 3 etiket sayfası için verdi. Yani, “sen istemesen de ben indekslerim”, dedi.

Google’ın konu ile ilgili açıklaması ise şu şekilde: robots.txt dosyasında indekslenmesi istenmeyen sayfaları normalde indekslemeyiz ancak başka sitelerden bu indekslenmeyen sayfalara bağlantı verilmişti, gerçekten bu sayfaların indekslenmesini isteyip istemediğiniz hususunda tereddüt yaşarız ve indeksleriz. Eğer bu sayfaların kesinlikle indekslenmemesini istiyorsanız, noindex etiketi kullanın ya da sayfalara girişi şifreli hale getirin.

Anladığımız kadarıyla Google, “meğer link verilmiş, demek ki burada değerli bir bilgi var”, diye düşünüyor ve bilginin arşivinde yer almasını istiyor. Ama noindex etiketi kullanılmışsa, bağlantıları önemsemiyor ve sayfayı indekslemiyor. Şimdi etiket sayfalarına noindex etiketi koyalım ve sonucu görelim.

WordPress Sitelerde Sadece Etiket Sayfalarında noindex etiketini Yerleştirmek:

WordPress sitenizde sadece etiket sayfalarında noindex etiketi çıksın istiyorsanız, temanızın header.php dosyasını açın ve <head>-</head> arasında şu kodu ekleyin(kodu eklerken koddaki yıldız işaretlerini siliniz):

<***?php if ( is_tag() ) { ?>
<***meta name=”robots” content=”noindex”>
<***?php } ?>

SON KULLANILAN ve SONUÇ ALINAN ÇÖZÜM:

Search Console’a hala hata görmem nedeniyle sitemap dosyasını kontrol ettim. Yoast SEO kurulu sitedeki sitemap dosyasında etiketler de yer alıyormuş. Yoast SEO ayarlarından (Search Appereance/Kategoriler sayfasındaki Etiketler bölümü) etiketlerin sitemapde gözükmesini engelledim(NO’yu seçeceksiniz). Sitemap’den etiketler kaldırıldıktan yaklaşık 10 gün sonra webmaster tools’tan, “sorun çözüldü” diye mesaj geldi.

Blogger’daki Arşiv Safyaları için Noindex Etiketi Ekleme:

Yorumlarda soruyla karşılaşınca araştırdım. Blogger’daki arşiv sayfalarının indekslenmemesi için şunları uygulayabilirsiniz:

1- Üye girişi yaptıktan sonra sol üstten blogunuzu seçin ve Ayarlar > Arama Seçenekleri menüsünü takip edin. “Gezginler ve Dizin Oluşturma” bölümünde yer alan “Özel robots.txt” kısmının sağındaki düzenleye basın. Evet’i seçtiğinizde açılan alana, aşağıdaki kodu yapıştırıp değişikliği kaydedin:

User-agent: *
Disallow: /search/label/

Bu sayede robots.txt dosyasında, arşivlerin indekslenmemesi için gerekli kodu girmiş olursunuz.

2- Yukarıdaki ayar sayfasında, “Özel robot başlık etiketleri” bölümünde Düzenle’ye ve sonra Evet’e tıklayın. Açılan alandaki “Sayfaları Arşivle ve Arama Yap” bölümünde noindex’i seçin ve kaydedin.

Bunların dışında:

Tema dosyasında <head>-</head> arasın şu kodun eklenmesi halinde sadece arşiv sayfalarında noindex etiketinin çıkacağı söylense de, denemelerimde bunu göremedim. Siz de deneyebilirsiniz:

<!–Begin noindex,noarchive archive pages –>
<b:if cond=’data:blog.pageType == &quot;archive&quot;’>
<meta content=’noindex,noarchive’ name=’robots’/>
</b:if>
<!–End noindex,noarchive archive pages –>

Bunları yaptıktan sonra Google Search Console’daki robots.txt deneme aracından, yaptıklarınızın işe yarayıp yaramadığını denetleyebilirsiniz.

Kategori: SEO Etiket: #, #

““Robots.txt tarafından engelleniyor olsa da dizine eklendi” Sorunu” için 7 Yorum