Robots Txt Yapımı

Yazar: SEMVESEO - Tarih: 27 Eylül 2017

Robots.txt, arama motoru örümceği ile iletişim kurmanızı sağlayan oldukça basit yapılı bir dosyadır. Dosya ile arama motoruna, sitenizde bulunan hangi alanların arama motorunun hafızasına alınıp alınmayacağını söyleyebilirsiniz. Aslında arama motoru siz izin vermeseniz de ulaşabildiği her veriyi veritabanına alıyor ama arama motoru kullanıcısına sunmuyor.

Kaynağı ziyaret ettiğinizde ayrıntılı olarak robots.txt dosyası yapımını öğrenebilirsiniz. Dikkat edilmesi gereken husus ise indekslenmesini istediğiniz sayfaları yanlışlıkla indekslenme diye nitelememek.

En sık kullanılan robots.txt dosyaları:

1- Sitemi hiç indeksleme:

user-agent: *
disallow: /

2- Sitemi indeksle ama şu sayfayı ya da klasörü indeksleme:

user-agent: *
disallow: /sayfa.html
disallow: /klasor/

Görüldüğü üzere indekslenmesini istemediğimiz alanların başına “disallow:” yazmak yeterli.

Dosyayı txt uzantısını ile kaydedip, sitemizin ana dizinine de attık mı, bu iş tamamdır.

Kategori: SEO Etiket: #, #