Robots.txt Kullanımı ve Test Aracı

Arama motorlarına Robots.txt yardımı ile web sitenizin indekslenmesini  istediğiniz sayfaları, klasörleri  robots dosyasına yazacağınız komutlar ile  gerekli erişimleri vererek indeksletebilirsiniz. Veya indekslenmemesini istediğiniz sayfalarını, klasörleri, dosyaları engelleyebilirsiniz.

Robots.txt Kullanımı;

User-Agent: * (Komutu tüm arama motorlarının botlarının sitenizi takip etmesini sağlar. )

Ayrıca

User-agent: Googlebot

User-agent: Bingbot

User-agent: YandexBot  gibi istemediğiniz botların sitenizi takip etmesini istemiyorsanız bu botları robots dosyanızda kullanarak gerekli dosyalara kısıtlama veya erişim getirebilirsiniz.

Aşağıdaki örnekte Google Bot üzerinde bir adet sayfa ve klasör engellemesi yapalım;

Örnek;

User-agent: Googlebot

Disallow: /admin

Disallow: /sayfa-engelleme. html

Robots.txt Test Aracı;

Robots.txt dosyanızın, Google arama motorunda erişmemesini istediğiniz URL'lere erişimini engelleyip engellemediğini gösterir.

Bu araç ile Google Botlarının erişmesini engellemek istediğiniz bir sayfa URL'sinin taranmasının açık olup olmadığını test edebilirsiniz. Robots.txt Test Aracı'nın kullanımı ise çok basit resimde gösterildiği gibi URL göndererek sayfanızın engellenip, engellenmediğini görebilirsiniz.

Robots.txt Test aracı, Googlebot gibi çalışır ve URL'nizin düzgün şekilde engellenmiş olduğunu doğrular. Bu adresten ulaşabilirsiniz.

Robots dosyası doğru bir şekilde test edilerek kullanılmaz ise sitenizin trafik aldığı sayfaları yanlışlıkla erişime kapatabilirsiniz buda trafik kaybına neden olur.