Yükleniyor...
Arama motorlarına Robots.txt yardımı ile web sitenizin indekslenmesini istediğiniz sayfaları, klasörleri robots dosyasına yazacağınız komutlar ile gerekli erişimleri vererek indeksletebilirsiniz. Veya indekslenmemesini istediğiniz sayfalarını, klasörleri, dosyaları engelleyebilirsiniz.
Robots.txt Kullanımı;
User-Agent: * (Komutu tüm arama motorlarının botlarının sitenizi takip etmesini sağlar. )
Ayrıca
User-agent: Googlebot
User-agent: Bingbot
User-agent: YandexBot gibi istemediğiniz botların sitenizi takip etmesini istemiyorsanız bu botları robots dosyanızda kullanarak gerekli dosyalara kısıtlama veya erişim getirebilirsiniz.
Aşağıdaki örnekte Google Bot üzerinde bir adet sayfa ve klasör engellemesi yapalım;
Örnek;
User-agent: Googlebot
Disallow: /admin
Disallow: /sayfa-engelleme. html
Robots.txt Test Aracı;
Robots.txt dosyanızın, Google arama motorunda erişmemesini istediğiniz URL'lere erişimini engelleyip engellemediğini gösterir.
Bu araç ile Google Botlarının erişmesini engellemek istediğiniz bir sayfa URL'sinin taranmasının açık olup olmadığını test edebilirsiniz. Robots.txt Test Aracı'nın kullanımı ise çok basit resimde gösterildiği gibi URL göndererek sayfanızın engellenip, engellenmediğini görebilirsiniz.
Robots.txt Test aracı, Googlebot gibi çalışır ve URL'nizin düzgün şekilde engellenmiş olduğunu doğrular. Bu adresten ulaşabilirsiniz.
Robots dosyası doğru bir şekilde test edilerek kullanılmaz ise sitenizin trafik aldığı sayfaları yanlışlıkla erişime kapatabilirsiniz buda trafik kaybına neden olur.
Popüler Yazılar 
Google analytics içerisinde yer alan User ID kurulumunun GTM üzerinden nasıl yapılır?
Google Ads yapay zekaya dayalı otomatik teklif modelleri
Programatik reklamcılık nedir
Modern mobil teknolojileri hakkındaki yazımızı keyifle okuyabilirsiniz.
SEO rehberi akılda kalıcı içeriği ve sade anlatımıyla Sempeak Blog'da. SEO hakkında temel bilgiler edinmek için hemen sayfamızı ziyaret edin...
Web Summit Nedir?Bundan 10 yıl öncesinde hiç var olmayan ama bu yıl 8.si düzenlendiğinde son güne doğru 100.000’e yakın katılımcı, yüzlerce...
Google Ads yeni panelini duyurduktan sonra hesap yöneticilerinin ihtiyaçları doğrultusunda sürekli olarak yeni güncellemeler yayınlanmaya de...
Google, yeni Ads paneliyle birlikte, hesap optimizasyonlarını kolaylaştırmaya yönelik güncellemelerine devam ediyor. Her yeni güncellemeyle...
Google resmi blok sayfasında duyarlı (responsive) arama ağı reklamlarını duyurdu. Yeni Google Ads panelinde duyarlı arama ağı reklamları baz...
Günümüzde mobil organik trafik oranları giderek artmakta ve mobil SEO da giderek artan bir önem taşımaktadır. Sitelerin sadece mobil versiyo...
Google yeni reklam arayüzünü hayata geçirdikten kısa süre önce Google AdWords'ün adının Google Ads olarak değiştirileceğini duyurmuştu.
Google Tag Manager adını bir yerlerden duydunuz ve tam olarak ne işe yaradığını, işinize nasıl bir katkı sunacağını merak ediyorsunuz. Ben d...
RTB yani Gerçek Zamanlı Teklif modeli ile çalışan programatik ile tüm reklam alanlarına neredeyse ulaşabilmektesiniz. Programatik ile dynami...
Google Tag Manager web sitenizdeki etiketlerin yönetimi için giderek vazgeçilmez bir araç olmaya başladı. Siz de bu sitedeyseniz muhtemelen...
Son yıllarda giderek güçlenen bir hizmet alanı olan araç kiralama sektörü, ihtiyaçlara bağlı olarak ulaşımda farklı ve pratik alternatif ara...
Local SEO çalışmalarında aramalar yerel seviyeye indirgenebilir. Küçük ya da orta büyüklükteki firmalara uygulanabilirliği olan bu çalışmala...
Google Adwords yeni yayınladığı güncellemede Ek Açıklamalı Snippet (structed snippet) Uzantılarının Türkiye'de artık aktif olarak kullanılab...
Birden fazla ülkede ve dilde hizmet veren web siteniz varsa SEO çalışmanız da bu yönde farklılaşacaktır.
