Arama motorlarına Robots.txt yardımı ile web sitenizin indekslenmesini istediğiniz sayfaları, klasörleri robots dosyasına yazacağınız komutlar ile gerekli erişimleri vererek indeksletebilirsiniz. Veya indekslenmemesini istediğiniz sayfalarını, klasörleri, dosyaları engelleyebilirsiniz.
Robots.txt Kullanımı;
User-Agent: * (Komutu tüm arama motorlarının botlarının sitenizi takip etmesini sağlar. )
Ayrıca
User-agent: Googlebot
User-agent: Bingbot
User-agent: YandexBot gibi istemediğiniz botların sitenizi takip etmesini istemiyorsanız bu botları robots dosyanızda kullanarak gerekli dosyalara kısıtlama veya erişim getirebilirsiniz.
Aşağıdaki örnekte Google Bot üzerinde bir adet sayfa ve klasör engellemesi yapalım;
Örnek;
User-agent: Googlebot
Disallow: /admin
Disallow: /sayfa-engelleme. html
Robots.txt Test Aracı;
Robots.txt dosyanızın, Google arama motorunda erişmemesini istediğiniz URL'lere erişimini engelleyip engellemediğini gösterir.
Bu araç ile Google Botlarının erişmesini engellemek istediğiniz bir sayfa URL'sinin taranmasının açık olup olmadığını test edebilirsiniz. Robots.txt Test Aracı'nın kullanımı ise çok basit resimde gösterildiği gibi URL göndererek sayfanızın engellenip, engellenmediğini görebilirsiniz.
Robots.txt Test aracı, Googlebot gibi çalışır ve URL'nizin düzgün şekilde engellenmiş olduğunu doğrular. Bu adresten ulaşabilirsiniz.
Robots dosyası doğru bir şekilde test edilerek kullanılmaz ise sitenizin trafik aldığı sayfaları yanlışlıkla erişime kapatabilirsiniz buda trafik kaybına neden olur.
Farklı bölgelerden gelen kullanıcılara sitenizde daha iyi bir kullanıcı deneyimi sunmak için kullanılabilecek yöntemler.
Google yapısal veri kod yapısı, türleri ve kullanım amaçlarını inceleyin. Structured data nedir sorusunu cevaplayarak siteniz için rich sni...
URL hakkında merak ettiğiniz tüm sorularınıza bu yazımızdan ulaşabilirsiniz.
Google cezalarının nedenleri, etki dereceleri ve bu cezalardan kaçınmak için dikkat edilmesi gereken püf noktalara Sempeak Blog ile ulaşabil...
Click-Bait ne demek ve SEO dostu içerik başlığından farkları nelerdir?
Pogo Sticking ve Bounce Rate (Hemen Çıkma Oranı) iki SEO terimini, birbirlerinden ayıran temel özellikleri nelerdir? Karıştırılmaması gereke...
Java Script ile site içerisindeki bilgileri kolaylıkla okuyup gelişmiş e-ticaret kurulumunun yapılmasını kolaylık sağlayabiliiriz.
Google Analytics üzerinde kullanıcıları davranışlarına göre nasıl ayırt edebileceğimiz hakkında merak edilenler burada.
Beta sürümdeki Lighthouse 6 ile gelen yeni metrikler ve hayatımızda var olan metriklerin puanlarını nasıl arttırabiliriz?
Facebook reklamlarından sitemize gelen kullanıcıların davranışlarını nasıl takip ederiz? Detaylar yazımızda.
Regex kısaca hedefleme ifadeleridir. Bu yazımızda regex ifalerinin tanımlamaları hakkında bahsettik.
Corona virüsünün (Covid-19) SEO ve Digital Pazarlama'ya sektörel etkilerini, güncel veriler ile inceleyip bilgi edinmek için Sempeak Blog ad...
Covid-19 SEO’ya da bulaştı ve markaların SEO performanslarını etkiledi. Coronavirüs etkisiyle SEO stratejilerinde neler değişti Sempeak Blog...
Google analytics içerisinde yer alan User ID kurulumunun GTM üzerinden nasıl yapılır?
Google Ads yapay zekaya dayalı otomatik teklif modelleri
Programatik reklamcılık nedir
Modern mobil teknolojileri hakkındaki yazımızı keyifle okuyabilirsiniz.
SEO rehberi akılda kalıcı içeriği ve sade anlatımıyla Sempeak Blog'da. SEO hakkında temel bilgiler edinmek için hemen sayfamızı ziyaret edin...
Birden fazla ülkede ve dilde hizmet veren web siteniz varsa SEO çalışmanız da bu yönde farklılaşacaktır.
Web Summit Nedir?Bundan 10 yıl öncesinde hiç var olmayan ama bu yıl 8.si düzenlendiğinde son güne doğru 100.000’e yakın katılımcı, yüzlerce...
Google Ads yeni panelini duyurduktan sonra hesap yöneticilerinin ihtiyaçları doğrultusunda sürekli olarak yeni güncellemeler yayınlanmaya de...
Google, yeni Ads paneliyle birlikte, hesap optimizasyonlarını kolaylaştırmaya yönelik güncellemelerine devam ediyor. Her yeni güncellemeyle...
Google resmi blok sayfasında duyarlı (responsive) arama ağı reklamlarını duyurdu. Yeni Google Ads panelinde duyarlı arama ağı reklamları baz...
Günümüzde mobil organik trafik oranları giderek artmakta ve mobil SEO da giderek artan bir önem taşımaktadır. Sitelerin sadece mobil versiyo...
Google yeni reklam arayüzünü hayata geçirdikten kısa süre önce Google AdWords'ün adının Google Ads olarak değiştirileceğini duyurmuştu.
Google Tag Manager adını bir yerlerden duydunuz ve tam olarak ne işe yaradığını, işinize nasıl bir katkı sunacağını merak ediyorsunuz. Ben d...
RTB yani Gerçek Zamanlı Teklif modeli ile çalışan programatik ile tüm reklam alanlarına neredeyse ulaşabilmektesiniz. Programatik ile dynami...
Google Tag Manager web sitenizdeki etiketlerin yönetimi için giderek vazgeçilmez bir araç olmaya başladı. Siz de bu sitedeyseniz muhtemelen...
Son yıllarda giderek güçlenen bir hizmet alanı olan araç kiralama sektörü, ihtiyaçlara bağlı olarak ulaşımda farklı ve pratik alternatif ara...
Local SEO çalışmalarında aramalar yerel seviyeye indirgenebilir. Küçük ya da orta büyüklükteki firmalara uygulanabilirliği olan bu çalışmala...
Google Adwords yeni yayınladığı güncellemede Ek Açıklamalı Snippet (structed snippet) Uzantılarının Türkiye'de artık aktif olarak kullanılab...