WordPress Robots ayarları

Bir WordPress sitesini her denetlediğimiz de, önemli gördüğümüz ilk şeylerden biri WordPress robots.txt dosyasıdır. Uzun yıllarca binlerce siteyi inceledikten sonra, deneyimli web sitesi tasarımcılarının bile genellikle bu kritik SEO bileşenini gözden kaçırdığını gördük.

Yanlış hazırlanmış bir WordPress robots.txt dosyasının arama motorunda ki sıralamalara sessizce zarar verebileceğini öğrendik. Daha da kötüsü, neye bakacağınızı bilmiyorsanız, SEO sorunlarınızın kaynağının bu olduğunu asla fark etmeyebilirsiniz.

Bu makalede, WordPress robots.txt dosyalarını iyi duruma getirmek için size test edilmiş yaklaşımımızı paylaşacağız. Onlarca profesyonel WordPress sitesini yönetirken öğrendiğimiz her şeyi bugün izleyebileceğiniz net ve uygulanabilir adımlarla öğreteceğiz.

Robots.txt dosyası nedir?

Robots.txt, web sitesi sahiplerinin arama motoru botlarına sitelerindeki sayfaları nasıl tarayacaklarını ve dizine ekleyeceklerini anlatmak için oluşturabilecekleri bir metin dosyasıdır.

Genellikle web sitenizin kök dizininde (ana klasör olarak da bilinir) saklanır. Bir robots.txt dosyası için temel format şuna benzer:

User-agent: [user-agent name]
Disallow: [Taranmayacak URL dizesi]
  
User-agent: [user-agent name]
Allow: [Taranacak URL dizesi]
  
Sitemap: [XML Site Haritanızın URL'si]

Belirli URL’lere izin vermek veya vermemek için birden fazla talimat satırına sahip olabilir ve birden fazla site haritası ekleyebilirsiniz. Bir URL’ye izin vermezseniz, arama motoru botları bu URL’yi taramalarına izin verildiğini varsayar.

İşte bir WordPress robots.txt örnek dosyası nasıl görünebilir:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://www.alorik.com/sitemap_index.xml

Yukarıdaki robots.txt örneğinde, arama motorlarının WordPress uploads klasörümüzdeki dosyaları taramasına ve dizine eklemesine izin verdik.

Bundan sonra, arama botlarının eklentileri ve WordPress yönetici klasörlerini taramasına ve dizine eklenmesine izin vermedik.

Son olarak, XML site haritamızın URL’sini sağladık.

WordPress web sitesi için Robots.txt gerekli mi?

Siteniz robots.txt dosyası olmadan da çalışabilir, ancak robots.txt dosyaları iyi duruma getirilmiş sitelerin arama sonuçlarında daha iyi performans gösterdiğini sürekli olarak tespit ettik.

Çeşitli sektörlerdeki müşterilerimizle yaptığımız çalışmalarda, WordPress robots.txt aracılığıyla doğru tarama düzeneği yönetiminin önemli içeriğin daha hızlı dizine eklenmesi ve genel SEO performansının daha iyi olmasına nasıl yol açabileceğini gördük.

Bir WordPress web sitesine ilk başladığınızda ve çok fazla içeriğiniz olmadığı için bunun çok fazla etkisi olmayacaktır.

Ancak web siteniz genişledikçe ve daha fazla içerik ekledikçe, web sitenizin nasıl tarandığı ve dizine eklendiği üzerinde daha iyi kontrol sahibi olmak isteyebilirsiniz.

İşte nedeni;

Arama motorları her web sitesi için özellikle Google arama motorunun ‘tarama stoku’ olarak adlandırdığı bir stok programına ayırır. Bu, belirli bir zaman dilimi içinde tarayacağı sayfa sayısıdır.

Binlerce WordPress sitesi üzerinde yaptığımız testlerde, büyük sitelerin özellikle stratejik WordPress robots.txt yapılandırması yoluyla bu stoku iyi duruma getirmek fayda sağladığını gördük.

Örneğin, kurumsal müşterilerimizden biri önerdiğimiz robots.txt optimizasyonlarını uyguladıktan sonra tarama verimliliğinde %40 iyileşme gördü.

Arama botlarının WordPress yönetici sayfalarınız, eklenti dosyalarınız ve temalar klasörünüz gibi gereksiz sayfaları taramaya çalışmasına izin vermeyebilirsiniz.

Gereksiz sayfalara izin vermeyerek tarama kotanızdan tasarruf edersiniz. Bu, arama motorlarının sitenizdeki daha fazla sayfayı taramasına ve mümkün olduğunca çabuk dizine eklemesine yardımcı olur.

WordPress Robots.txt dosyası kullanmak için bir başka iyi neden de arama motorlarının web sitenizdeki bir gönderiyi veya sayfayı dizine eklemesini engellemek istediğiniz zamandır.

Bu, içeriği genel kullanıcıdan gizlemenin en güvenli yolu değildir, ancak içeriğin arama sonuçlarında görünmesini engellenmesne yardımcı olacaktır.

İyi bir Robots.txt nasıl olmalıdır?

Birçok popüler WordPress web sitesi çok basit bir WordPress robots.txt dosyası kullanır. İçerikleri, belirli bir sitenin ihtiyaçlarına bağlı olarak değişebilir:

User-agent: *
Disallow:
 
Sitemap: https://www.alorik.com/post-sitemap.xml
Sitemap: https://www.alorik.com/page-sitemap.xml
Sitemap: https://www.alorik.com/category-sitemap.xml

Bu robots.txt dosyası tüm botların tüm içeriği dizine eklemesine izin verir ve onlara web sitesinin XML site haritalarına bir bağlantı sağlar.

WordPress siteleri için robots.txt dosyasında aşağıdaki örneği öneriyoruz:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: https://www.alorik.com/post-sitemap.xml
Sitemap: https://www.alorik.com/page-sitemap.xml
Sitemap: https://www.alorik.com/category-sitemap.xml

Bu, arama botlarına tüm WordPress resimlerini ve dosyalarını dizine eklemesini ifade eder. Arama botlarının WordPress yönetici alanını, beni oku dosyasını ve gizlenmiş bağlı sayfa bağlantılarını dizine eklemesini engeller.

Robots.txt dosyasına site haritaları ekleyerek, Google botlarının sitenizdeki tüm sayfaları bulmasını kolaylaştırırsınız.

Daha fazla bilgi için whatsapp üzerinden veya bizi arayarak bilgi sahibi olabilirsiniz.