Tarama Bütçesi Nedir? Nasıl Optimize Edilir?

İngilizcesi ‘Crawl Budget’ olan tarama bütçesi, Google’ın bir web sitesini değerlendirmeye alma sürecinde, Google botlarının sitenizdeki sayfalardan kaç tanesinin gezildiğini gösteren bir terimdir. Tanımdan da anlaşılacağı üzere söz konusu terimi ifade etmede kullanılan ‘bütçe’ kelimesi parasal değerden çok bir yoğunluğa işaret etmektedir.

Birçok web sitesi sahibi tarama bütçesi hakkında bilgi sahibi olsa da pek önem göstermez ancak tarama bütçesi önemli bir konudur. Göz ardı edildiğinde web sitesinin performansında düşüş yaşanabilmektedir. Nitekim bir sitenin tarama bütçesi, sınırının altında olması halinde söz konusu sitenin indeks alan sayfaları hem arama sonuçlarında geriye düşecek hem de buna paralel olarak sitenin değerinde azalma yaşanacaktır.

Tarama Bütçesi Nasıl Hesaplanır?

Tarama bütçesi gayet basit bir şekilde hesaplanabilir: Dizine eklenen toplam sayfa sayısı/günlük taranan sayfa sayısı şeklinde formüle edilebilir. Peki web sitenizin tarama bütçesini nasıl hesaplayabilirsiniz? Sorunun cevabını maddeler halinde verelim:

• İlk aşamada Google Search Console’e giriş yapmalısınız.
• Akabinde Google dizini ve dizin durumu kısımlarını açmalısınız. Bunun ardından karşınıza bir takım istatistikler çıkacak ve burada dizine eklenen toplam sayfa sayısını görebileceksiniz.
• Sonrasında Google Search Console’de tarama ve tarama istatistiklerini kısmını açmalısınız. Burada karşısınıza çıkacak istatistikte ise günlük taranan sayfa sayısını görebileceksiniz.

Yukarıda verdiğimiz yönlendirmeler neticesinde tarama bütçesini hesaplamak için gerekli istatistikleri elde etmiş olacaksınız. Örnek olarak dizine eklenen toplam sayfa sayısının 1200 olduğunu düşünelim. Günlük tarama yapılan sayfa sayısının ise ortalama değerinin 400 olduğunu farz edelim. Yukarıda verdiğimiz formülü uygularsak tarama bütçesinin 1200/400=3 değerinde olduğunu göreceğiz.

Peki tarama bütçenizin 3 değerinde çıkması neyi ifade ediyor? Öncelikle tarama bütçenizin değerinin küçük ya da büyük çaplı fark etmeksizin siteniz için çok önemli olduğunun altını bir kez daha çizelim. Eğer sitenizin tarama bütçesi 10 ve üzeri ise bu acilen sitenizle ilgili optimizasyon çalışmalarına başlamanız gerektiğini gösteriyor. Eğer 3’ün altında bir değer çıkıyor ise konu ile ilgili endişelenmenize gerek yok demektir.

Tarama Bütçesini Etkileyen Faktörler Nelerdir?

Web sitenizin tarama bütçesini temel olarak dört faktör etkilemektedir. Şimdi sırasıyla bu faktörleri ele alalım:

1) Google Dizinine Eklenen Toplam Sayfa Sayısı

Google botları düzenli olarak web sitenizi ziyaret eder. Her ziyaret gerçekleştirdiğinde hem site haritanızı hem de indekslenen sayfalarınızı inceleme altına alır. Yapılan incelemeler neticesinde yeni bağlantılar bulunması halinde yeni bağlantılarınız kategorize edilerek arama sonuçlarında gösterilmeye başlanır. Öte yandan bu durum yeni bağlantılarınız en üst sıralarda gösterileceği anlamına gelmemektedir. Nitekim sıralamanızı etkileyecek onlarca faktör bulunmaktadır. Yeni bağlantılar bu doğrultuda indekslendikten sonra Google botları bunları düzenli aralıklarla taramaya devam eder ve varsa değişikliklerin tespiti yapılır. Sitenizin indeks sayısını Google Search Console üzerinden ulaşabilirsiniz.

2) Site Boyutu

Bu faktör hakkında Google botlarının sitenizde yer alan dosyalarınızın büyük olmasından hoşlanmadığını belirtmekte fayda var. Çünkü görsel, html dosyaları, css ve javascript gibi dosyalar ne kadar büyük olursa Google botlarının ayırması gereken vakit o kadar artar ve netice itibarıyla sitenizi daha az sıklıklarla ziyaret etmeye başlar. Öte yandan sitenizin değeri de düşük seviyede ise Google botlarının sitenizi ziyaret etme sıklığı ve süresi daha da azalır. Bundan dolayı söz konusu dosyaların boyutlarının küçük olması elzemdir.

3) Site Hızı

SEO çalışmaları ile ilgili genel bir bilgisi olanlar bile site hızının ne kadar önemli olduğunu bilir. Öte yandan sitenizin hızı yalnızca ziyaretçilerinizi değil Google botlarını da ilgilendirmektedir. Nitekim mantıken siteniz ne kadar hızlı ise sayfalarınız da hızlı açılacağından Google botları sayfalarınızı daha hızlı tarar. Bu da verim açısından Google botlarının hoşuna gittiğinden botlar tarafından sitenize yapılan ziyaret sayısı artış gösterir.

4) Backlinkler (Referans Linkleri)

Backlink sayınız ve içerik kaliteniz tarama bütçenizi etkileyen en önemli faktörler arasında yer almaktadır. Nitekim Google botları herhangi bir siteyi ziyaret ettiğinde, o site içerisinde yer alan linkleri de tarar ve o linklerin olduğu sayfaları ziyaret eder. Yani X sitesinde backlinkiniz varsa Google botları o siteyi incelerken sizin sitenize de uğramış olur. Mantıken de backlink sayınız ne kadar fazla ve nitelikli olursa, Google botlarının sizin sitenizi ziyaret etme sayısı da artar. Bu sayınızı artıracak doğal bağlantılar için ise kaliteli içeriklere sahip olmanız gerekmektedir. Bu durum da tarama bütçenizi olumlu yönde etkiler.

Tarama Bütçesi Nasıl Optimize Edilir?

Tüm bu bilgilerin ardından tarama bütçesinin nasıl optimize edileceği sorusu akıllara geliyor. Daha önce de belirttiğimiz gibi sitenizin tarama bütçesi 10 ve üzerinde çıkıyorsa acilen tarama bütçesi optimizasyonuna başlamanız gerekiyor. Eğer tarama bütçesi 3 değerinin altında ise tarama bütçenizin gayet iyi olduğu söylenebilir. Öte yandan tarama bütçesi optimizasyonu yalnızca tarama bütçesi kötü olan siteler için değil, tarama bütçesi halihazırda iyi siteler için de yapılmalıdır. Nitekim bu değeri korumak ve hatta daha da iyileştirmek sitenize fayda sağlayacaktır. Peki tarama bütçesi optimizasyonu nasıl olur? Cevabı sizler için genel hatlarıyla sıraladık:

1) Yönlendirme İle İlgili Teknik Problemlerin Giderilmesi

Sitenizde yönlendirme ile ilgili problemler, kırık linkler ve ilgisiz sayfalara yönlendirme linkleri bulunuyorsa Google botlarının işini zorlaştırır. Bu da sitenizin tarama bütçesinin düşük olma sebepleri arasında yer alır. Dolayısıyla yönlendirme ile ilgili konuya dikkat edilmesi gerekmektedir.

2) Sitenizin Gereksiz Dizinleri Engellenmeli

Google botlarının işini kolaylaştırmak yani tarama bütçesi optimizasyonu yapmak için yapılması gereken bir diğer iş ise sitenizdeki gereksiz dizinleri engellemektir. Örneğin bir e-ticaret sitesinde yer alan kargo bilgileri sitenizin gereksiz dizinleri arasında yer alır. Google botlarının her gelişinde bunları boş yere incelemeleri tarama bütçenizi olumsuz yönde etkiler. Bu yüzden bu gibi gereksiz dizinler Google botlarının her gelişinde taranmaması için engellenmelidir. Bu işlemin nasıl yapılacağına dair teknik detayları bir sonraki konu başlığımız altında bulabilirsiniz.

3) Daha Fazla Sayıda ve Yüksek Kalitede Backlinkler Almalısınız

Google nezdinde değeri yüksek olan sitelerden ne kadar organik backlink alabilirseniz Google botları referans aldığınız web siteleri ziyaret ettiğinde, bağlantılardan size de uğrayacaktır. Dolayısıyla bu da tarama bütçenize olumlu bir etkide bulunur.

Tarama Bütçesini Olumsuz Etkileyen Faktörler

Yazımızın bu bölümünde tarama bütçesini olumsuz olarak etkileyen etmenleri madde halinde sıralandırdık:

• Aynı sayfayı açan birden fazla URL olması,
• 301 ve HTTPS’e geçiş sonrası yanlış yapılandırmalar,
• Canonical yapılandırma hataları,
• Taranmaması gereken dizinlerin engellenmemesi,
• Taranmaması gereken URL’lerin site haritasında yer alması,
• Web sitesindeki içeriklerin optimize edilmemiş olması,
• URL parametrelerine ait tanımlamaların yapılmaması.

Bunlarla beraber ülkemizde ve global anlamda en çok kullanılan CMS alt yapılarından olan WordPress ve Opencart e-ticaret sitelerine ait tarama bütçesini en çok olumsuz etkileyen faktörleri gidermek için yapılması gereken robots.txt düzenlemelerine göz atalım:

WordPress Tarama Bütçesini Optimize Etmek için Örnek Robots.txt Dosyası:

WordPress’e ait aşağıda sunduğumuz Disallow komutlarıyla, sitenizin indeksini oluşturan bir çok gereksiz URL’yi kaldırarak, Googlebot’ların sitenizi sağlıklı bir şekilde taramasına imkan vermiş olursunuz.

WordPress Robots.txt İçeriği

User-agent: *
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /cgi-bin/
Disallow: /feed/
Disallow: /trackback/
Disallow: /*.cgi$
Disallow: /tag/ #istek doğrultusunda
Disallow: /category/ #istek doğrultusunda
Allow: /wp-admin/admin-ajax.php
User-agent: Googlebot-Image
Disallow: /wp-includes/

Opencart Tarama Bütçesini Optimize Etmek için Örnek Robots.txt Dosyası:

WordPress de olduğu gibi Opencart siteniz için de gereksiz URL’lerin dizine eklenmesini engellemek için Robots.txt dosyasını aşağıdaki şekilde düzenleyebilirsiniz:

User-agent: *

Allow: /
Disallow: /admin/
Disallow: /system/
Disallow: /download/
Disallow: /*?limit=*
Disallow: /*?limit*
Disallow: /*&limit=*
Disallow: /*?sort=*
Disallow: /*?sort*
Disallow: /*&sort=*
Disallow: /*?order=*
Disallow: /*?order*
Disallow: /*&order=*
Disallow: /special?limit=*
Disallow: /*=DESC
Disallow: /*=ASC
Disallow: /*=rating*

Robots.txt komutları ardından Google Search Console aracılığıyla ulaşacağınız “URL Parametleri” sekmesinden de, parametlerinizi kontrol edip, Googlebot’larının indekslemesi, indekslememesine ait geri bildirimlerde bulunmalısınız.

Tarama bütçesi ile ilgili merak edilenleri sizler için bu yazıda özetlemeye gayret ettik. Bu konu ya da SEO çalışmaları hakkında başka bir sorunuz olursa SEO uzmanına sor kısmından bizlere danışabilirsiniz.

Kaynak: https://www.stratejikseo.com/tarama-butcesi-nedir-nasil-optimize-edilir/

< Bu mesaj bu kişi tarafından değiştirildi Stratejik SEO -- 20 Aralık 2018; 18:41:21 >

Tarama Bütçesi Nedir? Nasıl Optimize Edilir?

Benzer içerikler