7 Adımda Tarama Bütçesi Optimizasyonu

Arama Motoru Botları İçin Web Sitesi Tarama Bütçesi Nasıl Optimize Edilir? Bu Blog İçeriğimizde Sizler İçin Detaylı Olarak Anlattık.

Muhittin Bilgin
Muhittin Bilgin - 10 Haziran, 2022 - 7 min read
7 Adımda Tarama Bütçesi Optimizasyonu

Arama Motoru Botları İçin Tarama Bütçenizi Optimize Edin

Arama motoru botları için web sitesi tarama bütçesini nasıl optimize edilir? Bu blog içeriğimizde web sitenizi, tarayıcılara (örümcek, bot) karşı nasıl daha kolay taranabileceğini ayarlamaya yardımcı olacak birbirinden faydalı 7 ipucunu öğreneceksiniz.

Tarama bütçesi optimizasyonu, arama motoru botlarının bir web sitesindeki sık sık taradığı fakat önemli olmayan sayfalar yerine kullanıcılar için fayda sağlayacak daha önemli sayfaları taramasını ve arama motoru sonuç sayfalarında daha üst sıralarda yer alması için yapılan bir takım optimizasyon çalışmalarıdır.

SEO uzmanları tarafından bazen tarama bütçesinin önemi anlaşılmamaktadır. Google büyük siteler için tarama bütçesi yönetimi adlı içeriğini okuyabilirsiniz. İlgili içerikte yer alan öneriler ne kadar çok büyük siteler için olsada biz binanın temellerini sağlam atmalıyız.

Tarama Bütçesi Nedir?

Tarama bütçesi, arama motoru botlarının web sayfamızda gezinme sıklığı ve süresi olarak tanımlayabiliriz. İnternette milyonlarca URL bulunmakta, arama motoru botlarının özellikle Google’ın bu URL taraması için harcayacağı zaman ve kaynaklar kısıtlıdır. 

tarama bütçesi nedir?

Arama motoru botlarının bir siteye ayıracağı zaman kısıtlı olduğundan dolayı her tarama sonucunda keşfedilen URL’in dizine eklenebileceğinin bir garantisi bulunmamaktadır.

Tarama bütçesi optimizasyonunu göz ardı etmemeniz durumunda, arama motoru botlarının web sitenizi ziyaret etme sıklığını ve harcayacağı süreyi artırabilirsiniz. Googlebot bir web sitesini ne kadar sıklıkla ziyaret ederse, yeni ve güncel içerikler o kadar hızlı bir şekilde dizine eklenecektir.

Google tarama bütçesini belirlerken, tarama kapasitesini ve tarama talebini gibi iki değeri değerlendirerek bir alan adı için harcayacağı süreyi belirlemektedir. Bu iki değer eğer ki düşük çıkarsa sitenizi daha az tarar.

Tarama Bütçesi Optimizasyonu Neden İhmal Ediliyor?

Tarama bütçesinin tek başına bir sıralama faktörü olmaması, bazı SEO uzmanları tarafından ihmal edilmektedir. Bu soruyu cevaplamak için Google'ın bu resmi blog gönderisine bakmanız yeterli.

Google tarafından yapılan açıklamalarda milyonlarca web sayfasına sahip değilseniz, tarama bütçesini endişe edilmemesi gerektiğini dile getiriyor. Web siteniz amazon, trendyol, hepsiburada veya n11 gibi bir site ise ve milyonlarca sayfaya sahipse o zaman tarama bütçesi optimizasyonu kesinlikle yapılmalıdır.

Tarama bütçesi optimizasyonu için yapılacak çalışmalar, kullanıcı deneyimi ve web sitesi sağlığı açısından oldukça önemlidir.

Tarama Bütçenizi Bugün Nasıl Optimize Edebilirsiniz?

Web siteniz için tarama bütçesini optimize etmek demek aslında, tarama esnasında süre ve kaynak israfı oluşturan nedenleri düzeltmektir. 

1. Robots.txt Dosyasını Yapılandırın

tarama bütçesi için robots.txt dosyası ile optimize edin

Googlebot ve diğer arama motoru botlarının web sitemizi ziyaret ettiğinde ilk kontrol ettiği yer robots.txt dosyasıdır. Arama motoru botları, tarama esnasında robots.txt dosyasında yer alan yönlendirmelere uymaktadır. Bu sebepten dolayı robots.txt dosyasında sizin için önemli olan sayfaların taranmasına ve önemsiz olan sayfaların taranmasını engelleyecek şekilde yapılandırma yapmalısınız. Tarama bütçesi optimizasyonu için robots.txt örneği:

user-agent: *

disallow: /sepet

disallow: /favorim

Yukarıda yer alan örnek robots.txt şablonunda web sitesinde dinamik olarak oluşan sayfaların taranmaması gerektiğini bildirilmektedir.

2. Yönlendirme Zincirlerine Dikkat Edin

Bir web sitesine girdiğiniz zaman bir ürüne ulaşmak için, X kategorisinden Y kategorisine, oradan da Z kategorisine yönlendirildiğini hayal ediniz. Bu olay ne kadar can sıkıcı bir durum değil mi? Ayrıca bir ürüne ulaşmak içinde epeyce bir zaman harcadınız.

Yukarıda verdiğimiz örnek hem kullanıcı deneyimini hem de arama motoru botlarını olumsuz etkilemektedir. Arama motoru botlarının da bir sayfayı taramadan başka bir sayfaya sürekli aktarılması yönlendirilme zinciri olarak ifade edilmektedir. 

SEO uzmanları tarafından her zaman web sitenizde tek bir tane bile yönlendirme olmaması tavsiye edilmektedir. Gerçekçi olursak, çok büyük web sitelerinde 301 ve 302 yönlendirme durum koduna sahip olan URL mutlaka yer alması ve düzeltilmemesi çok normaldir.

URL’lerin birbirine yönlendirildiği durumlarda, oluşacak olan yönlendirme zinciri web sitesinin tarama sınırına zarar verecektir. Bazı durumlarda eğer çok fazla yönlendirme varsa, Google dizine eklenmesi gereken önemli sayfaları eklemeden taramayı bitirebilir.

Bir URL için bir veya iki yönlendirme pek fazla sorun oluşturmamaktadır. Tabi ki böyle düşünüpte web sitemizi yönlendirmelere boğmamalıyız.

3. Mümkünse HTML Tercih Edin

HTML kodlama tarama bütçesine etkisi

HTML, tüm tarayıcılar tarafından desteklenmektedir. Google, son yıllarda JavaScript’i derleme ve işleme konusunda kendini geliştirmeye devam ediyor. Fakat yinede tam anlamıyla tarayamıyor. Diğer arama motorları ise şuanlık ne yazık ki Google seviyesinde yer almıyor.

Googlebot bir JavaScript web sitesi ile karşılaştığında onu işlerken üç aşamada geçirir: 

  • Tarama
  • Oluşturma
  • Dizine Ekleme

Googlebot bir JS web sayfasını önce tarar, sonra oluşturur ve dizine eklenecektir. Bazı durumlarda Googlebot, tarama ve oluşturma için sayfaları sıraya alırken, öncelikle hangi aşamayı yapacağı hemen anlaşılmamaktadır.

Bu sebepten dolayı web sitenizde HTML’i seçerseniz arama motorlarına hem tarama konusunda hemde anlama konusunda iyi bir sinyal göndermiş olursunuz.

4. HTTP Hatalarından Kurtulun

Bir web sitesinin tarama bütçesini optimize ederken HTTP hata durum kodlarından kurtulmanız gerekir. Bir web sitesinde 404 ve 410 HTTP durum kodları tarama bütçenizi olumsuz olarak etkilemektedir.

Web Sitesinde 404 HTTP Hatalarından Kurtulun

Bu durum sadece arama motorları için değil ayrıca kullanıcı deneyimi açısından da olumsuz etki oluşturmaktadır. Web sitenizde yer alan 4XX ve 5XX HTTP durum koduna sahip olan URL’leri güncellenmeniz ya da kaldırmanız gerekmektedir.

Sadece kaynak bulunamadı ve sunucu taraflı hatalara değil ayrıca 3XX HTTP durum koduna sahip olan URL’lerinde güncellenmesi gerekir.

SEO uzmanları tarafından en çok tercih edilen, DeepCrawl ve Screaming Frog SEO Spider araçları web sitenizde yer alan URL’lerin tarar ve yanıt olarak verdiği HTTP durum kodunu sizin için sınıflandırır.

5. URL’de Parametre Kullanımı

Arama motoru botları tarafından, web sitesinde yer alan her URL ayrı bir sayfa olarak sayılmakta ve tarama bütçesini en çok boşa harcayan durumdur.

Web sitenizde yer alan parametreye sahip URL’lerin taranmasını engellemek ve Googlebot ve diğer arama motorlarına bildirmek tarama bütçenizi ve yinelenen içerik problemlerinizi çözecektir.

URL Parametre Kullanımı

Google Search Console üzerinde yer alan URL Parametreleri Aracı ile önceden sitemizde yer alan parametreleri bildirerek Google’a yardımcı olmaktadır. Fakat Google kendini her geçen gün geliştirdiğinden artık hangi parametrenin önemli yada önemsiz olduğunu daha kolay öğrenmeye başladı. 26 Nisan 2022 tarihi itibari ile Google, URL Parametre Aracını kullanımdan kaldırılacaktır.

URL Parametre aracı yerine kullanılabilecek alternatif en iyi SEO uygulaması tabi ki robots.txt dosyası, taranmasını istemediğiniz parametreye “disallow:” yönergesi ile belirtebilirsiniz. Ayrıca çok dilli bir siteye sahipseniz URL’de oluşacak dil varyasyonları için hreflang etiketini kullanabilirsiniz.

6. Site Haritasını Güncel Tutun

Web sitesinin site haritasında yer alan tüm URL’lerin, arama motoru botları tarafından taranabilir ve dizine eklenebilir durumda olmalıdır. Büyük web sitelerinde arama motoru botları yeni ve güncel içeriği keşfetmek ve taramak için site haritasından faydalanırlar. Arama motoru botlarının sitenizi ziyaret ettiğinde tarama bütçesini doğru kullanması için site haritasını güncel tutun.

Site Haritası Optimizasyonu

Tarama bütçesini boşa harcamak istemiyorsanız, site haritasında şu kurallara uymalısınız:

  • Noindex etikete sahip olan URL’lerin site haritasında yer almamalı,
  • 200 HTTP durum koduna sahip olan URL’ler listelenmeli
  • Robots.txt dosyasında taramadan hariç bırakılan (disallow) URL’ler yer almamalı,
  • Site haritasında yalnızca canonical URL’i kendisini işaret eden sayfalar yer almalı
  • Site haritası içerisinde yer alan sayfalar, tam URL şeklinde listelenmeli
  • Sitenizin mobil ve masaüstü için farklı URL yapısına sahipse, sadece bir versiyonunu listeleminizi tavsiye ederiz.

Site haritasını önemsememiz tarama bütçesi konusundan bize kazanç sağlayacaktır. Arama motoru botları dahili bağlantıların kendisini nereye yönlendirmek istediği konusunda kolayca anlayacak ve zamandan tasarruf sağlayacaktır.

Robots.txt dosyasında her zaman site haritası yolunu verdiğinizden ve doğru olduğundan emin olun.

7. Hreflang Etiketi Kullanımı

Tarama bütçesini ve dizine eklemeyi kontrol etmek istiyorsanız, Google’a sayfalarınızın farklı dillerde olan versiyonları hakkında bilgi aktarın. Arama motoru botları, sayfalarınızın diğer sürümlerini taramak için hreflang etiketlerinden faydalanırlar. Örnek hreflang kodu:

Bir web sayfasında yanlış hreflang yönlendirmesi veya kullanımı ciddi tarama bütçesi sorunlarına neden olacaktır. 

Sonuç

Tarama bütçesi sorun etmek için çok büyük web sitesi sahiplerinin dert etmesi gereken bir konu gibi aktarılmakta, fakat yukarıda bahsettiğimiz maddelere dikkat etmeniz sitenize oldukça katkısı olacaktır. 

Bir markaya ister SEO hizmeti veriyor olun, isterseniz de SEO danışmanlığı veriyor olun, her zaman aklınızın bir köşesinde mutlaka tarama bütçesine yer vermelisiniz. Log dosyası analizi yapmanız size oldukça fayda sağlayacaktır.

Yukarıda bahsettiğimiz 7 adımda arama motoru botları için tarama bütçenizi optimize edin ipuçları, umarım işinizi kolaylaştırır ve SEO çalışmalarınızda performansını artırmaya katkıda bulunur. Tarama bütçesi optimizasyonu yapıldığında, Googlebot'u web sitemizde yer alan önemli sayfalara yönlendirmiş oluruz.