7 Adımda Tarama Bütçesi Optimizasyonu

SEO - 04 Eylül 2022

SEO

Arama Motoru Optimizasyonu (SEO)

Arama motoru botları için web sitesi tarama bütçesini nasıl optimize edilir? Bu blog içeriğimizde web sitenizin tarayıcılar (örümcek, bot) tarafından nasıl daha kolay taranabileceğini ayarlamanıza yardımcı olacak birbirinden faydalı 7 ipucunu öğreneceksiniz. 

Tarama bütçesi optimizasyonu bir web sitesinde arama motoru botları tarafından sık sık taranan fakat önemli olmayan sayfalar yerine; kullanıcılar için fayda sağlayacak daha önemli sayfaların taranmasını sağlayan ve arama motoru sonuç sayfalarında daha üst sıralarda yer almak için yapılan bir optimizasyon çalışmaları bütünüdür. Google büyük siteler için tarama bütçesi yönetimi adlı içeriği okuyarak bu çalışmalar hakkında detaylı bilgi edinebilirsiniz.

Tarama Bütçesi Nedir?

Tarama bütçesini arama motoru botlarının web sayfamızda gezinme sıklığı ve süresi olarak tanımlayabiliriz. İnternette milyonlarca URL bulunmaktdır ve bu sebeple arama motoru botlarının, özellikle Google’ın, bu URL taraması için harcayacağı zaman ve kaynaklar kısıtlıdır. Arama motoru botlarının bir siteye ayıracağı zaman kısıtlı olduğundan dolayı her tarama sonucunda keşfedilen URL’in dizine eklenebileceğinin bir garantisi bulunmamaktadır.

Tarama bütçesi optimizasyonunu göz ardı etmemeniz durumunda, arama motoru botlarının web sitenizi ziyaret etme sıklığını ve harcayacağı süreyi artırabilirsiniz. Googlebot bir web sitesini ne kadar sıklıkla ziyaret ederse, yeni ve güncel içerikler o kadar hızlı bir şekilde dizine eklenecektir.

Google tarama bütçesini belirlerken, tarama kapasitesini ve tarama talebini gibi iki değeri değerlendirerek bir alan adı için harcayacağı süreyi belirlemektedir. Eğer bu iki değer düşük çıkarsa Googlebot sitenizi daha az tarar. Çok fazla sayfaya sahip büyük bir web sitesinden söz etmiyorsak, tarama bütçesi optimizasyonunu ihmal etmemiz de olası.

Tarama Bütçesi Optimizasyonu Neden İhmal Ediliyor?

Tarama bütçesinin tek başına bir sıralama faktörü olmaması, bazı uzmanlar tarafından ihmal edilmesine sebep olabilmektedir. Google'ın bu konuda yazılmış resmi blog gönderisi, bu soruyu cevaplamaktadır. Google tarafından yapılan açıklamalarda milyonlarca web sayfasına sahip değilseniz, tarama bütçesini endişe etmemeniz gerektiği dile getiriliyor. Web siteniz Amazon, Trendyol, Hepsiburada veya N11 gibi bir siteyse ve milyonlarca sayfaya sahipse, o zaman tarama bütçesi optimizasyonu kesinlikle yapılmalıdır.

Tarama Bütçenizi Bugün Nasıl Optimize Edebilirsiniz?

Web siteniz için tarama bütçesini optimize etmek demek, tam anlamıyla tarama esnasında süre ve kaynak israfı oluşturan unsurları düzeltmektir. 

1. Robots.txt Dosyasını Yapılandırın

Googlebot ve diğer arama motoru botlarının web sitemizi ziyaret ettiğinde ilk kontrol ettiği yer robots.txt dosyasıdır. Arama motoru botları, tarama esnasında robots.txt dosyasında yer alan yönlendirmelere uymaktadır. Bu sebeple, robots.txt dosyasında sizin için önemli olan sayfaların taranmasını ve önemsiz olan sayfaların taranmasının engellenmesini sağlayacak şekilde yapılandırma yapmalısınız. Tarama bütçesi optimizasyonu için robots.txt örneği:

user-agent: *
disallow: /sepet
disallow: /favorim

Yukarıda yer alan örnek robots.txt şablonunda web sitesinde dinamik olarak oluşan sayfaların taranmaması gerektiğini bildirilmektedir.

2. Yönlendirme Zincirlerine Dikkat Edin

Bir web sitesine girdiğiniz zaman, bir ürüne ulaşmak için X kategorisinden Y kategorisine, oradan da Z kategorisine yönlendirildiğini hayal edin. Ne kadar can sıkıcı bir durum değil mi? Ayrıca bir ürüne ulaşmak içinde epeyce bir zaman harcamış oldunuz.

Yukarıda verdiğimiz örnek hem kullanıcı deneyimini hem de arama motoru botlarını olumsuz etkilemektedir. Tıpkı örnekte sizin yaşadığınız gibi, arama motoru botlarının bir sayfayı taramadan başka bir sayfaya aktarılmasına "yönlendirilme zinciri" denmektedir. SEO uzmanları tarafından tavsiye edilen,web sitenizde tek bir tane bile yönlendirme olmamasıdır.URL’lerin birbirlerine yönlendirildiği durumlarda oluşacak olan yönlendirme zinciri web sitesinin tarama sınırına zarar verecektir. Bazı durumlarda eğer çok fazla yönlendirme varsa, Google dizine eklenmesi gereken önemli sayfaları eklemeden taramayı bitirebilir.

3. Mümkünse HTML Tercih Edin

HTML, tüm tarayıcılar tarafından desteklenmektedir. Google, son yıllarda JavaScript’i derleme ve işleme konusunda kendini geliştirmeye devam ediyor. Fakat yinede tam anlamıyla tarayamıyor. Diğer arama motorları ise şuanlık ne yazık ki Google seviyesinde yer almıyor.

Googlebot bir JavaScript web sitesi ile karşılaştığında onu işlerken üç aşamada geçirir: 

• Tarama
• Oluşturma
• Dizine Ekleme

Googlebot bir JS web sayfasını önce tarar, sonra oluşturur ve dizine ekler. Bazı durumlarda Googlebot, tarama ve oluşturma için sayfaları sıraya alırken, öncelikle hangi aşamayı yapacağı hemen anlaşılmamaktadır.O nedenle web sitenizde HTML’i tercih ederseniz arama motorlarına hem tarama konusunda hem de anlama konusunda iyi bir sinyal göndermiş olursunuz.

4. HTTP Hatalarından Kurtulun

Bir web sitesinin tarama bütçesini optimize ederken HTTP hata durum kodlarından kurtulmanız gerekir. Bir web sitesinde 404 ve 410 HTTP durum kodları tarama bütçenizi olumsuz olarak etkilemektedir.

Bu durum sadece arama motorları için değil ayrıca kullanıcı deneyimi açısından da olumsuz etki oluşturmaktadır. Web sitenizde yer alan 4XX ve 5XX HTTP durum koduna sahip olan URL’leri güncellemeniz ya da kaldırmanız gerekmektedir.Sadece "kaynak bulunamadı" hatalarının ve sunucu taraflı hataların değil ayrıca 3XX HTTP durum koduna sahip olan URL’lerin de güncellenmesi gerekir.

SEO uzmanları tarafından en çok tercih edilen araçlardan DeepCrawl ve Screaming Frog SEO Spider, web sitenizde yer alan URL’lerin tarar ve yanıt olarak verdiği HTTP durum kodunu sizin için sınıflandırır.

5. URL’de Parametre Kullanımı

Web sitesinde yer alan her URL arama motoru botları tarafından ayrı bir sayfa olarak sayılmaktadır ve bu, tarama bütçesini en çok boşa harcayan durumdur. Web sitenizde yer alan parametreye sahip URL’lerin taranmasını engellemek ve Googlebot ve diğer arama motorlarına bildirmek tarama bütçenizi ve yinelenen içerik problemlerinizi çözecektir.

Google Search Console üzerinde yer alan URL Parametreleri Aracı ile önceden sitemizde yer alan parametreleri bildirerek Google’a yardımcı olmaktadır. Fakat Google kendini her geçen gün geliştirdiğinden artık hangi parametrenin önemli yada önemsiz olduğunu daha kolay öğrenmeye başladı. 26 Nisan 2022 tarihi itibari ile Google, URL Parametre Aracını kullanımdan kaldırılacaktır.

URL Parametre aracı yerine kullanılabilecek alternatif en iyi SEO uygulaması tabi ki robots.txt dosyası, taranmasını istemediğiniz parametreye “disallow:” yönergesi ile belirtebilirsiniz. Ayrıca çok dilli bir siteye sahipseniz URL’de oluşacak dil varyasyonları için hreflang etiketini kullanabilirsiniz.

6. Site Haritasını Güncel Tutun

Web sitesinin site haritasında yer alan tüm URL’lerin, arama motoru botları tarafından taranabilir ve dizine eklenebilir durumda olmalıdır. Büyük web sitelerinde arama motoru botları yeni ve güncel içeriği keşfetmek ve taramak için site haritasından faydalanırlar. Arama motoru botlarının sitenizi ziyaret ettiğinde tarama bütçesini doğru kullanması için site haritasını güncel tutun.

Tarama bütçesini boşa harcamak istemiyorsanız, site haritasında şu kurallara uymalısınız:

• Noindex etikete sahip olan URL’lerin site haritasında yer almamalı,
• 200 HTTP durum koduna sahip olan URL’ler listelenmeli
• Robots.txt dosyasında taramadan hariç bırakılan (disallow) URL’ler yer almamalı,
• Site haritasında yalnızca canonical URL’i kendisini işaret eden sayfalar yer almalı
• Site haritası içerisinde yer alan sayfalar, tam URL şeklinde listelenmeli
• Sitenizin mobil ve masaüstü için farklı URL yapısına sahipse, sadece bir versiyonunu listeleminizi tavsiye ederiz.

Site haritasını önemsememiz tarama bütçesi konusundan bize kazanç sağlayacaktır. Arama motoru botları dahili bağlantıların kendisini nereye yönlendirmek istediği konusunda kolayca anlayacak ve zamandan tasarruf sağlayacaktır.

Robots.txt dosyasında her zaman site haritası yolunu verdiğinizden ve doğru olduğundan emin olun.

7. Hreflang Etiketi Kullanımı

Tarama bütçesini ve dizine eklemeyi kontrol etmek istiyorsanız, Google’a sayfalarınızın farklı dillerde olan versiyonları hakkında bilgi aktarın. Arama motoru botları, sayfalarınızın diğer sürümlerini taramak için hreflang etiketlerinden faydalanırlar. Örnek hreflang kodu:

Bir web sayfasında yanlış hreflang yönlendirmesi veya kullanımı ciddi tarama bütçesi sorunlarına neden olacaktır. 

Sonuç

Tarama bütçesi optimizasyonu yalnızca çok büyük web site sahiplerinin dert etmesi gereken bir konu gibi görülmekte. Ancak yine de yukarda sayılan maddelere dikkat edilmesi sitenize oldukça katkı sağlayacaktır.

Yukarıda bahsettiğimiz 7 adımda arama motoru botları için tarama bütçenizi optimize edin ipuçları, umarız işinizi kolaylaştırır ve SEO çalışmalarınızda performansını artırmaya katkıda bulunur. Tarama bütçesi optimizasyonu yapıldığında, Googlebot'u web sitemizde yer alan önemli sayfalara yönlendirmiş oluruz.