Google Index Nedir, Neden Önemlidir ve Nasıl Optimize Edilir?

İndeksleme, botların taradıkları web sitelerini veri tabanlarına kaydetme sürecidir. Google İndeks sorgulama, talep oluşturma ve daha fazlası AnalyticaHouse'ta!

Irmak Tekin
Irmak Tekin - 31 Ocak, 2022 - 8 min read
Google Index Nedir, Neden Önemlidir ve Nasıl Optimize Edilir?

Arama Motorları Nasıl Çalışır ?

Arama motorları yapılan sorgular doğrultusunda kullanıcıların ihtiyaçlarını karşılayacak en uygun sonuçları göstermek için 3 basamaktan oluşan bir süreci takip ederler. Bu süreç sırasıyla Tarama (Crawling), Dizine Ekleme / İndeksleme (Indexing) ve Sıralama ve Sonuçları Gösterme (Ranking and Serving) olarak gerçekleşir. 

Crawling Indexing Ranking

  1. Tarama (Crawling): Arama motoru botlarının internette var olan bilgilere erişmesi, yani internette var olan web sitelerini keşfetmesidir. Tarama yaparken botlar, web sitelerinde yer alan bağlantıları takip ederek yeni sitelere ulaşır. Web sitelerindeki linkler sayesinde botlar internette yer alan milyarlarca siteyi ziyaret ederek tarar. 
  2. Dizine Ekleme veya İndeksleme (Indexing): Arama motoru botlarının taradıkları siteleri veri ambarlarına kaydederek dizine eklemesine indeksleme denir. İndeksleme, taramadan sonra gerçekleşen ikinci basamaktır. 
  3. Sıralama ve Sonuçları Gösterme (Ranking and Serving): Arama motoru sonuçları sayfasında (Search Engine Results Page, SERP) web sitelerinin, kullanıcıların aradıkları sorgulara en alakalı yanıtı verenden en az alakalı yanıtı veren web sitesine doğru sıralanmasına Sıralama ve Sonuçları Gösterme’dir.

İndeksleme Nedir ve Neden Önemlidir?

İndeksleme, arama motoru botlarının taradıkları web sitelerini işleyerek dizine eklemesine ve veri ambarlarına kaydetmesi sürecinin tamamdır. Botlar, taranan her bir web sitesinin içeriğini analiz ederek anlamlandırmaya çalışır. Analiz aşamasında web sitesinde yer alan anahtar kelimeler, görseller, içerikler, sitenin yapısı, vb. elementler sınıflandırılır. Analiz sürecinde elde edilen bilgiler dizine eklenir ve sayfalar kullanıcılara sunulmaya hazır halde arama motorlarının veri tabanlarında depolanır.

Crawling ve Indexing İllüstrasyon

Web Sitelerinin İndekslenmesi Neden Önemlidir?

Botlar tarafından indekslenmeyen sayfalar, arama motorlarının veri tabanlarında yer almadıkları için arama motorları sonuçları sayfasında yer alamaz ve organik trafik elde edemez. Bu nedenle özellikle arama motoru optimizasyonu (SEO) yaparken organik trafik elde etmesi hedeflenen sayfaların indekslenmesi çok önemlidir. 

Google’da İndekslenen Sayfalar Nasıl Sorgulanır?

Google index sorgulama olarakta isimlendirilen bu süreç, web sitesi özelinde Google’da indekslenen ve indekslenmeyen sayfa sayısını görmeyi sağlıyor. Dizine eklenen sayfa sayısını ve indeks alan sayfaları kontrol etmek için iki farklı yöntem vardır. 

  1. Google Kullanarak Index Sorgulama

Google’da ilgili web sitesinin domain’ine göre, arama çubuğuna “site:ornek.com” yazarak aratıldığında, çıkan sonuç sayısı Google tarafından indekslenen sayfa sayısını gösterir. Eğer SERP’te herhangi bir sonuç çıkmazsa, bu indekslenen sayfa sayısının sıfır olduğu anlamına gelir.

Google Kullanarak Index Sorgulama

  1. Google Search Console Kullanarak Index Sorgulama

İlgili web sitesinin Google Search Console hesabına girdikten sonra ‘Index’ alanı altında yer alan ‘Coverage’ alanına tıklanır. Burada ‘Valid’ başlığı altında yer alan sayı indekslenen sayfa sayısını gösterir. Bu ekranda yer alan ‘Details’ bölümünden de dizine eklenen sayfalar hakkında detaylı bilgilere ulaşılır. Eğer ‘Valid’ alanında sıfır rakamı varsa, bu dizine eklenen sayfa sayısının sıfır olduğu anlamına gelir. İndekslenen sayfalarla ilgili alınan hata sayısı ‘Errors’ alanında, hatalarla ilgili detaylı bilgiler de ‘Details’ alanında gösterilir. 

Google Search Console Index Sorgulama

Google İndeksleme Talebi Nedir ve Nasıl Oluşturulur?

Google site ekleme olarakta isimlendirilen indeks talebi oluşturma, bir web sitesinde yer alan sayfaları Google’a bildirerek indeksleme isteği oluşturmaktır. İndeklenmesi istenen sayfaları Google’a bildirmek, bu sayfaları Google’ın hemen indeksleyeceği veya SERP’te üst sıralarda göstereceği anlamına gelmez. İndeks talebi bir siteye yeni eklenen ve henüz indekste gözükmeyen sayfalar veya değişiklik yapılan sayfaları sadece Google’a bildirmek için kullanılır, yani sayfaların ne zaman ve nasıl indekslendiği Google botlarına kalır. 

Google Search Console Kullanarak İndeks Talebi Oluşturma

Google indeks talebi oluşturmak için ilk olarak ilgili web sitesinin Google Search Console hesabına girilerek ‘URL Inspection’ alanına indekse eklenmesi istenilen sayfanın URL’i eklenir. Birkaç saniye beklemenin ardından Search Console Google Index verilerini çekerek sayfanın güncel indeks statüsünü gösterir. Bu ekranda sağ tarafta yer alan ‘REQUEST INDEXING’ bölümüne tıklanarak ilgili URL için indeksleme talebi oluşturulur

Google Search Console İndeks Talebi Oluşturma

Google İndekslenen Sayfaları Kaldırma Talebi Nedir ve Nasıl Oluşturulur?

Google index silme olarakta isimlendirilen indekslenmiş sayfaları kaldırma, bir web sitesinde yer alan sayfaları Google’a bildirerek indeksten kaldırılmasının talep etmektir. İndeksten kaldırılması istenen sayfaları Google’a bildirmek, botlara bu sayfalara öncelik vermeleri için sinyal vermek anlamına gelir, fakat burada da sayfaların nasıl ve ne zaman indeksten kaldırılacağı Google botlarına kalır.  

Google Search Console Kullanarak İndeksten Kaldırılma Talebi Oluşturma

İlk olarak Google indeks kaldırma talebi için ilgili web sitesinin Google Search Console hesabına girilir ve ‘Index’ bölümü altında yer alan ‘Removals’ alanına tıklanır. Ardından ekranın sağ tarafında yer alan ‘NEW REQUEST’ butonuna tıklanarak istenen sayfalar için indeksten silme, kaldırma talebi oluşturulur.

Google Search Console İndeksten Kaldırma Talebi

Sayfaların İndeks Statüsü Neden ve Nasıl Değiştirilir?

Kimi zamanlar botların bir web sitesinde bulunan her sayfayı indekslemesi istenmeyebilir. Bir web sitesinde yer alan sayfaların indeks durumunu kontrol etmek ve/veya değiştirmek için farklı sebepler olabilir. Örneğin:

  • Tarama bütçesi optimizasyonu için indekslenmesi gereksiz olan sayfalar indekse kapatılabilir (Bkz.: statik sayfalar). 
  • Henüz test aşamasında olan, özgün, kaliteli veya güncel içerik sunmayan sayfalara kullanıcı erişimini engellemek ve web sitesinin otoritesini korumak için sayfalar indekse kapatılabilir.

Böyle durumlarda arama motoru botlarını yönlendirerek sayfaların indeks durumunu kontrol edilebilir. 

Robots Meta Yönlendirmeleri Nedir ve Nasıl Kullanılır? 

Robots Meta Yönlendirmeleri (Robots Meta Directives) bir web sitesinde yer alan sayfaların indeks durumunu kontrol etmek için botlara verilen kodlardır. Robots Meta Yönlendirmeleri, Robots Meta Etiketleri (Robots Meta Tags and X-Robots-Etiketleri (X-Robots Tags) olmak üzere ikiye ayrılır..

  1. Robots Meta Etiketleri

Robots Meta Etiketleri HTML sayfalarının bölümüne yazılarak bütün tarayıcıları veya belirli tarayıcıları yönlendirebilen kodlardır. En yaygın kullanılan Robots Meta Etiketleri index/noindex, follow/nofollow ve noarchive’dır. 

Noindex Kullanımı

  • Index / Noindex etiketleri, arama motoru botlarını sayfaların dizine eklenip eklenmemesi hakkında talimat verir. Index ilgili sayfaların dizine eklenerek SERP’te gözükmesi talimatını verirken, Noindex ilgili sayfaların dizine eklenmeyerek SERP’te gözükmemesi talimatını verir.

Arama motorları noindex ifadesi belirtilmediği sürece her sayfayı dizine ekleyecek şekilde hareket eder. Bu nedenle sayfaları indekslemek için “index” etiketini kullanmak gereksizdir.

  1. X-Robots Etiketleri

X Robots Etiketleri HTTPS üst yanıt bölümünün bir parçası olarak kullanılır. Gönderilen talimatlar Robots Meta Etiketleri ile aynıdır ve alternatif bir yöntemdir. 

Arama Motorları İndekslenen Sayfaları Neden Diziden Kaldırır?

Botların indeksledikleri sayfalar, webmasterların herhangi bir müdahalesi olmadan (örn. webmasterın “noindex” meta etiketini kullanarak botlara talimat vermesi) dizinden kaldırılabilir. Sayfaların arama motorları tarafından dizinden kaldırılması aşağıdaki sebeplerden dolayı olabilir.

  1. İlgili sayfaların 4XX kodlu istemci hatası veya 5XX kodlu sunucu hatası alması.
  2. Arama motorlarının kullanım koşullarını ihlal edilmesi
  3. İlgili sayfaların herkese açık olmaması ve erişim izni gerekmesi

Canonical Etiketi Nedir ve Nasıl Kullanılır?

Canonical Etiketi (Canonical Tags), botlara ilgili sayfaların belirli bir versiyonun tercih edilip edilmediği bildiren kodlardır. Eğer bir sayfada canonical etiketi varsa, botlar o sayfanın tercih edilen alternatif bir versiyonu olduğunu varsayarak canonical etiketinde belirtilen URL’i otoriter sayfa olarak nitelendirir. Fakat eğer bir sayfada canonical etiketi yoksa, botlar o sayfanın herhangi bir alternatif versiyonunun olmadığını düşünür ve ilgili sayfayı orijinal sayfa olarak dizine ekler.

Canonical Etiketi İllüstrasyon

Aslında canonical etiketi, orijinal sayfaların sayfa değerlerini alternatif versiyonları yüzünden kaybetmelerini engeller. Burada dikkat edilmesi gereken nokta, canonical etiketinin sayfaların indeks statüsüne doğrudan müdahale etmediğidir. Sayfaların indeks statüsüne müdahale etmek için yukarıda belirttiğimiz Index/Noindex meta etiketleri kullanılmalıdır. 

Canonical Etiketi Hangi Durumlarda Kullanılır?

  • Bir sayfada filtreleme, sıralama, vb. elementler kullanıldığında oluşan parametreli URL’leri parametresiz versiyonlarına yönlendirmek için canonical etiketi kullanılır.
  • Sayfaların benzer versiyonlarından dolayı oluşabilecek çift içerik probleminin önüne geçmek için canonical etiketi kullanılır.
  • Bir web sitesinde bulunan özgün sayfaları botlara bildirmek için her bir özgün sayfa kendisine canonical etiketi vermelidir. 

İndeksleme Nasıl Optimize Edilir?

Google indeksleme optimizasyonu yapmak tarama bütçesini iyileştirmeye katkı sağlar. Bu nedenle indeksleme optimizasyonu SEO çalışmaları için oldukça önemlidir. İndeksleme optimizasyonu yaparken aşağıda belirtilen maddelerin uygulandığına emin olunmalıdır.

  1. Doğru robots.txt dosyası kullanımı. (Örn.: dizine eklenerek organik trafik elde etmesi hedeflenen sayfalarda ‘disallow’ komutunun bulunması hatalı kullanımdır çünkü disallow verilen sayfalar taramaya kapatılacağı için indekslenmeyecektir.)
  2. Web sitesinin organize ve doğru hiyerarşi ile oluşturulmuş site içi link inşasına sahip olması
  3. Backlink analizinin yapılması
  4. Site haritası (sitemap) kullanımı
  5. Robots meta etiketlerinin ve canonical etiketinin doğru kullanımı
  6. Web sitesinin mobil uyumluluğundan olunması
  7. Kullanıcılara, dolaylı olarak botlara, güncel, kaliteli ve özgün içerikler sunulması

SEO ve dijital pazarlama süreçleri ile ilgili daha fazla bilgi almak için AnalyticaHouse blog sayfasını ziyaret edebilir veya bizimle iletişime geçebilirsiniz. 

Kaynakça

https://developers.google.com/search/docs/advanced/robots/robots_meta_tag

https://developers.google.com/search/docs/advanced/crawling/overview?hl=tr

https://www.linkbuildinghq.com/crawling-indexing-ranking/

https://moz.com/beginners-guide-to-seo/how-search-engines-operate

https://www.onely.com/blog/how-to-create-an-indexing-strategy-for-your-website/

https://www.searchenginejournal.com/11-seo-tips-tricks-to-improve-indexation/288521/#close

https://www.semrush.com/blog/google-index/

https://www.semrush.com/blog/what-are-crawlability-and-indexability-of-a-website/

https://seranking.com/blog/canonical-tag-guide/

https://www.vargonen.com/blog/canonical-url-nedir/

https://moz.com/learn/seo/robots-meta-directives