Tarama Bütçesi (Crawl Budget) Optimizasyonu Rehberi

Tarama bütçesi optimizasyonu (Crawl budget optimization), SEO çalışmaları kapsamında arama motoru botlarının internet sitesindeki önemsiz sayfalar yerine önemli sayfaları taramasını ve arama sonuçlarında listelenmesini sağlamak amacıyla gerçekleştirilen bir optimizasyondur. Tarama bütçesi optimizasyonu ile birlikte dizine ekleme amacıyla internet sayfalarını tarayan Google botunun (Googlebot), sitenizdeki önemli sayfalara yönlendirilmesi sağlanır.

Böylece Google’ın her internet sitesini taramak için ayırdığı farklı miktarlardaki sınırlı tarama bütçesinin en verimli bir şekilde kullanılması ve SEO için önemsiz sayfalar yerine değerli sayfalara harcanması amaçlanır.

Googlebot Nasıl Çalışıyor?

Bilindiği üzere Google’ın interneti tarayan ve keşfettiği sayfaları dizine ekleyen botları bulunmakta. Google botları, internet ortamında farklı sayfalarda yer alan tüm bağlantıları takip eder ve keşfedilen tüm sayfaları işlemeye başlar. Elde ettiği sayfaları işleyerek taranan sayfaların neyle ilgili olduğunu çeşitli teknolojilerle belirler ve sayfaları indeksleme öncesinde bir havuzda toplar. Devamında ise havuzda topladığı sayfaları 200’ü aşkın SEO sıralama faktörü arasından geçirerek arama sonuçlarında pozisyonlandırır.

Temel olarak bakarsak, Google’ın interneti tarayan ve internet sayfalarını arama sonuçlarında belli kurallara göre sıralandıran botları sırasıyla Tarama (Crawling), Dizine Ekleme (Indexing) ve Sıralama (Ranking) ana başlıklarında işlem gerçekleştirir ve Google arama motoru temelde bu yapıda çalışır.

Tarama (Crawling)

Google botları, yeni sayfaları keşfetmek veya mevcut sayfaları tekrar taramak için herhangi bir veri merkezi ya da ortak bir URL havuzu kullanmaz. Erişmesine izin olan internet sayfalarını sürekli olarak tarar ve burada bulduğu yeni iç ve dış tüm bağlantıları da takip ederek tarama sırasına alır. Google botları, yeni sayfa keşfetme ve tarama sürecinde internet sayfalarını, Google Haritalar bağlantılarını, Google My Business bağlantılarını ve herkes açık kaynakları ve veritabanlarını kullanır. Ayrıca internet sitesi sahipleri tarafından sunulan site haritalarından elde edilen tüm bağlantıları tarayan Google botları, yine bu sayfalarda keşfettiği tüm bağlantıları da tarama sırasına dahil eder ve tarar.

En basit tabiriyle bir arama motoru olan Google’ın, temel çalışma prensibi olarak internete yeni eklenen sayfaları keşfetmek ve listelemek için aralıksız olarak internet üzerinde tarama gerçekleştirir ve arama sonuçlarında kullanıcılara sunabileceği yeni sayfalar ve bilgiler tespit etmek için çabalar. Tarama işlemi tamamlanan sayfalar, dizine ekleme aşaması için bir havuzda bekletilir.

Dizine Ekleme (Indexing)

Tarama aşamasında keşfedilen ve havuzda bekletilen sayfalar, Google arama sonuçlarında listelenmeden önce Google botları tarafından işlenir ve anlamlandırılarak sayfaların neyle ilgili olduğu çözümlenir. Sayfa içeriklerinde Google’a verilen tüm veriler (title, description, canonical, heading tags, Structured Data vb.) sayfa içeriğinin anlamlandırılmasında yardımcı olur ve Googlebot’a kolaylık sağlar.

Devamında da sayfalardan elde edilen anlamlı veriler, Google’ın veritabanlarına iletilir. Bu sayede taranan ve içeriği anlamlandırılan sayfalar, Google dizininde listelenmeye hazır konuma getirilir.

Sıralama (Ranking)

Yukarıdaki iki aşamada keşfedilen ve içeriği işlenen internet sayfaları, artık Google arama sonuçlarında pozisyonlanmaya ve kullanıcılara sunulmaya hazırdır. Google bu aşamada arama sonuçlarındaki sıralamaya etki eden 200’den fazla sinyali değerlendirir ve sayfaları bu süzgeçten geçirir.

Böylece kullanıcıların yaptığı aramalara en iyi yanıtı veren, en iyi kullanıcı deneyimi sunan ve en güvenilir sayfa(lar) tespit edilir ve arama sonuçlarında uygun pozisyonda listelenir.

Tarama Bütçesi (Crawl Budget) Nedir?

Tarama bütçesi, Googlebot’un bir sitede günlük olarak kaç sayfayı tarayabileceğini ve hangi sayfaları tarayacağına karar vermesini ifade eden bir SEO terimidir. En basit haliyle tarama bütçesi kavramı, Googlebot’un sitenize verdiği değeri ve gösterdiği ilgiyi yansıtan bir ifadedir. Googlebot, tarama öncesinde bir internet sitesinden kaç sayfayı ve hangi sayfaları tarayacağını değerlendirir.

Tarama Bütçesi Optimizasyonu Neden Yapılmalı?

Tarama bütçesi optimizasyonunda temel amaç, sayfalarımızı tarayan Google botlarını doğru sayfalara yönlendirmek ve önemsiz sayfalara yönelik tarama sıklıklarını mümkün olan en düşük seviyeye indirgemektir. Organik trafik potansiyeli sağlamayan, SEO stratejisinde bir anlamı olmayan ve içerik bakımından zayıf olan sayfaların tarama bütçesini tüketmesinin önüne geçmek için uygulanacak olan doğru bir tarama bütçesi optimizasyonu çalışması, SEO performansına ciddi oranda katkıda bulunabilir.

Temelde Google botlarını doğru yönlendirerek sitede taranması ve indekslenmesi istenen önemli sayfalara ulaşılabilirliğini rahatlatmak için tarama bütçesi optimize edilmelidir. Google botlarına kırık bağlantıların bulunduğu sayfaları, zayıf içeriğe sahip birçok URL’i, yönlendirmeli sayfaları, teknik anlamda çeşitli hatalar barındıran sayfaları ve açılış hızı çok düşük olan URL’leri sunmak iyi bir tercih değildir. Tarama bütçesinin kontrollü yönetilmemesi durumunda mevcuttaki önemli sayfalar yerine önemsiz olarak adlandırabileceğimiz sayfalar taranır ve indekslenir. Bu durumda da hem önemli varış sayfalarının hem de yeni açılan sayfaların taranma ve indekslenme sürelerinde ciddi gecikmeler ve aksaklıklar yaşanabilir.

Tarama Bütçesi Kontrolü Nasıl Yapılır?

Güncel durumda tarama bütçenizin ne seviyede olduğunu, günlük kaç sayfanızın Googlebot tarafından tarandığını kontrol etmek için Search Console ekranını kullanabilir ve buradan son 90 günlük tarama verilerinizi inceleyebilirsiniz. Tarama bütçenizi kontrol etmek için aşağıdaki adımları uygulayabilirsiniz;

1. Search Console mülkünüzde sol menüden Ayarlar‘ı açın.
2. Ayarlar sayfasındaki Tarama İstatistikleri Raporu’na tıklayın.
3. Karşınıza gelen ekranda “Toplam Tarama İsteği” grafiğini görebilir ve günlük bazda kaç sayfanızın tarandığını inceleyebilirsiniz.

Ayrıca aynı ekran üzerinde yer alan “Tarama istekleri dökümü” bölümünden de Googlebot’un ziyaret ettiği ve 200, 304, 404, 301, 302, 500 gibi yanıt aldığı sayfalarınızı inceleyebilir, buradaki sorunları gidermek için önemli ipuçları elde edebilirsiniz. Öte yandan Googlebot’un amacına göre “Yenileme” ve “Bulunma” seçeneklerini kullanarak URL’lerinizi inceleyebilirsiniz. Son olarak da “Googlebot’un Türüne Göre” alanından da mobil, masaüstü ve görsel Googlebot’ları ayrı ayrı ele alabilirsiniz.

Tarama Bütçesi Optimizasyonu Nasıl Yapılır?

Tarama bütçesi optimizasyonunda ve tarama bütçesi yönetiminde bireysel tercihlere ve sitenin kendi durumuna göre çeşitli değişkenler rol oynamaktadır. Bir sitenin tarama bütçesini etkileyen faktörlere genel olarak baktığımızda site hızı, site boyutu, içerik kalitesi, dahili bağlantı sağlığı, kopya içerik kullanımı, site içi bağlantı akışı ve site haritası ön plana çıkmaktadır. Bu değişkenler, sitenin günlük olarak kaç sayfasının Google botları tarafından taranacağına ve hangi sayfaların Googlebot tarafından ne sıklıkta ziyaret edileceğine etki eder.

Tarama bütçesi optimizasyonu kapsamında özellikle e-ticaret siteleri gibi URL sayısı yüksek olan sitelerde indekslenebilirlik tercihlerine göre bazı kararlar almak gerekebilir. Örneğin tarama bütçesi optimizasyonlarında genelde filtre sayfalarının Googlebot erişimine kapatıldığına ve taranmasının önüne geçildiğine rastlarız.

Fakat indekslenme tercihlerine göre örneğin bir Ayakkabı kategorisinde “42 Numara Siyah Spor Ayakkabı” filtresi bu tarama kısıtlamasından muaf tutulabilir ve indekse açılabilir. Buna benzer durumlarda indekslenebilirlik tercihlerine göre hareket etmek SEO performansını olumlu etkiler ve organik trafik artışı yaşanabilir.

1. Log Analizi İle Googlebot Hareketlerini İncelemek

Bilindiği üzere sunucular, tuttuğu log (günlük) dosyaları ile birlikte sayfalara yapılan ziyaretlerin verisini tutar. User-agent bilgisi, IP adresi, ziyaret edilen sayfa, ziyaret tarihi ve saati gibi veriler log dosyalarında depolanır. Sunucuda yer alan log dosyasının analiz edilmesiyle birlikte Googlebot’un sitenizde hangi sayfaları ziyaret ettiğini, hangi sayfaları ne sıklıkla ziyaret ettiğini ve gün içerisinde kaç sayfa taradığını tespit edebilirsiniz.

Log analizi, tarama bütçesi optimizasyonunda önemli ipuçları elde edeceğiniz temel bir çalışmadır ve buradan elde edeceğiniz notlarla birlikte sitenizde alacağınız aksiyonları belirleyebilirsiniz.

2. Site Hızını İyileştirmek

SEO’da en önemli faktörlerden biri olan site hızı, tarama bütçesini de etkileyen değişkenler arasında yer almakta. Hızlı yanıt veren bir sunucuya sahip olmak, site hızı için gerekli olan çalışmaları uygulamak ve özellikle Google’ın PageSpeed Insights aracının verdiği öneriler doğrultusunda optimizasyonlar yapmak site hızını olumlu etkiler. Site hızında yaşanacak olumlu değişimler, veri tüketimini iyileştirerek Google botlarının daha az sürede daha fazla sayfayı taramasına olanak sağlar.

Öte yandan özellikle 2021 Haziran ayı ortalarında arama sonuçlarında etkili olacak olan Core Web Vitals adlı Sayfa Deneyimi Metrikleri için de sayfa açılış hızını iyileştirerek ideal seviyelerde tutmak, SEO performansına olumlu katkısı bulunan bir diğer faktördür. Bu sebepten dolayı sayfalarınızın hızlı yüklenmesiyle birlikte hem tarama bütçesi hem de genel SEO performansı olumlu olarak etkilenecektir.

3. Sitenin Boyutunu Optimize Etmek

Yüksek kaynak dosyalarının yer aldığı bir sitenin yüklenme süresi de aynı orantıda artış gösterir ve sayfaların yüklenmesi gecikir. JS dosyalar, CSS dosyaları, görseller ve videolar boyutları itibarıyla bir sayfanın toplam boyutuna doğrudan etki eder. Artan sayfa boyutları, Google botlarının sayfayı tararken harcadığı süreyi ve indirdiği veri miktarını olumlu veya olumsuz olarak değiştirir.

Bu sebepten dolayı JS ve CSS dosyalarını sıkıştırmak, görsel ve video boyutlarını optimize ederek ideal seviyelere getirmek tarama bütçesini optimize ederken başvurabileceğiniz bir diğer önemli çalışmadır.

4. Kırık Linkleri Düzeltmek

Site içerisinde sayfalar arasında verdiğiniz bağlantıların çalışır durumda olması ve 200 yanıt kodunu sağlaması, tarama bütçesi optimizasyonu için önemli başka bir maddedir. Site içerisinde çalışmayan iç linkler bulundurmak ve 404 olarak bildiğimiz kırık linklere sahip olmak tarama bütçesini olumsuz etkiler. Google botları, bilindiği üzere bir sayfada gördüğü tüm bağlantıları takip eder ve tarama sırasına ekler. Bu sebepten dolayı site içerisinde çalışmayan veya silinen sayfaların bağlantılarını çalışan bağlantılarla değiştirerek tarama bütçenize katkıda bulunabilir ve daha sağlıklı bir tarama grafiği çizebilirsiniz.

5. Robots.txt Kurallarını Belirlemek

Sitenizi tarayan botların hangi dizinlere erişip erişemeyeceğini bildiren bir komut dosyası olan Robots.txt, tarama bütçesi optimizasyonunda aktif olarak kullanacağınız önemli bir alandır. Robots.txt dosyasına ekleyeceğiniz “Disallow” komutlarıyla birlikte Google botlarının hangi dizinleri, hangi URL’leri ve hangi parametreleri taramaması gerektiğini belirleyebilirsiniz.

Bu sayede SEO stratejinizde bir önemi olmayan URL’lerin taranmasının önüne geçebilir ve Google botlarını daha önemli olan sayfalarınıza yönlendirerek tarama bütçenizi optimize edebilirsiniz. Örneğin e-ticaret sitelerinde yer alan ürün sıralama filtreleri, arama sonuç sayfaları ve kategorilerdeki belli başlı ürün filtrelerinin bu şekilde taranması engellenebilir.

Parametreli URL’lerin taranmasını engellemek için örnek Robots.txt kuralları;

User-agent: *

Allow: /

Disallow: /*?sort*

Disallow: /*?p*

Disallow: /*?s*

6. Site İçi Bağlantı Akışını Yönetmek

Site içerisinde sayfalar arasında verilen bağlantılar Googlebot tarafından takip edilir ve taranır. Tarama bütçesi optimizasyonu kapsamında, SEO için bir anlam ifade etmeyen Sepet, Kullanıcı Sözleşmesi, Gizlilik Politikası, Profil sayfası vb. gibi sayfalar için site içerisinde verilen dahili bağlantılara eklenecek “nofollow” etiketi ile birlikte Google botlarının ilgili bağlantıları takip etmemesi sağlanır. Böylece A sayfasından Sepet sayfasına verilen bağlantı “nofollow” olduğu için Googlebot A sayfasından Sepet sayfasına gitmeyecek ve Sepet sayfasını taramayacak. Bu sayede Sepet sayfasına harcanacak tarama bütçesi başka bir noktaya kullanılmış olacak.

7. Kopya İçerikten Kaçınmak ve İçerik Kalitesini Artırmak

Site içerisinde yer alan içerikler, SEO performansına doğrudan katkıda bulunur ve kullanılan içeriğin kalitesine göre bu katkı değişiklik gösterir. Aynı şekilde tarama bütçesi için de kaliteli içerik kullanımı yapmak, Googlebot’un sayfalarınızı daha fazla ziyaret etmesini sağlayacağı gibi kaliteli içeriğe sahip olan sayfalarınızın öncelikli şekilde taranmasına ve indekslenmesine yardımcı olur.

İçerik optimizasyonu yaparken duplicate olarak adlandırılan kopya içerikleri ve birbirine çok benzeyen içeriklerinizi birleştirerek yüksek kaliteli ana bir içerikten konuyla ilgili kapsamlı bir içerik oluşturabilirsiniz. Bu sayede bilgi dolu, zengin, birçok arama sorgusunun hedeflendiği ve Google’ın değer verebileceği içerik sayfalarına sahip olarak tarama bütçenize de katkıda bulunabilirsiniz.

8. Site Haritası Bağlantılarını Güncel Tutmak

Site haritalarında yer alan bağlantıların güncel kalması ve çalışır durumda olması, tarama bütçesi yönetiminde önemli bir noktadır. Site haritalarını düzenli bir periyotta okuyan Google botları, haritalarda yer alan bağlantıları tarar ve indeksler. Tarama bütçesi yönetimi için site haritalarında 404 bağlantıların yer almaması, yönlendirmeli URL’lerin bulunmaması ve taranması/indekslenmesi engellenen URL’lere yer verilmemesi gerekir. Site haritaları, sitedeki önemli varış sayfalarını mutlaka barındırmalı ve içeriği güncellenen sayfalar için <lastmod> etiketine sahip olmalı.

İçeriği güncellenen sayfalarınız için örnek <lastmod> etiketi kullanımı;

<?xml version=”1.0″ encoding=”UTF-8″?>
<urlset xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″>
<url>
<loc>http://www.example.com/</loc>
<lastmod>2005-01-01</lastmod>
</url>
</urlset>

9. Site İçerisindeki Yetim (Orphan) Düzeyindeki Sayfaların Tespiti

Site içerisinde herhangi bir yerden bağlantı almayan ve bundan dolayı ulaşılabilir olmayan sayfalarınız yetim (orphan) olarak adlandırılır. Site içerisinde bu şekilde kayıp statüde olan sayfalarınızın Googlebot tarafından daha rahat bulunabilir ve taranabilir olması açısından bu sayfaları tespit etmeniz ve sonrasında sitenizin menü, footer, sidebar, kategori, alt kategori veya ürün sayfaları gibi alanlardan linklerle bağlantısını sağlamanız tarama bütçesi optimizasyonunda yapmanız gereken bir diğer hamledir.

Bu sayede kullanıcıların site içerisinde menüden, kategorilerinizden veya alt kategorilerinizden hiçbir şekilde ulaşamayacağı sayfalarınızı daha görünür ve ulaşılabilir hale getireceksiniz. Beraberinde site içerisindeki bağlantı akışına dahil olacak olan yetim sayfalarınız, SEO performansı açısından da olumlu etkilenecek ve hem anahtar kelime pozisyonlarında hem de organik trafik rakamlarında sitenize katkıda bulunacaktır.

YouTube kanalımıza abone olun;

https://www.youtube.com/c/boosmart

Instagram hesabımızı takip edin;

https://www.instagram.com/boosmartcom/

Telegram kanalımıza abone olun;

https://t.me/boosmart