Screaming Frog SEO Spider, SEO çalışmalarında kullanılan tarama (crawling) araçları arasında yüksek popülerliği olan ve her SEO uzmanının en az bir kere kullandığı bir araçtır. Ücretsiz ve premium olarak iki farklı seçeneği bulunan Screaming Frog aracı, bir internet sitesini tamamen tarayarak tüm hatalarını tespit etmenize olanak sağlar. Hazırladığım bu rehberde Screaming Frog’a dair tüm merak ettiklerinizi, Screaming Frog’daki tüm bölümleri ve anlamlarını, Screaming Frog’un nasıl kullanıldığını ve bir internet sitesinin SEO hatalarının Screaming Frog ile nasıl tespit edildiğini derledim.

Screaming Frog SEO Spider Nedir?

Screaming Frog SEO Spider, 2010 yılında Dan Sharp tarafından kurulan Screaming Frog şirketi tarafından geliştirilen bir SEO crawling aracıdır. Aracın adı her ne kadar Screaming Frog SEO Spider olsa da, internet ve SEO sektöründe “Screaming Frog” adıyla özleşmiştir. Screaming Frog aracının sınırlı sayıda URL taramanıza izin veren ücretsiz bir sürümü ve sınırsız tarama yapabileceğiniz bir premium sürümü bulunmaktadır.

Rakiplerinden (DeepCrawl, JetOctopus, OnCrawl) farklı olarak bulut tabanlı bir web uygulaması değil, Java tabanlı bir yazılımdır. Yani Screaming Frog’u bilgisayarınıza bir program olarak yükleyip kullanabilirsiniz. Günümüzde Screaming Frog toplamda 100 binden fazla indirmeye sahiptir ve SEO sektöründe her SEO uzmanının en az 1 kere kullandığı bir araçtır.

Screaming Frog İndirme ve Kurulumu Nasıl Yapılır?

Screaming Frog yazılımını kullanmak için ilk önce cihazınıza uygun versiyonunu (Windows, Mac veya Ubuntu) https://www.screamingfrog.co.uk/seo-spider/#download adresinden seçerek indirmeniz gerekmektedir. Bilgisayarınıza inen kurulum dosyasını çalıştırdığınızda kurulum aşamalarını tamamlamanız gerekmektedir. Sonrasında kurulum tamamlanacak ve bilgisayarınızda Screaming Frog kullanılabilir durumda olacak.

Screaming Frog’u ilk çalıştırdığınızda karşınıza bu ekran gelecek ve bir lisansınız yoksa, maksimum 500 URL tarama limiti olacak şekilde bir internet sitesi için tarama gerçekleştirebileceksiniz.

Screaming Frog Lisansı Satın Alma ve Etkinleştirme

Eğer ücretsiz sürümü kullanmak yerine bir lisans satın alarak sınırsız sayıda URL için tarama yapmak isterseniz, öncelikle https://www.screamingfrog.co.uk/seo-spider/licence/ adresinden bir lisans satın almanız gerekmekte. Bir lisans sahibi olduktan sonra, Screaming Frog yazılımını açarak üst menüde bulunan “Licence > Enter Licence” bölümünden lisansınızı etkinleştirmeniz gerekiyor.

Burada açılan pencerede sizden istenen “Username” ve “Licence Key” gibi lisans bilgilerinizi girerek “OK” butonuna basmanızla birlikte girdiğiniz bilgilerde bir problem yoksa, lisansınızın geçerlilik süresi ve Screaming Frog yazılımının yeniden başlatıldıktan sonra lisanslı olarak kullanıma hazır olduğu bilgisi görünecektir. Bu aşamadan sonra yapmanız gereken tek şey Screaming Frog’u kapatıp yeniden başlatmaktır.

Screaming Frog Sistem Ayarları Nelerdir ve Nasıl Yapılır?

Screaming Frog’daki üst menüde bulunan Configuration menüsünde, System bölümü altında Screaming Frog yazılımının genel ayarları diyebileceğimiz bölüm bulunmaktadır. Burada sırasıyla Memory Allocation, Storage Mode, Proxy, Embedded Browser ve Language seçenekleri bulunur. Bu seçenekler yardımıyla Screaming Frog yazılımının çalışma biçimini özelleştirebilirsiniz. Aşağıda bu ayarlar hakkında bilgilendirme bulunmaktadır.

Memory Allocation

Screaming Frog SEO Spider, başlangıçta ne kadar bellek ayrılması gerektiği hesaplamasında Java’yı kullanır. Screaming Frog’da varsayılan olarak 32 bit için 1 GB ve 64 bit makineler için 2 GB’a izin verilir. Eğer buradaki RAM miktarını özelleştirerek artırırsanız, ayrılan bellek miktarının artmasıyla birlikte özellikle RAM modundayken ve aynı zamanda veritabanına kaydederken daha fazla URL’yi taramanız sağlayacaktır.

Özellikle çok yüksek sayıda URL’e sahip internet sitelerini Screaming Frog ile tararken, buradaki bellek miktarının artırılması ve yüksek belleğe sahip bir bilgisayar üzerinden tarama gerçekleştirilmesi büyük önem arz eder. Bu hem tüm URL’leri tarayabilme gücünüz olması hem de URL’lerin daha kısa sürelerde taranabilmesi anlamına gelir.

Storage Mode

Storage Mode, Screaming Frog’un tarama verilerini depolama ve işleme konusunda hangi kaynağı kullanacağını seçmenizi sağlayan bir ayardır. Screaming Frog’daki bu ayarda Memory Storage ve Database Storage seçenekleri yer almaktadır. Memory Storage ayarında tüm veriler RAM’e depolanırken, Database Storage ayarında da HDD/SSD üzerinde depolama sağlanır.

Memory Storage

Storage Mode ayarında bu mod seçildiğinde, Screaming Frog taramasındaki tüm verilerin depolanması ve işlenmesi RAM tarafından yapılır. Screaming Frog, varsayılan ayarlarında tarama verilerini depolamak ve işleyebilmek için RAM kullanımı yapar. RAM kullanımıyla birlikte hız ve esneklik gibi faydalar sağlanabilir.

Memory Storage modu, 500 binden az sayıda URL’e sahip olan internet sitelerinin taranması ve RAM miktarı yüksek olan makinelerde kullanılması önerilen bir moddur.

Database Storage

Storage Mode ayarında bu mod seçildiğinde, Screaming Frog taramasındaki tüm verilerin depolanması ve işlenmesi HDD ya da SSD tarafından yapılır. Eğer hızlı bir SSD sahibiyseniz, taramalarınızı Database Storage üzerinden gerçekleştirmeniz avantajlı olabilir. Database Storage modu, daha büyük ölçekte URL’e sahip olan sitelerin taranmasında, büyük tarama dosyalarının hızlı şekilde işlenip açılmasında, önceki tarama dosyalarıyla karşılaştırmalarda ve değişiklik algılama özelliklerinin kullanılmasında önerilir. Ayrıca Database Storage modu etkinken, yanlışlıkla temizlenen taramalar, menüde yer alan File > Crawls bölümüyle geri getirilebilir.

Proxy

Screaming Frog üzerinden gerçekleştireceğiniz taramalarda eğer bir Proxy kullanımı yapmak istiyorsanız, bu bölümü kullanabilirsiniz. Proxy kullanımı için bazı dikkat etmeniz gereken noktalar vardır;

• Sadece 1 proxy sunucusu kullanılabilir,
• Proxy ayarı için yaptığınız değişikliklerin etkili olması için Screaming Frog’u yeniden başlatmanız gerekir,
• Proxy etkinken herhangi bir istisna eklenemez. Ya tüm HTTP/HTTPS trafiği proxy üzerinden gider ya da hiçbiri gitmez,
• Bazı proxy’ler, form tabanlı kimlik doğrulama kullanarak taramadan önce oturum açma ayrıntılarını girmenizi gerektirebilir.

Language

Language bölümü, Screaming Frog yazılımını hangi dilde kullanacağınızı seçebileceğiniz bir alandı.

Screaming Frog’da şu anda maalesef Türkçe dil desteği bulunmamakta. Desteklenen diller şu anda Almanca, İngilizce (UK), İspanyolca, Fransızca ve İtalyanca’dır.

Screaming Frog Modları Nelerdir ve Ne İşe Yarar?

Screaming Frog aracında kullanabileceğiniz 4 farklı tarama modu vardır. Bu modlar; Spider, List, SERP ve Compare olarak adlandırılır ve her birinin ayrı işlevleri bulunmaktadır.

Aşağıda ayrı ayrı başlıklarla ayrılmış bölümden Screaming Frog’daki bu modların ne amaçla kullanıldığına dair detayları öğrenebilirsiniz.

Spider Modu

Screaming Frog’un Spider modu, bir internet sitesindeki tüm URL’leri keşfederek tarama gerçekleştirdiği yapıdır. Spider modundayken URL alanına yazdığınız internet sitesindeki tüm URL’lere Screaming Frog botları ziyaret yapmaya başlar ve keşfedilen her URL tarama sırasına eklenir. Böylece bir sonraki taranacak URL, Screaming Frog botları tarafından otomatik keşfedilir. Tüm URL’ler keşfedilene ve taranana denk tarama sürer. (Herhangi bir hariç tutma gibi ayar yapılmadığında)

List Modu

Screaming Frog’daki ikinci mod List olarak adlandırılan liste modudur. List modunda, Screaming Frog’a taranacak URL listesini manuel olarak yükleyerek, yapıştırarak veya bir site haritasından indirerek vermeniz gerekmektedir. Bu modda sadece verdiğiniz URL’ler için bir tarama gerçekleştirilir ve URL listenizde olmayan URL’ler keşfedilmez ve taranmaz. Screaming Frog’un List modu sayesinde bir sitedeki sadece bir bölüme ait URL’ler için tarama gerçekleştirmeniz mümkündür.

SERP Modu

SERP modu, internet sitenizdeki URL’lerinizin title ve description metinlerinin Google arama sonuçlarında nasıl göründüğüne dair bilgi edinmenizi sağlar. Buradaki SERP önizlemeleri ile birlikte URL’lerinizdeki title ve description metinlerinin arama sonuçlarında karakter sayısı veya piksel genişliği olarak ideal uzunluklara uyum sağlayıp sağlamadığını inceleyebilirsiniz. Screaming Frog’un SERP modunda herhangi bir tarama işlevi yoktur ve sadece verdiğiniz URL’ler için bir SERP önizlemesi sunulur.

Compare Modu

Screaming Frog’un dördüncü ve son modu olan Compare modu, güncel tarama dosyanızı daha önceden yaptığınız tarama dosyalarınızla kıyaslamanıza olanak sağlar. Bu sayede bir önceki taramanızda keşfedilen hataların yeni taramanızda da karşınıza çıkıp çıkmayacağını veya hatalarınızın ne oranda iyileştiğini görüntülemeniz mümkün olur. Screaming Frog’un Compare modunda tarama dosyalarınız arasındaki farkları “Change Detection” sekmesinden görüntüleyebilirsiniz. Ayrıca arayüzlerde güncel taramanızda artış gösteren hatalar “kırmızı” renkle, düşüş gösteren ve iyileşen sorunlar da “yeşil” olarak renklendirilir. Compare modu, sadece Memory Allocation ayarındaki Database Storage seçeneği etkinken çalışır.

Screaming Frog Menüleri ve Detaylar

Screaming Frog arayüzündeki üst menüde birçok işlem yapabileceğiniz alanlar bulunmaktadır. Sistem ayarlarından Screaming Frog destek ekibine ulaşmaya kadar geniş bir aralığı olan menü üzerinde birçok farklı işlev bulunmaktadır. Screaming Frog menüleriyle ilgili detayları aşağıdaki maddelerde inceleyebilirsiniz.

• File menüsü, Standart dosya menüsüdür. Screaming Frog’da yeni bir tarama başlatmak, önceki taramalarınızı görüntülemek, son tarama dosyanızı açmak, mevcut taramayı temizlemek ve yapmış olduğunuz taramayı kaydetmek gibi olanaklar sunar.
• Mode menüsü, Screaming Frog’un sunmuş olduğu 4 mod arasında geçiş yapmanızı sağlayan menüdür.
• Configuration menüsü, Screaming Frog’da tarama öncesinde yapmak istediğiniz tüm özelleştirmeleri ve gelişmiş ayarları sunan menüdür. Birçok farklı kategoride ayar özelleştirmenize ve taramanızı daha gelişmiş hale çevirmenize yardımcı olacak bağlantılar içerir.
• Bulk Export menüsü, Screaming Frog arayüzünde ana sekmeler ve alt sekmeler birbiriyle senkronize olarak çalışır ve iki alanda da oluşan verileri tek bir dosya üzerinde olacak şekilde dışa aktarmak için buradaki Bulk Export seçeneklerini kullanabilirsiniz.
• Reports menüsü, Screaming Frog üzerinden gerçekleştirdiğiniz taramalarla ilgili raporları dışa aktarmanıza olanak sağlar. Birçok farklı kategoride rapor sunulan bu bölümdeki bağlantıları kullanarak dışa aktarma gerçekleştirebilirsiniz.
• Sitemaps menüsü, Site haritalarıyla ilgili olarak ayar yapmanıza olanak sağlayan bu menü, hem XML Sitemap hem de Image Sitemap olarak iki ayrı bağlantıya sahiptir.
• Visulations menüsü, Veri görselleştirme tarafında kullanabileceğiniz bu menü, Screaming Frog taraması sonrasında oluşan verileri görselleştirmeye yönelik seçenekler sunar.
• Crawl Analysis menüsü, Yapmış olduğunuz bir tarama için bir analiz başlatmanıza, başlatılan bir analizi durdurmanıza veya Crawl Analysis özelliğini konfigüre etmenize olanak sağlar.
• Licence menüsü, Screaming Frog lisansı satın almak veya satın aldığınız bir lisans kodunu etkinleştirmek için kullanabileceğiniz bağlantıları içerir.
• Help menüsü, Screaming Frog hakkında yaşadığınız sorunlar veya ek ihtiyaçlarınıza yönelik Screaming Frog ekibinin sunduğu dökümantasyonlara erişmenize veya Screaming Frog destek ekibiyle iletişime geçmenize yönelik bağlantılar sunar.

Screaming Frog SEO Spider Nasıl Kullanılır?

Screaming Frog aracını kullanmak için ana ekranda üst bölümde yer alan “Enter URL to spider” alanına tarama yapmak istediğiniz internet sitesinin URL’ini yapıştırmanız ve devamında da “Start” butonuna basarak taramayı başlatmanız gerekmektedir. Start butonuna bastığınız andan itibaren Screaming Frog, belirttiğiniz internet sitesinin tüm URL’lerini ziyaret ederek bir veri kazıma (scrape) işlemine başlayacaktır. Tarama sürecini sağ üstteki yeşil barda yüzdelik olarak ve sağ en altta kalan URL sayısı olarak görüntüleyebilirsiniz.

Taramak istediğiniz internet sitesinin toplam URL sayısına, sunucu performansına ve bilgisayarınızın performansına göre tarama hızı değişiklik gösterebilmektedir. Güncel tarama hızını, taramayı başlattıktan sonra yazılımın en altında yer alan “Average” ve “Current” bölümlerindeki saniye başına taranan URL sayısı olarak görebilirsiniz.

Yapacağınız bir tarama işlemini daha gelişmiş ve detaylı hale getirebilmek için, taramanızı başlatmadan önce üst menüde yer alan “Configuration” sekmesinden taramanızla ilgili tüm detayları özelleştirebilir ve gelişmiş araçları kullanabilirsiniz. Aşağıda, tarama öncesi gelişmiş konfigürasyonlar hakkında detaylı bilgiler bulunmaktadır.

Tarama Öncesi Uygulanabilecek Gelişmiş Konfigürasyonlar

Screaming Frog’da bir taramaya başlamadan önce yapacağınız taramayı çok daha geniş kapsamlı hale getirebilir ve özel konfigürasyonlarla gelişmiş bir tarama gerçekleştirebilirsiniz. Bunu yapmak için, taramaya başlamadan önce üst menüde yer alan Configuration menüsünde yer alan ayarları kullanabilirsiniz. Menüde yer alan Spider, Content, robots.txt, URL Rewriting, CDNs, Include, Exclude, Speed, User-Agent, HTTP Header, Custom Search, Custom Extraction, Custom Link Positions, Google Analytics API, Search Console API, PageSpeed Insights API, Majestic API, Ahrefs API, Moz API ve Authentication bölümlerinde yapacağınız ek ayarlar ve tercihlerle taramanızı daha kapsamlı yapabilirsiniz. Aşağıda bu alanların ne işe yaradıklarını ve nasıl kullanıldıklarını inceleyebilirsiniz.

Spider

Tarama öncesinde Screaming Frog’un ne kapsamda tarama yapmasını istediğinizi bu alandan yapacağını seçimlerle özelleştirebilirsiniz. Spider menüsüne tıkladığınızda açılan penceredeki “Crawl” alanından örneğin Hreflang etiketlerinin taranmasını isteyip istemediğinizi buradan yapacağınız seçimle belirleyebilirsiniz.

İkinci sekme olan “Extraction” bölümünde taramanızda sayfa içerisinden hariç tutmak istediğiniz bir alan varsa (Page Title, Meta Description, Meta Robots Tags vb.) bunları kaydedebilirsiniz.

Üçüncü sekmede yer alan “Limits” bölümü, yapılacak taramanın sınırlarını belirler. Bu bölümde toplam taranacak maksimum sayfa sayısı, tarama derinliği ve toplam taranacak yönlendirme zinciri gibi sınırlamaları özelleştirebilirsiniz.

Bir sonraki sekmede yer alan “Rendering” bölümü, yapılacak taramanın çeşidini belirlemenizi sağlar. Örneğin eğer JavaScript ile çalışan bir siteyi taramak istiyorsanız, buradaki Rendering seçeneğini “JavaScript” olarak seçmeniz gerekmektedir.,

Dördüncü sekmedeki “Advanced” bölümü, yapılacak taramada Canonical etiketlerinin veya noindex gibi engellemelerin kaale alınıp alınmayacağına dair özelleştirmeler yapmanızı sağlar.

Son sekmedeki “Preferences” bölümünden de Title, Description, H1, H2 ve URL gibi alanların varsayılan karakter uzunluğu ve piksel genişliği gibi değerlerini değiştirebilirsiniz.

Content Area

Content alanında yer alan Area bölümünden tarama yapacağınız internet sitesinde kullanılan içerik alanını kelime sayımı, kopyaya yakın olan içerik analizi ve dil bilgisi kontrolleri için belirleyebilirsiniz. Bu, bilinen ortak metinlerden kaçınarak bir sayfanın ana içerik alanına analizin odaklanmasına yardımcı olabilir.

Screaming Frog varsayılan olarak, yalnızca bir web sayfasının gövde HTML öğesinde bulunan metni dikkate alır. Ayrıca yine varsayılan olarak kullanılan içerik alanının sayfanın ana içeriğine odaklanmasına yardımcı olmak için hem navigation hem de footer bölümlerindeki HTML öğeleri hariç tutulur.

Tüm web siteleri HTML5 semantik öğeleri kullanılarak oluşturulmaz ve bu yüzden bazı durumlarda bir sitedeki içerik alanını Screaming Frog’da daha da detaylandırabilmek için Content Area bölümünü özelleştirmeniz önerilir. Burada yapacağınız özelleştirmelerle birlikte içerik alanı için HTML öğelerini, sınıflarını veya kimliklerini özel olarak ekleyebilirsiniz.

Content Duplicates

Screaming Frog’da var olan Content bölümü, taranan bir sitenin sayfaları arasındaki içerik benzerliklerini ve kopya durumlarını kontrol ederek tarama sonuçlarında gösterir. Content Duplicates alanında yapacağınız özelleştirme ile birlikte varsayılan ayarlardan hariç olarak ekstra kontroller yapabilirsiniz.

Screaming Frog’un varsayılan ayarında sadece indekslenebilen sayfalar için kopya içerik kontrolü (Only Check Indexable Pages for Duplicates) seçeneği etkin durumdayken, içerik benzerliklerini ve kopyaya yakın durumda olan sayfaları kontrol eden (Enable Near Duplicates) bölümü pasif durumdadır. Burada yapacağınız özelleştirme ile örneğin içerik olarak kopya durumuna yakın olan sayfaların da kontrol edilmesini sağlayabilirsiniz.

Spelling & Grammar

Screaming Frog, yapılan bir taramada HTML sayfalarında yazım ve dil bilgisi kontrolleri yapabilmektedir. Screaming Frog’da yazım ve dil bilgisi kontrolleri ayarı, varsayılan olarak devre dışıdır. “Content” sekmesinde kontrol sonuçlarının görüntülenmesi için yazım ve dil bilgisi hatalarının ve ilgili “Spelling” ve “Grammar” seçeneklerinin etkinleştirilmesi gerekir.

Ayrıca Screaming Frog’daki Spelling & Grammar özelliği, kullanılan dili (HTML etiketi ile) otomatik olarak tanımlar, ayrıca yapılandırma için de gerektiğinde dili manuel olarak seçmenize de olanak tanır.

Buradaki Spelling & Grammar özelliği, 39 dil desteklemektedir. Bu diller Arapça, Asturyasça, Belarusça, Bretonca, Katalanca, Çince, Danca, Flemenkçe, İngilizce (Avustralya, Kanada, Yeni Zelanda, Güney Afrika, ABD, İngiltere), Fransızca, Galiçyaca, Almanca (Avusturya, Almanya, İsviçre), Yunanca, İtalyanca, Japonca, Kmerce, Farsça (Afganistan, İran), Lehçe, Portekizce (Angola, Brezilya, Mozambik, Portekiz), Rumence, Rusça, Slovakça, Slovence, İspanyolca, İsveççe, Tagalogca, Tamilce ve Ukraynaca‘dır. Bu araçta, Screaming Frog şu anda Türkçe dilini desteklememektedir.

Robots.txt

Robots.txt bölümü, tarama yapacağınız internet sitesinin Robots.txt dosyasındaki bir engellemeden etkilenmeden veya bir Robots.txt komutunu kontrol etmek adına kullanabileceğiniz bir alandır.

Buradaki “Settings” kısmından Robots.txt dosyasındaki engellemelerin göz ardı edilerek veya buradaki kurallara uyularak tarama yapılmasını seçebilirsiniz.

Ayrıca Custom bölümünden de tamamen özel bir Robots.txt dosyası kaydederek dilediğiniz engellemelerin çalışıp çalışmadığını ve taramada nasıl bir rol oynadığını test edebilirsiniz.

URL Rewriting

Tarama sonuçlarında görmek istemediğiniz URL’leri belirtmek için URL Rewriting alanını kullanabilirsiniz. Burada karşınıza gelen penceredeki boş bölüme parametreleri her satırda bir tane olacak şekilde tarama sonuçlarında istemediğiniz URL’leri yazarak kaydetmeniz gerekmektedir.

Bu sayede tarama sonuçlarında örneğin https://www.site.com/?utm_source gibi parametreli bir URL’i https://www.site.com/şeklinde gösterilir. URL Rewriting alanında ayrıca Regex kullanarak da URL’lerin yeniden yazım işlemini yapabilirsiniz. Örneğin, http olan URL’leri https olarak göstermek için veya .com.tr domain uzantısında olan URL’leri .com domain uzantısında görebilmek için uygulayacağınız Regex kurallarıyla URL’leri yeniden yazım işlemi yapabilir ve tarama sonuçlarında görebilirsiniz.

URL Rewriting, “Spider” modunda bir taramanın başlangıcı olarak veya “List” modunda eklediğiniz URL’lere değil, sadece bir internet sitesinin taranması esnasında keşfettiğiniz URL’ler için uygulanır.

CDNs

CDN bölümü, tarama esnasında CDN servisinizin URL’lerini Screaming Frog’un dahili bağlantı olarak değerlendirmesini sağlamanız için kullanabileceğiniz bir özelliktir.

Bu bölümden CDN’ler için dahili olarak ele alınacak bir domain listesi kaydedebilirsiniz. Yaptığınız bu işlem sonrasında CDN bağlantıları, Screaming Frog’daki “Internal” sekmesine dahil edilir ve daha fazla ayrıntı çıkarılır.

Include

Özellikle çok yüksek sayıda URL’e sahip sitelerde belirli bölümlerdeki URL’ler için tarama yapılacağı durumda, Screaming Frog’un “Include” özelliği kullanılabilir. Bu alanda her satıra bir kural gelecek şekilde regex üzerinden eşleştirme yapabilirsiniz.

Taramayı başlattığınız URL, bu özelliğin çalışması için regex ile eşleşen bir iç bağlantıya sahip olması gerekir, aksi takdirde Screaming Frog ilk URL’den sonra ikinci bir URL’i taramaya geçemez. Ayrıca Screaming Frog’da taramayı başlattığınız URL’in de buradaki eşleştirme kurallarınızın dahilinde olması gerekiyor.

Exclude

Tarama yaparken taranmasını istemediğiniz URL’leri ve dizinleri hariç tutmak için bu özelliği kullanabilirsiniz. Buradaki bölümde her satırda bir adet olacak şekilde engellemeler uygulayabilirsiniz. URL’leri taramadan hariç tutmanız için Regex dilini kullanmanız ve bu şekilde eşleştirme yapmanız gerekmektedir.

Buradan uygulayacağınız hariç tutmalar, Screaming Frog’da taramayı başlattığınız ilk URL’de işlev görmemekte. Hariç tutma ayarı, yalnızca tarama esnasında keşfedilen diğer URL’ler için uygulanır.

Speed

Screaming Frog’daki Configuration menüsünde yer alan Speed bölümünden yapacağınız taramanın maksimum iş parçacığı sayısını ve saniyede taranacak URL sayısını istediğiniz seviyelerde düzenleyebilirsiniz.

Screaming Frog’un varsayılan ayarlarında maksimum iş parçacığı sayısı 5, saniye başına taranan URL sayısı 2 olarak belirlenmiştir. Tarayacağınız internet sitelerinin sunucu performansına göre tarama hızını düşürmeniz gerekebilir, aksi durumda saniye başına atılan istek sayısının yüksek olması durumunda 500 hatalarıyla karşılaşmanız olasıdır.

User-Agent

Taramaya başlamadan önce hangi User-Agent’i kullanarak sayfaları ziyaret edeceğinizi bu ayar ile birlikte özelleştirebilirsiniz. Taranacak bir internet sitesinin sunucu tarafındaki güvenlik ayarları, Screaming Frog User-Agent’ını engellemiş olabilir. Bu durumda Screaming Frog olarak User-Agent kullanırsanız, tarama gerçekleştiremeyeceksiniz.

User-Agent özelliği ile birlikte tarama gerçekleştirirken karşı sunucuda görünecek User-Agent’ı özelleştirerek örneğin Googlebot’u seçebilir ve böylece olası engellemelere takılmadan taramanızı gerçekleştirebilirsiniz. User-Agent’ı Googlebot olarak seçtiğinizde, yaptığınız taramada kullanıcı aracısı Googlebot olarak görünecektir.

Bu alanı güvenlik engellemelerinden kaçınmaktan hariç olarak belli User-Agent’larda sayfanızın nasıl göründüğünü ve render edilen alanların neler olduğunu da kontrol edebilirsiniz.

HTTP Header

HTTP Header seçeneği, Screaming Frog’da yaptığınız bir tarama sırasında tamamen özel bir HTTP Header istekleri sağlayarak taramanızı gerçekleştirmenizi sağlar.

HTTP Header bölümünde yapacağınız özelleştirme ile birlikte dil, tanımlama bilgisi ve bölge bilgisi gibi yapılandırmalar gerçekleştirmeniz mümkündür.

Custom Search

Custom Search bölümü, Screaming Frog üzerinden bir sitenin kaynak kodunda istediğiniz herhangi bir şeyi aramanıza olanak sağlayan bir özelliktir. Custom Search bölümünde Text veya Regex olarak gireceğiniz bir değeri HTML’de, sayfa metninde, HTML’deki body alanında, HTML’deki head alanında veya içerik alanında arayabilirsiniz.

Girdiğiniz değerin HTML’de var olduğunu veya var olmadığını uygulayacağınız “Contains” veya “Does Not Contains” seçenekleriyle kontrol edebilirsiniz.

Custom Extraction

Custom Extraction bölümü, bir sitenin HTML’inde yer alan bir veriyi CSSPath, XPath veya Regex olarak kazımanıza olanak sağlar. Örneğin, bir e-ticaret sitesindeki ürün sayfalarında yer alan SKU kodlarını bu araç üzerinden yapacağınız CSSPath, XPath veya Regex ayarları ile toplu olarak elde edebilirsiniz.

Custom Extraction aracı, yalnızca 200 yanıt koduna sahip olan ve çalışan HTML sayfaları üzerinden veri kazımanıza olanak sağlar. Eğer statik HTML sayfasından hariç olarak render edilen HTML’den veri kazımak için JavaScript rendering moduna geçebilirsiniz.

Custom Link Positions

Screaming Frog, bir internet sayfasının içeriğinde, kenar çubuğunda (sidebar) veya footer alanlarının olup olmadığını kontrol eder ve bir sayfada keşfettiği her bağlantıyı konumuna göre sınıflandırır.

Custom Link Positions aracı ile birlikte tarama yapacağınız bir internet sitesinin link pozisyonlarını sitenin yapısına göre özelleştirebilir ve Screaming Frog’daki “Inlinks” ve “Outlinks” bölümlerindeki link pozisyonlarını ifade eden XPath alanının doğru olarak çalışmasını sağlayabilirsiniz.

Google Analytics API

Google Analytics hesabınızı Screaming Frog ile bağlayarak, eskiye yönelik URL’lerinizle ilgili detaylı bir tarama da gerçekleştirebilirsiniz. Özellikle kapsamlı bir tarama gerçekleştirmek için Google Analytics’e de yansıyan URL’lerinizi taramaya dahil etmeniz, daha önceden var olan ama artık var olmayan URL’lerinizi keşfetmeniz açısından da önemlidir. Bu bağlantıyı yapmak için API Access menüsünden Google Analytics bölümüne tıklamanız ve açılan pencereden “Connect to New Account” butonuna tıklayarak Analytics hesabınızın bulunduğu Google hesabınızla bir bağlantı gerçekleştirmeniz gerekmektedir.

Burada dikkat etmeniz gereken nokta, bağlantı esnasında doğru Analytics mülkünü ve görünümünü seçmenizdir. Daha sonrasında “Date Range” ve “Metrics” alanlarından Google Analytics’ten çekilecek verinin hangi tarih aralığında olmasını istediğinizi ve Screaming Frog’da görmek istediğiniz Analytics metriklerini seçebilirsiniz.

Search Console API

Search Console mülkünüzden veriler elde etmek ve tıpkı yukarıdaki Google Analytics bağlantısında olduğu gibi eskiye yönelik URL’leriniz için de bir kontrol gerçekleştirmek için Search Console API bağlantısını yapmanız gerekmektedir. Böylece daha önceden Google tarafından keşfedilip taranan fakat şu anda internet sitenizde bulunmayan URL’leriniz için de bir kontrol gerçekleştirebilirsiniz. Search Console bağlantısı için API Access menüsünden Google Search Console’a tıklamanız ve açılan pencereden “Connect to New Account” butonuna tıklayarak Search Console mülkünüzün bulunduğu Google hesabınızı seçerek sizden istenen izinleri vermeniz gerekmekte.

Burada Search Console bağlantısını uygularken doğru mülkü seçtiğinizden emin olmalısınız, aksi durumda Search Console’dan eksik/hatalı veri gelecektir. Bağlantı sonrasında “Search Analytics” sekmesinden tarih aralığı, cihaz filtresi, ülke filtresi, query filtresi gibi tercihler yapabilirsiniz.

PageSpeed Insights API

Screaming Frog taramasıyla birlikte taranan URL’lerinizin PageSpeed Insights’tan elde edilen hız verilerini de görmek isterseniz, taramanızı başlatmadan önce API Access menüsünden PageSpeed Insights bölümüne tıklamanız ve sizden istenen “Secret Key” bilgisini girerek bağlantıyı kurmanız gerekmektedir.

Bu sayede taranan URL’lerinizin hız performansına dair metrikleri tarama sonuçlarınızda görmeniz mümkün hale gelecektir. PageSpeed Insights API bağlantısında yer alan “Metrics” bölümünden Mobil veya Masaüstü olarak tercih yapabilir ve hemen altındaki bölümden görmek istediğiniz verileri seçebilirsiniz.

Majestic API Bağlantısı

URL’lerinizle ilgili olarak Majestic üzerinden veriler görebilmek için Screaming Frog ile Majestic hesabınızı bağlamanız gerekmektedir. Bunun için API Access menüsünden Majestic alanına girmeniz ve daha sonrasında Majestic hesabınızla ilgili sizden istenen “Access Token” bilgisini doğru şekilde kaydetmeniz gerekmektedir.

Bu sayede Majestic ile Screaming Frog bağlanacak ve tarama sonuç ekranında URL’lerinizle ilgili Majestic API üzerinden alınan verileri görebileceksiniz.

Ahrefs API Bağlantısı

Tarama sonuçlarınızda URL’lerinizle ilgili Ahrefs üzerinden elde edilen verileri görmek isterseniz, Ahrefs hesabınızı Screaming Frog ile bağlayabilirsiniz. API Access menüsündeki Ahrefs bölümüne tıkladığınızda, açılan pencerede Ahrefs hesabınızla bağlantı kurulabilmesi için “Access Token” bilgisi istenecektir.

Doğru bir token girişi sonrasında Ahrefs API üzerinden URL’lerinizle ilgili verileri tarama sonuçlarınızda görebileceksiniz.

Moz API Bağlantısı

Taramanızda Moz üzerinden veri almak isterseniz, API Access menüsündeki Moz bölümünü kullanmanız gerekmektedir. Moz alanında Moz hesabınızla API bağlantısı kurmak için sizden istenen “Access ID” ve “Secret Key” bilgilerini doğru şekilde girmeniz gerekmektedir.

Bu sayede Moz hesabınız ile Screaming Frog bağlantısı kurulacak ve tarama sonuçlarında URL’lerinizle ilgili Moz üzerinden alınan veriler de görünecektir.

Authentication

Tarama yapmak istediğiniz internet sitesi, bir kullanıcı girişi sonrasında çalışıyorsa bu alanda yer alan “Forms Based” bölümünden sitenizin kullanıcı girişi URL’ini ve kullanıcı adı & şifre bilgilerini Screaming Frog’a kaydedebilirsiniz.

Bu sayede tarama gerçekleştirilirken Screaming Frog botu öncelikle sitenize bir kullanıcıymış gibi giriş yaparak giriş ekranı sonrası gelen sayfalar için tarama gerçekleştirebilecek.

Screaming Frog Ana Sekmeleri ve Anlamları

Screaming Frog arayüzünde tarama verilerinizi gördüğünüz bölümde yer alan ana sekmeler, tarama esnasında ve sonunda URL’lerinizle ilgili farklı kategorilerde detayları görmenize olanak sağlar. Buradaki sekmelerde ağırlıklı olarak kaynak kodunuzdan elde edilen verileri farklı filtreler kullanarak detaylı şekilde görüntüleyebilir ve her sekmedeki verileri Excel formatında dışarıya aktarabilirsiniz.

Screaming Frog’da ana sekmeler bölümünde Internal, External, Security, Response Codes, URL, Page Titles, Meta Description, Meta Keywords, H1, H2, Content, Images, Canonical, Pagination, Directives, Hreflang, JavaScript, AMP, Structured Data, Sitemaps, PageSpeed, Custom Search, Custom Extraction, Analytics, Search Console ve Link Metrics bulunmaktadır. Aşağıda bu sekmelere dair detayları görüntüleyebilirsiniz.

Internal

Screaming Frog’da bir internet sitesini taradığınızda, Internal sekmesinde taranan tüm iç bağlantıları görebilirsiniz. Burada listelenen bağlantılar yalnızca HTML sayfalarınız değil, site içerisindeki tüm URL’leri oluşturur. Yani Internal sekmesinde HTML, CSS, JS ve Image türündeki tüm. URL’leriniz listenelir. Ayrıca yan sütunlarda URL’lere dair HTTP yanıt kodu, title, description, canonical URL, heading etiketi, meta robots etiketleri, sayfanın boyutu, tarama derinliği seviyesi ve sayfa içindeki bağlantı sayısı gibi bilgileri görebilirsiniz. Yan panelden de iç bağlantılarınızı türüne göre (HTML, JavaScript, CSS, Image, PDF, Flash) filtreleyebilirsiniz.

External

External sekmesinde de taradığınız sitedeki sayfalardan dışarıya çıkan tüm bağlantılar listelenmektedir. Harici sitelere giden bağlantıları takip edebileceğiniz bu sekme üzerinde dışarıya giden bağlantıyla ilgili olarak URL, HTTP yanıt kodu, tarama derinliği seviyesi ve content type gibi bilgileri görmeniz mümkündür. Ayrıca sağ bölümden de filtreleme uygulayarak dışarıya giden bağlantıyı türüne göre (HTML, JavaScript, CSS, Image, PDF, Flash) filtreleyebilirsiniz. Bu sekme üzerinden bilginiz olmadan sitenizden dışarıya çıkan bağlantıları keşfedebilir ve hacklink saldırılarından korunabilirsiniz.

Security

Screaming Frog’daki Securiy sekmesi, taranan URL’leriniz arasında Internal (dahili) URL’leriniz için güvenlikle ilgili verileri gösterir. URL’lerinizde kullanılan güvenlik protokolleri ve etiketler hakkında bu sekmeden detayları görüntüleyebilirsiniz. Ayrıca yan panelde de HTTP URLs, HTTPS URLs, Mixed Content, Form URL Insecure, Form on HTTP URL, Unsafe Cross-Origin Links, Protocol-Relative Resource Links, Missing HSTS Header, Missing Content-Security-Policy Header, Missing X-Content-Type-Options Header, Missing X-Frame-Options Header, Missing Secure Referrer-Policy Header ve Bad Content Type gibi filtrelemeleri kullanarak URL’lerinizdeki güvenlik protokolleri hakkında çok daha detaylı incelemelerde bulunabilirsiniz.

Response Codes

Response Codes bölümü, tarama yaptığınız sitedeki tüm URL’lerin HTTP yanıt kodları hakkında bilgi veren bir bölümdür. Burada URL’lerinizin yaptığınız taramada hangi yanıt koduyla yanıt verdiğini gösterir. Ayrıca herhangi bir URL’inizde yönlendirme varsa, yönlendirmeye dair detaylar yan sütunlardaki Redirect URL ve Redirect Type alanlarında listelenir. Yine yan panelde bulunan bölümden, URL’lerinizle ilgili yanıt kodu filtrelerini (Blocked by Robots.txt, Blocked Resource, No Response, Success (2xx), Redirection (3xx), Redirection (JavaScript), Redirection (Meta Refresh), Client Error (4xx), Server Error (5xx)) uygulayarak örneğin sadece 4xx Client Error yanıtına sahip URL’lerinizi filtreleyebilirsiniz.

URL

Arayüzdeki URL sekmesi, tarama yaptığınız internet sitesindeki URL’lerle ilgili verileri detaylı olarak görebileceğiniz bir bölümdür. URL sekmesinde URL’lerinizle ilgili HTTP yanıt kodu, URL uzunluğu ve URL’in hash edilen versiyonu, Canonical URL ve URL’in encode edilen versiyonunu görüntüleyebilirsiniz. Ayrıca yan panelden yapacağınız filtrelemelerle URL’lerinizi Non ASCII Characters, Underscores, Uppercase, Multiple Slashes, Repetitive Path, Contains Space, Internal Search, Parameters, Broken Bookmark ve Over 115 Characters olarak filtreleyebilirsiniz.

Page Titles

Page Titles sekmesi, taranan tüm URL’lerinizin meta title etiketlerini görebileceğiniz alandır. Burada URL’lerinizin title metnini, title karakter sayısını ve title piksel genişliğini görebilirsiniz. Yan paneldeki filtreleri kullanarak da URL’leriniz için Missing Title, Duplicate Title, Over 60 Characters, Below 30 Characters, Over 561 Pixels, Below 200 Pixels, Sames as H1 ve Multiple gibi filtrelemeler yapabilirsiniz.

Meta Description

Meta Description bölümünden de taranan tüm URL’leriniz için meta description etiketlerini kontrol edebilirsiniz. Taranan URL’lerinizin meta description metni, meta description karakter sayısı, meta description piksel genişliği gibi bilgileri bu sekmede görüntüleyebilirsiniz. Ayrıca yan bölümdeki sekmeleri kullanarak da Missing Description, Duplicate Description, Over 155 Characters, Below 70 Characters, Over 1.011 Pixels, Below 400 Pixels ve Multiple gibi filtrelemeler yapabilirsiniz.

Meta Keywords

Meta Keywords sekmesi, sitenizdeki tüm URL’ler için kullandığınız meta keywords etiketiyle ilgili bilgiler sunan bir bölümdür. Buradaki sütunlarda URL’leriniz için meta keywords metnini ve meta keywords karakter sayısını görüntüleyebilirsiniz. Ek olarak yan bölümden de Missing Meta Keywords, Duplicate Meta Keywords ve Multiple gibi filtrelemeler yapabilirsiniz.

H1

H1 sekmesi, URL’lerinizde kullandığınız H1 etiketleri hakkında bilgileri görebileceğiniz alandır. Sayfalarınızdaki H1 etiketlerinin karakter sayısını ve sayfada bulunan toplam <h1> etiketi sayısını H1 sekmesindeki sütunlardan görüntüleyebilirsiniz. Ayrıca yan paneldeki Missing H1, Duplicate H1, Over 70 Characters ve Multiple gibi filtreleri kullanarak H1 etiketlerinizi bu durumlara göre filtreleyebilirsiniz.

H2

Tıpkı H1 sekmesinde olduğu gibi URL’lerinizde kullandığınız H2 etiketlerini de bu sekmede görüntüleyebilirsiniz. Buradaki sekmelerde URL’lerinizde tespit edilen tüm H2 etiketlerini, H2 etiketlerinizin karakter sayısını ve sayfada tespit edilen toplam <h2> etiketi sayısı listelenmektedir. Yan bölümden de H1 etiketinde de olduğu gibi Missing H1, Duplicate H1, Over 70 Characters ve Multiple şeklinde filtrelemeler yapabilirsiniz.

Content

Screaming Frog’daki Content sekmesi, taranan URL’lerinizdeki içerikle ilgili kelime sayısı, tekrar eden (kopya), tekrar etmeye yakın (içerik benzerliği yüksek olan) ve yazım ve dil bilgisi hatalarıyla ilgili ayrıntılar sunmaktadır. Seçtiğiniz bir URL’in sağ kısmındaki bu sütunlarda Word Count, Closest Similarity Match, No Near Duplicates, Total Language Errors, Spelling Errors, Grammar Errors ve Language gibi çeşitli verileri görebilirsiniz. Ayrıca sağ paneldeki Exact Duplicates, Near Duplicates, Low Content Pages, Spelling Errors ve Grammar Errors gibi filtrelemeleri kullanabilirsiniz.

Images

Images bölümü, taranan URL’lerinizde keşfedilen görselleri ve bu görseller hakkındaki çeşitli bilgileri içeren bir alandır. Keşfedilen bir görsel hakkında Image URL, Content Type, Size ve IMG Inlinks gibi bölümlerde çeşitli verileri görüntüleyebilirsiniz. Ek olarak sağdaki Over 100 KB, Missing Alt Text, Missing Alt Attribute ve Alt Text Over 100 Characters gibi filtreleri kullanabilir ve görsellerinizi bu kategorilerde ayrı ayrı inceleyebilirsiniz.

Canonical

Canonical bölümünde, taranan URL’lerinizde keşfedilen Canonical etiketleriyle ilgili detaylı bilgiler listelenir. Toplam tespit edilen Canonical URL sayısı ve Canonical etiketinin işaret ettiği URL gibi birçok detayı bu ekranda görebilirsiniz. Canonical sekmesinde ayrıca yan panelde bulunan Contains Canonical, Self Referencing, Canonicalised, Missing, Multiple ve Non-Indexable Canonical gibi filtreleri kullanarak da Canonical etiketlerinizle ilgili daha detaylı analiz yapabilirsiniz.

Pagination

Screaming Frog’da sayfalanmış URL’lerinizle ilgili detayları Pagination sekmesinde görüntüleyebilirsiniz. Taranan URL’leriniz arasında sayfalandırılmış URL’leriniz mevcutsa, bu URL’lerinizde kullanılan rel=”next”, rel=”prev”, Canonical URL ve Meta Robots etiketleri gibi detayları inceleyebilirsiniz. Ayrıca yine sağ bölümden de Contains Pagination, First Page, Paginated 2+ Pages, Pagination URL Not in Anchor Tag, Non-200 Pagination URLs, Unlinked Pagination URLs, Non-Indexable, Multiple Pagination URLs, Pagination Loop ve Sequence Error gibi filtrelemeler yapabilirsiniz.

Directives

Screaming Frog’daki Directives sekmesi, taranan URL’lerinizin HTTP Header bilgisindeki meta robots ve X-Robots-Tag ile ilgili verileri gösterir. Buradaki robot yönergeleri ile birlikte içeriğinizin ve URL’lerinizin Google gibi arama motorlarında nasıl görüntüleneceği kontrol edilir. Ayrıca yan paneldeki sekmelerden de Index, Noindex, Follow, Nofollow, None, NoArchive, NoSnippet, Max-Snippet, Max-Image-Preview, Max-Video-Preview, NoODP, NoYDIR, NoImageIndex, NoTranslate, Unavailable_After ve Refresh gibi filtrelemeleri kullanarak URL’leriniz için çok daha gelişmiş incelemeler gerçekleştirebilirsiniz.

Hreflang

Özellikle çok dilli siteler için Screaming Frog’daki Hreflang sekmesinin önemi büyüktür. Tarama gerçekleştirdiğiniz URL’lerinizde kullanılan hreflang alternate etiketlerini ve etiketlerle ilgili detayları buradaki ekranda görüntüleyebilirsiniz. URL’lerinizde keşfedilen toplam hreflang etiketi sayısını, hreflang dil kodlarını ve hreflang URL’lerini ayrı ayrı görüntüleyebilirsiniz. Ayrıca yan paneldeki sekmeleri kullanarak da Contains Hreflang, Non-200 Hreflang URLs, Unlinked Hreflang URLs, Missing Return Links, Inconsistent Language & Region Return Links, Non-Canonical Return Links, Noindex Return Links, Incorrect Language & Region Codes, Multiple Entries, Missing Self Reference, Not Using Canonical, Missing X-Default ve Missing olarak filtreleyebilirsiniz.

JavaScript

JavaScript sekmesi, Client Side olarak JavaScript kullanan web sitelerinin denetlenmesiyle ilgili yaygın sorunlara ilişkin veriler ve filtreler içeren bir bölümdür. JavaScript Rendering modunda veri sunan bu bölümde, Screaming Frog ilk olarak sayfaları bir tarayıcıda olduğu gibi aynı şekilde oluşturarak JavaScript içeriğini, bağlantılarını ve diğer bağımlılıkları listelemektedir. Ayrıca yan panelde bulunan Pages with Blocked Resources, Contains  JavaScript Links, Contains JavaScript Content, Noindex Only in Original HTML, Nofollow Only in Original HTML, Canonical Only in Rendered HTML, Canonical Mismatch, Page Title Only in Rendered HTML, Page Title Updated by JavaScript, Meta Description Only in Rendered HTML, Meta Description Updated by JavaScript, H1 Only in Rendered HTML, H1 Updated by JavaScript, Uses Old AJAX Crawling Scheme URLs ve Uses Old AJAX Crawling Scheme Meta Fragment Tag gibi filtreleri kullanarak çok daha detaylı JavaScript analizi gerçekleştirebilirsiniz.

AMP

AMP sekmesinde taranan URL’leriniz arasında AMP kullanılıyorsa, burada detaylı şekilde AMP ile ilgili verileri görebilirsiniz. URL’lerinizin işaret ettiği AMP sayfalarınızın doğru şekilde çalışıp çalışmadığını ve AMP sayfalarınızla ilgili analizleri bu sekmeden elde edeceğiniz detaylarla yapabilirsiniz. Ayrıca yan panelde bulunan Non-200 Response, Missing Non-AMP Return Link, Missing Canonical to Non-AMP, Non-Indexable Canonical, Indexable, Non-Indexable, Missing <html amp> Tag, Missing/Invalid <!doctype html> Tag, Missing <head> Tag, Missing <body> Tag, Missing Canonical, Missing/Invalid <meta charset> Tag, Missing/Invalid <meta viewport> Tag, Missing/Invalid AMP Script, Missing/Invalid AMP Boilerplate, Containt Disallowed HTML ve Other Validation Errors gibi filtreleri kullanarak AMP sayfalarınız hakkında çok daha gelişmiş incelemelerde bulunabilirsiniz.

Structured Data

Tarama başlatmadan önce URL’lerinizde kullanılan Yapısal Veri İşaretlemeleri kodlarını görüntülemek adına bir ayar yaptıysanız, bu sekme üzerinde hangi URL2inizde hangi Structured Data kodunun tespit edildiğini ve tespit edilen kodlarda bir hata olup olmadığını görüntüleyebilirsiniz. Ayrıca yan sekmede bulunan bölümden de Contains Structured Data, Missing, Validation Errors, Validation Warnings, Parse Errors, Microdata URLs, JSON-LD URLs ve RDFa URLs gibi çeşitli filtreleri kullanarak Yapısal Veri İşaretlemesi kodlarınız hakkında detaylı inceleme yapabilirsiniz.

Sitemaps

Screaming Frog taramanızı başlatmadan önce konfigürasyon bölümünde site haritalarınızın taranması ve incelenmesi için gerekli olan ayarı etkinleştirdiyseniz, bu bölümde site haritalarınızla ilgili detaylı veriler görünecektir. Yan bölümdeki panelden de site haritalarınızdaki URL’lerle ilgili URLs in Sitemap, URLs not in Sitemap, Orphan URLs, Non-Indexable URLs in Sitemap, URLs in Multiple Sitemaps, XML Sitemap with over 50k URLs ve XML Sitemap over 50MB gibi filtreler uygulayabilirsiniz.

PageSpeed

PageSpeed sekmesi, adından da anlaşılacağı üzere sitenizdeki tüm URL’ler hakkında sayfa hız performansına dair veriler görebileceğiniz bölümdür. URL’leriniz hakkında hız performans verilerini görebilmek için taramayı başlatmadan önce konfigürasyon bölümünden PageSpeed Insights API’yi etkinleştirmeniz gerekir. Ayrıca yan panelde URL’lerinizin hız performansıyla ilgili birçok farklı filtreyi de uygulayarak daha detaylı analizler gerçekleştirebilirsiniz.

Custom Search

Screaming Frog taraması başlatmadan önce URL’lerinizin kaynak HTML’inde bir veri aramaya yönelik ayarlama yaptıysanız, Custom Search bölümünde hangi URL’lerinizde ilgili verinin tespit edilip edilmediğini görüntüleyebilirsiniz.

Custom Extraction

Tarama başlatmadan önce bir veri kazıma (scrape) işlemi yapmak adına Custom Extraction üzerinden XPath, CSSPath veya Regex ile bir ayarlama yaptıysanız, bu sekmede URL’lerinizde veri kazıma için tanımladığınız bilgilere dair sonuçları görüntüleyebilirsiniz.

Analytics

Screaming Frog taramasını başlatmadan önce, Google Analytics hesabınızla Screaming Frog’u bağladıysanız, Analytics’ten elde edilen veriler bu sekmede listelenecektir. Analytics sekmesinde URL’lerinizle ilgili GA Sessions, GA % New Sessions, GA Users, GA New Users, GA Bounce Rate, GA Page Views Per Session, GA Avg Session Duration, GA Goal Conversion Rate, GA Goal Completions All, GA Goal Value All ve GA Page Value gibi Analytics üzerinden gelen verileri görüntüleyebilirsiniz. Ayrıca yine yan paneldeki sekmelerden de URL’leriniz için Sessions Above 0, Bounce Rate Above 70%, No GA Data, Non-Indexable with GA Data ve Orphan URLs gibi filtrelemeler yapabilirsiniz.

Search Console

Eğer tarama işlemine başlamadan önce Screaming Frog’u Search Console mülkünüzle bağladıysanız, Search Console’dan elde edilen veriler bu sekmede listelenecektir. Search Console’dan URL’leriniz için elde edilen Click, Impression, CTR ve Position gibi verileri bu sekmede görebilirsiniz. Yan panelde bulunan sekmelerden de URL’lerinizle ilgili Clicks Above 0, No Search Analytics Data, Non-Indexable with Search Analytics Data, Orphan URLs, URL is Not on Google, Indexable URL Not Indexed, URL is on Google But Has Issues, User-Declared Canonical Not Selected, Page is Not Mobile Friendly, AMP URL Invalid ve Rich Result Invalid gibi filtrelemeler yapabilirsiniz.

Link Metrics

Eğer Screaming Frog taramanızdan önce Majestic, Ahrefs veya Moz gibi platformlar için API bağlantısı gerçekleştirdiyseniz, URL’lerinizle ilgili çeşitli link metrikleri bu ekranda listelenecektir. Burada listelenen veriler, 3 platform için de ayrı ayrı gösterilmektedir ve URL’leriniz hakkında Backlink, Anchor Text, Trust Flow Değeri, Social Links ve EDU&GOV Links gibi daha birçok metrikten veri sunulmaktadır.

Screaming Frog Yan Sekmeler ve Anlamları

Screaming Frog arayüzünde ekranın sağ kısmında bir sidebar mantığında konumlanan bir yan panel bulunmaktadır.

Bu alanda Overview, Site Structure, Response Times, API ve Spelling & Grammar adında sekmeler yer almaktadır. Her sekmenin içinde tarama ile ilgili detaylar listelenmektedir. Aşağıda sekmelerin içeriğiyle ilgili ekstra bilgi edinebilirsiniz.

Overview

Overview alanında gerçekleştirilen taramaya dair tüm detaylar yer almaktadır. Arayüzdeki ana sekmelerle ilgili olan tüm alt kırılımlar bu alanda listelenmektedir. Gerçekleşen taramanın hem bir genel özeti, hem de tüm tarama verileri sekme sekme bu alanda görüntülenebilmektedir.

Site Structure

Site Structure alanı, tarama yaptığınız internet sitesinin URL’lerini alt alta listeleyerek site mimarisi ve site yapısı hakkında detayları gösteren bir bölümdür. Burada belli dizinlerde yer alan URL’ler, klasörlere ayrılmış olarak düzenli şekilde gösterilir.

Bu alanda üst kısımda yer alan – ve + butonlarıyla tarama derinliğini düşürebilir veya artırabilirsiniz. Ayrıca aynı alanda sağ kısımda yer alan “View” bölümündeki seçeneklerden “Crawl Depth” seçeneğine tıklayarak aşağıda listelenen URL’lerinizin tarama derinliği ve hangi seviyede tarandığına dair verileri görebilirsiniz.

Response Times

Response Times alanı, tarama yapılan URL’lerden elde edilen sunucunun yanıt verme süresini ifade eder. Bu alanda URL’lerin 0-1 saniye, 1-2 saniye, 3-4 saniye ve 4-5 saniye gibi gruplandırılmış olarak görebilir ve hangi yanıt süresi aralığında ne kadar URL’inizin olduğunu görebilirsiniz. Ayrıca bir yanıt süresi aralığına dahil olan URL’lerin, tüm URL’lere oranını da görüntüleyebilirsiniz.

API

Screaming Frog’daki Configuration bölümünde yer alan API Access menüsündeki platformlara tarama öncesinde bir API bağlantısı gerçekleştirdiyseniz, bu bölümde API bağlantılarının ilerleme yüzdesini ve hata sayısını görüntüleyebilirsiniz. Ayrıca platformların yanında bulunan çark simgesine tıklayarak yeni hesap bağlama işlemini de yapabilirsiniz.

Spelling & Grammar

Screaming Frog’da eğer Configuration bölümünde Content menüsünün altında bulunan Spelling & Grammar aracını etkinleştirdiyseniz, bu alanda URL’lerinizdeki içeriklerle ilgili yapılan yazım ve dil bilgisi kontrollerine dair detayları görebilirsiniz.

Screaming Frog Alt Sekmeler ve Anlamları

Screaming Frog’da taranan URL’ler ile ilgili çok daha fazla ayrıntı görebilmeniz için, arayüzün alt kısmındaki sekmeleri kullanabilirsiniz. Burada sunulan birçok veriyle birlikte sayfalarınıza dair detaylı sonuçlar elde edebilirsiniz.

Aşağıda buradaki sekmelerin neler olduğuna ve ne işe yaradığına dair detaylı bilgiler yer almakta.

URL Details

URL Details bölümü, üst kısımda taranmış bir URL’i seçtiğinizde veri oluşturan ve seçtiğiniz URL için yanıt kodu, indekslenebilirlik durumu, başlık etiketi, sunucu yanıt süresi, tarama derinliğindeki seviyesi ve son güncellenme tarihi gibi verileri sunmaktadır.

Inlinks

Inlinks bölümü, taranmış URL’ler arasından bir veya birden fazla URL’i seçtiğinizde, seçtiğiniz URL’lerin site içerisinde hangi sayfalarınızdan iç bağlantılar aldığına dair detayları göstermektedir. Bu alanda “From” sütunu, seçtiğiniz URL’in hangi sayfadan bağlantı aldığını ifade eder. Ayrıca “Type” sütununda iç bağlantının hangi türde verildiğini (Hyperlink, Canonical URL, Redirect vb.) gösterir.

Inlinks bölümünde tablonun geri kalanında bağlantıya dair anchor text, alt text, follow, rel, status code ve link path gibi ek detayları da görüntülemek mümkündür.

Outlinks

Outlinks bölümü, üst kısımda taranmış URL’ler arasından seçtiğiniz bir veya daha fazla URL için dışarıya çıkan bağlantıları listeleyen bir bölümdür. Özellikle hacklink gibi konular için kontrol yapmanıza olanak sağlayan Outlinks bölümünde, Inlinks kısmında olduğu gibi bir bağlantının anchor text, alt text, follow, rel, status code ve link path gibi detaylarını görmeniz mümkündür.

Image Details

Image Details bölümü, sitenizde taranan görsellere dair teknik detayları ve görselin önizlemesini görebileceğiniz bir bölümdür. Seçilen görselin site içerisinde hangi sayfalarda bulunduğu, görselin tam URL’i, görsel alt etiketi ve görselin bir önizlemesi bu alanda sunulmaktadır.

Resources

Resources alanı, üst kısımda seçtiğiniz bir URL için yüklenen CSS, JS ve Image gibi kaynakları listelemektedir. Bu alanı kullanarak bir veya birden fazla URL için yüklenen CSS, JS ve Image dosyalarını ve tam URL hallerini görüntüleyebilirsiniz.

SERP Snippet

Taranan bir URL’i seçerek alt bölümdeki SERP Snippet alanına geçtiğinizde ilgili URL’in Google arama sonuçlarından bir indeks önizlemesini görüntüleyebilirsiniz. Seçtiğiniz taranan bir URL’in title, description ve rich snippet gibi detaylarını SERP önizlemesi ile görebilirsiniz. Sağ kısımda yer alan küçük tabloda da seçtiğiniz URL’in title ve description metinlerinin karakter sayısını, fazla gelen karakter sayısını ve piksel genişliğini inceleyebilirsiniz.

Ayrıca alt kısmında yer alan özelleştirme seçenekleri sayesinde de seçtiğiniz URL için örnek SERP önizlemesini manuel olarak değiştirebilirsiniz. Title, description, description prefix ve rich snippets gibi ek bilgiler ekleyerek SERP’te nasıl görüneceğini bir önizleme olarak görebilirsiniz.

Rendered Page

Rendered Page bölümü, JavaScript kullanılarak oluşturulmuş sayfaların render edilme sonrasında nasıl göründüğüne dair detayları göstermektedir. Seçtiğiniz bir URL’in render edilmiş halinin tam boyda bir kopya görüntüsü sunulmaktadır. Bu alanı kullanarak JavaScript kullanan siteler için render edilme sorunlarının çözülmesini sağlayabilirsiniz.

Rendered Page bölümünün aktifleşmesi için, Screaming Frog’da Configuration menüsü altında yer alan Spider bölümündeki Extraction sekmesinde yer alan “Store HTML” ve “Store Rendered HTML” seçeneklerini aktifleştirmeniz gerekmektedir.

View Source

View Source alanı, taranan bir URL’in kaynak kodunu görebilmek için kullanabileceğiniz bir bölümdür. Kaynak kodun üstünde yer alan açılır menü ile birlikte HTML veya Visible Content olarak iki farklı şekilde sayfaya dair detayları görüntüleyebilirsiniz. Ayrıca aynı bölümde yer alan arama kutucuğu ile birlikte kaynak kodda aradığınız bir ifadeyi kolayca bulabilirsiniz.

HTTP Headers

Screaming Frog’da yer alan HTTP Headers alanı, taraması yapılmış bir URL hakkında üstbilgi sunan bir bölümdür. Bu alanda sunucuya atılan istekten sonra HTML oluşmadan önce gelen çeşitli bilgiler yer almaktadır. Örneğin Cache-Control, User-Agent ve content-type gibi mikro bilgiler, HTTP Headers bölümü üzerinden kontrol edilebilir.

Cookies

Screaming Frog’da yer alan Cookies bölümü, tarama yaptığınız sayfaların kullandığı Cookie’ler hakkında bilgilendirme sağlayan bir alandır. Özellikle GDPR konusunda hangi çerezleri kullandığınıza dair daha kolay bir tespit otomasyonu kurmanızı sağlar.

Cookies alanında sayfalarınızda kullanılan çerezler hakkında Cookie Name, Cookie Value, Domain, Path, Expiration Time, Secure, HttpOnly ve Cookie’nin tespit edildiği URL gibi bilgileri görmeniz mümkündür.

Duplicate Details

Duplicate Details bölümü, sayfalarınız arasındaki içerik benzerliğini kontrol eden bir alandır. İçerik benzerlik oranınız Screaming Frog’un varsayılan ayarı olan %90’ın üzerindeyse, iki sayfa duplicate durumuna çok yakın olarak değerlendirilir. Bu durumda yapılması gereken sayfalarınızdaki içerikleri ayrı ayrı özgün şekilde değiştirmektir.

Screaming Frog’un varsayılan olarak kullandığı “Near Duplicates” oranını değiştirmek için Configuration menüsünde bulunan Content alanından Duplicates sekmesine tıklamanız ve açılan pencerede “Enable Near Duplicates” seçeneğini aktifleştirerek hemen altındaki oran bilgisini %90’dan istediğiniz seviye olacak şekilde düzenlemeniz gerekmektedir.

Structured Data Details

Taranan URL’ler arasından seçtiğiniz bir URL için Yapısal Veri İşaretlemesi’ne dair verileri görüntülemek için bu bölümü kullanabilirsiniz. Sayfanızda kullandığınız Yapısal Veri İşaretlemeleri’ne dair detayları görüntüleyebilir ve hatalı olan kısımları kolayca tespit edebilirsiniz.

Structured Data alanını kullanabilmek için Screaming Frog’da Configuration menüsü altında yer alan Spider bölümündeki Extraction sekmesinde yer alan “JSON-LD”, “Microdata”, “RDFa” ve “Schema.org Validation” bölümlerini etkinleştirmeniz gerekmektedir.

PageSpeed Details

URL’lerinizin hız performansına dair verileri görüntülemek için sekmeler arasında yer alan PageSpeed Details bölümünü kullanabilirsiniz. Taranan URL’ler arasından seçtiğiniz bir URL için, Google PageSpeed Insights & Lighthouse üzerinden alınan verileri inceleyebilir ve sayfanızın her performansına dair tüm detayları görüntüleyebilirsiniz.

Sayfalarınızın hız performansına dair detayları görüntüleyebilmek için Screaming Frog’da Configuration menüsü altında yer alan API Access alanından PageSpeed Insights bağlantısını sorunsuz bir şekilde yapmanız gerekmektedir.

Spelling & Grammar Details

Taranan bir URL’inizin içeriği için yazım ve dil bilgisi kontrollerinde bulunmak adına Spelling & Grammar Details alanını kullanabilirsiniz. Desteklenen dillerde bir içeriğiniz varsa, sayfalarınızdaki içerikler için detaylı bir denetim gerçekleştirebilirsiniz.

Screaming Frog Hakkında Sıkça Sorulan Sorular

Screaming Frog Sitemi Neden Taramıyor?

Screaming Frog’un bir siteyi taraması için herhangi bir güvenlik duvarı engellemesine veya Screaming Frog botlarına yönelik bir engellemeye takılmaması gerekir. Özellikle Robots.txt dosyanız üzerinde botlara yönelik bir engelleme mevcutsa, Screaming Frog botları sitenizi tarayamayacaktır. Bu sebepten dolayı Screaming Frog’daki Configuration menüsü altında yer alan Robots.txt bölümünden Robots.txt komutlarını göz ardı etme seçeneğini kullanabilirsiniz.

İkinci olarak, Screaming Frog botları sunucunuzda aktif olan bir güvenlik duvarı (firewall) engellemesine de takılıyor olabilir. Bu durumda da kullandığınız güvenlik duvarının ayarlarından Screaming Frog botlarını whitelist’a eklemeniz ve Screaming Frog botlarına izin vermeniz gerekmektedir. Screaming Frog’un internet sitenizi neden taramadığına dair ek kontroller için https://www.screamingfrog.co.uk/seo-spider/faq/#why-wont-the-seo-spider-crawl-my-website adresini ziyaret edebilirsiniz.

Screaming Frog Lisans Yenilemesi Nasıl Yapılır?

Var olan fakat süresi biten bir Screaming Frog lisansını yenilemek için https://www.screamingfrog.co.uk/login/ adresinden lisansı satın aldığınız hesaba giriş yapmanız ve lisansınızı ödeme yaparak yenilemeniz gerekmektedir.

Screaming Frog Lisansını Diğer Bilgisayarımda Kullanabilir Miyim?

Screaming Frog lisansını diğer bilgisayarınızda da kullanabilirsiniz. Konuyla ilgili Screaming Frog yardım sayfalarında lisansınızı birden fazla bilgisayarda kullanabileceğinize izin verildiği bilgisi yer almaktadır.

Bir Lisansı Kaç Kullanıcının Kullanmasına İzin Verilir?

Screaming Frog için eğer 1 lisans satın aldıysanız, sadece bir kullanıcının kullanmasına izin verilir. İkinci bir kullanıcı için ayrı bir lisans satın almanız gerekiyor.

Ek Kaynaklar

• https://www.screamingfrog.co.uk/seo-spider/user-guide/
• https://www.screamingfrog.co.uk/seo-spider/faq/
• https://www.screamingfrog.co.uk/seo-spider/tutorials/
• https://www.youtube.com/c/ScreamingFrogSEO/videos

YouTube kanalımıza abone olun;

https://www.youtube.com/c/boosmart

Instagram hesabımızı takip edin;

https://www.instagram.com/boosmartcom/

Telegram kanalımıza abone olun;

https://t.me/boosmart