Log Analizi Nedir? SEO Kapsamında Log Analizi Nasıl Yapılır?

Bu yazıda log dosyalarının ne olduğunu, SEO kapsamında log analizi yaparken nelere dikkat edileceğini ve Screaming Frog Log Analyzer ile log analizinin nasıl yapılabileceğini somut örneklerle inceleme fırsatınız olacak.

Web siteniz için log analizi gerçekleştirmek, teknik SEO ve site içi SEO tarafında size hiç beklemediğiniz kadar faydalı olacak çıktılar sunabilir. Çünkü arama motorlarının sitenizde bulunan sayfaları ne zaman ve ne şekilde taradığını %100 doğru bir şekilde görebileceğiniz tek alan log dosyalarıdır.

Fakat log analizi gerçekleştirirken karşınızda bulunan veriler çoğu zaman sizin için herhangi bir anlam ifade etmeyebilir. Bu veri setlerinden gerçek anlamda size fayda sağlayabilecek çıktılar elde edebilmek için web sitenizde bulunan sayfalara, kullanılan kaynaklara ve site yapısına tamamen hakim olmanız gerekmektedir. Örneğin, A sayfasında Google Smartphone Bot’unun son 1 ayda 10 event gerçekleştirmiş olması tek başına sizin için bir anlam ifade etmiyor olabilir. Fakat bu A sayfasının sizin en önemli sayfalarınızdan biri olduğunu ve son 1 ayda en az event gerçekleşen sayfa olduğunu göz önünde bulundurursak bazı aksiyonlar almaya ihtiyacınız olduğunu düşünebiliriz.

Bu yazıda örnek vakalar üzerinden log analizi gerçekleştirirken ne gibi çıktılar elde edebileceğinizi madde madde inceleyeceğiz.

Log Dosyası Nedir?

Log dosyalarını web siteniz özelinde tüm kullanıcıların ve arama motoru botlarının gerçekleştirdiği hareketlerin tutulduğu bir günlük olarak düşünebilirsiniz.

Gerçekten de kullanıcılar ya da arama motoru botlarının sayfalarınız için oluşturduğu her istek bu dosyalarda kayıt altına alınır ve serverda saklanır.

Örnek bir log dosyasında neler bulunur? sorusunun cevabını ise aşağıda bulabilirsiniz;

1. IP: İstek Atan IP adresi
2. Date: İsteğin Atıldığı Tarih
3. Method: İsteğin Türü
4. Response Code: Atılan İsteğe Yanıt Olarak Döndürülen Durum Kodu
5. User-agent: İstek Yapan Kaynağın Kimliği
6. URL Request: İstek Atılan Sayfa
7. Host: İstek Atılan Adres

Log Analizi için Log Kayıtlarında Tutulması Gereken Asgari Bilgiler

• URL
• Last Response Status Code
• Number of Events
• Time of Last Response Time
• Content Type
• Average Bytes
• Average Response Time
• Googlebot / Googlebot Smartphone

Ayrıca serverda saklanan log dosyalalarının formatı, server tipine göre değişiklik göstermektedir. Bu nedenle çeşitli log dosyası formatları bulunmaktadır. Screaming Frog Log Analyser’ın desteklediği log formatı türlerini, diğer format türlerini ve bu formatlara ait örnekleri aşağıda bulabilirsiniz.

Log Analizi Yapabilmek için Server Tipine Göre Örnek Log Formatları

• Apache (detaylı bilgi için buraya tıklayın)

     Örnek format:

            127.0.0.1 – – [01/Jan/2016:12:00:00 +0000] “GET http://www.example.com/about/ HTTP/1.1” 200 512 “http://www.example.com/” “Mozilla/5.0 (Macintosh; Intel Mac                  OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36”

• W3C (detaylı bilgi için buraya tıklayın)
  
  Örnek format:
  
  #Software: Microsoft Internet Information Services 6.0
  #Version: 1.0
  #Date: 2002-05-24 20:18:01
  #Fields: date time c-ip cs-username cs-method cs-uri-stem cs-uri-query sc-status sc-bytes cs(User-Agent) cs(Referrer)
  2016-01-01 12:00:00 127.0.0.1 – GET /about/ – 200 512 Mozilla/5.0+(Macintosh;+Intel+Mac+OS+X+10_10_5)+AppleWebKit/537.36+(KHTML,+like+Gecko)+Chrome/51.0.2704.103+Safari/537.36 http://www.example.com/

• Amazon Elastic Load Balancing (detaylı bilgi için buraya tıklayın)
  
  Örnek format:
  
  2017-01-01T09:00:00.00 my-elb 66.249.66.1:2817 10.0.0.1:80 0.000500 0.000500 0.000057 200 200 0 29 “GET https://www.example.com:443/contact.html HTTP/1.1” “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)” DHE-RSA-AES128-SHA TLSv1.2

• HAProxy (detaylı bilgi için buraya tıklayın)

       Örnek format:

            Oct 23 13:09:19 haproxy haproxy[1933]: 10.0.0.22:52648 [23/Oct/2018:13:09:19.467] Local_Server My_Web_Servers/webserver-3 0/0/1/1/2 200 461 – – —- 2/2/0/1/0              0/0 “GET / HTTP/1.1”

veya 

           Oct 23 13:31:46 haproxy haproxy[2248]: 10.0.0.22:54211 [23/Oct/2018:13:31:46.632] Local_Server My_Web_Servers/webserver-1 0/0/0/1/1 200 461 – – —- 1/1/0/1/0             0/0 {Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/11.1.2 Safari/605.1.15} “GET / HTTP/1.1”

• JSON Log Files (detaylı bilgi için buraya tıklayın)

         Örnek format:           

{“remote_ip”: “66.249.66.1”, “remote_log”: “-“, “user”: “-“, “timestamp”: “2017-01-01T00:00:00+00:00”, “request-line”: “GET www.example.com/contact.html HTTP/1.1”, “status”: “200”, “response-bytes”: “4523”, “time-take”: “824253”, “referer”: “-“, “ua”: “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)” }

Screaming Frog Log Analyser yukarıda bulunan 5 format türünden sadece Apache, W3C ve Amazon Elastic Load Balancing türlerini desteklemektedir.

Log Analizi Nedir?

Log analizi, arama motoru botlarının sitemizi nasıl taradığını ve varsa teknik hataları tespit etmemizi sağlayan tüm süreci ifade etmektedir.

Burada değinmek istediğim en önemli nokta; log analizinin sadece teknik hataları tespit etmek için gerçekleştirilmesinin yanlış bir düşünce olduğudur. Çünkü log dosyalarında “en önemli sayfalarınızın ne kadar sıklıkta tarandığının, bu sayfaların ne zaman hangi response code ile cevap verdiğinin” ve buna benzeyen birçok sorunun cevabını bulabilirsiniz. Böylece belirli aralıklarda yapacağınız log analizi çalışmalarıyla teknik SEO ve site içi SEO tarafında sitenizi daha sağlıklı bir hale getirme fırsatı elde edebilirsiniz.

İlerleyen bölümlerde log analizinden ne gibi çıktılar elde edebiliriz konusunu örneklerle inceleyeceğiz. Fakat öncesinde “SEO uzmanları olarak log analizi çalışması yaparken hangi konulara / sorulara dikkat etmeliyiz?” sorusunun cevabını aşağıdaki uzun listede bulabilirsiniz;

• Web sitemin tarama bütçesi (crawl budget) yeterince etkili kullanılıyor mu?
• Web sitemin kategori ağacının derinliği arama motoru botlarının önemli sayfalarıma ulaşmasına engel oluyor mu?
• Web sitemde bulunan ve benim için yeterince önemli olmayan sayfalar taranma bütçemin verimsiz kullanılmasına neden oluyor mu?
• Web sitemde bulunan hangi kategoriler daha çok taranıyor? Diğer kategorilerime değer aktarımı yapabilmek adına neler yapabilirim?
• Web sitemde bulunan .js, CSS vb. kaynaklar tarama bütçemin gereksiz kullanılmasına neden oluyor mu?
• Önemli sayfalarım arama motoru botlarına her zaman 200 durum kodu döndürüyor mu?
• Hangi botlar sitemde daha çok event (tarama) gerçekleştiriyor?
• Önemli sayfalarım arama motoru botları tarafından taranıyor mu?
• Botlar sitemde bulunan tüm sayfalara ulaşabiliyor mu?
• 4xx ve 5xx gibi hata kodu döndüren sayfalarım / kaynaklarım var mı?
• Site içerisinden linklenmeyen orphan page’lerim (site içinden linklenmeyen sayfa) var mı?
• Sitemde bulunan parametreli sayfalar tarama bütçemin verimsiz kullanılmasına neden oluyor mu?
• Boyutu yüksek olan sayfalarım / kaynaklarım tarama bütçemin verimsiz kullanılmasına neden oluyor mu?

Aslında tüm bu sorular log analizinden fayda sağlayabilecek bir çıktı elde edebilmek adına bizim yol haritamızı oluşturmaktadır. Daha önce de bahsettiğim gibi herhangi bir yorum katmadan sadece veriler üzerinden bir analiz gerçekleştirmek ne yazık ki pek mümkün görünmüyor. SEO anlamında fayda sağlayacak çıktılar elde edebilmek adına bu listeyi daha da uzatmanızı öneriyorum.

Screaming Frog Log Analyser ile Log Analizi Nasıl Yapılır?

Bu bölümde daha önce bahsettiğim gibi örnekler üzerinden log analizinden ne gibi çıktılar elde edebileceğimizi göreceğiz.

Log dosyalarını inceleyebilmek için birçok third party tool ve yöntem bulunmaktadır. Fakat biz log analizini oldukça kullanışlı olduğunu düşündüğüm Screaming Frog Log Analyser ile yapacağız.

Screaming Frog Log Analyser’ın çok basit bir arayüzü bulunuyor. Edindiğiniz log dosyalarını aşağıda gördüğünüz ekrana sürüyleyip bırakarak loglarınızı kolayca import edebilirsiniz;

Daha sonra Screaming Frog Log Analyser sizin için karmaşık halde olan log dosyalarınızı oldukça anlamlı sekmelere bölerek detaylıca incelemenize fırsat sağlamaktadır..

Log dosyalarını içeri aktardıktan sonra Overview alanında log dosyalarında bulunan verilerin özetlenmiş halini görebilirsiniz;

Çok fazla detaya girmeden bizim için önemli olan bazı tab’lerin ne anlama geldiğini açıklamaya çalışacağım;

• Overview: Log dosyasında bulunan veriler özelinde genel bilginin sunulduğu alan.
• URLs: Log dosyasında bulunan sayfalarımızın sunulduğu alan.
• Response Codes: Log dosyasında bulunan sayfaların arama motoru botlarına cevap verdiği durum kodlarının listelendiği alan.
• User Agents: Web sayfalarınızı tarayan botların kimliklerini görebileceğiniz alan.
• Directories: Web sitenizde bulunan folder’ların bulunduğu alan.
• Events: Arama motoru botlarının hareketlerinin / isteklerinin listelendiği alan.
• Imported URL Data: Bu alan ise size log dosyaları dışında farklı dökümanları da içeriye aktarma fırsatı sunar. Örneğin, Ahrefs üzerinden tüm sayfalar özelinde çektiğiniz bir metriği içeriye aktararak ilgili URL’lerin karşısına otomatik olarak gelmesini sağlayablirsiniz. Böylece yapacağınız analizin alanını genişleterek farklı çıktılar elde etme fırsatı yakayabilirsiniz. İlerleyen bölümlerde bu alanın kullanımıyla ilgili bazı örnekler de bulabileceksiniz.
• Verification Status Show All: Bu alandan, doğru analiz yapabilmek adına arama motoru botlarını filtreleyebilirsiniz. Bazı spam botlar tarafından atılan istekler de analize dahil olacağı için sadece verified botları filtrelemek çok daha sağlıklı olacaktır. Bu konu hakkında daha detaylı bilgiye buradan ulaşabilirsiniz.
• All Bots: Bu alandan verilerini görmek istediğiniz arama motoru botlarına göre filtreleme yapabilirsiniz.

Bu arayüzde analiz gerçekleştirirken en çok karşılaşacağınız kavram “event” olacak. Event kavramı, botların sitenizde gerçekleştirdiği hareketi ifade etmektedir. Yani “X botu Y sayfasında 5 event gerçekleştirmiş” demek, “X botunun belirlenen tarih aralığında Y sayfası için 5 adet istek gönderdiğini” ifade etmektedir.

İçeriğin bundan sonraki bölümünde Screaming Frog Log Analyser’a yüklemiş olduğunuz log dosyalarınızı inceleyerek ne gibi çıktılar elde edebileceğinizi inceleyeceğiz.

10 Adımda Screaming Frog Log Analyser ile Log Analizi Nasıl Yapılır?

Aşağıda göreceğiniz örneklerin hepsi Google Smartphone botu özelinde incelenmiştir. Yukarıda bahsettiğimiz gibi arama motoru botlarının filtreleme alanından dilediğiniz bot türlerini filtreleyerek verilerinizi yorumlayabilirsiniz.

Bir diğer önemli nokta ise incelemek istediğiniz log dosyalarının tarih aralığıdır. Hangi tarih aralığındaki log kayıtlarını inceleyeceğinize web sitenizin büyüklüğüne ve spesifik olarak kayıtları görmek istediğiniz döneme göre karar verebilirsiniz. 50.000 sayfası olan bir web siteniz varsa ve 6 aylık log dosyalarını incelemek istiyorsanız bu sizin için inanılmaz zor bir duruma dönüşebilir. Dolayısıyla benim buradaki önerim, web sitenizin sayfa sayısına ve ihtiyacınıza göre 2, 4 ya da 6 aylık dönemleri kapsayan log dosyaları üzerinden incelemenizi gerçekleştirmenizdir. Binlerce sayfanın olduğu bir web sitesinin sadece 1 aylık log verilerini incelemek sizlere yanıltıcı sonuçlar verebilir. Çünkü 1 ay içerisinde botların tüm sayfalarınızı tarayacağı garantisi bulunmadığından sizin için önemli olduğunu düşündüğünüz sayfaların verilerini göremediğiniz senaryolar yaşayabilirsiniz.

1) Web Sitesi ile Arama Motoru Botlarının İlişkisine Genel Bakış

Overview sekmesinde sitenizin sayfalarının botlar ile girdiği etkileşime dair genel verilerin bulunduğu bir tablo görebilirsiniz. Bu tabloda;

• Toplam istek atılan unique URL sayısı,
• Günlük istek atılan unique URL sayısı,
• Botların gerçekleştirdiği toplam event sayısı,
• Botların günlük gerçekleştirdiği event sayısı,
• Sayfaların / kaynakların ortalama boyutu,
• Sayfaların ortalama yanıt süreleri,
• Botların toplam karşılaştığı hata sayısı,
• 1xx, 2xx, 3xx, 4xx, ve 5xx durum kodlarının toplam sayılarını görebilirsiniz.

Örneğin sitenizde toplam 5000 adet sayfa bulunduğunu düşünelim. Genel tabloya baktığınızda botların günde 131 unique sayfa taradığını görüyorsunuz. Çok basit bir hesapla (5000 / 131 = 38,17) botların sitenizde bulunan tüm sayfaları taramasının yaklaşık 38 gün sürdüğü sonucuna ulaşabilirsiniz. Tabii ki bu çok iyimser bir hesaplama. Çünkü web sitenizde her sayfa sabit bir zaman aralığında taranmamaktadır. Web sitenizde bulunan bazı değersiz ve eski sayfalar çok daha nadir taranırken değeri yüksek olan güncel sayfalarınız daha sık taranmaktadır.

Bunun dışında Errors alanında bulunan rakamlar crawl budget’ınızın (tarama bütçesi) ne kadarını hata kodu ile yanıt veren sayfalara / kaynaklara harcadığınızı ifade etmektedir. Buradaki nihai amacınız bu rakamı olabildiğince alt seviyelere çekmek olmalıdır.

2) Hangi Sayfam Ne Kadar Sıklıkta Taranıyor?

URLs sekmesine geldiğinizde taranan tüm sayfalarınızı / kaynaklarınızı ve seçilen tarih aralığında bu URL’lerde botlar tarafından toplam kaç adet event gerçekleştiğini görebilirsiniz. Burada Num Events sütununa yapacağınız basit azalan filtresi ile botların en çok ve en az ziyaret ettiği sayfaları tespit etmeniz mümkün.

Yukarıdaki tabloya baktığınızda her sayfa özelinde analiz edilen event sayıları tek başına herhangi bir yorumda bulunmak için yeterli olmayabilir. Buradaki önerim, toplam event sayınız üzerinden bir ortalama elde ederek bu ortalamanın altında kalan sayfalar özelinde ne gibi geliştirmeler yapabileceğinizi düşünmeniz olacaktır.

Buradaki nihai amaç, sizin için önemli olan sayfaların botlar tarafından daha sık taranmasını sağlamaktır. Sayfaların taranma sıklıklarını arttırabilmek adına event sayısı fazla olan sayfalardan event sayısı az olan sayfalara olacak şekilde oluşturacağınız iç linkleme stratejisi sitenizin çok daha sağlıklı bir şekilde taranması adına size oldukça yardımcı olacaktır. Böylece yüksek değerli sayfalardan düşük değerli sayfalara da pagerank (sayfa değeri) aktarma fırsatı elde edebilirsiniz.

Ayrıca eski ya da değersiz olduğunu düşündüğünüz sayfalarınızın çok sık tarandığını tespit ederseniz tarama bütçenizi verimsiz kullanmamak adına bu sayfalar özelinde bir aksiyon almayı da düşünebilirsiniz.

Son olarak bu alanda bulunan filter sekmesinden HTML, Javascript, CSS vb. kaynakların filtrelemesini yaparak da analizinizi çeşitlendirebilirsiniz.

3) 3xx, 4xx ve 5xx Hataları Veren Sayfaların Tespiti

Response Code sekmesinden web sitenizde bulunan URL’lerin seçilen tarih aralığında arama motoru botlarına hangi durum kodlarıyla cevap verdiğini görebilirsiniz. Last Response Code sütununda bulunan yanıtlar, ilgili sayfanın en son yanıt verdiği durum kodunu ifade etmektedir. Örneğin bir sayfada 1 ay boyunca 12 adet event gerçekleşmiş ve bu isteklerin 10 tanesine 200 yanıt kodu döndürürken 2 tanesine de 404 yanıt kodu döndürmüş olabilir. Her URL özelinde yan tarafta bulunan sütunlardan bu verileri görebilirsiniz. Bu sayfadan elde edilebilecek çıktılar ise;

• 4xx hata kodu ile yanıt veren sayfaların tespit edilmesi,
• 5xx hata kodu veren sayfaların tespit edilmesi,
• Zaman içinde farklı yanıt kodlarıyla cevap veren sayfaların tespit edilmesi şeklindedir.

Sizin için kritik olan ve 4xx, 5xx hata kodlarıyla yanıt veren sayfalar özelinde mutlaka aksiyon almanız gerekmektedir. Bazı sayfaların dönem dönem farklı yanıt kodlarıyla cevap verdiğini farkederseniz sorunun nereden kaynaklandığını mutlaka tespit etmelisiniz.

Yine bu sayfada bulunan filtreleme alanından 1xx, 2xx, 3xx, 4xx ve 5xx durum kodlarını döndüren sayfaları ayrı ayrı listelemeniz mümkün. Ayrıca filtreleme alanında bulunan Inconsistent alanını seçtiğinizde zaman içerisinde farklı yanıt kodlarıyla cevap veren sayfaların listesini görebiliyorsunuz.

4) Hangi Directory/Subfolder Botlar Tarafından Daha Fazla Taranıyor?

Sitenizde bulunan hangi subfolder’ın daha fazla tarandığını görmek için Directories sekmesini kullanabilirsiniz. Screaming Frog Log Analyser sizin URL yapılarınızı göz önünde bulundurarak sizin için subfolder yapıları oluşturmaktadır. Yine bu alanda en fazla event’in gerçekleştiği kategorilerinizi bulabilir, bu kategorilerden diğer sayfalara ya da kategorilere gidecek şekilde iç linkleme (internal linking) stratejinizi oluşturabilirsiniz. Böylece sayfalar arasında değer aktarımı ve botların sitenizi daha sağlıklı şekilde taramasını sağlayabilirsiniz.

5) Yüksek Boyutlu Kaynakların Tespit Edilmesi

Daha önce bahsettiğimiz gibi arama motoru botlarının web siteniz için ayırmış olduğu belirli bir tarama bütçesi bulunur ve bunu en optimize şekilde kullanmanız gerekir. Fakat sitenizde bulunan sayfaların / kaynakların yüksek boyutlarda olması bu duruma engel olabilir. Ayrıca en önemli sıralama faktörlerinden biri olan site hızını da göz önünde bulundurduğunuzda boyutları yüksek olan sayfalar / kaynaklar özelinde bazı optimizasyonlar gerçekleştirmeniz gerekmektedir.

URLs sekmesinde bulunan Average Bytes sütununda ilgili sayfanın / kaynağın boyutunu görebilirsiniz. Sitede bulunan önemli sayfalarınız yüksek boyutlara sahipse botların bu kaynakları tararken çok fazla zaman harcaması ve tarama bütçesini verimsiz kullanması problemi ile karşı karşıya kalabilirsiniz. Bu nedenle sayfa boyutu yüksek olan sayfalarınızı tespit ederek olabildiğince optimize etmelisiniz.

Yine bu sayfada bulunan filter alanından farklı kaynak türlerine göre inceleme yapabilir, boyutları yüksek olan görsellerinizi, Javascript ve CSS dosyalarınızı tespit edebilir ve bu kaynaklar özelinde optimizasyon gerçekleştirebilirsiniz.

6) Değersiz Yapıların Tespit Edilmesi

Web sitenizde bulunan fakat değersiz olduğunu düşündüğünüz path’leri tespit ederek arama motoru botlarının bu sayfaları taramasını robots.txt dosyası üzerinden engelleyebilirsiniz.

Yukarıdaki örnekte görebileceğiniz author-detail path’i bizim için herhangi bir değeri olmayan sayfalardan oluşuyordu. Fakat event sayılarına baktığımızda botların bu sayfaları çok fazla ziyaret ettiğini tespit ettik. Tarama bütçemizi olabildiğince verimli kullanmamız gerektiğini göz önünde bulundurarak botların bu sayfaları taramasını engellemek adına robots.txt üzerinden bu path’e özel Disallow verme gereği duyduk.

Bu işlemi sitenizde bulunan gereksiz parametreli sayfalar için de uygulayarak tarama bütçenizin verimsiz kullanılmasının önüne geçebilirsiniz.

7) Yüksek Boyutlu Javascript Dosyalarının Tespit Edilmesi

Web sitenizde bulunan Javascript dosyalarının boyutlarının fazla olması tarama bütçenizin verimsiz kullanılmasına neden olan faktörlerden biri olabilir. URLs sekmesinde bulunan filtre üzerinden Javascript filtrelemesi yaparak botların taradığı Javascript dosyalarınızı görebilirsiniz. Bu dosyalar özelinde gerçekleşen event sayıları ve average bytes değerlerini göz önünde bulundurarak Javascript dosyalarınızı sıkıştırma ya da optimize yoluna başvurabilirsiniz.

8) Orphan Sayfaların Tespit Edilmesi

• 

Önceki bölümlerde Imported URL Data sekmesinden kısaca bahsetmiştim. Bu alan log dosyalarınızı içeri aktardıktan sonra default olarak oluşan bir alan değil. Bu alan log dosyaları haricinde herhangi bir veriyi import ettiğiniz zaman otomatik olarak oluşmaktadır.

Örneğin, Screaming Frog Spider ile web sitenizi tarayarak export edeceğiniz .xml dökümanını Screaming Frog Log File Analyser’a yükleyebilirsiniz. Screaming Frog Log File Analyser, yüklediğiniz veri setini log’da bulunan URL’ler ile eşleştirerek sizin için ilgili sayfanın karşısına import ettiğiniz bilgileri getirebilir. Bu özellik gerçekleştireceğiniz log analizinde çok daha fazla sonuç elde etmenize fırsat sağlamaktadır..

Web sitenizde bulunan orphan sayfaları da Screaming Frog SEO Spider – Screaming Frog Log File Analyser verilerini eşleştirerek tespit edebilirsiniz. Örneğin, web sitenizi Screaming Frog Spider ile taradıktan sonra tüm sayfalarınızın bulunduğu .xml’i Screaming Frog Log Analyser’a aktarın.

Daha sonra URLs sekmesine geldiğinizde view alanından Not in URL Data filtresini seçin. Bu filtre sonucunda log dosyalarınızda bulunan fakat siteyi taradığınızda tespit edilemeyen sayfaların listesini göreceksiniz. Bu filtre, sizin içeri yüklediğiniz crawl dosyasında bulunan URL’leri, log dosyasında bulunan URL’ler ile eşleştirdikten sonra boşta kalan URL’leri görmenizi sağlamaktadır. Aslında burada gördüğünüz tüm sayfalar, web sitenizin herhangi bir alanından linklenmeyen sayfaları ifade etmektedir. Bu sayfaları tespit ederek ihtiyacınız olan aksiyonları alabilirsiniz.

Ayrıca bu alanda başka web sitelerden varsa sitenize yanlış verilmiş linklemeleri de tespit etme fırsatınız bulunuyor. Örneğin /log-analizi-nasil-yapilir URL’iniz başka bir siteden /loğ-analizi-nasıl-yapılır-? şeklinde yazım yanlışlarından kaynaklanan sorunlar nedeniye yanlış linklenmiş olabilir. Bu sayfaları da tespit ederek imkanlarınız dahilinde müdahalede bulunabilirsiniz.

9) Crawl Depth – Event Karşılaştırması

Google bir web sitesinde bulunan tüm URL’lerin maksimum 3. click’te ulaşılabilir olmasını önermektedir. Bu durum Crawl Depth (tarama derinliği) olarak tanımlanmaktadır ve ilgili sayfaya kaç click üzerinden ulaşıldığını ifade etmektedir. Crawl Depth arttıkça Google botlarının sayfalara ulaşma zorluğu artarken, event sayıları da azalmaktadır. Aşağıda incelediğimiz örnek projenin Crawl Depth – Event ilişkisini gösteren grafiği görebilirsiniz;

Özellikle 2. ve 3. Derinlikteki sayfalarda daha fazla event gerçekleştiğini, daha derin sayfalarda ise event sayılarının giderek düşmeye başladığını görebilirsiniz.

Siz de Screaming Frog SEO Spider ile web sitenizi tarayarak sayfalarınızın Crawl Depth değerlerini tespit edebilir, log analizinde bulunan event sayılarıyla beraber bir sheet üzerinde bu grafiği elde edebilirsiniz. Böylelikle sizin için önemli olan sayfaları hangi derinlikte konumlandıracağınızla ilgili bir strateji oluşturabilirsiniz.

10) Internal Linkling (Site İçi Linkleme) – Event Karşılaştırması

Sitenizde bulunan iç linklemeler, arama motoru botlarının web sitenizde daha rahat gezinmesine, sayfalarınızı daha rahat taramasına ve sayfalar arasında değer aktarımı yapmasına imkan sağlamaktadır. Özellikle deneyimli SEO uzmanları iç linklemeler üzerinden site içi değer dağıtımının verimli şekilde kurgulanmasına çok önem vermektedir.  Ne yazık ki SEO çalışmaları gerçekleştiren birçok web sitesi bu konuyu ikinci plana atmaktadır.

Daha önce bahsettiğim gibi web sitenizi Screaming Frog SEO Spider ile taradıktan sonra sayfaların iç link sayılarını Screaming Frog Log File Analyser’a aktararak sayfalarda bulunan iç link ve event sayılarını kıyaslayabilirsiniz. Örneğin, en başından beri örneklerle incelediğimiz projemizin verilerini aşağıda görebilirsiniz;

Örneklerde görebileceğiniz gibi iç linkleme sayısı arttıkça botların sayfaları tarama sıklığı da doğru orantılı bir şekilde artmaktadır. Siz de sayfalarınız arasındaki alakayı göz önünde bulundurarak iç linklemelerinizi geliştirebilir, botların önemli sayfalarınızı daha fazla taramasını sağlayabilirsiniz.

Sonuç

Bu yazımda log dosyaları, log analizi ve Screaming Frog Log File Analyser’ı etkili şekilde nasıl kullanabileceğinizi olabildiğince basit düzeyde aktarmaya çalıştım. Yazımın başında da söylediğim gibi SEO geliştirmeleri kapsamında log analizi yapabilmek, çok fazla yorum ve analiz yetisi isteyen bir süreci ifade etmektedir. Log analizinin sadece bu 10 maddeden ibaret olmadığını kesinlikle unutmamanızı öneriyorum. Yine daha önce belirttiğim gibi log analizini sadece web sitenizde bulunan teknik hataları tespit etmek için değil buna ek olarak site mimarisinde yapacağınız düzenlemelerle sayfalarınızı arama motorlarına daha verimli taratma ve sıralama kazandırma çalışmalarında da kullanılabilir. Düzenli aralıklarla yapacağınız analizler, yapmış olduğunuz SEO geliştirmelerinin ne gibi etkileri olduğu hakkında da insight’lar çıkarmanıza fırsat sağlayacaktır. Özellikle binlerce sayfası olan e-ticaret sitenizin olduğu senaryoda tarama bütçenizi en verimli şekilde kullanmak sizin için hayati önem taşımaktadır. Bu nedenle log analizinin size sunacağı insight’ları kaçırmamanızı tavsiye ediyorum.

Bu analizi sizin adınıza gerçekleştirmemizi isterseniz bizimle iletişime geçebilirsiniz: iletisim@semtr.com

BONUS: Google Search Console Crawl Stats Raporu Yenilendi!

Google 24 Kasım 2020 tarihinde yayınladığı makale ile Search Console Crawl Stats raporunu güncelledi. Log analizinden bahsederken çok daha detaylı veriler sunan Crawl Stats alanını pas geçmek doğru olmazdı.

Yeni Crawl Stats raporu ile beraber Search Console üzerinden takip edebileceğimiz verileri aşağıda görebilirsiniz;

1. Botlar tarafından taranan sayfalarınızın botlara yanıt verdiği durum kodlarının yüzdesel dağılımı.

2. Taranan dosyalarınızın türüne göre dağılım oranları.

3. Sitenizi tarayan botların yüzdesel dağılımı.

4. Belirtilen tarih aralığında ilk defa taranan ve daha önce taranmış sayfaların yüzdesel dağılımı.

Ayrıca Yeni Crawl Stat raporu, Google botlarınız sitenizi taramasına engel olan ve server’dan kaynaklanan herhangi bir problem varsa bunları da görmenize olanak sağlıyor.

Tüm bu yenilikleriyle güncellenen Google Search Console Crawl Stat raporu ile anlık olarak mini log analizi yapmanızın mümkün olduğunu söyleyebiliriz 🙂

Hazırlayan: