Cloudflare geçtiğimiz günlerde Crawler Hints özelliğiyle alakalı son durumu ve güncellemeleri paylaştı. Cloudflare’in Crawler Hints özelliği arama motoru botları kaynaklı artan enerji tüketimi için oldukça inovatif bir çözüm getiriyor. Ancak bu özelliğin ne olduğu ve olası etkilerine geçmeden önce internetin doğaya olan etkisini biraz irdelemekte fayda var. Keyifli okumalar!
İnternetin Doğaya Etkisi
Uluslararası Enerji Ajansı’nın (IEA) raporuna göre 2020 yılında global internet trafiği yaklaşık %40 arttı. Bu artışta, pandemide (online video görüşmeleri vb.) hızlanan dijitalleşmeye ek olarak video streaming servislerinin çoğalması ve hacimlerinin artması, online oyun pazarının büyümesi ve sosyal medya platformlarına olan talebin artması gibi çeşitli faktörler etkili oldu. Yine aynı rapora göre 2010 yılından bugüne internet kullanıcısı sayısı iki katına çıkarken global internet trafiği ise 12 kat arttı.
Küresel çapta internete yönelik bu talep artışı ve hızlı dijitalleşme doğal olarak bu talebi kaldıracak altyapıların oluşturulmasını/geliştirilmesini tetikliyor. Daha fazla veri merkezi, daha kapsayıcı ve gelişmiş bir internet altyapısı oluşturmak adına internet teknolojisi şirketleri bu alanlara daha çok yatırım yapıyor. Dijitalleşmenin hızlanması biz dijital pazarlamacıları ve markaları oldukça heyecanlandırıyor ve sürekli olarak yeni stratejiler üretmemize ve vizyonlar üretmemize neden oluyor. Ancak ilk bakışta farketmediğimiz bir yerlerde bu gelişmelerin çevremize çeşitli negatif etkileri oluyor. İnternet teknolojileri özünde elektrik enerjisine bağımlı şekilde çalışıyor. Elektrik enerjisine olan talebin artışı doğrudan ve/veya dolaylı şekilde elektrik üretimi için çevreye verilen zararın artmasına neden oluyor.
Son yıllarda kripto paraların hayatımıza girmesiyle adını sıklıkla duyduğumuz kripto para madenciliği dünya elektrik üretiminin %0,6’sı kadar bir başka deyişle tüm Norveç’in elektrik tüketimi kadar enerji harcıyor. Ancak bu yazının odak noktası kripto para madenciliği değil. Bu örneği internet tabanlı teknolojilerin elektrik tüketiminin çarpıcı boyutuna değinmek amacıyla verdim. Kripto para madenciliği dışında dünyada çok fazla elektrik tüketen bir diğer yapı ise veri merkezleri. Büyük internet teknolojisi şirketlerinin (Google, Facebook, Amazon vb.) tamamı durmaksızın daha fazla veri merkezi inşa ediyor ve dünyayı daha fazla “kapsamaya” çalışıyor.
Gidişatın farkında olan ulusal ve uluslararası ölçekte birçok kurum ve kuruluş, bugünümüzü ve yarınımızı tehdit eden iklim değişikliğine karşı sürdürülebilir politikalar üretip uygulamaya çalışıyor. Örneğin Google 2030 yılına kadar “carbon free” bir modele geçmeyi hedefliyor. Benzer şekilde Facebook 2030 yılına kadar karbon ayak izini azaltacak bir dizi politikayı hayata geçireceğini söylüyor.
Toparlayacak olursak, internet hızla yaygınlaşıyor ve artan talep altyapının güçlendirilmesine neden oluyor. Altyapının güçlenmesi ve internet tabanlı servislerin kullanıcılarını memnun edebilmesi elektrik tüketimini arttırıyor. Bunun farkında olan birçok büyük şirket de küresel iklim değişikliğine karşı çevreci ve sürdürülebilir büyüme modelleri ve politikalar üretip hayata geçiriyor.
Arama Motoru Botlarının Bitmeyen Mesaisi
Yukarıdaki bölümde gördüğümüz üzere internetteki aktör sayısı ve internet üzerinde üretilen içerik sayısı çok hızlı şekilde artıyor. Bu noktadan sonra arama motorları üzerinden bu gelişmeleri değerlendireceğiz.
Arama motorları internette var olan siteleri düzenli olarak tarayıp (crawling) kendi indekslerini büyütmeye çalışmaktadır. Sisifosvari bir görevi olan arama motoru botları, her gün milyarlarca yeni sayfayı ve halihazırda indekslerinde olan sayfaların güncel versiyonlarını taramak için internetin her yerine ulaşmaya çalışmaktadır. İnternet sitelerine yeni bir içeriğin ne zaman eklendiği ve/veya mevcut içeriklerin ne zaman güncellendiğine dair kayıt tutan merkezi ve ortak bir sistem olmadığından arama motorları birbirlerinden bağımsız olarak sürekli şekilde aşırı tarama yapmaktadırlar. Bu durum da doğal olarak internet üzerinde bir bot trafiği yaratmaktadır.
Cloudflare verilerine göre internet trafiğinin %43’ü bot trafiğidir. Bunların %5’i ise iyi botlar adı verilen arama motoru botları tarafından oluşmaktadır. Varsayım olarak bu “iyi bot trafiğinin” %53’ü aşırı tarama nedeniyle oluşmaktadır. Bu aşırı taramayı önleyecek bir çözüm geliştirmek ABD Çevre Koruma Ajansı’na (US EPA) göre, 31 milyon dönüm ağaçlandırma yapmaya veya 6 adet kömürle çalışan elektrik santralini temelli kapatmaya eşdeğerdir. İşte bu noktada Cloudflare’in bu probleme getirdiği vizyoner çözüme sıra geldi.
Cloudflare’in Vizyoner Çözümü
Cloudflare’in sunduğu hizmetler, W3Techs’in Reverse Proxy Service kullanım istatistiklerine göre internetteki tüm sitelerin %18.5’i tarafından kullanılmaktadır. Bu oran Cloudflare’in %80.8’lik bir pazar payına sahip olduğu anlamına geliyor. Cloudflare’in kendi ifadesine göre; her 6 siteden 1’i Cloudflare ağını kullanmaktadır. Yalın bir ifadeyle internet üzerindeki trafiğin önemli bir kısmı Cloudflare ile temas etmektedir. Örneğin geçtiğimiz günlerde Facebook servislerinde yaşanan çöküşü ilk anından itibaren Cloudflare tarafında da çeşitli etkiler oluşturmuştu.
Cloudflare’in bu denli büyük bir kapsama alanının olması yukarıda bahsedilen ve arama motoru botların yaptığı aşırı tarama olarak adlandırılan soruna karşı inovatif bir çözüm geliştirmelerine neden oldu. Cloudflare, “internet sitelerine yeni bir içeriğin ne zaman eklendiği ve/veya mevcut içeriklerin ne zaman güncellendiğine dair kayıt tutan merkezi ve ortak bir sistem ihtiyacını” karşılayabileceğini ifade ediyor. Ve arama motorlarıyla bu sayfa değişim bilgilerini paylaşacak bir yapı kurguluyor. Crawler Hints adını verdikleri bu özellik oldukça devrimsel ve pozitif etkileri fazla olacak bir dünyanın kapısını aralıyor.
Crawler Hints Nedir, Nasıl Çalışır?
Crawler Hints, Cloudflare’in bir internet sayfası içeriğinin ne zaman değiştiğine dair bilgiyi arama motorlarıyla paylaştığı bir özelliktir. Bu bilgi paylaşımı sayesinde arama motorları; tarama faaliyetlerini daha iyi zamanlayabilir, gereksiz ve aşırı taramalar yapmaktan kaçınabilir ve hem arama motoru kaynaklarının, hem internet sitesi kaynaklarının hem de Cloudflare kaynaklarının gereksiz tüketiminin önüne geçilebilir. Bu açıdan bu bilgi paylaşımı sayesinde enerji verimliliği artarken arama motorlarının ve dolaylı yoldan internette faaliyet gösteren diğer sunucuların elektrik tüketimleri azabilir.
Peki bu nasıl mümkün olacak? Cloudflare sunduğu hizmetler sayesinde kendi müşterilerinin sayfalarındaki değişimi tespit edebiliyor ve bu bilgiyi kayıt altına alıyor. Basitçe ifade etmek gerekirse Cloudflare burada daha proaktif bir yaklaşım ile arama motorlarının sayfalardaki içerikleri keşfetmesini beklemeden, sayfalardaki içerikler değiştiği anda bu bilgiyi arama motorları ile paylaşacak. Bu sayede yalnızca arama motoru botları daha verimli tarama yapmayacak aynı zamanda site sahiplerinin sunucularındaki trafik yükü de azalmış olacak. Ve Cloudflare’in kendi yükü de.
Crawler Hints ve IndexNow
Cloudflare Crawler Hints özelliğini daha da geliştirmek adına IndexNow protokolüne dahil oluyor. Ve bu sayede Microsoft Bing ve Yandex arama motorlarıyla aktif işbirliğine giriyor. Peki IndexNow nedir? IndexNow internet sitesi sahiplerinin sitelerinde yaptıkları değişimleri kolayca arama motorlarına bildirmelerini sağlayan bir servistir. Bu servis sayesinde arama motorları internet sitelerindeki değişimlerden daha hızlı şekilde haberdar olmaktadır. (Bu özellik şu an için Yandex ve Microsoft Bing tarafından desteklenmektedir.)
Yandex ve Microsoft Bing dışında DuckDuckGo arama motoru da Cloudflare ile bu şekilde bir işbirliği yapacağını belirtiyor. Arama motoru pazarında Google dışındaki diğer büyük oyuncular hızlıca bu yeni çözüme entegre oluyor.
Tüm bu gelişmeler ışığında Google’ın da bu çözüme dahil olması oldukça olası. JavaScript tabanlı sitelerin yaygınlaşması arama motorlarının bu siteleri taramaları açısından daha fazla kaynak tüketmelerine neden oluyor ve bu durum her arama motorunun tarama verimliliği ve tarama bütçesini optimize etmek için çeşitli yöntemler geliştirmesine neden oluyor. Bir yandan da küresel iklim değişikliği ve enerji tüketimi terazinin diğer yanında oldukça ağır basarken Google’ın da bu yola girmesi oldukça rasyonel olacaktır.
Crawler Hints’in SEO’ya Etkisi Neler Olabilir?
Taranabilirlik SEO kalemlerinin en önemli alanlarından birisi. Arama motorlarında organik görünürlük kazanmak adına internet sitelerinin her şeyden önce arama motoru botları tarafından “taranabilir” olması gerekiyor. Taranabilirliği optimize etmek için teknik SEO tarafında internet sitesi altyapısını arama motoru uyumlu hale getirmek, tarama verimliliğini iyileştirmek için robots.txt kurguları, indexability kurguları ve iç linklemeler gibi alanlarda düzenlemeler yapmak oldukça kritik. Peki SEO uzmanları neden bu alanları optimize etme ve internet sitelerinin içeriklerini arama motorlarına daha temiz şekilde gösterme ihtiyacı duyuyor? Çünkü arama motorları her gün internet üzerinde milyarlarca sayfa taradıklarını ve bu açıdan oldukça maliyetli bir operasyon yaptıklarını belirtiyor. Hal böyle olunca SEO uzmanları da arama motorlarının kendi sitelerini taramaya geldiğinde mümkün olan en hızlı şekilde sitelerini botlara taratmak ve bunun üzerinden Crawling > Indexing > Ranking akışını sağlamak istiyor.
Bu açıdan bakıldığında tarama bütçesinin kısıtlı olmasının sebebi arama motorlarının elektrik tüketimlerine bağlı olarak sitelere kısıtlı zaman ayırması. Eğer Crawler Hints çözümü ve buna benzer çözümler hayata geçerse internet genelinde bir tarama verimliliği artacağından dolaylı yoldan arama motorlarının da internet sitelerini taramak için ayırdıkları kaynak ve süre artacaktır. Bu durum da internet sitelerinin sunucularında arama motoru botlarının yarattığı trafik yükünü azaltacak ve dolayısıyla hem SEO tarafında daha rahat taranabilirlik hem de sunucu yönetimi tarafında daha az maliyet gibi olumlu sonuçlar doğuracaktır. Ek olarak log analizi çalışmaları da bu durumdan etkilenecektir. Crawler Hints çözümünün yaygınlaşması ve norm haline gelmesiyle bot hareketliliğin site bazlı verimliliğinin nasıl olduğu SEO uzmanları tarafından log analizlerinde daha net şekilde analiz edilebilir.
Biraz da şeytanın avukatlığını yapacak olursak, bu çözümü sorgulayabileceğimiz birkaç nokta bulunuyor. Öncelikle şu an beta sürümünde olan bu özelliğin ilerleyen dönemde Cloudflare kullanıcıları tarafından ne kadar kontrol edilebileceği bir soru işareti. Cloudflare şu an için yalnızca enable/disable seviyesinde bir hareket alanı sunuyor. Ancak ilerleyen dönemlerde kullanıcılar bu özellik altında daha fazla konfigürasyon esnekliği talep edecektir. Ayrıca bu çözüme entegre olan arama motorlarının da (Yandex, Bing) kendi mecralarında bu çözümle birlikte tarama metodolojilerini nasıl değiştireceklerine dair bilgiler ve dokümanlar sunması oldukça önemli.
Bir diğer önemli nokta ise arama motoru pazarının lideri Google’ın bu çözümü desteklememesi ihtimali. Yukarıda bolca paylaştığım istatistiklerden önemli bir kısmı Google botlarının hareketleri sonucu oluşuyor. Bu açıdan Google’ın entegre olmadığı bir crawler hints çözümü tam anlamıyla verimli olmayacaktır.
Son olarak bu özellikten yola çıkarak bazı kötüye kullanımların olma ihtimaline karşı ne gibi önlemler alındığı belirsiz. Örneğin bazı SEO uzmanları taranabilirlik sorununun Crawler Hints ve IndexNow gibi yöntemlerle çözülmesi ile birlikte internete çok sayıda kalitesiz içerik pompalayabilir. Böyle bir senaryoda aşırı ve gereksiz taramalardan tasarruf edilen enerji kaynağı ve tarama kaynağı bir anlamda yine bu spam içeriklerin taranmasına harcanabilir.
İnternet teknolojileri ile ilgili güncel gelişmeleri takip etmek ve SEO hizmetini ve vizyonunu bu yönde sürekli geliştirmek SEO uzmanlarının başlıca görevlerinden birisidir. Crawler Hints çözümüyle birlikte taranabilirlik (tarama bütçesi /tarama verimliliği) iş kalemleri mutlaka evrilecektir ve buna ayak uydurmak için SEO hizmeti almak oldukça önemlidir.
Bonus: Crawler Hints nasıl aktif edilir?
Eğer Cloudflare kullanıyorsanız henüz beta sürümde olan Crawler Hints özelliğini aktif etmek için;
- Cloudflare hesabınıza giriş yapın.
- Yukarıda yer alan menüden Caching sekmesine tıklayın.
- Açılan sayfada Configuration alanına tıklayın.
- Crawler Hints alanında gelin ve kutucuğu Enable hale getirin.
*Özellik henüz beta sürümdedir. Özellikle ilgili kutucuğun altında yer alan bilgilendirmeleri okumadan aktif etmeyiniz.
Kaynaklar:
- https://blog.cloudflare.com/crawler-hints-how-cloudflare-is-reducing-the-environmental-impact-of-web-searches/
- https://blog.cloudflare.com/cloudflare-now-supports-indexnow/
- https://www.indexnow.org/
- https://radar.cloudflare.com/
- https://www.iea.org/reports/data-centres-and-data-transmission-networks
- https://tr.euronews.com/2021/04/24/bitcoin-neden-google-dan-10-kat-daha-fazla-elektrik-kullan-yor
- https://sustainability.google/
- https://sustainability.fb.com/
- https://tr.euronews.com/2021/04/24/bitcoin-neden-google-dan-10-kat-daha-fazla-elektrik-kullan-yor
- https://w3techs.com/technologies/overview/proxy
- https://blog.cloudflare.com/october-2021-facebook-outage/
- https://developers.google.com/search/docs/advanced/javascript/javascript-seo-basics
Henüz yorum yapılmadı.
Yorum Yaz