Öncelikle Google Cloud Platform’ un veri analizi aracı olan BigQuery dünyasına hoşgeldiniz.

Hepimizin bildiği gibi her geçen gün web ve mobil teknolojilerindeki veri miktarı git gide büyüyor. Bununla birlikte adını sıkça duyduğumuz büyük verilerin sorgulanması, işlenmesi, yüklenmesi, dışa aktarılması ve veri görselleştirilmesi gibi işlemler de veri çok büyük olduğundan zorlaşıyor. Tam da bu noktada  Google Cloud Platform hizmeti olan BigQuery imdadımıza koşuyor. Büyük verilerin boyutlarını daha iyi gözlemlemek için aşağıdaki görsele bir göz atalım.

Ardından Petabyte, Yottabyte, Zettabyte boyutundaki verileri bile hızlıca işlememize ve sorgulamamıza yardımcı olan BigQuery’ i öğrenelim;

BigQuery Nedir ?

Google Cloud Platform teknolojisi olan BigQuery, 2008 yılında kendine özgü mimarisiyle Dremel teknolojisinin üzerine inşa edilmiş bulut bilişim hizmetidir. BigQuery, alternatiflerinden farklı olarak sütun bazlı depolama ve ağaç mimarisini kullanır. Bu sayede yazdığımız sorgular paralel bir şekilde çalıştığından günlerce, haftalarca sürmesi gereken süre saniyelere düşmektedir.

Kısacası; hem verilerim çok büyük hem de verileri Google Cloud ortamında depolamak istiyorum diyorsanız, hemen BigQuery hesabı açın derim.

Big Query’ nin Cloud Mimarisinin Faydaları

BigQuery kullanmadığımızda ne kullanıyorduk diye düşünebilirsiniz. Şimdi Google Cloud Platform olmayan bir sistem düşünelim. Bu sistemde depolama, işlem gücü ve harddisk alanının ne kadar olacağı iyi bir şekilde tasarlanmalıdır. BigQuery kullandığımız zaman Google Cloud Platform sisteminin halihazırda bulunan sistemini kullanıp hiçbir kurulum yapmadan her sorguda sadece işlenen veri miktarı ve depolanan veri miktarı kadar ödeme yapıyoruz. Kullandığın ve sorguladığın kadarını öde mantığı ile ilerliyor diyebilirim.

BigQuery Nasıl Kullanılır?

BigQuery’ e ulaşmanın 3 yolu vardır. Bunlar :

  1. WEB UI : Web tarayıcı üzerinden web kullanıcı arayüzü ile,
  2. CLI : Komut satırından,
  3. REST API : Web üzerinden RESTFUL API ile de veri yükleme, veri görselleştirme, veriyi dışa aktarma gibi işlemler için de BigQuery’ i kullanabilirsiniz.

Detaylar için ;

https://cloud.google.com/bigquery/docs/quickstarts

BigQuery’ nin Özellikleri

  1. Veri Ambarı :  Büyük dataların işlenmesini ve depolanmasını sağlar.
  2. Güvenilirlik: Google ‘ın Veri Merkezleri tarafından destekleniyor.
  3. Düşük Fiyat : Sadece depoladığınız ve sorguladığınızda işlenen veri miktarı kadar ücret ödersiniz.
  4. Veri Güvenliği ve Erişilebilirlik : Projeye erişim için yetkiler (edit, view, owner vs.) belirleyebilirsiniz. Ayrıca BigQuery’ de veriler public ve private key olarak şifrelenir.
  5. Sorguların Kaydedilmesi (Saved Queries) : Her sorgu işlem olarak günlüğe kaydedilir. Sorguları kaydedebilir ve sorgu geçmişine bakabilirsiniz.
  6. Eşzamanlılık: Birden çok sorguyu paralel olarak işleyebilirsiniz. (aynı anda 50 adet eş zamanlı sorgu yapabilirsiniz)
  7. Esneklik : Verileri birleştirmek ve parçalamak kolaydır.
  8. SQL : Big Query’ de SQL sorgu dili kullanılır.
  9. Public Dataset: BigQuery’nin içerisinde herkese açık birçok dataset (NOAA, IRS, GitHub, NYC Taxi vs.) vardır.

Big Query ile Neler Yapılır?

1.SQL yardımıyla Verinin Sorgulanması

BigQuery’ de önce proje açılır. Ardından public datasetlere veya kendi yüklediğiniz datasetlere erişim sağlarsınız. Bununla birlikte her bir dataset kendi alt biriminde tablolar bulundurur. Bu tablolar ile SQL yardımıyla veriler filtrelenerek sorgulanır. Bu sorgulamada streaming, sorgu ve storage için verinin işlenme miktarına (KB, MB, GB, TB vs.)  göre fiyat belirlenir.

Kısacası BigQuery’ de hiyerarşi Project > Dataset > Table > Job şeklindedir.

Şimdi de örnek bir Standard SQL sorgusunu inceleyim.

#StandardSQL

SELECT state, year, COUNT(*) AS count_total

FROM `data-to-insights.ecommerce.rev_transactions`

WHERE year>=2000 and year < 2023

GROUP BY state, year

ORDER BY year DESC

LIMIT 10

2.Veri Görselleştirme

BigQuery ile Google Data Studio entegre olduğundan hem web hem de mobilde raporlar ve dashboardlar oluşturmamıza olanak sağlar.

3.Entegrasyon

Google Analytics, Firebase, Google Ads, Amazon Web Server ile entegre olduğundan Big Query Data Transferi kullanabilirsiniz. Ayrıca datanızı csv, xlsx gibi formatlarda da BigQuery’ e doğrudan yükleyebilirsiniz.

BigQuery Ücretsiz Midir?

Ücretsiz Hizmetler

BigQuery’ de veriyi yüklemek (load), dışa aktarmak (export) ve veriyi kopyalamak (copy) ücretsizdir.

Ücretli Hizmetler

BigQuery’ de fiyatlar aşağıdaki gibi belirlenmiştir.

  • Active (Aktif): Tablo veya bölümlerde depolanan ve son 90 gün içinde değiştirilmiş olan veriler için alınan bir aylık ücret.
  • Long Term (Uzun süreli): Tablo veya bölümlerde depolanan ve son 90 gün içinde değiştirilmemiş olan veriler için alınan daha düşük bir aylık ücret.

Sorgu maliyetleri için iki fiyatlandırma modelinden birini seçebilirsiniz:

  • İsteğe bağlı: Bu, en esnek seçenektir. İsteğe bağlı fiyatlandırma, çalıştırdığınız her sorgu tarafından işlenen veri miktarına bağlıdır.
  • Sabit ücret — Bu fiyatlandırma seçeneği maliyetlerini öngörebilmek isteyen müşteriler için idealdir. Sabit ücret fiyatlandırması kullanan müşteriler sorgu işleme için özel kaynaklar satın alır ve tek tek sorgular için ücretlendirilmez.

Daha detaylı fiyatlandırma bilgisine bu linkten ulaşabilirsiniz.

https://cloud.google.com/bigquery/pricing

Diyelim ki Storage, Streaming ve sorguda işlenen veri miktarınız belli, bu aşamada https://cloud.google.com/products/calculator linkinden aşağıdaki görseldeki gibi hesaplama yapıp ödeyeceğiniz ücret tutarını ön görebilirsiniz.

Şimdilik BigQuery’e giriş postumuzun sonuna geldik.

Google Cloud Platform ürünleri hakkında daha detaylı bilgi almak için iletisim@semtr.com adresinden bizlere ulaşabilir, güncel blog yazılarımızdan haberdar olmak için aşağıda yer alan sosyal medya hesaplarımızı takip edebilirsiniz.

SEM ailesi olarak hepinize sağlıklı günler dileriz.

Author