Dijital Dönüşümün Geleceği: Gerçek Zamanlı Veri

1 Dakika içinde üretilen veri miktarına ait ve birbirine benzeyen görselleri gördüğümde hep verinin yolcuğunu merak etmişimdir.

Örneğin, Google her gün görüntülenmekte olan 3.7 trilyon sayfadaki tıklamaları, linkleri ve içerikleri analiz etmekte ve arama sonuçlarını, size özel reklamların da yer alacağı şekilde milisaniyeler içinde göstermektedir. Big Data kavramıyla alakalı büyük resmi görebilmek için aşağıdaki görselde 60 Saniye içerisinde üretilen veri miktarını simgeliyor(1):

IDC, dijital dünyanın geleceğine yönelik gerçekleştirdiği araştırma çıktısına göre dünya üzerinde gerçek zamanlı veri miktarı 2018 yılında 33 ZettaBytes (ZB) iken 2025 yılına kadar beklenen rakam 175 ZettaBytes.

Veri'nin işlenme yolcuğuna göz attığımızda ise anlam kazanarak bilgi, özbilgi ve bilgeliğe dönüşürken en sonunda da bir etki yaratıyor.

Veri, bilgi teknolojileri tabiriyle “sayısal ortamlarda bulunan, işlenen veya taşınan sinyal olarak adlandırılıyor”, “anlamsız haldeki bitler” veya “birbiriyle ilişkilendirilmemiş bitler” olarak tanımlanıyor. Tüm bu Verilerin “anlamlı hale gelmesi için işlenip, belirsizliğinin azaltılmasıyla” Bilgi elde ediliyor. Belirli bir konuda elde edilen bilginin, öğren ve/veya tecrübe edilerek farkındalık kazanılarak anlaşılması ise özbilgi olarak adlandırılıyor.

Bilgelik ise, güvenilir karar verebilmek için özbilginin ne şekilde kullanılacağını anlamak.

"Veri içeriğindeki bilinmezliklerin giderilmesi ile bilgiye, bilginin anlam ve içeriğinin anlaşılması ile özbilgiye, oluşan birikimin içselleştirilmesi ile bilgeliğe ve bu adımda oluşan değerin ise belirlenen amaca dönüştürülmesine veya dönüştürülmüş haline de karar veya hedef deniliyor. "

Bilgi, verinin karar verici için anlamlı ve kullanışlı biçime dönüşmesidir: (3)

Verinin evrimleşme süreci, adımları ve dönüşümleri:

Verileri anlamak, değerlendirebilmek ve farklı bakış açıları ile analiz edebilmek ve sonuçta beklenen hedefe veya istenilen kararlara erişilebilmesi için, bu veriler dört grupta sınıflandırılmış olup aşağıda kısaca açıklanmıştır. (2)

o  Veri parçası (data spot), analizlerde dikkate alınan erişilebilir verinin bir alt kümesi olarak gruplandırılır.

o  Erişilebilir veri (light data), erişilebilir ve her an kullanıma hazır olan veri grubudur.

o  Gri veri (gray data), erişemediğimiz ancak nitelikli varsayımlar yapabileceğimizi ve analiz ettiğimiz sistemin bir parçası olduğunu bildiğimiz veri gruplarıdır.

o  Karanlık veri (dark data) ise, nitel veya nicel olup olmadığı anlaşılamayan, bilinmeyen veya gruplandırılamayan veri grubudur. Bu veriler kısaca bilmediğimizin veya bilemediğimizin farkında bile olamadığımız veri gruplarıdır. (2)

Büyük veri (big data) kavramı; verilerin saklanmasında, analiz edilmesinde ve yönetilmesinde klasik veritabanı yönetim sistemlerin yetersiz kaldığı durumlarda karşımıza çıkan bir problem olarak tanımlanabilir. Bu kavram, organizasyonlara göre değişiklik gösterebilir. Genel olarak kullanım alanlarına bakıldığında, sağlıktan pazarlamaya, üretimden tüketime, kamudan özel sektöre, bankacılıktan sigorta şirketlerine, telekom sektörüne kadar pek çok örnek verilebilir.

Örneğin Telekom sektöründe; coğrafi hedefle reklam, acil müdahale, kentsel planlama, ücretlendirme, suistimal önleme, saldırı tespiti, vb. konularda faydalanılmaktadır.

Büyük Verinin sınıflandırılması ise;

Büyük Verinin bileşenleri ise; 

Hacim (Volume) : Verinin hacmi verinin boyutu ile doğru orantılıdır ve genel olarak gigabayt, terabayt, petabayt gibi çeşitli veri ölçü birimleri ile ifade edilmektedir.

Hız (Velocity): Veri değişken hızlarla üretilebilmektedir.

Değer (Value): Veri analizini çeşitli organizasyonlarca önemli hale getiren veriden üretilen değerdir. Değer üretilemeyen herhangi bir veri anlamsızdır

Geçerlik (Veracity): Gerçek hayat problemlerinde kullanılan büyük veri içerisinde verinin doğruluğunu olumsuz olarak etkileyebilecek birçok faktör vardır. Bu faktörler genellikle karşımıza gürültü veya aykırılık olarak çıkmaktadır.

Çeşitlilik (Variety): Verinin çeşitliliği, veri kaynaklarının farklılığından kaynaklanmaktadır. Üretilen veriler yapısal, yarı-yapısal veya yapısal olmayan formatlarda karşımıza çıkabilmektedir

Büyük Veri'nin hızlı bir şekilde yükselişi, analizlerin gerçekleştirilmesi için orijinal bakış açısına ve uzman işgücü ihtiyacına, gelişmiş altyapılara, metot ve metodolojilere ihtiyaç ortaya çıkmıştır; bu durumda büyük verilerin biçimlendirilmesini ve modellenmesini sağlayarak ürün ve hizmet süreçlerine katkıda bulunan, disiplinler arası bir yaklaşım olan veri biliminin doğmasına sebep olmuştur.

Veri Bilimi mesleğini icra edecek kişilerin; istatistik, matematik, bilgisayar ve bilgisayar bilimleri mühendisi, makine öğrenmesi, programlama ve veri işleme teknolojileri gibi konulara hakimiyete ek olarak çalıştığı alana özgü bilgi birikimine sahip ve iletişim yeteneği güçlü, kurumunun geleceği için gereken kritik sorunları tespit etme ve öngörülerde bulunabilme yeteneklerine sahip olması gerekmektedir.

Veri Bilimcisinin sahip olduğu yetenekler ise;

Büyük Veri ile ilgili kullanılan Platform ve Araçlara göz atmak gerekirse;

Özetlemek gerekirse, Büyük Veri ülkemizde de kullanımı oldukça yaygınlaşmış bir kavram olmakla birlikte, gelişen teknoloji ve üretilen veri miktarındaki artış sayesinde; kurumlar ve kullanıcılar için iş yapış biçimlerini değiştirmede ve rekabetçi avantajlarla inanılmaz olanaklar sunmaya devam edeceği aşikardır.

Özellikle kariyer planlaması yapan arkadaşlarımızın, tüm bu gelişmeleri de göz önünde bulundurarak Büyük Veri ve Veri Bilimi ile ilgili gereksinim ve uzmanlık ihtiyaçlarına göre kendilerini hazırlamaları; uzun vadede istedikleri hedeflere ulaşmalarında katkı sağlayacaktır.

Gelecek yazılarda Yapay Zeka (AI), IoT, 5G ve Bulut teknolojileri gibi konulardaki teknoloji ve gelişmelerden de bahsetmeye çalışacağım. 

#BigData #DijitalDönüşüm #BüyükVeri

(1) https://medium.com/deep-learning-turkiye/big-data-ka%C3%A7-gigabyte-d664cb78d582

(2) https://bigdatacenter.gazi.edu.tr/wp-content/uploads/buyuk_veri_ve_acik_veri_analitigi.pdf

(3) https://docplayer.biz.tr/57913215-Bilgi-ve-belge-yonetiminde-veri-madenciligi.html