Büyük Veri Nedir? 3V Modeli, İşleme Süreci ve Örnekler

Bir veri kümesini Büyük Veri yapan üç ölçüt: Hacim, çeşitlilik ve hız

Büyük Veriyi anlamanın en yaygın yolu 3V modelidir. Buradaki V harfleri Hacim (Volume), Çeşitlilik (Variety) ve Hız (Velocity) kavramlarını temsil eder. Bu üç özellik birlikte değerlendirildiğinde verinin neden geleneksel araçlarla yönetilmesinin zorlaştığı daha net görülür.

Hacim, üretilen veya saklanan veri miktarıdır. Büyük Veri bağlamında petabaytlar ve eksabaytlar gibi çok yüksek hacimler gündeme gelebilir. Ancak yalnızca dosya boyutuna bakarak karar verilmez. Bir veri kümesinin Büyük Veri sayılıp sayılmayacağı, mevcut depolama ve işlem araçlarının bu veriyi makul sürede yönetip yönetemediğiyle de ilgilidir. Yani "büyük" ifadesi bağlama bağlıdır; küçük bir kurum için zorlayıcı olan hacim, daha gelişmiş altyapıya sahip bir kurum için yönetilebilir olabilir.

Çeşitlilik, verinin tek biçimli olmamasını ifade eder. Yapılandırılmış veriler, veritabanı tablolarındaki satır ve sütunlar gibi önceden belirlenmiş bir düzene sahiptir. XML ve JSON gibi yarı yapılandırılmış verilerde bazı etiketler veya alanlar bulunur, fakat tablo düzeni kadar katı bir yapı olmayabilir. Metin, görsel, video ve ses ise yapılandırılmamış veriye örnektir. Bu farklı biçimleri aynı analizde kullanmak için veri dönüştürme ve düzenleme işlemleri gerekir.

Hız, verinin üretilme, toplanma ve işlenme hızıdır. Sosyal medya akışları ve sensör verileri gerçek zamanlı veya gerçek zamanlıya yakın işleme gerektirebilir. Buradaki karar kuralı şudur: Veri yalnızca hızlı üretiliyorsa değil, bu hız karar vermeyi etkiliyor ve sistemin veriyi gecikmeden işlemesini gerektiriyorsa hız boyutu kritik hale gelir.

3V, birbirinden bağımsız üç etiket değildir. Örneğin bir trafik uygulamasında çok sayıda kullanıcının konum ve hız verisi yüksek hacim oluşturabilir; metin, harita bilgisi ve sensör ölçümleri çeşitlilik yaratabilir; anlık trafik değişimleri de yüksek hızda işleme ihtiyacı doğurabilir. Bu özelliklerden biri belirgin olsa bile Büyük Veri çözümünün gerekip gerekmediği, toplam işleme gereksinimiyle değerlendirilmelidir.

Ham kayıttan karara: Büyük Veri işleme zincirinin dört aşaması

Büyük Veri tek başına bir teknoloji veya tek bir yazılım değildir. Daha doğru yaklaşım, onu verinin kaynaktan karara kadar ilerlediği bir süreç olarak görmektir. Bu süreçte dört ana aşama bulunur: toplama, depolama, işleme ve analiz.

1. Veri toplama: Veriler web siteleri, mobil uygulamalar, IoT cihazları, sensörler, sosyal medya platformları ve kurumsal işlem kayıtları gibi kaynaklardan gelir. İlk sorulması gereken soru, hangi verinin hangi amaçla toplandığıdır. Bir kaynaktan gelen veri analiz sorusuyla ilişkili değilse, yalnızca hacmi artırır ve yönetim yükü oluşturur.

2. Veri depolama: Toplanan veri, daha sonra işlenebileceği bir ortamda tutulur. Büyük hacim ve farklı veri biçimleri söz konusu olduğunda dağıtık dosya sistemleri, Hadoop HDFS gibi çözümler veya NoSQL veritabanları kullanılabilir. Bulut bilişim platformları da depolama ve yönetim için seçenek sunar. Depolama aşamasında verinin nereden geldiği, hangi biçimde olduğu ve ne zaman üretildiği gibi bilgilerin korunması, sonraki analizlerin yorumlanabilmesi açısından önemlidir.

3. Veri işleme: Ham veri doğrudan karar vermeye uygun olmayabilir. Eksik kayıtlar, farklı biçimde yazılmış alanlar, yinelenen kayıtlar veya analiz için gereksiz bilgiler bulunabilir. Bu nedenle veri temizlenir, dönüştürülür ve düzenlenir. MapReduce gibi dağıtık işleme çerçeveleri ile Apache Spark gibi veri işleme motorları, işi birden fazla sunucuya dağıtarak paralel işleme yaklaşımı sunar.

4. Veri analizi: Hazırlanmış veri üzerinde istatistiksel modeller, makine öğrenimi algoritmaları ve veri madenciliği yöntemleri uygulanabilir. Amaç yalnızca grafik üretmek değil; eğilim, ilişki, risk veya tekrar eden davranış gibi anlamlı bir sonuç elde etmektir. Sonucun karar sürecinde kullanılabilmesi için analiz sorusuyla açıkça ilişkilendirilmesi gerekir. Örneğin "hangi müşteriler var?" sorusu betimleyici bir rapor isterken, "hangi işlemler şüpheli olabilir?" sorusu risk analizi yaklaşımı gerektirir.

Dağıtık depolama ile paralel işleme neden birlikte kullanılır?

Büyük Veri altyapısının temel fikri, tüm veriyi tek bir makineye ve tek bir işlem sırasına mahkûm etmemektir. Veri dağıtık biçimde saklanabilir; işlem görevi de birden fazla sunucuya bölünebilir. Böylece farklı veri parçaları aynı zaman aralığında işlenebilir. Bu yaklaşım özellikle hacim ve hız arttığında önem kazanır.

Hadoop HDFS, dağıtık depolama yaklaşımına örnek olarak verilebilir. NoSQL veritabanları ise her verinin katı bir tablo yapısına uymasının gerekmediği durumlarda esnek depolama seçenekleri sunar. MapReduce, büyük bir işlemi parçalara ayırıp sonuçları birleştiren dağıtık işleme çerçevesidir. Apache Spark da hızlı veri işleme motoru olarak anılır.

Bu araçların adını bilmek, görevlerini karıştırmaktan daha az önemlidir. HDFS öncelikle depolama yaklaşımıyla; MapReduce ve Spark işleme yaklaşımıyla; NoSQL ise veri saklama ve erişim modeliyle ilgilidir. Bulut bilişim ise bu kaynaklara internet üzerinden erişilebilen, ölçeklenebilir bir altyapı seçeneği sunabilir. Dolayısıyla "Büyük Veri = Hadoop" veya "Büyük Veri = bulut" eşitlikleri doğru değildir; bunlar Büyük Veri sürecinin farklı katmanlarında kullanılabilecek çözümlerdir.

Büyük Veriden değer üretmek: analiz, veri madenciliği ve algoritma ilişkisi

Verinin büyük olması tek başına değer oluşturmaz. Değer, doğru sorunun sorulması ve uygun analiz yönteminin seçilmesiyle ortaya çıkar. Veri analizi, veriden anlamlı içgörüler elde etmek için kullanılan süreç ve tekniklerin genel adıdır. Veri madenciliği ise büyük veri kümeleri içinde daha önce açıkça görülmeyen desenleri, ilişkileri ve eğilimleri araştırmaya odaklanabilir.

Bu aşamada algoritmalar belirli bir görevi yerine getiren adım adım yöntemlerdir. Makine öğrenimi, veriden örüntü öğrenerek sınıflandırma veya tahmin gibi görevlerde kullanılabilir. Ancak bir algoritmanın kullanılması, sonucun kendiliğinden doğru veya tarafsız olduğu anlamına gelmez. Verinin eksik, hatalı ya da temsil gücü düşük olması analiz sonucunu etkileyebilir. Bu yüzden sonuç, hem kullanılan verinin kapsamı hem de yöntemin amacı dikkate alınarak yorumlanmalıdır.

Büyük Veri ile veri analizi arasındaki ayrım şöyle özetlenebilir: Büyük Veri, yönetilmesi zor olabilecek veri kümelerini ve bu kümelerin özelliklerini ifade eder; veri analizi ise bu verilerden sonuç çıkarma sürecidir. Büyük Veri ham maddeye, analiz ise ham maddeden anlam üretmeye benzetilebilir. Bu nedenle çok büyük bir veri deposu bulunması, tek başına iyi karar alındığını göstermez. Analiz sorusu, veri kalitesi ve yorumlama ölçütü de gereklidir.

Sektörlerde Büyük Veri kullanılırken hangi sonuç aranır?

Büyük Veri farklı alanlarda aynı amaçla kullanılmaz; her sektörde aranan çıktı değişir.

E-ticaret ve perakende: Gezinme geçmişi, arama terimleri, satın alma alışkanlıkları ve sepette bırakılan ürünler birlikte incelenebilir. Çıktı; önerilen ürünlerin kişiselleştirilmesi, indirimlerin düzenlenmesi veya stok yönetiminin iyileştirilmesi olabilir. Burada veri toplamak ile gerçekten doğru ürünü önermek aynı şey değildir; önerinin anlamlı olması için geçmiş etkileşimlerin analiz amacıyla ilişkilendirilmesi gerekir.

Sağlık: Hasta kayıtları, genetik veriler, görüntüleme sonuçları ve giyilebilir cihazlardan gelen ölçümler farklı veri türlerini bir araya getirebilir. Analiz; erken teşhis araştırmaları, kişiye özel tedavi planları veya salgınların yayılımını tahmin etme gibi amaçlara hizmet edebilir. Bu tür sonuçlar klinik kararın yerine geçen kesin hükümler olarak değil, ilgili uzmanlık ve değerlendirme süreçlerini destekleyen çıktılar olarak ele alınmalıdır.

Finans ve bankacılık: İşlem kayıtları, şüpheli işlem örüntülerini araştırmak, kredi riskini değerlendirmek ve müşteri segmentleri oluşturmak için analiz edilebilir. Milyarlarca işlem verisinin gerçek zamanlı incelenmesi, şüpheli aktivitelerin hızlı fark edilmesine yardımcı olabilir; fakat bir işlemin şüpheli işaretlenmesi ile dolandırıcılığın kesinleşmesi aynı sonuç değildir.

Akıllı şehirler ve ulaşım: Trafik sensörleri, güvenlik kameraları ve mobil cihazlardan gelen veriler trafik akışını, toplu taşıma hizmetlerini ve acil durum müdahalesini iyileştirmek amacıyla kullanılabilir.

Üretim: Sıcaklık, basınç ve titreşim gibi sensör ölçümleri analiz edilerek makinelerin bakım ihtiyacı tahmin edilmeye çalışılabilir. Bu yaklaşım tahmine dayalı bakım olarak anılır; amacı arıza gerçekleşmeden önce olası bakım gereksinimini fark etmektir.

Çözümlü örnekler: 3V ölçütünü ve veri hattını adım adım uygulama

Örnek 1 — Bir alışveriş platformundaki veri kümesini sınıflandırma

Verilenler: Platformda kullanıcıların arama terimleri, satın alma kayıtları, sepette bıraktığı ürünler ve ürün görselleri bulunuyor. Kullanıcı etkileşimleri sürekli akıyor ve amaç kişiselleştirilmiş ürün önerileri oluşturmak.

1. Hacmi belirleme: Satın alma, arama ve sepet kayıtları çok sayıda kullanıcı etkileşimi oluşturur. Veri miktarı petabaytlar veya eksabaytlar düzeyine ulaşırsa hacim boyutu açıkça öne çıkar. Ancak karar yalnızca miktara göre verilmez; mevcut sistemin bu kayıtları işleme süresi de değerlendirilir.

2. Çeşitliliği belirleme: Satın alma kayıtları tablo biçiminde yapılandırılmış olabilir. Arama terimleri metin, ürün görselleri ise yapılandırılmamış veridir. Bu nedenle tek tip veri tablosu bütün kaynakları temsil etmeye yetmeyebilir.

3. Hızı belirleme: Kullanıcı etkileşimleri sürekli geldiği için önerilerin güncellenmesinde gecikme önemli olabilir. Bu durum yüksek hız boyutunu gündeme getirir.

4. İşleme yolunu kurma: Veriler farklı kaynaklardan toplanır; uygun depolama ortamında saklanır; metin, kayıt ve görseller analiz için dönüştürülür. Daha sonra veri analizi veya veri madenciliği yöntemleriyle kullanıcı davranışlarındaki ilişkiler incelenir.

Sonuç: Bu senaryo üç V özelliğini de taşır. Büyük Veri çözümünün amacı yalnızca kayıtları saklamak değil, farklı türlerdeki ve hızlı gelen veriyi uygun zamanda işleyerek ürün önerisi gibi bir çıktı üretmektir.

Örnek 2 — Trafik yoğunluğundan rota önerisine

Verilenler: Bir navigasyon uygulaması anlık trafik yoğunluğu, geçmiş trafik kayıtları, yol çalışmaları ve kullanıcıların anonimleştirilmiş hız verilerini kullanarak en uygun rotayı önermeye çalışıyor.

1. Kaynakları ayırma: Anlık yoğunluk ve hız verileri akış halinde gelir. Geçmiş trafik kayıtları daha önce depolanmış veridir. Yol çalışmaları ise metin veya konum bilgisi içeren farklı bir veri kaynağı olabilir.

2. 3V açısından inceleme: Çok sayıda kullanıcının verisi hacmi artırır; trafik bilgisi, konum, geçmiş kayıt ve yol çalışması gibi farklı biçimler çeşitlilik yaratır; anlık değişimler ise hız boyutunu öne çıkarır.

3. Veriyi işleme: Anlık veriler gecikmeden toplanır. Geçmiş kayıtlarla birlikte işlenir ve yol çalışmaları gibi bağlamsal bilgilerle birleştirilir. Ardından analiz yöntemi, mevcut koşullara göre rotaları karşılaştırır.

4. Karar kuralı: Uygulama yalnızca en kısa mesafeyi seçmez; anlık trafik ve geçmiş koşullar gibi verileri dikkate alarak o an için daha verimli rotayı önermeye çalışır.

Sonuç: Buradaki Büyük Veri çıktısı, ham trafik kayıtlarının kendisi değil, farklı kaynaklardan gelen verilerin işlenmesiyle oluşturulan rota önerisidir.

Sık yapılan hatalar ve karıştırılan kavramlar

Büyük Veriyi yalnızca veri miktarı sanmak: Hacim önemli bir boyuttur; fakat çeşitlilik ve hız da değerlendirilmelidir. Çok büyük bir tablo, çeşitlilik veya yüksek akış hızı bulunmasa da mevcut altyapıyla yönetilmesi zor olduğu durumda Büyük Veri kapsamına girebilir. 3V boyutları, veri kümesinin hangi açılardan zorlayıcı olduğunu açıklamak için birlikte değerlendirilen özelliklerdir.

Büyük Veri ile veri analizini eş anlamlı kullanmak: Büyük Veri verinin ve onu yönetme gereksiniminin niteliğini anlatır. Veri analizi ise bu veriden sonuç çıkarma faaliyetidir. Bir kurumda Büyük Veri altyapısı bulunması, analiz sürecinin doğru kurulduğu anlamına gelmez.

Bulut bilişimi Büyük Verinin kendisi sanmak: Bulut, depolama ve işlem kaynaklarına erişim sağlayan bir altyapı seçeneğidir. Büyük Veri ise veri kümesinin özelliklerini ve işleme ihtiyacını anlatan daha geniş bir kavramdır.

Algoritmayı yapay zekâyla özdeşleştirmek: Algoritma belirli bir görevi yerine getiren yöntemdir. Yapay zekâ, algoritmalar ve modeller kullanabilen daha geniş bir alandır. Bu nedenle her algoritma yapay zekâ değildir.

Ham veriyi doğrudan güvenilir kabul etmek: Eksik, yinelenen veya hatalı kayıtlar analiz sonucunu bozabilir. Temizleme ve dönüştürme yapılmadan elde edilen eğilimler karar vermek için yeterli olmayabilir.

Tahmin sonucunu kesin gerçek saymak: Dolandırıcılık riski, arıza ihtiyacı veya trafik tahmini gibi çıktılar karar desteği sağlar. Bir kaydın şüpheli görünmesi, işlemin kesin olarak dolandırıcılık olduğu; bakım ihtiyacının tahmin edilmesi de arızanın mutlaka gerçekleşeceği anlamına gelmez.

Güvenliği yalnızca şifrelemeye indirgemek: Büyük Veride erişim kontrolleri, anonimleştirme, siber güvenlik protokolleri ve yasal düzenlemelere uyum birlikte düşünülmelidir. Veri hacmi ve çeşitliliği arttıkça güvenlik yönetimi de karmaşıklaşabilir.