Veri Bilimi Nedir? Veriden Karara Uzanan Yol

Bir veri kümesi ne zaman karara dönüşür?

Veri biliminin başlangıç noktası çoğu zaman teknik araç değil, açık bir sorudur. Örneğin 'Müşteriler ne satın aldı?' betimleyici bir sorudur; 'Önümüzdeki dönemde hangi ürünlere talep artabilir?' ise tahmine yöneliktir. Bu iki soru aynı verileri kullansa bile farklı analiz yöntemleri ve farklı başarı ölçütleri gerektirebilir.

Süreçte önce problem tanımlanır. Hedef değişken, incelenecek gözlemler, zaman aralığı ve kararın nasıl kullanılacağı belirlenir. Ardından veri kaynakları değerlendirilir. Veriler tablo biçiminde olabilir; metin, görsel veya ses gibi yapılandırılmamış biçimlerde de bulunabilir. Veri toplamak, verinin doğru olduğu anlamına gelmez. Eksik kayıtlar, yinelenen satırlar, hatalı ölçümler veya örneklemin belirli bir grubu gereğinden fazla temsil etmesi sonucu yanıltabilir.

Analiz aşamasında elde edilen ilişki ile neden-sonuç ilişkisi birbirinden ayrılmalıdır. İki değişkenin birlikte değişmesi, birinin diğerine neden olduğunu tek başına göstermez. Örneğin bir ürünü daha çok inceleyen kişilerin onu daha fazla satın alması, incelemenin satın almaya neden olduğunu kanıtlamayabilir; kampanya, fiyat veya kullanıcı profili gibi başka değişkenler de etkili olabilir.

Bu nedenle iyi bir veri bilimi çalışmasının çıktısı yalnızca 'model şu tahmini yaptı' cümlesi değildir. Sonucun hangi veriye dayandığı, ne kadar belirsizlik taşıdığı, hangi koşullarda geçerli olduğu ve karar vericinin bu sonucu nasıl kullanacağı da açıklanmalıdır.

Ham kayıttan güvenilir veri kümesine: hazırlık zinciri

Veri bilimi iş akışının en fazla emek isteyen bölümlerinden biri veri hazırlığıdır. Önce farklı kaynaklardan gelen alanların anlamı eşleştirilir. Bir kaynakta tarih gün-ay-yıl, başka bir kaynakta yıl-ay-gün biçiminde tutuluyorsa kayıtlar birleştirilmeden önce biçimlerin uyumlu olduğu kontrol edilmelidir. Aynı şekilde 'İstanbul', 'İST' ve 'istanbul' gibi değerler tek bir kategori olarak düzenlenebilir.

Eksik değerlerde tek bir doğru çözüm yoktur. Eksik kayıtlar az ve rastgele ise bazı satırlar analiz dışında bırakılabilir; ancak eksiklik belirli bir grupta yoğunlaşıyorsa bu işlem örneklemi bozabilir. Sayısal bir alan için ortalama ile doldurma da her durumda uygun değildir; uç değerlerin bulunduğu dağılımlarda medyan daha dayanıklı olabilir. Hangi yöntemin seçileceği, değişkenin anlamına ve eksikliğin nedenine bağlıdır.

Verinin analize ayrılmasından sonra ölçüm ölçekleri de dikkate alınır. Kategorik bir değer, doğrudan sayısal büyüklük gibi işlenmemelidir. Örneğin eğitim düzeylerini 1, 2 ve 3 diye kodlamak, 3'ün 1'in üç katı olduğu anlamına gelmez. Bu kodlar yalnızca sınıfları temsil ediyorsa, model ve grafik seçimi buna göre yapılmalıdır.

Temizleme işlemi sonuç üretmek için değil, hatalı yorum riskini azaltmak için yapılır. Yapılan her dönüşüm kaydedilmelidir. Böylece sonuç gerektiğinde yeniden üretilebilir ve hangi satırların neden değiştirildiği açıklanabilir.

Betimleme, tahmin ve öneri: aynı analiz değildir

Veri bilimi içinde farklı amaçlar için farklı analiz türleri kullanılır. Betimleyici analiz geçmişte ne olduğunu özetler. Toplam satış, ortalama sipariş tutarı, kategori dağılımı veya zaman içindeki değişim bu kapsamdadır. Tanılayıcı analiz ise bir değişimin olası açıklamalarını araştırır; örneğin satış düşüşünün belirli bir bölgede mi, fiyat değişiminden sonra mı ortaya çıktığını inceler.

Tahmine dayalı analiz, geçmiş örüntülerden yeni bir gözlem için olası sonuç üretir. Bir müşterinin ürünü satın alıp almayacağı veya bir kaydın belirli bir sınıfa ait olup olmadığı tahmin edilebilir. Ancak tahmin, gelecek hakkında kesinlik sağlamaz. Modelin başarısı, daha önce görülmemiş veriler üzerinde sınanmalıdır; yalnızca eğitim verisindeki iyi sonuç, genelleme becerisini kanıtlamaz.

Öneriye dayalı analiz, olası seçenekler arasından karar vermeye yardım eder. Bir rotanın, ürün sıralamasının veya kaynak dağılımının seçilmesi buna örnek olabilir. Burada yalnızca tahmin doğruluğu yeterli değildir. Maliyet, kapasite, zaman, adalet ve güvenlik gibi kısıtlar da karara dahil edilir.

Bu üç amacı karıştırmak sık rastlanan bir hatadır. Bir grafikte geçmişteki artışı göstermek, geleceğin aynı biçimde devam edeceğini kanıtlamaz. Benzer biçimde yüksek doğruluk oranı, yanlış sınıflandırmanın maliyeti çok yüksekse tek başına yeterli bir başarı ölçütü olmayabilir.

Veri analizi, veri madenciliği, makine öğrenimi ve yapay zekâ arasındaki sınırlar

Veri analizi, mevcut veriyi özetleme, karşılaştırma ve yorumlama çalışmalarını kapsayan önemli bir alandır. Veri bilimi bundan daha geniş bir çerçevedir; problem tanımından veri mühendisliğine, model kurmadan sonuçların sunumuna kadar farklı aşamaları içerebilir. Ayrıntılı karşılaştırma için Veri Analizi Nedir? bağlantısı incelenebilir.

Veri madenciliği, büyük veya karmaşık veri kümelerinde daha önce açıkça görülmeyen örüntüleri, grupları ya da ilişkileri keşfetmeye odaklanır. Veri bilimiyle kesişir; ancak veri biliminin problem tanımı, iletişim ve karar süreçleri gibi daha geniş yönleri de vardır. Konuyla ilgili Veri Madenciliği Nedir? rehberine bakılabilir.

Makine öğrenimi, bilgisayarların açıkça her kural tek tek yazılmadan veriden örüntü öğrenmesini sağlayan yöntemler grubudur. Veri bilimi makine öğrenimini kullanabilir, fakat her veri bilimi problemi makine öğrenimi gerektirmez. Basit bir ortalama, eğilim analizi veya iyi tasarlanmış bir sorgu, bazı durumlarda daha uygun ve açıklanabilir olabilir.

Yapay zekâ ise algılama, akıl yürütme, öğrenme veya karar verme gibi insan zekâsıyla ilişkilendirilen görevleri yerine getirmeyi amaçlayan daha geniş bir teknoloji ve yöntem alanıdır. Veri bilimiyle örtüşür; fakat ikisini otomatik olarak birbirinin alt kümesi saymak doğru değildir. Algoritma, yapay zekâ ve veri bilimi arasındaki ayrım için Algoritma ile Yapay Zekâ Arasındaki Fark bağlantısı kullanılabilir.

Büyük Veri ise hacim, hız veya çeşitlilik bakımından geleneksel yöntemlerle işlenmesi zorlaşan veri kümelerini ifade eder. Her büyük veri problemi yapay zekâ gerektirmez; her veri bilimi çalışması da büyük veri ölçeğinde olmak zorunda değildir. İlişkiyi Büyük Veri (Big Data) Nedir? sayfasında ayrıntılandırabilirsiniz.

Çözümlü örnek: küçük bir alışveriş tablosundan karar çıkarmak

Aşağıdaki sayılar, yöntemi göstermek amacıyla oluşturulmuş basit bir örnektir; gerçek bir şirket verisi değildir.

Verilenler: Bir mağazada beş müşterinin son alışveriş tutarları sırasıyla 120 TL, 150 TL, 150 TL, 180 TL ve 400 TL olsun. Mağaza tipik alışveriş tutarını görmek ve 400 TL'lik kaydın genel görünümü ne kadar etkilediğini anlamak istiyor.

1. Adım — Ortalama: Toplam tutar $120 + 150 + 150 + 180 + 400 = 1000$ TL'dir. Beş kayıt olduğundan aritmetik ortalama $1000 / 5 = 200$ TL olur.

2. Adım — Ortanca: Tutarlar küçükten büyüğe zaten sıralıdır. Beş değer bulunduğu için ortadaki üçüncü değer ortancadır: 150 TL.

3. Adım — Karşılaştırma: Ortalama 200 TL, ortanca 150 TL'dir. Aradaki fark, yüksek değerli 400 TL'lik kaydın ortalamayı yukarı çektiğini gösterir. Bu küçük veri kümesinde 'tipik müşteri 200 TL harcıyor' demek yerine, 150 TL'lik ortancayı da belirtmek daha açıklayıcıdır.

4. Adım — Karar: Mağaza genel müşteri deneyimini temsil eden tek bir değer arıyorsa ortanca daha uygun bir özet olabilir. Ancak 400 TL'lik müşterilerin toplam gelire katkısını hesaplamak istiyorsa bu kayıt çıkarılmamalıdır. Uç değer, hata olduğu kanıtlanmadıkça silinmez.

Sonuç: Aynı veri için farklı özet ölçüleri farklı yorumlar doğurabilir. Ortalama toplam gelirin müşteri sayısına bölünmesini, ortanca ise sıralanmış değerlerin merkezindeki gözlemi gösterir; hangisinin kullanılacağı soruya bağlıdır.

Çözümlü örnek: bir tahmin sonucunu eşikle yorumlamak

Bu örnek de yöntemi açıklamak için varsayımsaldır.

Verilenler: Bir model, bir müşterinin belirli ürünü satın alma olasılığını 0 ile 1 arasında üretmektedir. Karar kuralı, olasılık $0{,}60$ veya daha yüksekse 'hedef müşteri' etiketi vermek olsun. Modelin üç müşteri için ürettiği değerler A: 0,72; B: 0,58; C: 0,60'tır.

1. Adım — Eşiği belirleme: Kullanılan karar eşiği 0,60'tır. Bu eşik, modelin matematiksel olarak zorunlu sonucu değildir; işletmenin yanlış pozitif ve yanlış negatif maliyetlerine göre seçilen bir karar kuralıdır.

2. Adım — Değerleri karşılaştırma: A müşterisinin 0,72 değeri 0,60'ın üzerindedir; A hedef müşteri olarak sınıflandırılır. B'nin 0,58 değeri eşikten küçüktür; B bu kurala göre hedef müşteri sayılmaz. C'nin değeri tam 0,60 olduğundan, kural '0,60 veya daha yüksek' biçiminde tanımlandığı için C de hedef müşteri kabul edilir.

3. Adım — Sonucu doğru adlandırma: A için 'satın alma olasılığı model tarafından 0,72 tahmin edildi' denebilir. Bu, müşterinin kesinlikle satın alacağı anlamına gelmez. Model olasılık üretiyor olsa bile bu olasılıkların gerçek frekanslarla ne kadar uyumlu olduğu ayrıca değerlendirilmelidir.

4. Adım — İş kararını kontrol etme: Kampanya göndermenin maliyeti düşük, fırsatı kaçırmanın maliyeti yüksekse eşik 0,60'tan daha aşağı seçilebilir. Tersine, gereksiz mesajların maliyeti yüksekse daha yüksek eşik tercih edilebilir.

Sonuç: Tahmin değeri ile karar etiketi aynı şey değildir. Tahmin, eşik uygulanmadan önceki sayısal çıktıdır; etiket ise belirlenmiş bir kurala göre verilen karardır.

Sık yapılan hatalar ve karıştırılan sınır durumları

• Korelasyonu nedensellik sanmak: Birlikte değişen iki değişken arasında neden-sonuç ilişkisi kurulabilmesi için ek tasarım ve kanıt gerekir. Gözlemsel bir veri kümesi tek başına yeterli olmayabilir.

• Eğitim verisindeki başarıyı genellemek: Modelin gördüğü kayıtları iyi açıklaması, yeni kayıtları da iyi tahmin edeceğini göstermez. Veri sızıntısı ve aşırı uyum riski kontrol edilmelidir.

• Eksik veriyi görünmez saymak: Eksik kayıtları doğrudan silmek, belirli grupları analizden çıkarabilir. Eksikliğin hangi koşullarda oluştuğu incelenmelidir.

• Uç değeri otomatik olarak hata kabul etmek: 400 TL'lik örnekte görüldüğü gibi uç değer gerçek bir müşteri davranışı olabilir. Silme kararı ancak ölçüm veya kayıt hatası doğrulanırsa verilmelidir.

• Doğruluk oranını tek ölçüt yapmak: Sınıflar dengesiz olduğunda yüksek doğruluk, azınlık sınıfını hiç yakalayamayan bir modelde bile görülebilir. Yanlış pozitif ve yanlış negatif sonuçların maliyeti de değerlendirilmelidir.

• Veri bilimi ile büyük veriyi eşitlemek: Veri bilimi küçük tablolarla da yapılabilir; Büyük Veri ise belirli bir ölçek ve işleme zorluğunu anlatır.

• Yapay zekâyı otomatik karar garantisi sanmak: Bir sistemin yapay zekâ yöntemleri kullanması, çıktısının hatasız, tarafsız veya her durumda uygun olduğu anlamına gelmez. Veri seçimi, hedef tanımı ve insan denetimi önemini korur.

• Grafiği kanıt yerine koymak: Görselleştirme eğilimi görünür kılar; fakat eksen seçimi, örneklem ve ölçüm yöntemi incelenmeden kesin sonuç çıkarılamaz.

Veri biliminde güvenilir sonuç için kontrol listesi

Bir çalışmayı okurken veya hazırlarken şu sorular kararın dayanağını test eder:

1. Araştırılan soru açık mı, yoksa sonuçtan sonra mı oluşturuldu?
2. Veri hangi kaynaktan ve hangi zaman aralığında toplandı?
3. Hangi kayıtlar eksik, yinelenmiş veya dönüştürülmüş?
4. İncelenen grup, karar verilecek grubu temsil ediyor mu?
5. Kullanılan ölçüt soruyla uyumlu mu? Ortalama, ortanca veya farklı bir ölçüt neden seçildi?
6. Tahmin modeli daha önce görmediği verilerde sınandı mı?
7. Sonucun belirsizliği ve geçerlilik koşulları açıklandı mı?
8. Modelin hatalı karar verme maliyeti kimleri etkileyebilir?
9. Çıktı yalnızca raporlanıyor mu, yoksa hangi karara dönüşeceği de tanımlı mı?

Bu sorular, teknik bilgi düzeyi sınırlı olan bir okuyucunun bile bir veri iddiasını sorgulamasına yardım eder. Veri biliminin amacı yalnızca karmaşık modeller kurmak değil, veriye dayalı kararın daha ölçülebilir, denetlenebilir ve anlaşılır olmasını sağlamaktır.