Veri Madenciliği Nedir? Süreç, Yöntemler ve Örnekler

Veri madenciliği hangi soruya cevap arar?

Veri madenciliğinin amacı, yalnızca veri özetlemek değil, verinin içindeki düzenli yapıları keşfetmektir. Bu süreçte iki tür soru sık görülür:

• Geçmişteki etiketli örneklere bakarak yeni bir kaydın hangi sınıfa ait olduğu tahmin edilebilir mi?
• Etiketi bilinmeyen kayıtlar, benzer özelliklerine göre doğal gruplara ayrılabilir mi?
• Bazı ürünler, davranışlar veya olaylar birlikte görülüyor mu?
• Bir sayısal değer, diğer değişkenlerden yararlanılarak tahmin edilebilir mi?

Bu sorular veri madenciliğinin farklı görevlerine karşılık gelir. Sınıflandırmada sonuç kategoriktir; örneğin bir işlem şüpheli veya normal olarak sınıflanabilir. Regresyonda sonuç sayısaldır; satış miktarı gibi bir değer tahmin edilmeye çalışılır. Kümelemede önceden belirlenmiş sınıf etiketi bulunmaz; benzer kayıtlar gruplandırılır. İlişkilendirme analizinde ise birlikte görülme eğilimleri aranır.

Önemli sınır şudur: Bir modelin bir değişken ile başka bir değişken arasında ilişki bulması, bunlardan birinin diğerine neden olduğunu kanıtlamaz. Örneğin iki ürünün aynı sepette sık bulunması, bir ürünün diğerine doğrudan sebep olduğu anlamına gelmez; ortak bir kampanya veya mevsimsel talep de bu ilişkiyi açıklayabilir.

Ham tablodan güvenilir modele: veri hazırlama zinciri

Veri madenciliğinde sonuçların güvenilirliği, kullanılan verinin niteliğine güçlü biçimde bağlıdır. Süreç genellikle şu sırayla ilerler:

1. Amaç ve birim belirleme: Önce neyin tahmin veya keşif konusu olduğu tanımlanır. Bir satırın bir müşteri mi, işlem mi, yoksa gün mü temsil ettiği açık değilse modelin yorumu karışır.
2. Veriyi birleştirme: Veritabanları, dosyalar, web kayıtları veya sensörlerden gelen bilgiler ortak bir yapıda toplanır. Aynı kişinin farklı yazımlarla kaydedilmesi gibi kimlik eşleştirme sorunları kontrol edilir.
3. Temizleme: Eksik değerler, yinelenen satırlar, imkânsız ölçümler ve tutarsız biçimler incelenir. Eksik bir değeri rastgele sıfırla doldurmak, sıfırın gerçekten anlamlı olduğu durumlar dışında hatalı olabilir.
4. Dönüştürme: Tarihler, kategoriler ve metinler analiz edilebilir gösterimlere çevrilir. Örneğin alışveriş tarihi, haftanın günü veya ay gibi değişkenlere dönüştürülebilir.
5. Keşifsel inceleme: Dağılımlar, aykırı gözlemler ve değişkenler arasındaki ilişkiler grafik veya özet istatistiklerle incelenir. Bu aşama, algoritmadan önce veri hakkında soru sormayı sağlar.
6. Eğitim ve değerlendirme ayrımı: Etiketli verilerle çalışan bir modelin başarısını ölçmek için, modelin öğrenme sürecinde kullanılmayan kayıtlar ayrılır. Aksi hâlde model kendi gördüğü örnekleri ezberleyebilir.

Bu zincirin amacı veriyi yapay biçimde kusursuz göstermek değil, yapılan işlemleri görünür ve tekrarlanabilir kılmaktır. Bir verinin temizlenmiş olması da onun temsil gücünün yüksek olduğunu tek başına göstermez; örneklem, zaman aralığı ve ölçüm yöntemi ayrıca değerlendirilmelidir.

Sınıflandırma, kümeleme, ilişkilendirme ve regresyon ne zaman seçilir?

Yöntem seçimi, elde bulunan hedef bilgiye ve sorunun yapısına bağlıdır.

Sınıflandırma: Geçmiş kayıtların doğru sınıfları biliniyorsa kullanılır. Örneğin daha önce incelenmiş işlemler normal veya şüpheli olarak etiketlenmişse, yeni işlemler için sınıflandırma modeli kurulabilir. Model çıktısı bir kategori olduğundan karar verirken doğruluk, yanlış pozitif ve yanlış negatif sonuçlar birlikte incelenmelidir.

Kümeleme: Önceden verilmiş sınıflar bulunmadığında, benzer kayıtların gruplandırılması için kullanılır. Bir müşteri grubunun diğerinden farklı olduğu görülebilir; ancak küme numarası kendiliğinden anlam taşımaz. Bir kümeye sonradan anlam vermek için o kümenin özellikleri ayrıca yorumlanır.

İlişkilendirme: Birlikte gerçekleşen olayları bulmaya çalışır. Birliktelik kuralı genellikle şu biçimde ifade edilir: $A \Rightarrow B$. Burada A görüldüğünde B'nin de görülme eğilimi araştırılır. Destek, kuralın tüm işlemler içindeki görülme oranını; güven, A gerçekleştiğinde B'nin görülme oranını ifade eder. Güven yüksek olsa bile B zaten bütün işlemlerde çok sık bulunuyorsa kural şaşırtıcı olmayabilir. Bu nedenle lift gibi ek ölçütler de değerlendirilebilir.

Regresyon: Hedef sayısal olduğunda tercih edilir. Satış adedi, tüketim miktarı veya bekleme süresi gibi sonuçlar tahmin edilebilir. Tahmin hatası tek bir sayı ile değerlendirilmemeli; hatanın hangi gruplarda ve hangi koşullarda büyüdüğü de incelenmelidir.

Bu görevler birbirinin yerine otomatik olarak kullanılamaz. Etiket bulunmayan bir problemi sınıflandırma olarak kurmak, hedef değişkeni yanlış tanımlamak veya yalnızca yüksek doğruluk değerine bakmak hatalı sonuçlara yol açabilir.

Bulunan örüntünün gerçekten işe yarayıp yaramadığı nasıl anlaşılır?

Bir algoritmanın kural veya model üretmesi, sonucun kullanılabilir olduğunu göstermez. Değerlendirme üç ayrı soruyla yapılmalıdır:

• İstatistiksel olarak tutarlı mı? İlişki az sayıda kayda dayanıyorsa tesadüfi olabilir. Benzer koşullardaki başka veri üzerinde de görülüp görülmediği incelenmelidir.
• Tahmin performansı yeterli mi? Sınıflandırmada doğruluk, yanlış pozitif ve yanlış negatif oranları; regresyonda tahmin ile gerçek değer arasındaki hata incelenir. Dengesiz sınıflarda yalnızca doğruluk yanıltıcı olabilir. Örneğin 100 kaydın 98'i normal ise, her kaydı normal diyen bir sistem yüzde 98 doğruluk gösterebilir; buna rağmen şüpheli iki kaydı yakalayamayabilir.
• İş veya araştırma amacına uygun mu? Bir model teknik olarak başarılı olsa bile yanlış alarm maliyeti çok yüksekse kullanıma uygun olmayabilir. Sağlık ve finans gibi alanlarda açıklanabilirlik, gizlilik ve insan denetimi de değerlendirmeye dahil edilmelidir.

Veri sızıntısı, değerlendirmede özellikle önemli bir sorundur. Veri sızıntısı, tahmin anında erişilemeyecek veya yalnızca hedef ya da test verisinden elde edilebilecek bilginin model eğitimine veya ön işleme sürecine taşınmasıdır. Bu durum, modelin gerçekte olduğundan daha başarılı görünmesine yol açabilir. Ayrıca geçmiş verideki toplumsal veya kurumsal önyargılar modele taşınabilir. Kişisel veriler toplanırken amaç, yetki, saklama ve erişim koşulları gözetilmeli; bireylerin gizlilik hakları korunmalıdır.

Çözümlü örnekler: sayılardan kural ve sınıf çıkarma

Örnek 1 — Birliktelik kuralı

Verilenler: 100 alışveriş sepetinin 20'sinde kahve, 25'inde süt, 15'inde hem kahve hem süt bulunduğunu varsayalım. Bu, gerçek bir pazar verisi değil, hesabı göstermek için kurulmuş örnek bir tablodur.

Çözüm adımları:

1. Kahve ve sütün birlikte görülme oranı, yani destek, $15/100 = 0{,}15$ olur. Yüzde olarak destek %15'tir.
2. Kahve alanların kaçında süt bulunduğunu hesaplamak için ortak sepet sayısı kahve bulunan sepet sayısına bölünür: $15/20 = 0{,}75$.
3. Buna göre güven %75'tir. Yani bu örneklemde kahve bulunan sepetlerin %75'inde süt de bulunmaktadır.
4. Süt zaten 25 sepetin 15'inde değil, toplam 100 sepetin 25'inde bulunduğu için temel görülme oranı %25'tir. Kahve alındığında süt görülme oranının %75 olması, bu örneklemde basit orana göre daha güçlü bir birliktelik olduğunu düşündürür.

Sonuç: $kahve \Rightarrow süt$ kuralının desteği %15, güveni %75'tir. Ancak bu değerler tek başına ürünlerin birbirine neden olduğunu göstermez. Kampanya dönemi, mağaza türü ve tarih aralığı gibi etkenler ayrıca incelenmelidir.

Örnek 2 — Sınıflandırmada eşik ve hata

Verilenler: Şüpheli işlemleri işaretleyen bir sistem 100 işlemi değerlendirsin. Gerçekte 10 işlem şüpheli, 90 işlem normal olsun. Sistem 8 şüpheli işlemi yakalasın ve normal işlemlerden 5 tanesini yanlışlıkla şüpheli işaretlesin.

Çözüm adımları:

1. Doğru pozitif sayısı 8'dir; modelin yakaladığı şüpheli işlemler bunlardır.
2. Gerçekte şüpheli olan 10 işlemden 8'i yakalandığı için kaçırılan şüpheli işlem sayısı 2'dir.
3. Yanlış pozitif sayısı 5'tir; normal olduğu hâlde şüpheli işaretlenen işlemler bunlardır.
4. Doğru negatif sayısı $90-5=85$ olur.
5. Toplam doğruluk $(8+85)/100 = 0{,}93$, yani %93'tür.
6. Şüpheli işlemleri yakalama oranı $8/10 =$ olur. Bu oran, sistemin asıl hedef sınıfı ne ölçüde bulduğunu gösterir.

Sonuç: %93 doğruluk olumlu görünse de 2 şüpheli işlemin kaçırıldığı görülür. Finansal kayıp veya güvenlik riski yüksekse, yalnızca doğruluğa bakarak sistemi başarılı ilan etmek doğru değildir; yanlış negatiflerin maliyeti ayrıca değerlendirilmelidir.

Sık yapılan hatalar ve karıştırılan kavramlar

• Veri madenciliğini veri depolamayla karıştırmak: Veritabanı veya bulut bilişim veriyi saklama ve erişme altyapısı sağlayabilir; veri madenciliği ise bu veriden örüntü çıkarmaya odaklanır. İkisi aynı görev değildir.
• Her büyük veri projesine veri madenciliği demek: Veri miktarı tek başına yeterli değildir. Sorunun keşif veya tahmin niteliği, yöntem ve değerlendirme planı bulunmalıdır.
• İlişkiyi neden sanmak: Birlikte görülen iki olay arasında nedensellik kurmak için deneysel tasarım veya ek bilimsel kanıt gerekebilir.
• Eksik değeri otomatik olarak sıfır yapmak: Eksiklik, ölçümün sıfır olduğu anlamına gelmeyebilir. Değişkenin anlamına göre silme, ayrı kategori oluşturma veya uygun bir tahmin yöntemi seçilmelidir.
• Küme numarasını anlamlı sınıf sanmak: Kümelemede 1 ve 2 gibi etiketler yalnızca teknik göstergelerdir. Her küme, içindeki kayıtların ortak özellikleri incelenerek yorumlanır.
• Modeli eğitim verisinde sınamak: Modelin gördüğü veride yüksek başarı göstermesi, yeni kayıtlarda da başarılı olacağını garanti etmez. Ayrı değerlendirme verisi veya uygun çapraz doğrulama gerekir.
• Dengesiz sınıflarda yalnızca doğruluğa bakmak: Az rastlanan fakat önemli sınıf kaçırılabilir. Yanlış pozitif ve yanlış negatif sayıları birlikte raporlanmalıdır.
• Kişisel veriyi sınırsız kullanmak: Veri madenciliği teknik olarak mümkün olsa bile amaç dışı kullanım, yetersiz bilgilendirme veya gereksiz veri toplama etik ve hukuki sorun doğurabilir.

Veri madenciliği ile yapay zekâ da özdeş değildir. Veri madenciliği, örüntü keşfi ve tahmin için kullanılan bir süreç ve yöntemler topluluğudur; yapay zekâ ise algılama, öğrenme, akıl yürütme veya karar verme gibi daha geniş hedefleri kapsayan bir alandır. Bir veri madenciliği projesinde makine öğrenmesi kullanılabilir, fakat her veri madenciliği sonucu kendi başına yapay zekâ sistemi sayılmaz.