Regresyon Analizi: Katsayıları Yorumlama ve Modeli Sınama

Y, X, hata terimi ve regresyon doğrusunun anlamı

Basit doğrusal regresyon tek bir açıklayıcı değişken ile bir bağımlı değişken arasındaki ilişkiyi şu modelle ifade eder:

$Y_i = \u0000beta_0 + \u0000beta_1X_i + \u0000epsilon_i$

Burada $Y_i$, i gözlemindeki bağımlı değişkendir. Örneğin tüketim harcaması, satış miktarı veya bir evin fiyatı olabilir. $X_i$, aynı gözlemdeki açıklayıcı değişkendir; gelir, reklam harcaması ya da evin büyüklüğü buna örnek verilebilir. $\beta_0$, $X=0$ olduğunda Y'nin beklenen değerini ifade eden kesim noktasıdır. Ancak X'in sıfır olması veri aralığında anlamlı değilse, kesim noktasının ekonomik yorumu sınırlı kalır. $\beta_1$, X'teki bir birimlik artışla Y'nin beklenen değerinde meydana gelen değişimi gösterir; bu yorum, modelin doğrusal biçimi ve diğer koşullar altında yapılır. $\epsilon_i$ ise modele alınmayan faktörleri ve rastlantısal değişimi temsil eden hata terimidir.

Katsayının işareti ilişkinin yönünü verir. Pozitif eğim, X arttığında tahmin edilen Y'nin arttığını; negatif eğim ise azaldığını gösterir. Katsayının büyüklüğü ise birimlere bağlıdır. X bin lira, Y lira olarak ölçülüyorsa eğimin yorumu bu ölçü birimleriyle yapılmalıdır; farklı ölçekteki katsayılar yalnızca sayısal büyüklüklerine bakılarak karşılaştırılmamalıdır.

Modelin tahmin edilen biçimi $\hat{Y}_i = \hat{\beta}_0 + \hat{\beta}_1X_i$ şeklindedir. Gözlenen değer ile tahmin edilen değer arasındaki fark artık ya da tahmin hatasıdır: $e_i=Y_i-\hat{Y}_i$. Artıklar, modelin veride açıklayamadığı kısmı incelemek için kullanılır. Rastgele olmayan bir örüntü, doğrusallık veya sabit varyans varsayımında sorun olabileceğine işaret edebilir.

OLS doğruyu nasıl seçer ve katsayı nasıl okunur?

Regresyon katsayıları çoğunlukla En Küçük Kareler, yani OLS yöntemiyle tahmin edilir. OLS, her gözlem için gerçek Y ile modelin ürettiği $\hat{Y}$ arasındaki farkı hesaplar ve bu farkların kareleri toplamını en aza indiren doğruyu seçer:

$\sum_{i=1}^{n}(Y_i-\hat{Y}_i)^2$

Farkların karelerinin alınması, pozitif ve negatif hataların birbirini götürmesini önler ve büyük hataları daha fazla ağırlıklandırır. Bu nedenle OLS'nin seçtiği doğru, verideki tüm noktaların üzerinden geçmek zorunda değildir; amaç tüm gözlemlere göre toplam kareli hatayı küçültmektir.

Bir katsayıyı yorumlarken üç soru sorulmalıdır: Değişken hangi birimde ölçülüyor? X'teki değişim ne kadar? Y'deki beklenen değişim hangi yönde? Örneğin $\hat{\beta}_1=2,5$ ise, X bir birim arttığında modelin tahmin ettiği Y değeri ortalama 2,5 birim artar. Bu ifade gözlemlenen ilişkiyi anlatır; tek başına kesin bir neden-sonuç hükmü değildir.

Çoklu doğrusal regresyon, birden fazla açıklayıcı değişken içerir:

$Y_i=\beta_0+\beta_1X_{1i}+\beta_2X_{2i}+\epsilon_i$

Bu modelde $\beta_1$, diğer açıklayıcı değişkenler modelde sabit tutulduğunda $X_1$'deki bir birimlik değişimin Y'nin beklenen değeriyle ilişkisini ifade eder. Bu 'diğerleri sabitken' koşulu, basit regresyondaki yorumdan önemli bir farktır. Açıklayıcı değişkenler birbirleriyle yüksek derecede ilişkiliyse, hangi değişkenin etkisinin ne kadar olduğunu ayırmak zorlaşır; bu durum çoklu doğrusallık olarak adlandırılır.

R-kare, p-değeri ve tahmin hatası birlikte nasıl değerlendirilir?

R-kare, bağımlı değişkendeki değişimin model tarafından açıklanan kısmını özetleyen bir uyum ölçütüdür. Örneğin bir modelde $R^2=0,64$ bulunması, kullanılan modelin örneklemdeki Y değişkenliğinin yüzde 64'ünü açıkladığı şeklinde yorumlanır. Geriye kalan yüzde 36'lık kısım modele alınmayan faktörler ve rastlantısal değişimle ilişkilidir. Bu oran, modelin doğru olduğu veya X değişkenlerinin Y'ye neden olduğu anlamına gelmez.

R-kareyi karşılaştırırken bağımlı değişkenin aynı olması, veri setinin ve model amacının benzer olması gerekir. Modele yeni değişken eklemek R-kareyi düşürmeyebileceği için yalnızca R-kareye bakarak daha karmaşık modeli seçmek uygun değildir. Uyum ölçütü, katsayıların anlamlılığı ve modelin amacıyla birlikte ele alınmalıdır.

Bir katsayının p-değeri, belirli bir sıfır hipotezi altında gözlenen sonucun ne kadar uyumsuz olduğunu değerlendirmeye yarar. Örneğin sıfır hipotezi $H_0:\beta_1=0$ ise p-değeri, bu hipotez doğru kabul edildiğinde gözlenen katsayıya ilişkin kanıtı özetler. Karar, araştırma başlamadan belirlenen anlamlılık düzeyiyle karşılaştırılarak verilir. Küçük p-değeri, katsayının sıfırdan farklı olduğuna dair istatistiksel kanıtı güçlendirebilir; fakat etkinin ekonomik olarak önemli olduğu veya nedensel olduğu sonucunu tek başına vermez.

Katsayının yanında standart hata ve güven aralığı da önemlidir. Büyük katsayı, büyük belirsizlikle tahmin edilmişse güvenilir yorum yapmak zorlaşır. Bu nedenle 'işaret + büyüklük + belirsizlik + veri bağlamı' birlikte okunmalıdır.

OLS varsayımları hangi durumda bozulur?

OLS sonuçlarının yorumlanması bazı varsayımlara bağlıdır. Doğrusallık varsayımı, modelin beklenen Y değeri ile açıklayıcı değişkenler arasındaki ilişkinin seçilen doğrusal biçimle yeterince temsil edilebilmesini gerektirir. İlişki belirgin biçimde eğriselse, doğrusal model sistematik artıklar üretebilir.

Hata teriminin koşullu ortalamasının sıfır olması, modelin sistematik olarak eksik ya da fazla tahmin yapmamasıyla ilgilidir. Modele alınmayan bir değişken hem Y ile ilişkili hem de mevcut X ile bağlantılıysa, katsayılar yanlı yorumlanabilir. Bu sorun yalnızca yüksek R-kare ile ortadan kalkmaz.

Homoskedastisite, hata teriminin koşullu varyansının gözlemler arasında sabit olmasıdır. Hata yayılımı X arttıkça genişliyor veya daralıyorsa heteroskedastisite söz konusu olabilir. Bu durumda OLS katsayıları bazı koşullarda kullanılabilirliğini korusa bile standart hatalar ve buna bağlı istatistiksel çıkarımlar güvenilmez hale gelebilir.

Otokorelasyon, özellikle zaman sıralı verilerde birbirini izleyen hata terimlerinin ilişkili olmasıdır. Örneğin bir dönemdeki tahmin hatasının sonraki dönemin hatasıyla bağlantılı olması bu soruna işaret eder. Zaman serilerinde yalnızca normal bir saçılım grafiğine bakmak yeterli olmayabilir; veri sırasının modele nasıl yansıdığı değerlendirilmelidir.

Çoklu doğrusallık, açıklayıcı değişkenlerin birbirleriyle yüksek derecede ilişkili olmasıdır. Sonuç olarak katsayıların işaretleri veya büyüklükleri örnekleme duyarlı hale gelebilir ve tek tek etkileri ayırmak zorlaşabilir. VIF gibi tanı araçları bu sorunu incelemek için kullanılabilir; ancak tek bir ölçüt, konu ve veri bağlamından bağımsız otomatik karar kuralı değildir.

Hata terimlerinin normal dağılması özellikle küçük örneklemlerde katsayılarla ilgili çıkarım açısından önem taşır. Büyük örneklemlerde bu varsayımın etkisi farklılaşabilir; yine de aşırı aykırı gözlemler ve belirgin dağılım bozuklukları ayrıca incelenmelidir. Durbin-Watson testi özellikle birinci dereceden otokorelasyonu incelemek için kullanılabilir. Daha genel veya yüksek dereceden seri korelasyon için uygun alternatif testler ve model tanı araçları kullanılmalıdır. White testi heteroskedastisite ve VIF çoklu doğrusallık incelemesinde kullanılabilir; test sonucunu yorumlamak için hangi hipotezin sınandığı bilinmelidir.

Zaman serisi, ekonomik model ve nedensellik sınırı

Regresyon, kesitsel verilerde olduğu gibi zaman içinde toplanan verilerde de kullanılabilir. Ancak zaman serilerinde gözlemlerin sırası önemlidir. Enflasyon, işsizlik veya GSYİH gibi göstergeler geçmiş dönem değerleriyle bağlantılı olabilir; bu nedenle otokorelasyon ve modeldeki zaman yapısı ayrıca kontrol edilmelidir.

Ekonomik modelleme sırasında değişkenlerin seçimi yalnızca istatistiksel uyuma göre yapılmamalıdır. Bir model geçmiş veriyi iyi açıklasa da yeni dönemlerde başarısız olabilir. Tahmin amacı ile politika etkisini ölçme amacı da aynı değildir. Geleceği tahmin etmek için yüksek uyum yararlı olabilirken, bir politikanın gerçekten değişime neden olduğunu söylemek için karıştırıcı faktörler, zamanlama ve araştırma tasarımı gerekir.

Korelasyon ile nedensellik arasındaki ayrım burada kritik önemdedir. İki değişken birlikte artıyor olabilir; fakat üçüncü bir değişken ikisini de etkiliyor, Y'nin değişimi X'i etkiliyor veya ilişki yalnızca ortak bir zaman eğiliminden kaynaklanıyor olabilir. Bu nedenle regresyon katsayısı, veri ve varsayımlar desteklediği ölçüde 'ilişkilidir' diye yorumlanmalı; nedensel ifade için ek kanıt aranmalıdır.

Regresyon, olasılıksal bir çerçevede hata terimi ve belirsizlik içerir. Bu nedenle tek bir tahmin değeri yerine tahminin ne kadar belirsiz olduğu, gözlemin modelin veri aralığında bulunup bulunmadığı ve modelin hangi koşullarda kurulduğu da raporlanmalıdır.

Çözümlü örnekler

Örnek 1 — Basit doğrusal regresyon

Verilenler: Bir satış modelinin tahmin denklemi $\hat{Y}=20+3X$ olsun. $Y$ satış miktarını, $X$ reklam harcamasını temsil etsin. Her iki değişkenin birimi modelde belirtilen ölçü birimleridir.

Çözüm adımları:

1. Kesim noktasını belirleyin: $\hat{\beta}_0=20$. Model, X sıfır olduğunda beklenen satış miktarını 20 olarak verir. Ancak X=0 gerçek veri aralığının dışında veya ekonomik olarak anlamsızsa bu sayı yalnızca matematiksel kesim noktasıdır.
2. Eğimi okuyun: $\hat{\beta}_1=3$. Reklam harcaması bir birim arttığında, modelin tahmin ettiği satış miktarı 3 birim artar.
3. Belirli bir X değeri için tahmin yapın. $X=4$ ise $\hat{Y}=20+3(4)=32$ olur.
4. Sonucu sınırlandırın: 32, modelin tahminidir; gerçekleşen satışın kesin olarak 32 olacağı anlamına gelmez. Gerçek değer ile 32 arasındaki fark artıkta yer alır.

Sonuç: Modelde reklam harcaması ile satış arasında pozitif yönlü bir ilişki tahmin edilmiştir. Nedensellik iddiası için yalnızca bu denklem yeterli değildir.

Örnek 2 — Çoklu regresyonda 'diğerleri sabitken' yorumu

Verilenler: Bir gelir modelinde $\hat{Y}=10+2X_1+0,5X_2$ olsun. $Y$ gelir, $X_1$ eğitim süresi, $X_2$ deneyim ölçüsü olarak tanımlansın. Bu sayılar öğretim amacıyla kurulmuş varsayımsal değerlerdir.

Çözüm adımları:

1. $X_1$ katsayısını okuyun: $2$. $X_2$ aynı düzeyde tutulduğunda, $X_1$ bir birim arttığında tahmin edilen Y 2 birim artar.
2. $X_2$ katsayısını okuyun: $0,5$. $X_1$ sabitken, $X_2$ bir birim arttığında tahmin edilen Y 0,5 birim artar.
3. $X_1=3$ ve $X_2=4$ için tahmin yapın: $\hat{Y}=10+2(3)+0,5(4)=18$.
4. Katsayıları basit regresyon gibi yorumlamayın. $X_1$ ve $X_2$ birbirleriyle güçlü biçimde ilişkiliyse, 'diğerleri sabitken' etkisini veriyle ayırmak zorlaşabilir.

Sonuç: Çoklu model, her katsayının diğer açıklayıcılar sabitkenki kısmi ilişkisini verir; toplam ilişki veya kesin nedensel etki olarak okunmamalıdır.

Sık yapılan hatalar ve karıştırılan kavramlar

1. Korelasyonu nedensellik sanmak: Regresyonda anlamlı bir katsayı bulunması, X'in Y'ye neden olduğunu tek başına kanıtlamaz. Nedensel yorum için eksik değişken, ters nedensellik ve araştırma tasarımı incelenmelidir.

2. R-kareyi başarı oranı gibi okumak: $R^2=0,64$, modelin örneklemdeki değişkenliğin yüzde 64'ünü açıkladığını ifade eder; tahminlerin yüzde 64'ünün doğru olduğu anlamına gelmez.

3. p-değerini etkinin büyüklüğü sanmak: Küçük p-değeri istatistiksel kanıtla ilgilidir. Etkinin ekonomik veya pratik önemini anlamak için katsayının birimi ve büyüklüğü de değerlendirilmelidir.

4. Kesim noktasını her durumda gerçek başlangıç değeri kabul etmek: X=0 veri aralığında bulunmuyorsa $\beta_0$ matematiksel bir referanstır; doğrudan ekonomik anlam taşımayabilir.

5. Çoklu regresyonda katsayıları tek başına yorumlamak: Çoklu modelde katsayı, diğer değişkenler sabitken yorumlanır. Açıklayıcılar yüksek korelasyonluysa tahminler kararsızlaşabilir.

6. Varsayımları kontrol etmeden standart hataya güvenmek: Heteroskedastisite ve otokorelasyon, özellikle standart hata ve çıkarım üzerinde sorun oluşturabilir. Sadece denklem ve R-kareyi görmek yeterli değildir.

7. Tahmin ile açıklamayı karıştırmak: Geçmiş veriye iyi uyan model geleceği de aynı doğrulukla açıklamayabilir. Veri aralığı dışındaki tahminlerde, modelin doğrusal biçimi ve gözlem koşulları daha dikkatli değerlendirilmelidir.

8. Her veri setine doğrusal model uygulamak: Artıkların sistematik biçimde kıvrımlı veya huni şeklinde dağılması, doğrusal formun ya da sabit varyans varsayımının uygun olmayabileceğini düşündürür.