Pseudo-Bestimmtheitsmaß Main Page

From Teachwiki
Jump to: navigation, search
Error creating thumbnail: File missing
Please do not cite work from this wiki, since these are mainly students theses which may contain errors!
Error creating thumbnail: File missing

Dieser Artikel wurde in der deutschsprachigen Wikipedia erstellt und in das teachwiki importiert und bearbeitet. Hierbei wurden Änderungen am Artikel von unterschiedlichen Autoren gemacht. Die Versionsgeschichte und Autorenschaft dazu ist im entsprechenden Artikel der deutschsprachigen Wikipedia zu finden.

Im Falle einer linearen Regression beschreibt das Bestimmtheitsmaß den erklärten Anteil der Variabilität (Varianz) einer abhängigen Variablen Y durch ein statistisches Modell. Bei Generalisierten Linearen Modellen - speziell bei der Logistischen Regression, in der die abhängige Variable kategorialer Natur ist - existiert jedoch kein Äquivalent. Deshalb wurden verschiedene Pseudo-Bestimmtheitsmaße (abk. Pseudo-R^2, engl.: pseudo R-squareds) vorgeschlagen.

Das Pseudo-Bestimmtheitsmaß[edit]

Die Modell-Parameter werden in Generalisierten Linearen Modellen durch eine Maximum-Likelihood-Schätzung generiert. Da diese Methode nicht die Varianz minimiert wie in einer OLS-Schätzung kann das normale Bestimmtheitsmaß nicht verwendet werden, um die Anpassungsgüte eines Modells zu beurteilen. Pseudo-Bestimmtheitsmaße sind demgegenüber so konstruiert, dass sie den verschiedenen Interpretationen (z.B. erklärte Varianz, Verbesserung gegenüber dem Null-Modell oder als Quadrat der Korrelation) des Bestimmtheitsmaßes genügen. Sie sind dem R^2 in der Hinsicht ähnlich, dass dessen Werte ebenfalls im Intervall von 0 und 1 liegen und ein höherer Wert einer besseren Anpassung des Modells an die Daten entspricht.


Likelihood basierte Maße[edit]



  • Maddalas (Cox & Snells)
R^2_{Maddala}=1-\left(\frac{L_0}{L_1}\right)^{2/n}
R^2_{Maddala}= [0,1)

Vergleicht das Verhältnis der bedingten Wahrscheinlichkeiten des Null-Modells (Intercept-Modell), welches nur eine Regressionskonstante enthält, mit dem Modell, dass eine bestimmte Anzahl erklärender Variablen enthält. Je geringer dieses Verhältnis, desto größer die Verbesserung des ganzen Modells gegenüber dem Null-Modell. Maddalas Pseudo-R^2 kann auch bei perfekter Vorhersage nie den Wert 1 erreichen.


  • Nagelkerke / Cragg & Uhlers
R^2_{Nagelkerke}=\frac{1-\left(\frac{L_0}{L_1}\right)^{2/n}}{1-L_0^{2/n}}
R^2_{Nagelkerke}=(0,1]

Nagelkerkes erweitert Maddalas, sodass durch eine Reskalierung ein möglicher Wert von 1 erreicht werden kann, wenn das ganze Modell eine perfekte Vorhersage mit einer Wahrscheinlichkeit von 1 trifft. D.h. die aufgenommenen erklärenden Variablen verbessern entscheidend die Anpassung an die beobachtete Daten. Allerdings wird der Wertebereich nur verschoben, denn bei keiner Verbesserung des ganzen Modells gegenüber dem Intercept-Modell ist Nagelkerkes Pseudo-R^2 größer 0.


Nagelkerke gab auch allgemeine Bedingungen für ein Pseudo-Bestimmtheitsmaß an:

  1. Ein Pseudo-Bestimmtheitsmaß sollte mit dem Bestimmtheitsmaß R^2 übereinstimmen, wenn beide berechnet werden können.
  2. Es soll ebenfalls maximiert werden mit der Maximum-Likelihood-Schätzung des Modells.
  3. Es soll, zumindest asymptotisch, unabhängig vom Stichprobenumfang sein.
  4. Die Interpretation sollte die durch das Modell erklärte Variabilität von Y sein.
  5. Es soll zwischen Null und Eins liegen. Bei einem Wert von Null sollte es keine Aussage über die Variabilität von Y machen; bei einem Wert von Eins, sollte es die Variabilität von Y vollständig erklären.
  6. Es sollte keine Maßeinheit besitzen.


Log-Likelihood basierte Maße[edit]



  • McFaddens
R^2_{McFadden}=1-{\ln L_1 \over \ln L_0}
R^2_{ McFadden}=[0,1)

Das Verhältnis der logarithmierten Wahrscheinlichkeiten spiegelt den Grad der Verbesserung des ganzen Modells mit Prädiktoren gegenüber dem Null-Modell wider. Ein Modell mit einem größeren McFaddens hat eine größere Wahrscheinlichkeit gegenüber einem anderen mit geringerem Wert für einen jeweiligen Datensatz.

Daumenregel: Wenn 0.2<R^2_{ McFadden}<0.4, dann hat das Modell einen ausgezeichneten Fit.


  • McFaddens (korrigiert)
R^2_{McFadden_{korr.}}=1-{\ln L_1 - K \over \ln L_0}

Das korrigierte McFaddens bewertet die Anzahl der Prädiktoren für die Anpassungsgüte eines Modells. Ähnlich dem [[Bestimmtheitsmaß#Das korrigierte Bestimmtheitsmaß \bar R^2 |korrigierten Bestimmtheitsmaß]] verringern zu viele Prädiktoren, welche dem Modell nicht genügend beitragen, die Effektivität eines Modell und schlagen sich negativ im korrigierten McFaddens Pseudo-R^2 nieder. Somit sind Werte kleiner 0 möglich.


  • Aldrich / Nelsons
R^2_{AldrichNelson}=1-\frac{2*(ln L_1 - L_0)}{2*(ln L_1 - L_0) + c*n}, c = 1 (Probit-Modell), 3.29 (Logit-Modell)
R^2_{AldrichNelson}=[0,1)

Aldrich / Nelson's setzt den Likelihood-Quotienten ins Verhältnis, der die Rate von Nullmodell und Alternativmodell bei eingetretenem Ereignis angibt. Es hat eine obere Grenze von weit unter 1.


korrelations-basierte Maße[edit]



  • Lave / Efrons
R^2_{Lave}= 1-\frac{\displaystyle \frac{1}{n} \sum_{i=1}^n (Y_i-\hat{P}_i)^2}{\displaystyle \frac{1}{n} \sum_{i=1}^n (Y_i-\bar{Y})^2}

Lave / Efron's kann man ähnlich dem normalen Bestimmtheitsmaß als Quadrat der Korrelation und als erklärte Variabilität interpretieren. Es werden die quadrierten Residuen aufsummiert, wobei \hat{P}_i eine vom Modell vorhergesagte Wahrscheinlichkeit für Y_i=1 ist, welche die diskrete abhängige Variable in eine stetige überführt.


auf der erklärten Variation basierend[edit]



  • McKelvey & Zavoinas
R^2_{McKelvey}=1-\frac{\hat {V}ar(\hat {y}^*)}{\hat {V}ar(\hat {y}^*) + Var(e)}
R^2_{McKelvey}=[0,1]

McKelvey & Zavoinas ist strukturell dem normalen Bestimmtheitsmaß nachempfunden. Es wird die geschätzte erklärte Quadratsumme der Regression mit der geschätzten erklärten und unerklärten Quadratsumme von Regression und Fehler ins Verhältnis gesetzt.

Vergleichbarkeit[edit]

Die Werte der verschiedenen Pseudo-Bestimmtheitsmaße können innerhalb eines Modells stark variieren. Somit können verschiedene Maße zwischen verschiedenen Datensätzen nicht miteinander verglichen und unabhängig interpretiert werden. Als beste Approximation hat sich McKelvey & Zavoinas erwiesen[1]; Laves, McFaddens, Nagelkerkes unterschätzen das "wahre" R^2 einer OLS-Schätzung für ein Modell mit latenten Variablen stark.


Beispiel[edit]

Ein Wäscheklammerproduzent möchte seine neuartigen Wäscheklammern auf den Markt bringen und deswegen vorab die Kaufwahrscheinlichkeit berechnen. Er berät sich mit seinem Geschäftspartner, der ein Statistikprogramm besitzt. Dieser nimmt an, dass der Kauf nur von einem Attribut abhängt, dem Preis X_{Preis}. Der aggregierte Einfluss auf die Kaufentscheidung soll eine lineare Beziehung haben, Z = b_{0} + b_{1}*X_{Preis}, auch Logit genannt. Der Wäscheklammerproduzent hingegen glaubt eher, dass die Kaufabsicht vom Preis, der Farbe und vom Material abhängt:Z = b_{0} + b_{1}*X_{Preis} + b_{2}*Y_{Farbe} + b_{3}*W_{Material}. Mittels Marktforschungsdaten sind die Modell-Parameter b_{0}, b_{1}, b_{2} und b_{3} nach der Maximum-Likelihood-Schätzung vom Computer iterativ ermittelt worden. Allerdings fragt sich nun der Wäscheklammerproduzent, welche Modellhypothese die Realität besser abbildet, um verlässlichere Wahrscheinlichkeiten zu berechnen. Zur Einschätzung der Anpassungsgüte der angenommenen Modelle, sollen verschiedene Pseudo-Bestimmtheitsmaße benutzt werden.


Pseudo-R^2
Goodness-of-Fit Measures    Model 1 (b_{0},b_{1})    Model 2 (b_{0}, b_{1}, b_{2}, b_{3})   
McFadden R2 0.307 0.445
McFadden Adj R2 0.273 0.389
Cragg-Uhler(Nagelkerke) 0.436 0.578
McKelvey & Zavoina 0.519 0.643
Efron / Lave R2 0.330 0.472


Man entscheidet sich für das 2. Modell und schätzt damit die Kaufwahrscheinlichkeit bzw. den möglichen Marktanteil.

Siehe auch[edit]


Weblinks[edit]


Literatur[edit]

  • Aldrich, J. H., Nelson, F. D. (1984), "Linear Probability, Logit, and probit Models, Sage University Press, Beverly Hills.
  • Cragg, J.G., Uhler, R. (1970), "The Demand for Automobiles", Canadian Journal of Economics 3, pp. 386-406.
  • Hagle, T. M., Mitchell II, G. E. (1992), "Goodness-of-Fit Measures for Probit and Logit", American Journal of Political Science 36, pp. 762-784.
  • Maddala, G.S. (1983), "Limited-dependent and Qualitative Variables in Econometrics", New York: Cambridge University Press.
  • McFadden, D. (1973), "Conditional Logit Analysis of Qualitative Choice Behavior", Frontiers in Econometrics, pp.105-142.
  • McKelvey, R., Zavoina, W. (1975), "A Statistical Model for the Analysis of Ordinal Level Dependent Variables", Journal of Mathematical Sociology 4, pp. 103-120.

Einzelnachweise[edit]

  1. Veall, Zimmermann (1996), "Pseudo-R2 Measures for Some Common Limited Dependent Variable Models", Sonderforschungsbereich 386, Paper 18


Kategorie: Statistik Kategorie: Ökonometrie