So knackst du die logistische Regression: Wahrscheinlichkeiten sicher deuten

Ob eine Behandlung erfolgreich ist oder eine Person ein bestimmtes Ereignis erlebt: Die logistische Regression hilft dir, solche Wahrscheinlichkeiten anhand mehrerer Merkmale zu schätzen.

In diesem Artikel erfährst du, wie du die Ergebnisse interpretierst und warum du Wahrscheinlichkeiten, Odds und Odds Ratios sorgfältig unterscheiden solltest.

So knackst du die logistische Regression: Wahrscheinlichkeiten sicher deuten

In vielen Projekten stolperst du über Antworten, die nur "Ja" oder "Nein" sein können. Klassische lineare Modelle liefern dann oft unsinnige Vorhersagen wie 1,2 oder -0,3, obwohl du eine Wahrscheinlichkeit zwischen 0 und 1 brauchst. Genau hier kommt die logistische Regression ins Spiel: Sie übersetzt lineare Zusammenhänge in gültige Wahrscheinlichkeiten und macht dich fit, um binäre Entscheidungen quantitativ zu analysieren.

Dieser Ratgeber nimmt dich Schritt für Schritt mit, von der Grundidee über Odds und Logits bis zur Interpretation von Effektkoeffizienten und Diagnoseverfahren. Am Ende weißt du, wie die Schätzung funktioniert, welches Ergebnis wirklich aussagekräftig ist und welche Checks du unbedingt durchführst, bevor du Ergebnisse präsentierst.

Was ist logistische Regression und warum sie relevant ist

Die logistische Regression modelliert die Wahrscheinlichkeit eines Ereignisses, wenn die abhängige Variable nur zwei Zustände annehmen kann. Zum Beispiel Kauf ja/nein, Krankheit ja/nein oder Abschluss ja/nein. Statt direkt mit der Wahrscheinlichkeit p zu rechnen, transformiert das Modell p in den Logit, also die logarithmierten Chancen (odds). Diese Transformation sorgt dafür, dass deine Vorhersagen immer im Bereich von 0 bis 1 bleiben.

Warum das wichtig ist, kurz und praktisch: Lineare Regressionen brechen einige Grundannahmen, wenn das Ziel binär ist. Residuen sind nicht normal verteilt, Varianz ist nicht konstant und die Vorhersagen können außerhalb des zulässigen Bereichs liegen. Die logistische Regression beseitigt diese Probleme, indem sie eine Sigmoidfunktion auf die lineare Vorhersage anwendet und so gültige Wahrscheinlichkeiten liefert.

Was sind Odds und Logits?

• Odds (Chancen) sind das Verhältnis der Eintrittswahrscheinlichkeit zur Gegenwahrscheinlichkeit: p / (1-p).
• Der Logit ist der natürliche Logarithmus der Odds: log(p / (1-p)).

Der Vorteil: Odds können beliebig groß werden, aber nicht negativ sein. Logits dagegen reichen von minus unendlich bis plus unendlich und lassen sich deshalb gut mit einer linearen Kombination aus erklärenden Variablen verknüpfen.

Aufbau des Modells kurz erklärt

Du rechnest zunächst einen linearen Prädiktor eta = b0 + b1x1 + ... + bkxk. Auf diesen Prädiktor wendest du die inverse Logitfunktion an, also die Sigmoidfunktion, und erhältst p = 1 / (1 + exp(-eta)). Bei bekannten x-Werten liefert das Modell so eine Wahrscheinlichkeit für das Ereignis.

Wie du eine logistische Regression anwendest und interpretierst

Schätzung: Maximum-Likelihood

Eine geschlossene Formel für die besten Koeffizienten gibt es nicht; stattdessen nutzt du numerische, iterative Verfahren zur Maximum-Likelihood-Schätzung. Das Ziel ist, die Parameter so zu wählen, dass die beobachteten Ereignisse unter dem Modell maximal plausibel sind. Typische Algorithmen sind Newton-Raphson oder numerische Optimierer, die in Statistiksoftware standardmäßig implementiert sind.

Interpretation der Koeffizienten

Direktinterpretiert sind b-Werte nicht sehr anschaulich. Exponentierst du sie, bekommst du Effektkoeffizienten exp(b), also Odds-Ratios. Ein exp(b) > 1 erhöht die Chancen des Ereignisses bei einer Einheit mehr in der erklärenden Variable, ein exp(b) < 1 senkt sie.

Beispiel: exp(b) = 1,5 bedeutet, dass sich die Chance um 50% erhöht, wenn x um 1 ansteigt (bei sonst gleichen Bedingungen).

Von Chancen zu Wahrscheinlichkeiten

Die Änderung der Wahrscheinlichkeit durch eine Variable ist nicht konstant, sie hängt vom aktuellen eta ab. Deshalb berechnet man oft durchschnittliche marginale Effekte oder visualisiert die Wahrscheinlichkeitskurve für typische Beobachtungen.

Diagnose und Güte

• Prüfe Multikollinearität, wenn einzelne Parameter interpretiert werden sollen.
• Nutze Pseudo-R2-Maße, AIC oder BIC, um Modelle zu vergleichen.
• Zur Bewertung der Vorhersage eignet sich die ROC-Kurve; die Fläche unter der ROC-Kurve (AUROC) gibt die Trennschärfe an.
• Beim Prüfen der Modellanpassung - vor allem in Risiko-Modellen - ist der Hosmer-Lemeshow-Test ein verbreiteter Ansatz.

Do's & Don'ts

• Do: Standardisiere Variablen bei großen Skalenunterschieden.
• Do: Prüfe auf Influential Cases und Outliers mit Regressionsdiagnostik.
• Don't: Interpretiere Koeffizienten ohne Kontext als direkte Wahrscheinlichkeitsänderung.
• Don't: Vernachlässige Interaktionen, wenn du vermutest, dass Effekte nicht konstant sind.

Fazit

Die logistische Regression ist ein robustes, verständliches Werkzeug, wenn dein Ziel binär ist. Sie liefert gültige Wahrscheinlichkeiten, interpretable Odds-Ratios und viele Diagnoseoptionen, um die Qualität deiner Aussagen zu prüfen. Starte mit einem schlanken Modell, prüfe die Güte und reiche Interpretation mit Odds-Ratios und marginalen Effekten nach.

Probier es heute aus: Schätze ein einfaches Modell mit zwei bis drei Variablen, exponentiiere die Koeffizienten und plotte die vorhergesagten Wahrscheinlichkeiten - so siehst du sofort, wie sich Theorie in klare Aussagen verwandelt.