Betreuer will andere Statistik-Methode? So bleibst du ruhig und handelst richtig

Die Auswertung ist fertig, die Tabellen stehen, der Methodenteil ist geschrieben. Dann kommt die Mail vom Betreuer: Statt des t-Tests soll es bitte eine Varianzanalyse sein. Oder die einfache Regression soll einem gemischten Modell weichen. Dieser Moment sorgt bei vielen für Schweißausbrüche, besonders wenn die Abgabe näher rückt.

Dabei gilt: Nicht jede Methodenänderung bedeutet, dass deine bisherige Auswertung falsch ist. Manchmal gibt es schlicht mehrere vertretbare Verfahren. Manchmal erzwingt das Studiendesign aber tatsächlich eine Überarbeitung. In diesem Artikel erfährst du, warum Betreuer Methoden infrage stellen, wie du berechtigte Kritik von bloßen Alternativen unterscheidest und welche Schritte du jetzt gehen solltest.

Warum die Kritik kommt und wie du sie einordnest

Typische Gründe hinter der Rückmeldung

Hinter dem Wunsch nach einer anderen Methode stecken meist vier Ursachen:

1. Die Methode passt nicht zur Forschungsfrage. Willst du wissen, ob sich zwei Therapiegruppen über vier Messzeitpunkte unterschiedlich entwickeln, beantwortet ein t-Test zum letzten Zeitpunkt diese Frage nicht. Ein Modell mit Interaktion von Gruppe und Zeit passt besser.
2. Die Voraussetzungen sind unklar. Unabhängigkeit der Beobachtungen, Residuenstruktur oder Verteilungsannahmen wurden nicht geprüft. Eine verletzte Annahme macht ein Verfahren aber nicht automatisch unbrauchbar. Entscheidend ist, welche Annahme betroffen ist und was das für deine Schlüsse bedeutet.
3. Der Betreuer bevorzugt einen anderen Ansatz. Oft sind etwa ANOVA und lineares Modell beide vertretbar. Eine Alternative ist nicht automatisch die Korrektur eines Fehlers.
4. Die Auswertung wurde nicht gut erklärt. Wenn unklar bleibt, warum du einen Test gewählt hast, wirkt die Analyse angreifbar. Dann reicht oft ein präziserer Methodenteil.

Erst verstehen, dann rechnen

Bevor du irgendetwas neu berechnest, klär, was genau beanstandet wird. Die Tabelle hilft bei der Einordnung:

Wer sofort alles neu rechnet, obwohl nur eine Begründung fehlt, verschwendet Zeit. Wer berechtigte Kritik mit „Das machen doch alle so" abwehrt, übersieht womöglich einen echten Fehler.

Wann ein Wechsel wirklich nötig ist

Ein Wechsel ist angebracht, wenn dein Verfahren die Frage nicht beantwortet oder wichtige Dateneigenschaften ignoriert:

• Abhängige Beobachtungen als unabhängig behandelt: Bei Messwiederholungen an denselben Personen passt ein t-Test für unabhängige Stichproben nicht. Besser sind gepaarter t-Test, Messwiederholungsanalyse oder gemischtes Modell.
• Zielvariable falsch modelliert: Für eine binäre Zielgröße ist die gewöhnliche lineare Regression meist nicht das passende Standardmodell. Eine logistische Regression passt besser.
• Hypothese wird nicht geprüft: Fragst du nach einem adjustierten Zusammenhang, beantwortet ein einfacher Gruppenvergleich das nicht.
• Designmerkmale ignoriert: Schüler derselben Schule ähneln sich. Wer diese Clusterstruktur übergeht, riskiert falsche Standardfehler und irreführende Signifikanztests.

Wann mehrere Methoden vertretbar sind

Nicht jede abweichende Empfehlung ist ein Fehlerhinweis. Wichtig ist, ob die Verfahren denselben Zielparameter schätzen.

• t-Test oder Regression: Bei zwei unabhängigen Gruppen schätzt eine Regression mit Gruppenindikator denselben unadjustierten Mittelwertunterschied. Die Regression ist nicht besser, bietet aber Raum für Kovariaten.
• ANOVA oder Regression: Die ANOVA ist ein Spezialfall des allgemeinen linearen Modells. Bei gleicher Spezifikation sind die Ergebnisse äquivalent.
• Pearson oder Spearman: Hier wechselst du tatsächlich die Fragestellung. Pearson beschreibt lineare, Spearman monotone Zusammenhänge.

Tausche Methoden nicht aus, nur weil es eine Alternative gibt. Entscheidend ist, welche Aussage das Verfahren ermöglicht.

Beispiel: ANOVA oder gemischtes Modell?

Bei zwei Gruppen und vier Messzeitpunkten kann eine Messwiederholungs-ANOVA bei passender Datenstruktur und erfüllten Voraussetzungen genügen. Ein lineares gemischtes Modell bietet mehr: andere Kovarianzstrukturen, individuelle Unterschiede und, unter geeigneten Annahmen, den Umgang mit unvollständigen Messreihen. Überlegen ist es aber nicht automatisch, denn es verlangt eigene Modellentscheidungen.

Klär deshalb zuerst: Geht es um einen Zeiteffekt, einen Gruppenunterschied oder die Interaktion von Gruppe und Zeit? Prüfe dann, ob dein Verfahren genau das testet.

Ergebnisse, p-Werte und die sieben Schritte

Was mit deinen bisherigen Ergebnissen passiert

Keine Sorge, meist ist nicht alles hinfällig. Es hängt davon ab, wie verwandt die Verfahren sind:

• Ergebnisse bleiben ähnlich, etwa wenn der unadjustierte Gruppenunterschied im linearen Modell dem Mittelwertunterschied entspricht.
• p-Werte ändern sich, weil Standardfehler, Freiheitsgrade oder Teststatistik anders sind. Das heißt nicht, dass ein Verfahren falsch ist.
• Effektschätzungen ändern sich, wenn Kovariaten dazukommen oder sich die Effektdefinition verschiebt.
• Die Interpretation ändert sich. Dann musst du Hypothesenprüfung, Ergebnisteil und Diskussion anpassen.

Ein Beispiel: Der einfache Gruppenvergleich ergibt p = 0,04, das adjustierte Regressionsmodell p = 0,12. Das ist kein Widerspruch, denn beide beantworten unterschiedliche Fragen. Welche zu deiner vorab definierten Forschungsfrage passt, entscheidet.

Sieben Schritte für dein Vorgehen

1. Rückmeldung konkretisieren: Geht es um Annahmen, Skalenniveau, Abhängigkeiten oder Interpretation?
2. Forschungsfrage und Hypothesen prüfen: Passt die Analyse dazu?
3. Studiendesign nachvollziehen: Gruppen, Messzeitpunkte, Abhängigkeiten, Stichprobenstruktur.
4. Bisheriges Verfahren bewerten: Sind Annahmen erfüllt, wurde der relevante Effekt getestet?
5. Alternative untersuchen: Beantwortet sie dieselbe Frage, und welche Vorteile bringt sie?
6. Ergebnisse vergleichen: Effektgrößen, Konfidenzintervalle, p-Werte und Analysepopulationen nebeneinanderlegen.
7. Entscheidung dokumentieren: Begründe das gewählte Verfahren und mache Änderungen nach Datensicht transparent.

So reagierst du auf den Betreuer

Sachlich nachfragen ist besser als sofort zuzustimmen oder zu widersprechen. Zum Beispiel so:

„Ich habe für die bisherige Auswertung Verfahren X verwendet, da die Forschungsfrage auf den Vergleich von Y abzielt. Könnten Sie bitte erläutern, welchen methodischen Vorteil Verfahren Z in diesem Studiendesign bietet? Dann kann ich die Analyse entsprechend überprüfen und gegebenenfalls anpassen."

So nimmst du die Rückmeldung ernst, ohne vorschnell einen Fehler anzunehmen. Achte außerdem auf die Vorgaben von Fachbereich und Betreuung zur statistischen Dokumentation.

Wenn die Abgabe näher rückt

Priorisiere. Ein echter Verfahrensfehler ist dringlicher als eine lückenhafte Methodenbeschreibung. Rechne nicht pauschal alles neu, sondern prüfe gezielt, ergänze Berechnungen oder präzisiere den Methodenteil. Ist ein Wechsel nötig, geh alle betroffenen Stellen durch:

• Statistischer Methodenteil
• Ergebnistabellen und Grafiken
• Hypothesenprüfung
• Interpretation der Ergebnisse
• Diskussion und Fazit

Kläre mit dem Betreuer, welche Anpassungen zwingend sind. Grundlegende methodische Probleme solltest du aber nicht aus Zeitnot umgehen.

Typische Fehler beim nachträglichen Wechsel

• Das neue Verfahren ungeprüft übernehmen.
• Nur die p-Werte austauschen, obwohl sich Effektschätzungen und Konfidenzintervalle ändern.
• Unterschiedliche Fallzahlen durch fehlende Werte übersehen.
• Die neue Analyse nur mit einem neuen Testnamen dokumentieren.
• Nur signifikante Ergebnisse berichten.
• Die ursprüngliche Analyse und Skripte löschen. Behalte sie, damit Änderungen nachvollziehbar bleiben.
• Die Interpretation unverändert lassen, obwohl sich die Aussage geändert hat.

Deine Methode begründen oder Hilfe holen

Ist dein Verfahren fachlich vertretbar, darfst du es begründen. Argumentiere aber mit Forschungsfrage, Datenstruktur und Modellannahmen, nicht mit Häufigkeit. Bei genau zwei unabhängigen Gruppen sind etwa t-Test und einfaktorielle ANOVA äquivalent. Dann kannst du das sachlich erläutern und die Darstellung trotzdem an den Wunsch anpassen, wenn das keine Nachteile bringt. Ignoriert deine Analyse dagegen einen wesentlichen Teil des Designs, reicht eine allgemeine Begründung nicht.

Externe Unterstützung lohnt sich, wenn mehrere Verfahren infrage kommen, Annahmen unklar sind oder sich die Ergebnisse stark ändern. Eine Statistik Hilfe kann mit diesen Unterlagen prüfen, ob ein Fehler vorliegt: Forschungsfrage und Hypothesen, Studiendesign, Datensatz mit Variablenbeschreibung, bisherige Methoden, Tabellen, Grafiken, Skripte und die Originalformulierung der Kritik. Letztere ist besonders wertvoll, denn „Nimm lieber eine Regression" und „Der Test ignoriert die Abhängigkeit der Daten" sind zwei völlig verschiedene Aussagen. Auch eine Statistische Beratung für Studenten oder Doktoranden kann bei Auswahl, Überprüfung und Darstellung helfen. Deine Eigenleistung sollte dabei gewahrt bleiben und die Hilfe zu den Hochschulvorgaben passen.

Fazit: Erst die Methode prüfen, dann die Auswertung ändern

Eine vollständige Neuberechnung ist nicht automatisch nötig. Finde zuerst heraus, warum deine Methode infrage steht. Liegt ein echter Fehler vor, korrigiere ihn. Handelt es sich um vertretbare Alternativen, begründe deine Wahl nachvollziehbar.

Die richtige Methode liefert nicht den günstigsten p-Wert und ist nicht die häufigste. Sie beantwortet deine Forschungsfrage unter angemessenen Annahmen.

Probier es gleich aus: Formuliere die Kritik deines Betreuers in einem Satz um, der mit „Das Problem ist …" beginnt. Gelingt dir das, bist du dem richtigen nächsten Schritt schon ganz nah.