Metaanalysen methodisch planen: Effektmaße, Modelle und Qualitätsprüfungen sicher wählen

Wer eine Metaanalyse plant, scheitert selten an fehlender Software. Häufiger entstehen Probleme durch eine zu weit gefasste Fragestellung, durch Effektgrößen, die nicht zusammenpassen, oder durch Schlussfolgerungen, die reale Unterschiede zwischen Studien übergehen. Die passende Methode ist deshalb nicht die technisch aufwendigste, sondern diejenige, die zu deiner Forschungsfrage, zu den Studiendesigns und zur Qualität der verfügbaren Evidenz passt.

Für Abschlussarbeiten, Dissertationen und Publikationen ist das entscheidend. Eine sorgfältig geplante Evidenzsynthese kann widersprüchliche Befunde ordnen und zu einer präziseren Aussage führen. Fallen methodische Entscheidungen dagegen erst während der Auswertung, entstehen Verzerrungen, die auch ein sauber gestaltetes Forest Plot nicht mehr ausgleicht.

Die Fragestellung entscheidet über das Verfahren

Am Anfang steht keine Datenbanksuche, sondern eine klar umrissene Frage. In Medizin und Psychologie hilft oft das PICO Schema: Population, Intervention oder Exposition, Vergleichsbedingung und Outcome. In Sozialwissenschaften, Pädagogik oder Wirtschaftswissenschaften geht es häufiger um Zusammenhänge, Gruppenunterschiede oder Prognosen. Lege vor der Recherche fest:

• welche Populationen und Studiendesigns eingeschlossen werden,
• welcher Zeitraum und welche Publikationssprachen gelten,
• welche Outcomes als relevant zählen,
• wie du mit Preprints, grauer Literatur, Konferenzbeiträgen und Mehrfachpublikationen umgehst.

Ein schriftliches Analyseprotokoll ergänzt, welche Effektmaße du berechnest, welches Modell geplant ist, wie du mit fehlenden Angaben verfährst und welche Sensitivitätsanalysen vorgesehen sind. So vermeidest du, dass Kriterien unbewusst an die Ergebnisse angepasst werden.

Effektgrößen auf eine gemeinsame Kennzahl bringen

Studien berichten selten in derselben statistischen Sprache. Klinische Arbeiten liefern Odds Ratios, andere Risikoverhältnisse, psychologische Studien Korrelationen, pädagogische Untersuchungen Mittelwerte und Standardabweichungen. Die Aufgabe lautet: Ergebnisse zusammenführen, ohne ihre Bedeutung zu verändern.

• Kontinuierliche Outcomes: Mittelwertdifferenz oder standardisierte Mittelwertdifferenz, etwa Hedges g, wenn dasselbe Konstrukt mit verschiedenen Skalen gemessen wurde.
• Dichotome Outcomes: Odds Ratio, Risk Ratio oder Risikodifferenz.
• Zusammenhänge: Korrelationen, meist über eine Fisher z Transformation vor der Zusammenfassung.

Die Wahl ist keine reine Rechenfrage. Odds Ratios erscheinen bei häufigen Ereignissen größer als Risikoverhältnisse und sind schwerer zu deuten. Standardisierte Maße sind praktisch, verlieren aber den Bezug zur Originaleinheit. Wichtig ist außerdem die Richtung: Höhere Werte bedeuten je nach Instrument Verbesserung oder Verschlechterung. Alle Effekte müssen vor dem Zusammenfassen einheitlich kodiert sein.

Modellwahl begründen: Fixed Effect oder Random Effects

Ein Fixed Effect Modell unterstellt, dass alle Studien denselben wahren Effekt schätzen und Abweichungen nur zufällig sind. Das passt allenfalls zu sehr ähnlichen, stark standardisierten Studien. In der angewandten Forschung ist das eher die Ausnahme.

Das Random Effects Modell erlaubt, dass die wahren Effekte zwischen Studien variieren, etwa wegen unterschiedlicher Populationen, Messinstrumente, Settings oder Beobachtungsdauern. Es berücksichtigt diese Streuung, erklärt sie aber nicht. Kleine Studien erhalten dabei relativ mehr Gewicht, und bei wenigen Studien bleibt die Schätzung der Varianz zwischen den Studien unsicher. Berichte deshalb neben dem zusammengefassten Effekt möglichst ein Prädiktionsintervall: Es zeigt, in welchem Bereich der Effekt einer vergleichbaren neuen Studie liegen könnte, während das Konfidenzintervall nur die Unsicherheit des Mittelwerts beschreibt.

Heterogenität untersuchen statt wegmitteln

Ein signifikanter Gesamteffekt kann große Unterschiede verdecken. Kennwerte wie I², Tau² und der Cochran Q Test gehören daher dazu. I² gibt an, welcher Anteil der beobachteten Streuung nicht durch Stichprobenfehler erklärbar ist; schematisch lesen sollte man den Wert nicht, denn bei wenigen Studien bleibt Heterogenität leicht unentdeckt.

Inhaltlich zählt vor allem das Warum. Unterscheiden sich Altersgruppen, Intensität der Intervention, Nachbeobachtungszeiten oder Messinstrumente? Subgruppenanalysen und Metaregressionen können solche Vermutungen prüfen, sollten aber fachlich begründet und vorab geplant sein. Sie arbeiten auf Studienebene und erlauben keine direkten Aussagen über einzelne Personen.

Studienqualität und Publikationsbias realistisch einordnen

Sind die Primärstudien systematisch verzerrt, hilft keine Rechentechnik. Eine Bewertung des Bias Risikos prüft je nach Design Randomisierung, Verblindung, Confounding, Ausfälle, selektive Berichterstattung und Messqualität. Aussagekräftiger als eine einzelne Qualitätspunktzahl ist die transparente Beurteilung einzelner Domänen, ergänzt um Sensitivitätsanalysen ohne besonders kritische Studien.

Auch Hinweise auf Publikationsbias brauchen Augenmaß. Funnel Plot, Egger Test oder Trim and Fill funktionieren bei kleinen Studienzahlen nur eingeschränkt, und Asymmetrie kann ebenso von echter Heterogenität oder unterschiedlicher Präzision stammen.

Mehrere Effekte aus einer Studie

Liefert eine Studie mehrere Messzeitpunkte, Skalen oder Interventionsgruppen, sind diese Effekte voneinander abhängig. Behandelt man sie wie getrennte Studien, erhält die Publikation zu viel Gewicht und die Unsicherheit wird unterschätzt. Möglich sind eine begründete Zusammenfassung vergleichbarer Outcomes, ein vorab definierter Zeitpunkt pro Studie oder multivariate Ansätze und robuste Varianzkorrekturen bei komplexeren Datenstrukturen.

Nachvollziehbar dokumentieren

Eine überzeugende Arbeit zeigt den ganzen Weg: Suchstrategie, Datenbanken, Screening, Flussdiagramm, Extraktionsregeln, Bias Bewertung und alle Analyseentscheidungen. Checklisten wie PRISMA geben dabei Orientierung, ersetzen aber keine Methodenkenntnis. Im Ergebnisteil gehören Effektmaß, Modell, Gewichte, Heterogenität sowie Konfidenz und gegebenenfalls Prädiktionsintervalle klar ausgewiesen, in der Diskussion die Grenzen der Evidenz. Wer einzelne Verfahren vertiefen möchte, findet im Ratgeber zu Statistik und Datenanalyse weiterführende Beiträge. Ob R, Stata oder andere Software genutzt wird, ist zweitrangig; entscheidend sind dokumentierte Kodierung, reproduzierbarer Code und eine Interpretation, die Signifikanz nicht mit praktischer Relevanz verwechselt.

Fazit

Gute Metaanalysen entstehen durch früh getroffene, begründete Entscheidungen: klare Fragestellung, passendes Effektmaß, plausibles Modell, ernst genommene Heterogenität und offen benannte Grenzen. Wer diese Schritte protokolliert, erhält Ergebnisse, die inhaltlich überzeugen und methodisch prüfbar bleiben.