Die meisten gescheiterten DoE-Studien scheitern nicht im Labor. Sie scheitern auf dem Planungsblatt, wenn jemand eine Laufzahl wählt, die in die Woche passt, und einen Faktorbereich, der sich sicher anfühlt. Die Läufe werden durchgeführt, die ANOVA liefert nichts Signifikantes, und das Team schreibt „Temperatur hat keinen Effekt“ in den Bericht. Diese Schlussfolgerung ist meist falsch. Das Design hatte schlicht nie die Auflösung, um es zu sehen.
Die Power-Analyse ist die Rechnung, die Ihnen das sagt, bevor Sie Material verschwenden.
Was Power in der Versuchsplanung tatsächlich bedeutet
Power ist die Wahrscheinlichkeit, dass Ihr Design einen Effekt einer bestimmten Größe erkennt, sofern dieser Effekt tatsächlich vorhanden ist. Sie hängt von vier Dingen ab:
- Anzahl der Läufe (n)
- Anzahl der Modellterme, die Sie fitten wollen (jeder geschätzte Term kostet einen Freiheitsgrad)
- Effektgröße, ausgedrückt in Einheiten der residualen Standardabweichung sigma
- Alpha, das Signifikanzniveau, gegen das getestet wird (üblicherweise 0,05)
Die Einheit, über die die meisten stolpern, ist die dritte. Effektgröße ist nicht „5 Prozentpunkte Ausbeute“. Es ist der Effekt geteilt durch Ihr Assay- und Prozessrauschen. Eine 5-Punkt-Ausbeuteverschiebung mit sigma = 5 ist ein 1,0-Sigma-Effekt. Dieselbe 5-Punkt-Verschiebung mit sigma = 10 ist 0,5 Sigma und deutlich schwerer zu sehen.
Praxisbeispiel: Power-Analyse für ein 13-Lauf-Screening-Design
Nehmen Sie eine Suzuki-artige Arylhalogenid-Kupplung mit sechs Faktoren: Temperatur, Katalysatorbeladung, Base-Äquivalente, Wasseranteil, Zeit, Boronsäure-Äquivalente.
Für sechs Faktoren und das Ziel Screening schlägt die Versuchsplanung von CovaSyn ein Definitive Screening Design mit 13 Läufen vor, mit dem klassischen teilfaktoriellen Design als Alternative bei 32 Läufen. Das DSD schätzt Haupteffekte plus Krümmung in 13 Läufen, und um dieses Design herum wird die Planung aufgebaut.
Jetzt die Frage, die zählt: Was können 13 Läufe tatsächlich sehen? Die Power-Berechnung für 13 Läufe, 7 Modellterme, α = 0,05 und eine Residualvarianz von 1 liefert:
| Effektgröße | Power | Nichtzentralität | Fehler-df |
|---|---|---|---|
| 0,5 sigma | 31,1 % | 3,25 | 5 |
| 0,75 sigma | 58,6 % | 7,31 | 5 |
| 1,0 sigma | 81,9 % | 13,0 | 5 |
| 2,0 sigma | 99,98 % | 52,0 | 5 |
Alle vier Zeilen stammen aus derselben Berechnung, nur die Effektgröße wurde geändert.
Lesen Sie die erste und dritte Zeile zusammen. Dreizehn Läufe sind ein gutes Design für einen Effekt in der Größenordnung Ihres Rauschens: Es findet ihn in etwa vier von fünf Fällen. Einen Effekt in der halben Größe des Rauschens findet es nur in etwa einem von drei Fällen. In zwei Dritteln der Fälle läuft ein realer 0,5-Sigma-Effekt direkt an Ihnen vorbei und wird als „nicht signifikant“ verbucht.
Der Teil, den niemand aufs Planungsblatt schreibt: der Faktorbereich
Hier ist die Verbindung, die Power zu einer Design-Entscheidung macht und nicht nur zu einer Stichprobengrößenrechnung.
Bei einem Faktor mit annähernd linearem Effekt ist der über das Design beobachtete Effekt proportional zum überspannten Bereich. Fahren Sie die Temperatur von 60 bis 80 °C, sehen Sie den vollen Effekt über 20 K. Fahren Sie sie von 70 bis 75, weil der Prozess dort „normalerweise liegt“, sehen Sie ein Viertel davon. Die Physik hat sich nicht geändert. Ihre standardisierte Effektgröße schon.
In der Tabelle oben ist der Wechsel von Zeile drei zu Zeile eins also nicht ein anderes Molekül. Es kann derselbe Faktor sein, untersucht über den halben Bereich. Das Design, das 82 % Power hatte, hat jetzt 31 %.
Deshalb ist „wir haben die Bereiche eng gehalten, um nah am Zielwert zu bleiben“ die teuerste einzelne Entscheidung im Screening. Sie macht die Studie nicht sicherer. Sie macht die Studie uninformativ und verwandelt einen realen Effekt in ein falsch negatives Ergebnis, das sich im Prozessverständnis festsetzt.
Kann ein Faktor aus Sicherheits- oder Materialgründen wirklich nicht weiter bewegt werden, ist das eine legitime Einschränkung. Dann sollten Sie aber vor dem Start wissen, dass Sie eine Studie mit 31 % Power durchführen, und die Laufzahl entsprechend planen.
Was tun, wenn die Power niedrig ausfällt
Vier Hebel, grob nach Kosten-Nutzen-Verhältnis geordnet.
1. Faktorbereich erweitern. Kostet keinen zusätzlichen Lauf. Verdoppelt oder verdreifacht meist den standardisierten Effekt. Begrenzt durch Chemie, Sicherheit und den Bereich, den Sie zu fahren bereit sind. 2. Sigma reduzieren. Präzisere Analysenmethode, bessere Probenahme, Blocken nach Charge oder Bediener. Sigma zu halbieren verdoppelt jede standardisierte Effektgröße, genau wie eine Verdopplung des Bereichs. 3. Modellterme kürzen. Jeder gefittete Term kostet einen Freiheitsgrad. Bei n = 13 mit 7 Termen bleiben nur 5 Fehler-df, weshalb der kritische t-Wert unbarmherzig ist. Streichen Sie Terme, die Sie nicht interpretieren wollen. 4. Läufe hinzufügen. Der letzte Ausweg, weil er schlecht skaliert.
Hebel 4 skaliert auf eine Weise schlecht, die eine genauere Betrachtung wert ist. Bei konstant 7 Termen und einem 0,5-Sigma-Effekt ergibt die Power-Berechnung:
| Läufe | Power bei 0,5 sigma |
|---|---|
| 13 | 31,1 % |
| 17 | 45,3 % |
| 25 | 65,4 % |
| 35 | 81,4 % |
| 39 | 85,6 % |
Um die üblichen 80 % Power für einen Halb-Sigma-Effekt zu erreichen, brauchen Sie etwa 35 Läufe: fast das Dreifache des Screening-Designs. Eine Verdopplung des Faktorbereichs, wo die Chemie es zulässt, bringt Sie stattdessen bei 13 Läufen auf 82 %. Das ist die Abwägung, die das Planungsblatt zeigen sollte.
Dieselbe Rechnung deckt auch die Folgestufe ab. Erweitern Sie das 13-Lauf-DSD zu einem 21-Lauf-Central-Composite-Design auf den drei verbliebenen Faktoren und fitten ein vollständiges quadratisches Modell (10 Terme), ergibt sich bei 21 Läufen und 10 Termen eine Power von 98,4 % bei 1,0 Sigma. Läufe zu einem bestehenden Design hinzuzufügen statt neu zu starten ist der günstige Weg, und die Power-Berechnung bestätigt, dass er dorthin führt, wo Sie hinwollen.
Ehrliche Grenzen einer Power-Berechnung
- Es ist eine Planungsschätzung, keine Messung. Jede Zahl oben setzt voraus, dass Sie sigma im Voraus angeben können und der Effekt über den Bereich annähernd linear ist. Liegt Ihre sigma-Schätzung um 30 % daneben, tut das auch Ihre Power-Kurve.
- Es setzt das genannte Modell voraus. Power bei 7 Termen sagt nichts über ein Design aus, das am Ende 12 Terme fittet, weil die Residuen es erzwungen haben.
- Es prüft nicht, ob das Design schätzbar ist. Ein Design kann auf dem Papier ausreichend Power haben und trotzdem zwei Faktoren konfundieren, an denen Ihnen liegt. Aliasing ist eine separate Prüfung.
- Post-hoc-Power zum eigenen p-Wert ist nahezu nutzlos. Beobachtete Power, berechnet aus dem beobachteten Effekt, ist eine monotone Funktion des p-Werts und liefert keine zusätzliche Information. Eine Post-hoc-Rechnung ist nützlich, um die *nächste* Studie anhand eines gemessenen sigma zu planen, nicht, um ein Nullergebnis in der aktuellen Studie zu verteidigen.
- Nichts davon ersetzt fachliches Urteilsvermögen. Power zeigt, was Ihr Design auflösen kann. Sie sagt nicht, ob der Faktor für den Patienten, die Anlage oder die Einreichung relevant ist.
Häufige Fragen
Was ist eine Power-Analyse in der statistischen Versuchsplanung (DoE)?
Die Power-Analyse berechnet die Wahrscheinlichkeit, dass ein geplantes experimentelles Design einen Effekt einer bestimmten Größe erkennt, sofern dieser Effekt real ist. Sie hängt von der Anzahl der Läufe, der Anzahl der gefitteten Modellterme, der in Einheiten der residualen Standardabweichung ausgedrückten Effektgröße und dem Signifikanzniveau alpha ab. Sie wird vor dem Experiment durchgeführt, damit Sie das Design noch ändern können, solange die Änderung noch nichts kostet.
Wie viele Läufe brauche ich für ein DoE?
Das hängt vollständig vom kleinsten Effekt ab, den Sie erkennen müssen. Für ein 7-Term-Modell bei alpha 0,05 ergibt die Power-Berechnung 82 % Power bei 13 Läufen für einen 1,0-Sigma-Effekt, aber Sie brauchen etwa 35 Läufe, um 80 % Power für einen 0,5-Sigma-Effekt zu erreichen. Legen Sie zuerst die wissenschaftlich relevante Effektgröße fest, dann lesen Sie die Laufzahl ab.
Bedeutet ein nicht signifikantes Ergebnis, dass der Faktor keinen Effekt hat?
Nein. Es bedeutet, dass das Design keinen Effekt erkannt hat. Bei 31 % Power, wie sie 13 Läufe für einen Halb-Sigma-Effekt liefern, bleibt ein realer Effekt in etwa zwei von drei Fällen unentdeckt. Die ehrliche Formulierung lautet „bei diesem Design und Bereich nicht nachweisbar“, zusammen mit der Effektgröße, für die die Studie tatsächlich ausgelegt war.
Wie beeinflusst der Faktorbereich die statistische Power?
Bei einem annähernd linearen Effekt skaliert der beobachtete Effekt mit dem überspannten Bereich. Eine Halbierung des Bereichs halbiert die standardisierte Effektgröße, was bei einem 13-Lauf-7-Term-Design die Power von 82 % auf 31 % senkt. Bereiche zu erweitern ist meist der günstigste Weg, Power zu erhöhen, günstiger als Läufe hinzuzufügen, und nur durch Sicherheit und Chemie begrenzt.
Lohnt sich eine Post-hoc-Power-Analyse?
Nicht, um Ihr eigenes nicht signifikantes Ergebnis zu interpretieren. Beobachtete Power, berechnet aus der beobachteten Effektgröße, ist eine deterministische Funktion des p-Werts und liefert keine neue Information. Post-hoc-Analyse lohnt sich für einen Zweck: ein gemessenes residuales sigma aus der abgeschlossenen Studie zu extrahieren, damit die nächste Design-Planung auf echtem Rauschen statt auf einer Schätzung beruht.
Sagt mir die Power-Analyse, ob mein Design ein gutes Design ist?
Nein, nur dass es für einen genannten Effekt groß genug ist. Ein Design kann ausreichend Power haben und trotzdem zwei für Sie wichtige Faktoren miteinander vermengen (Aliasing) oder schlecht zu der Response Surface passen, die Sie später brauchen. Prüfen Sie Aliasing und Design-Typ separat, bevor Sie Läufe festlegen.
Weiterführende Artikel
Auswertung zu diesem Thema
Wir werten das für Ihr Labor aus.
- Design-of-Experiments, RSM, Templates.