DoE-Power-Analyse, bevor Sie das Experiment starten

Die meisten gescheiterten DoE-Studien scheitern nicht im Labor. Sie scheitern auf dem Planungsblatt, wenn jemand eine Laufzahl wählt, die in die Woche passt, und einen Faktorbereich, der sich sicher anfühlt. Die Läufe werden durchgeführt, die ANOVA liefert nichts Signifikantes, und das Team schreibt „Temperatur hat keinen Effekt" in den Bericht. Diese Schlussfolgerung ist meist falsch. Das Design hatte schlicht nie die Auflösung, um es zu sehen.

Die Power-Analyse ist die Rechnung, die Ihnen das sagt, bevor Sie Material verbrennen.

Was Power tatsächlich bedeutet

Power ist die Wahrscheinlichkeit, dass Ihr Design einen Effekt einer bestimmten Größe erkennt, sofern dieser Effekt tatsächlich vorhanden ist. Sie hängt von vier Dingen ab:

• Anzahl der Läufe (n)
• Anzahl der Modellterme, die Sie fitten wollen (jeder geschätzte Term kostet einen Freiheitsgrad)
• Effektgröße, ausgedrückt in Einheiten der residualen Standardabweichung sigma
• Alpha, das Signifikanzniveau, gegen das getestet wird (üblicherweise 0.05)

Die Einheit, über die die meisten stolpern, ist die dritte. Effektgröße ist nicht „5 Prozentpunkte Ausbeute". Es ist der Effekt geteilt durch Ihr Assay- und Prozessrauschen. Eine 5-Punkt-Ausbeuteverschiebung mit sigma = 5 ist ein 1.0-Sigma-Effekt. Dieselbe 5-Punkt-Verschiebung mit sigma = 10 ist 0.5 Sigma und deutlich schwerer zu sehen.

Praxisbeispiel: ein 13-Lauf-Screening-Design

Nehmen Sie eine Suzuki-artige Arylhalogenid-Kupplung mit sechs Faktoren: Temperatur, Katalysatorbeladung, Base-Äquivalente, Wasseranteil, Zeit, Boronsäure-Äquivalente.

covadoe_suggest_design (n_factors = 6, goal = screening) liefert ein Definitive Screening Design mit 13 Läufen, mit dem klassischen Fractional Factorial als Alternative bei 32 Läufen. Das DSD schätzt Haupteffekte plus Krümmung in 13 Läufen, und darum wird die Planung herum aufgebaut.

Jetzt die Frage, die zählt: Was können 13 Läufe tatsächlich sehen? covadoe_power_analysis bei n_runs = 13, n_terms = 7, alpha = 0.05, residual_variance = 1 liefert:

Alle vier Zeilen sind wortgetreue covadoe_power_analysis-Ausgabe, derselbe Tool-Aufruf, nur effect_size wurde geändert.

Lesen Sie die erste und dritte Zeile zusammen. Dreizehn Läufe sind ein gutes Design für einen Effekt in der Größenordnung Ihres Rauschens: Es findet ihn etwa viermal von fünf. Für einen Effekt in der halben Größe des Rauschens findet es ihn etwa einmal von drei. Zwei Drittel der Zeit läuft ein realer 0.5-Sigma-Effekt direkt an Ihnen vorbei und wird als „nicht signifikant" niedergeschrieben.

Der Teil, den niemand aufs Planungsblatt schreibt: der Faktorbereich

Hier ist die Verbindung, die Power zu einer Design-Entscheidung macht und nicht nur zu einer Stichprobengrößenrechnung.

Bei einem Faktor mit annähernd linearem Effekt ist der über das Design beobachtete Effekt proportional zum überspannten Bereich. Fahren Sie die Temperatur von 60 bis 80 Grad C, sehen Sie den vollen 20-Grad-Effekt. Fahren Sie sie von 70 bis 75, weil der Prozess dort „normalerweise liegt", sehen Sie ein Viertel davon. Die Physik hat sich nicht geändert. Ihre standardisierte Effektgröße schon.

In der Tabelle oben ist der Wechsel von Zeile drei zu Zeile eins also nicht ein anderes Molekül. Es kann derselbe Faktor sein, untersucht über den halben Bereich. Das Design, das 82 % Power hatte, hat jetzt 31 %.

Deshalb ist „wir haben die Bereiche eng gehalten, um nah am Zielwert zu bleiben" die teuerste einzelne Entscheidung im Screening. Sie macht die Studie nicht sicherer. Sie macht die Studie uninformativ und verwandelt einen realen Effekt in ein falsch negatives Ergebnis, das sich im Prozessverständnis festsetzt.

Kann ein Faktor aus Sicherheits- oder Materialgründen wirklich nicht weiter bewegt werden, ist das eine legitime Einschränkung. Dann sollten Sie aber vor dem Start wissen, dass Sie eine 31-%-Studie fahren, und die Laufzahl entsprechend planen.

Was tun, wenn die Power niedrig ausfällt

Vier Hebel, grob nach Kosten-Nutzen-Verhältnis geordnet.

1. Faktorbereich erweitern. Kostenlos. Verdoppelt oder verdreifacht meist den standardisierten Effekt. Begrenzt durch Chemie, Sicherheit und das, was Sie bereit sind zu fahren. 2. Sigma reduzieren. Engere Analysenmethode, bessere Probenahme, Blocken nach Charge oder Bediener. Sigma zu halbieren verdoppelt jede standardisierte Effektgröße, genau wie eine Verdopplung des Bereichs. 3. Modellterme kürzen. Jeder gefittete Term kostet einen Freiheitsgrad. Bei n = 13 mit 7 Termen bleiben nur 5 Fehler-df, weshalb der kritische t-Wert unbarmherzig ist. Streichen Sie Terme, die Sie nicht interpretieren wollen. 4. Läufe hinzufügen. Der letzte Ausweg, weil er schlecht skaliert.

Hebel 4 skaliert auf eine Weise schlecht, die eine genauere Betrachtung wert ist. Bei konstant 7 Termen und einem 0.5-Sigma-Effekt liefert covadoe_power_analysis:

Um die üblichen 80 % Power für einen Halb-Sigma-Effekt zu erreichen, brauchen Sie etwa 35 Läufe – fast das Dreifache des Screening-Designs. Eine Verdopplung des Faktorbereichs, wo die Chemie es zulässt, bringt Sie stattdessen bei 13 Läufen auf 82 %. Das ist der Trade-off, den das Planungsblatt zeigen sollte.

Dasselbe Tool deckt auch die Folgestufe ab. Erweitern Sie das 13-Lauf-DSD zu einem 21-Lauf-Central-Composite-Design auf den drei verbliebenen Faktoren und fitten ein vollständiges quadratisches Modell (10 Terme), liefert covadoe_power_analysis bei n_runs = 21, n_terms = 10 eine Power von 98.4 % bei 1.0 Sigma. Läufe zu einem bestehenden Design hinzuzufügen statt neu zu starten ist der günstige Weg, und die Power-Berechnung bestätigt, dass er dorthin führt, wo Sie hinwollen.

Ehrliche Grenzen einer Power-Berechnung

• Es ist eine Planungsschätzung, keine Messung. Jede Zahl oben setzt voraus, dass Sie sigma im Voraus angeben können und der Effekt über den Bereich annähernd linear ist. Liegt Ihre sigma-Schätzung um 30 % daneben, tut das auch Ihre Power-Kurve.
• Es setzt das genannte Modell voraus. Power bei 7 Termen sagt nichts über ein Design aus, das am Ende 12 Terme fittet, weil die Residuen es erzwungen haben.
• Es prüft nicht, ob das Design schätzbar ist. Ein Design kann auf dem Papier ausreichend Power haben und trotzdem zwei Faktoren konfundieren, an denen Ihnen liegt. Aliasing ist eine separate Prüfung (covadoe_alias_structure).
• Post-hoc-Power auf dem eigenen p-Wert ist nahezu nutzlos. Beobachtete Power, berechnet aus dem beobachteten Effekt, ist eine monotone Funktion des p-Werts und liefert keine zusätzliche Information. covadoe_post_hoc_power ist nützlich, um die *nächste* Studie anhand eines gemessenen sigma zu planen – nicht, um ein Nullergebnis in der aktuellen Studie zu verteidigen.
• Nichts davon ersetzt fachliches Urteilsvermögen. Power zeigt, was Ihr Design auflösen kann. Sie sagt nicht, ob der Faktor für den Patienten, die Anlage oder die Einreichung relevant ist.

Häufige Fragen

Weiterführende Artikel

• Definitive Screening Designs vs Fractional Factorials
• Vom Screening zur Response Surface, ohne neu zu starten
• Response Surface Methodology: das Modell fitten und lesen
• Design Space, NOR und PAR für QbD-Einreichungen

Jede Zahl in diesem Artikel stammt aus covadoe_suggest_design und covadoe_power_analysis, beide in der kostenlosen CovaSyn-Stufe verfügbar, falls Sie Ihr eigenes Design vor dem ersten Experiment durchrechnen wollen.