Jede Optimierungskampagne beginnt mit derselben Entscheidung, meist aus Gewohnheit getroffen: einen Faktor nach dem anderen variieren, einen statistischen Versuchsplan fahren oder jede Runde aus allen bisherigen Ergebnissen neu planen. Wir wollten Zahlen statt Gewohnheit und haben die drei Wege unter Regeln verglichen, die jedem Verfahren gerecht werden.
So haben wir verglichen
Wir haben 5.040 vollständige Kampagnen auf Reaktions- und Prozessmodellen mit 2 bis 15 Faktoren simuliert, 40 Instanzen je Einstellung, mit gleichem Messrauschen und gleichem Budget von 60 Versuchen für jede Strategie. Beim klassischen DoE galt die Regel eines sorgfältigen Teams: Plan fahren, das Modelloptimum einmal als Bestätigung fahren und die besser gemessene Bedingung behalten. Zusätzlich liefen alle Strategien auf drei veröffentlichten Reaktionsscreens, in denen das Labor jede Bedingung gemessen hat (eine C-N-Kupplung, eine Suzuki-Kupplung und eine C-H-Arylierung).
Alles davon ist Simulation auf Modellen und öffentlichen Daten. Keine neuen Versuche, keine Kundendaten.
Ergebnis 1: bis 4 Faktoren ist klassisches DoE kaum zu schlagen
Mit 2 bis 4 Faktoren war ein klassischer Response-Surface-Plan so schnell wie das adaptive Vorgehen oder schneller. Das deckt sich mit der Erfahrung vieler DoE-Anwender: Ein kleiner, gut geplanter Versuch deckt einen kleinen Raum effizient ab und liefert ein interpretierbares Modell dazu.
Hat Ihr Problem vier Faktoren oder weniger, gibt es wenig Grund, etwas Bewährtes zu ändern.
Ergebnis 2: ab etwa 8 Faktoren dreht sich das Bild
Mit 8 bis 10 Faktoren erreichte das adaptive Vorgehen das Ergebnis des DoE-Plans mit 1,3 bis 3,1 mal weniger Versuchen als beide verglichenen DoE-Pläne. Auf den öffentlichen Screens war es auf der C-N-Kupplung 1,7 mal schneller, auf der Suzuki-Kupplung 1,5 mal und auf der C-H-Arylierung gleichauf.
Bei 12 bis 15 Faktoren lag es gleichauf mit klassischem DoE und 1,4 bis 2,0 mal schneller als Definitive Screening. Der Vorsprung wächst also nicht mit jedem weiteren Faktor, und das behaupten wir auch nicht.
Ergebnis 3: der schlechteste Fall zählt mehr als der beste
Über 42 Vergleiche bei gleichem Budget lag das adaptive Vorgehen nie mehr als 8,6 Prozentpunkte hinter der besten Strategie. Bei OFAT betrug der größte Abstand 11,1, bei Zufallsauswahl 13,8 und bei den DoE-Plänen 19,3. Wer vorher nicht weiß, wie schwierig sein Problem ist, fährt mit der Strategie mit dem kleinsten schlechtesten Fall am sichersten.
Wo DoE die Referenz bleibt
Ein Optimum ist noch keine Einreichung. Wenn Sie einen dokumentierten Design Space, Robustheitsnachweise oder ein Modell brauchen, das ein Gutachter lesen kann, bleibt der statistische Versuchsplan das Werkzeug. Bewährt hat sich die Reihenfolge: das Optimum adaptiv finden, dann den Bereich darum mit einem kompakten lokalen Plan bestätigen und abbilden.
Was die Studie nicht zeigt
- Simulierte Kampagnen auf Modellen und öffentlichen Screens, keine Laborstudie.
- Die öffentlichen Screens haben nur kategoriale Faktoren.
- Die Ergebnisse gelten für die getesteten Strategien und Einstellungen. Andere DoE-Pakete, Einstellungen oder adaptive Verfahren können sich anders verhalten.
Die vollständige Studie
Das Whitepaper (24 Seiten, Englisch) enthält die Methodik, jede Zahl mit Konfidenzintervall, einen Abschnitt dazu, wie viele Versuche pro Runde sich lohnen, fünf Fallbeispiele und eine Entscheidungshilfe.
FAQ
Ist OFAT jemals die richtige Wahl?
Auf den öffentlichen Screens lag OFAT gleichauf mit einem Haupteffekt-DoE, und sein schlechtester Fall in der Modellstudie (11,1 Prozentpunkte hinter der besten Strategie) war kleiner als der der DoE-Pläne (19,3). Für schnelle Prüfungen eines einzelnen Faktors um eine bekannte gute Bedingung bleibt es nützlich.
Ab wie vielen Faktoren wird klassisches DoE zu groß?
In unserer Studie lag der Wendepunkt bei etwa 8 Faktoren. Unter 4 gewannen klassische Pläne oder lagen gleichauf. Zwischen 4 und 8 hängt die Antwort von Modell und Budget ab.
Ersetzt adaptive Versuchsplanung DoE für regulatorische Arbeit?
Nein. Für einen Design Space in der Einreichung bleibt der statistische Versuchsplan die Referenz. Adaptive Planung hilft zu finden, wo dieser Plan liegen sollte.