Ein Reaktorblock fährt 24 Versuche gleichzeitig, eine Nachtschicht eine ganze Platte. Naheliegend ist, jede Runde voll zu machen. Jede Runde ist aber auch der Moment, in dem Ergebnisse zurückkommen und die nächsten Versuche gewählt werden. Weniger Runden sparen Kalenderzeit, größere Runden geben der Planung weniger Gelegenheiten zu lernen. Wir haben gemessen, wo das Gleichgewicht liegt.
Zwei Simulationen, eine Frage
Studie 1, Reaktionsmodell.
540 simulierte Kampagnen auf einem Reaktionsmodell mit 4, 8 und 12 Faktoren. Ein Startplan, dann Runden von 1, 2, 4, 8, 12 oder 24 Versuchen, bis 96 Versuche verbraucht waren. 30 gepaarte Instanzen je Einstellung.
Studie 2, öffentliche Screens.
1.350 simulierte Kampagnen auf drei veröffentlichten Reaktionsscreens, in denen jede Bedingung gemessen wurde. Budget 60 Versuche: 5, 10 oder 20 zufällige Startversuche, dann Runden von 5, 10 oder 20.
Pro Versuch sind kleine und mittlere Runden fast gleich
Nach 96 Versuchen änderte sich die Endqualität um 0,1 Prozentpunkte bei 4 Faktoren, gar nicht bei 8 und um 1,1 bei 12, wenn acht statt einem Versuch pro Runde geplant wurden. Versuche einzeln nacheinander zu planen, ist die Kalenderzeit nicht wert.
Pro Runde ist größer schneller
Mit 8 Faktoren brauchte es bis 90 % der besten Ausbeute:
| Versuche pro Runde | Runden | Versuche |
|---|---|---|
| 1 | 28 | 38 |
| 4 | 6 | 34 |
| 8 | 4 | 40 |
| 24 | 2 | 38 |
Dasselbe Ziel, 4 statt 28 Runden, für zwei Versuche mehr.
Es gibt eine Obergrenze
Sehr große Runden kosten Qualität. Nach 48 Versuchen lagen Runden von 24 bei 4 Faktoren 3,2 Prozentpunkte hinter Runden von vier, bei 12 Faktoren 2,2. Runden von 24 erreichten bei jeder Faktorzahl die niedrigste Endqualität.
Die öffentlichen Screens zeigen dasselbe. Bei 60 Versuchen fanden 10 Startversuche mit anschließenden Fünferrunden im Mittel 4,7 Top-1-%-Bedingungen. Derselbe Start mit Zwanzigerrunden fand 3,1, und Zwanzigerrunden lagen bei jeder Startgröße auf jedem Screen hinten. Zufallsauswahl fand 0,6.
Was wir empfehlen
- Material für eine Platte: nicht in ein oder zwei großen Runden verbrauchen. Ein raumfüllender Start, dann Runden von 8 bis 12 Wells.
- Platten sind günstig, Zeit ist knapp: volle Runden von 24 sind vertretbar. Sie kosten 1 bis 3 Prozentpunkte, erreichen 90 % aber in 2 Runden.
- Große kategoriale Screens: etwa 10 Startversuche, dann Fünferrunden.
Was die Studie nicht zeigt
Simulierte Kampagnen auf einem Modell und auf öffentlichen Screens mit kategorialen Faktoren. Echte Runden haben zusätzlich Wartezeiten in der Analytik und Materialgrenzen, die die Simulation nicht abbildet.
Die vollständige Studie
Das Whitepaper (24 Seiten, Englisch) ordnet das ein: wann klassisches DoE gewinnt, wann ein adaptives Vorgehen weniger Versuche braucht, Fallbeispiele und eine Entscheidungshilfe.
FAQ
Warum verlieren große Runden Qualität?
Jede Runde ist eine Gelegenheit, aus allen bisherigen Ergebnissen neu zu planen. Bei festem Budget geben Runden von 20 oder 24 der Planung nur zwei oder drei solche Gelegenheiten.
Wie viele Startversuche sollte ich planen?
Auf den öffentlichen Screens war die stärkste Kombination etwa 10 zufällige Startversuche, dann Fünferrunden. Mit 20 Startversuchen sind die ersten 20 Versuche nicht besser als Zufall.
Gilt das auch für klassisches DoE?
Ein klassischer Plan wird in einem Block geplant, die Rundengröße spielt dort so nicht. Die Ergebnisse hier gelten für adaptive Kampagnen, in denen jede Runde aus den Ergebnissen davor geplant wird.