Es gibt keine Zahl, und wer dir eine nennt, ohne deine Daten gesehen zu haben, rät. Was es gibt, ist eine Methode: auf 25 %, 50 % und 100 % dessen trainieren, was du schon hast, den Fehler gegen die Größe des Trainingssatzes auftragen und ablesen, ob die Kurve noch fällt. Eine Kurve, die noch steil fällt, sagt, dass mehr Daten helfen, und etwa wie viel. Eine Kurve, die abgeflacht ist, sagt, dass die Grenze woanders liegt, meist im Label-Rauschen oder in der Darstellung, und mehr Messungen bewegen sie nicht.
Dennoch sind Größenordnungen für die Planung nützlich, und dieser Artikel gibt beides: die Methode und die Bereiche, die typisch gelten.
Die Lernkurve in der Praxis
1. Trenne einen festen Testsatz ab, nach Gerüst, Charge oder Zeit, und lass ihn unangetastet. 2. Trainiere auf zufälligen Teilmengen der übrigen Daten bei 10 %, 25 %, 50 %, 75 % und 100 %, mit mehreren Wiederholungen je Größe. 3. Trage den Testfehler gegen die Trainingsgröße auf, mit der Streuung über die Wiederholungen. 4. Lies die Form.
Drei Formen und was sie bedeuten:
- Noch steil fallend. Mehr Daten sind die günstigste verfügbare Verbesserung. Eine Extrapolation der Kurve gibt eine brauchbare Schätzung, wie viele Messungen wie viel Fehlerreduktion bringen.
- Abflachend. Weitere Messungen derselben Art bringen wenig. Schau auf das Label-Rauschen, darauf, ob die Darstellung das Wesentliche erfasst, oder darauf, ob die Chemie mehrere Regime enthält, die getrennt behandelt werden müssen.
- Fallend, aber stark streuend zwischen Wiederholungen. Der Testsatz ist zu klein, um den Unterschied zu messen. Repariere die Bewertung, bevor du über Datenmenge entscheidest.
Führe das auf den vorhandenen Daten durch, bevor du ein Budget beantragst. Es verwandelt "wir brauchen mehr Daten" in "300 weitere Messungen in diesem Bereich senken den Fehler um etwa 20 %".
Was den Bedarf bestimmt
Vielfalt des Zielraums.
Eine kongenere Serie mit Substituentenvariation ist ein kleines Problem. Vier unverwandte Chemotypen sind vier Probleme, die zufällig eine Datei teilen. Faustregel: Der Bedarf skaliert mit der Zahl der unterschiedlichen Regime, nicht mit der Zahl der Verbindungen.
Label-Rauschen.
Die Fehlergrenze jedes Modells ist die Reproduzierbarkeit der Messung. Weichen Wiederholmessungen um 0,4 log-Einheiten ab, ist ein Modellfehler von 0,4 log-Einheiten perfekte Leistung, und keine Datenmenge verbessert sie. Miss das zuerst; es sagt dir auch, ob das Mitteln von Wiederholungen mehr wert ist als neue Verbindungen.
Signalstärke.
Eine Eigenschaft, die stark und glatt von der Struktur abhängt, etwa eine physikochemische, ist aus einigen Hundert Punkten lernbar. Eine Eigenschaft mit Klippe, bei der ein Substituent alles ändert, braucht die Klippe in den Daten, und das heißt meist deutlich mehr Punkte.
Startpunkt.
Das Fine-Tuning eines auf öffentlichen Daten vortrainierten Modells braucht typisch eine Größenordnung weniger eigene Messungen als ein Training von null, weil die allgemeine Chemie aus dem Vortraining kommt.
Realistische Bereiche
Mit allen Vorbehalten oben entsprechen diese Bereiche dem, was die meisten Projekte finden:
| Situation | Typischer Bedarf |
|---|---|
| Fine-Tuning für eine kongenere Serie, starkes Signal | 100 bis 300 Messungen |
| Fine-Tuning für einen fokussierten hauseigenen Endpunkt über einige verwandte Chemotypen | 300 bis 1.000 |
| Training von null für eine einzelne, klar definierte Eigenschaft | 1.000 bis 10.000 |
| Breites Eigenschaftsmodell über vielfältige Chemie | Zehntausende |
| Klassifikation mit seltenen Positiven | genug, um 50 oder mehr Positive zu haben, was meist die Gesamtzahl bestimmt |
Nimm das als Planungshilfe. Die Lernkurve auf deinen Daten hat Vorrang.
Mehr aus den vorhandenen Daten holen
Vor dem Sammeln neuer Daten helfen oft vier Dinge mehr als neue Messungen:
- Fehlschläge einschließen. Reaktionen, die nicht liefen, Verbindungen ohne Wirkung, Chargen außerhalb der Spezifikation. Ein Datensatz nur aus Erfolgen lehrt ein Modell, dass alles gelingt.
- Rohwert statt Schwelle nutzen. "Über 10 µM" verwirft die Information einer kontinuierlichen Messung. Wo nur geschwellte Daten existieren, nutzt eine zensierte Regression sie besser als eine Klassifikation.
- Wiederholungen richtig mitteln. Wo eine Verbindung mehrfach gemessen wurde, nutze den Mittelwert und halte die Streuung fest. Das senkt das Label-Rauschen ohne neues Experiment.
- Die Aufteilung reparieren. Viele Projekte glauben, mehr Daten zu brauchen, und haben eine undichte Aufteilung: Beinah-Duplikate in Training und Test, was das Modell gut und die nächste Vorhersage schlecht aussehen lässt.
Die nächsten Messungen wählen, nicht einfach mehr davon
Sagt die Lernkurve, dass mehr Daten helfen, zählt, welche Messungen. Zwei Strategien schlagen die Zufallsauswahl:
- Dünne Bereiche füllen. Messe dort, wo die Unsicherheit des Modells am höchsten ist oder dein chemischer Raum dünn ist. Diese Punkte tragen je Experiment die meiste Information.
- In kleinen Zyklen schließen. Einen Satz messen, nachtrainieren, das aktualisierte Modell den nächsten Satz vorschlagen lassen. Fünf Zyklen mit zwanzig Experimenten schlagen meist hundert vorab gewählte, weil jeder Zyklus vom letzten lernt. Das ist derselbe Mechanismus wie eine Versuchsplanungskampagne, angewandt auf ein Modell statt auf eine Response Surface.
Beides setzt voraus, dass die Experimente günstig genug für mehrere Sätze sind. Dauert jede Messung eine Woche, ist die Lernkurve plus ein einmaliger Plan der pragmatische Weg.
Grenzen der Aussage
- Die Extrapolation einer Lernkurve ist eine Extrapolation. Sie ist etwa für den Faktor zwei über deine heutige Datenmenge belastbar, nicht für eine Größenordnung.
- Die Kurve gilt für die gewählte Definition des Testsatzes. Eine andere Aufteilungsregel ergibt eine andere Kurve, weshalb die Aufteilung vor der Übung festgelegt wird.
- Datenmenge heilt kein falsches Ziel. Ist die gemessene Eigenschaft nicht die, auf die es bei der Entscheidung ankommt, macht ein größerer Datensatz ein zuversichtlicheres irrelevantes Modell.
- Nichts davon klärt, ob du die Daten nutzen darfst. Eigentum, Vertraulichkeit und Einwilligung bei Kunden- oder Partnerdaten sind eigene Fragen mit eigenen Antworten.
Häufige Fragen
Wie viele Verbindungen braucht ein QSAR-Modell?
Eine einzelne Zahl gibt es nicht. Für Fine-Tuning innerhalb einer kongeneren Serie mit starker Struktur-Eigenschafts-Beziehung können 100 bis 300 Messungen reichen; ein breites Modell von null braucht typisch Tausende. Die Lernkurve auf deinen Daten gibt die Antwort für deinen Fall.
Was ist hier eine Lernkurve?
Eine Auftragung des Modellfehlers auf einem festen Testsatz gegen die Größe des Trainingssatzes. Ihre Form sagt, ob mehr Daten derselben Art den Fehler senken, und etwa um wie viel.
Warum setzt die Assay-Streuung eine Grenze?
Weil das Modell an die gemessenen Labels angepasst wird. Weicht dieselbe Probe bei zwei Messungen um 0,4 Einheiten ab, kann das Modell nicht genauer sein, und ein berichteter Fehler in dieser Höhe liegt schon an der Obergrenze.
Mehr Verbindungen messen oder mehr Wiederholungen?
Das hängt daran, woher der Fehler kommt. Hohes Label-Rauschen spricht für Wiederholungen, die den Rauschboden senken; ein dünner oder lückenhafter chemischer Raum spricht für neue Verbindungen. Der Vergleich von Lernkurve und Wiederholstreuung zeigt, was gilt.
Senkt Active Learning den Datenbedarf?
Oft deutlich, weil das Modell die Messungen vorschlägt, die am meisten Information tragen. Es verlangt Experimente, die in mehreren kleinen Sätzen statt alle auf einmal laufen können.