Genauigkeit von Löslichkeits-Vorhersagemodellen: Richtig lesen

Jedes Löslichkeitsmodell kommt mit einem R2. Fast keines sagt Ihnen, welcher Split diese Zahl erzeugt hat, welche Größe vorhergesagt wurde oder wie viele Verbindungen im Testset waren. Diese drei Details entscheiden, ob die Zahl für Ihre Verbindungen überhaupt etwas bedeutet.

So bewerten wir CovaSolv, das sind die Zahlen, und hier hören sie auf, nützlich zu sein.

Die eine Frage, die alles entscheidet: welcher Split?

Die Kennzahl zur Modellgenauigkeit ist vor allem eine Aussage darüber, wie das Testset aufgebaut wurde.

Für CovaSolv liegt die zur Trainingszeit registrierte Kennzahl des produktiven Ensembles (ensemble_v7) bei R2 0.90 / RMSE 0.46 log. Reproduziert man den eigenen zurückgehaltenen Scaffold-Split dieses Modells deterministisch und sagt ihn erneut vorher, ergibt sich ein R2 von etwa 0.92 bei RMSE von etwa 0.64 log über rund 5,315 Zeilen mit neuen Scaffolds. Unterschiedliche Ausschnitte, kein Widerspruch - aber der Punkt bleibt: Eine Zahl ohne ihren Split ist nicht interpretierbar.

Für das produktive Modell veröffentlichen wir keine Random-Split-Zahl. Würde man ensemble_v7 auf einem Random-Split bewerten, lägen dessen eigene Trainingszeilen im Testset. Das ist Auswendiglernen, keine Genauigkeit.

Die Zahlen

Produktives Modell ensemble_v7, zurückgehaltener Scaffold-Test, wässrige Teilmenge, n = 4,193. Einheiten sind log S in mol/L. Trainingsdaten: BigSolDBv2.0 (CC-BY 4.0) und OChem.

Zwei Vorbehalte gehören direkt neben diese Tabelle.

Erstens: Das sind unterschiedliche Testsets. Die ESOL-Zahlen sind jene aus der Originalpublikation (Delaney, *J. Chem. Inf. Model.* 2004, 44, 1000, Blindtest mit 528 Verbindungen). Wir haben ESOL nicht mit unseren Daten neu berechnet. Bei einem OChem-lastigen Set aus größeren, moderneren Molekülen liegt die ESOL-Gleichung weit außerhalb der Chemie, für die sie gefittet wurde, und ein erneuter Lauf dort würde eine unfair schlechte Zahl liefern. Das ist also Literaturkontext, kein direkter Vergleich auf demselben Testset. Verstehen Sie es als "hier ist der klassische Referenzpunkt", nicht als "wir schlagen ihn um X".

Zweitens: RMSE 0.689 log ist die reale Fehlerspanne. MAE 0.402 liegt niedriger, weil die Fehlerverteilung einen Ausläufer hat: Die meisten Vorhersagen sind eng, eine Minderheit liegt deutlich daneben. MAE zeigt den typischen Fehler, RMSE zeigt, was der Ausläufer anrichtet. In der Praxis liegen 76.4% der zurückgehaltenen Vorhersagen innerhalb 0.5 log des gemessenen Werts - grob ein Faktor drei in der Konzentration. Das ist ein Triage-Instrument, kein analytisches Ergebnis.

Ein durchgerechnetes Beispiel, und was das Konfidenzintervall nicht ist

Ein Live-Aufruf von covasolve_predict für Aspirin in Wasser bei 298.15 K, ausgeführt am 2026-07-25:

log S       = -1.536 mol/L
s_mg_ml     = 5.24
95% CI      = [-1.539, -1.533]
confidence  = 0.9998
applicability_domain = true

Der gemessene Wert in unserem Validierungsset liegt bei -1.72 log. Diese Vorhersage weicht also um rund 0.18 log ab, was klar innerhalb des typischen Modellfehlers liegt.

Betrachten Sie nun das 95%-Intervall: Es ist 0.005 log-Einheiten breit. Das ist keine Aussage, dass der wahre Wert innerhalb von 0.005 log um -1.536 liegt. Es ist die Streuung der Ensemble-Mitglieder - ein Maß dafür, wie stark die einzelnen Modelle untereinander übereinstimmen, nicht dafür, wie weit sie gemeinsam von der Realität entfernt sind. Übereinstimmung im Ensemble ist keine Genauigkeit. Wenn Sie eine realistische Fehlerspanne für eine einzelne Vorhersage benötigen, verwenden Sie die zurückgehaltene RMSE von 0.689 log, nicht das Ensemble-KI.

Ehrlich festgehalten: Das archivierte Benchmark-Asset für ensemble_v7 verzeichnet Aspirin bei -1.61 log, während das Live-Gateway heute -1.536 zurückgab. Serving-Pfade und Modellversionen driften. Wenn eine Zahl für eine Entscheidung relevant ist, halten Sie den Lauf und dessen Zeitstempel fest - covasolve_predict liefert genau deshalb einen Audit-Block mit kanonischem SMILES, Temperatur und Zeitstempel.

Zum Vergleich hier dasselbe feste Validierungspanel mit neun Verbindungen (absoluter Fehler in log-Einheiten):

• Aspirin 0.11, Paracetamol 0.11, Benzoesäure 0.23, Lidocain 0.24
• Ibuprofen 0.32, Koffein 0.38, Carbamazepin 0.49
• Salicylsäure 0.57, Naproxen 0.67

Neun Verbindungen sind viel zu wenig, um ein Benchmark zu sein. Es ist ein Plausibilitätspanel und wird hier auch als solches gezeigt - die belastbare Zahl bleibt der oben genannte Scaffold-Holdout mit n = 4,193.

Apparente Löslichkeit ist nicht intrinsische Löslichkeit

Das ist die Unterscheidung, die beim Vergleich von logS-Modellen die meiste Verwirrung stiftet, und es ist ein Definitionsproblem, kein Modellierungsproblem.

CovaSolv sagt die apparente Löslichkeit vorher: die Größe, die in BigSolDB und OChem vorliegt, gemessen bei welchem pH-Wert, Puffer und welcher Salzform auch immer das Ursprungsexperiment verwendet hat. Es sagt nicht die intrinsische Löslichkeit S0 vorher, die Löslichkeit der neutralen Spezies.

Bei ionisierbaren Verbindungen unterscheiden sich beide Größen um 1 bis 3 log-Einheiten. Bei neutralen Molekülen ist das unkritisch: Paracetamol wurde mit -1.14 vorhergesagt gegenüber einem intrinsischen Wert von -1.03. Säuren und Basen sind es nicht.

Wir haben die Konsequenz gemessen. Auf dem öffentlichen 2008 Solubility Challenge-Set - das intrinsisches logS0 berichtet - erreichte CovaSolv eine RMSE von etwa 2.0 log selbst bei Verbindungen, die in den Trainingsdaten enthalten waren. So sieht eine Einheiten-Fehlanpassung aus. Das ist kein Beleg dafür, dass das Modell defekt ist; es ist ein Beleg dafür, dass man ein Modell für apparente Löslichkeit nicht mit einem Benchmark für intrinsische Löslichkeit vergleichen und daraus etwas lernen kann.

Zwei praktische Konsequenzen:

1. Wenn Sie für eine Präformulierungsentscheidung bei einer ionisierbaren Verbindung intrinsisches S0 benötigen, lesen Sie die apparente Vorhersage nicht als S0. Nutzen Sie den pH-sensitiven Pfad (covasolve_ph_predict, covasolve_ph_curve) mit einem gemessenen oder vorhergesagten pKa, und machen Sie explizit, welche Größe Sie zitieren. 2. Seien Sie skeptisch bei jedem publizierten Solubility-Challenge-Score, der nicht angibt, ob die Benchmark-Verbindungen vom Training ausgeschlossen wurden. In unseren eigenen Daten tauchen rund 82% der Verbindungen der 2008 Challenge bereits in BigSolDB oder OChem auf. Ein Modell, das 82% des Blindtests bereits gesehen hat, wird nicht blind getestet.

Applicability Domain: das Flag, das entscheidet, ob man der Zahl vertraut

Genauigkeitsstatistiken beschreiben das Testset. Sie beschreiben nicht Ihr Molekül.

Jede Rückgabe von covasolve_predict enthält ein applicability_domain-Boolean. Ist es false, liegt die Verbindung außerhalb des Feature-Raums, auf den das Modell gefittet wurde, und die ausgewiesene RMSE gilt schlicht nicht für sie - die Vorhersage ist dann bestenfalls richtungsweisend. In den Lösungsmittel-Rankings, die wir für moderne Onkologie-Verbindungen erzeugen, werden Out-of-Domain-Lösungsmittel explizit markiert und nie zur Untermauerung einer Kernaussage herangezogen.

Bei schwieriger Chemie werden Vorhersageintervalle breiter. Bei aktuellen Wirkstoffmolekülen meldet das Modell 90%-Intervalle von [-3.4, -3.0] für Osimertinib und [-3.3, -3.2] für Exatecan, aber [-3.5, -1.4] für Deruxtecan - eine Spanne von zwei log-Einheiten bei einem großen, flexiblen ADC-Payload-Konjugat. Dieses breite Intervall ist das Modell, das seine Aufgabe erfüllt. Lesen Sie es, mitteln Sie es nicht weg.

Was diese Zahlen nicht zeigen

• Nichts zur Festkörperform. Die Trainingsdaten mischen Polymorphe, Hydrate und amorphes Material. Ein Polymorphwechsel kann die Löslichkeit um eine log-Einheit verschieben, ohne dass das Modell es kommen sieht.
• Nichts zur Kinetik. Gleichgewichtslöslichkeit ist keine Auflösungsrate. Eine Verbindung kann ausreichend löslich sein und trotzdem eine Freisetzungsspezifikation verfehlen.
• Nichts zu Ihrer Formulierung. Hilfsstoffe, Tenside, Cosolvens-Systeme oberhalb moderater Anteile und Komplexbildung liegen außerhalb des Anwendungsbereichs.
• Nichts Regulatorisches. Das sind Entscheidungsunterstützungs- und Triage-Zahlen, um einen Versuchsplan einzugrenzen. Sie ersetzen keine validierte Löslichkeitsmethode und gehen nicht unverändert in eine Zulassungsunterlage ein.
• Nichts zum Fehler einer einzelnen Verbindung. 76.4% innerhalb 0.5 log ist eine Populationsstatistik. Sie sagt nichts über das nächste Molekül aus, das Sie eingeben.

Häufige Fragen

Weiterführende Artikel

• Wie man ein Applicability-Domain-Flag liest
• Ein Kristallisationslösungsmittel mit vorhergesagter Löslichkeit wählen
• pH-Löslichkeitsprofile für ionisierbare Wirkstoffe

Testen Sie covasolve_predict für Ihre eigenen Verbindungen kostenlos, und prüfen Sie das Applicability-Domain-Flag, bevor Sie der Zahl vertrauen.