Applicability Domain in QSAR: Wenn ein Modell 'Ich weiß es nicht' sagt
Was die Applicability Domain in QSAR ist, wie Tanimoto-, Feature-Range- und Leverage-Methoden sie definieren, und wie CovaTox Out-of-Domain-Vorhersagen abstuft.
Oliver Kraft
CovaSyn
Jedes QSAR-Modell liefert für jedes eingespeiste Molekül eine Zahl. Das ist das Problem. Ein an 1,000 zugelassenen Wirkstoffen trainiertes Modell gibt trotzdem eine überzeugend wirkende Wahrscheinlichkeit für ein Peptid-Makrozyklus, einen borhaltigen Warhead oder ein perfluoriertes Tensid aus, dem es nie zuvor auch nur ähnlich begegnet ist. Die Applicability Domain ist der Mechanismus, der zeigt, welche dieser Zahlen tatsächlich handlungsrelevant sind.
Was die Applicability Domain tatsächlich ist
Die Applicability Domain (AD) ist der Bereich des chemischen Raums, in dem die Fehlerabschätzung eines Modells noch durch Evidenz gestützt ist. Sie ist OECD-Validierungsprinzip 3 für QSAR-Modelle, neben einem definierten Endpunkt, einem eindeutigen Algorithmus, Goodness-of-Fit-Maßen und einer mechanistischen Interpretation. Ohne AD-Aussage ist ein QSAR-Ergebnis keine validierte Vorhersage. Es ist eine Extrapolation mit Nachkommastelle.
Praktisch beantwortet die AD eine Frage: Wie viel vom Trainingssatz liegt in der Nähe dieses Moleküls? Lautet die Antwort "nichts in Reichweite", interpoliert das Modell zwischen Punkten, die nicht existieren, und die aus einer Benchmark-Tabelle abgelesene Holdout-Genauigkeit überträgt sich nicht.
Die drei AD-Methoden, denen man tatsächlich begegnet
Die meisten produktiven Systeme kombinieren zwei oder drei davon. Sie versagen auf unterschiedliche Weise, weshalb sich die Kombination lohnt.
| Methode | Was sie misst | Versagt bei |
|---|---|---|
| Nächste-Nachbarn-Ähnlichkeit (Tanimoto auf Fingerprints) | Strukturelle Distanz zur nächsten Trainingsverbindung | Ähnliche Struktur, anderer Wirkmechanismus (Activity Cliffs) |
| Feature Range / Bounding Box | Ob jeder Deskriptor innerhalb des Trainings-Min-Max liegt | Jeder Deskriptor liegt einzeln im Bereich, aber die Kombination ist neu |
| Leverage (Williams-Plot, Hat-Matrix) | Distanz vom Deskriptorraum-Zentroid, relativ zu einem h*-Cutoff | Setzt ein lineares Modell voraus; irreführend bei Baum-Ensembles |
CovaTox nutzt die ersten beiden und berichtet sie getrennt, sodass sichtbar ist, welches Gate versagt hat. covatox_check_domain liefert nearest_similarity (Tanimoto gegen den Trainingssatz des Endpunkts, Schwelle 0.3), feature_coverage (Anteil der Deskriptoren innerhalb des Trainingsbereichs) und die beiden Booleans tanimoto_ok und coverage_ok. Beide müssen bestehen, damit in_domain: true gilt.
Worked Example: dasselbe Molekül, drei Urteile
Nehmen wir einen repräsentativen EGFR-Inhibitor aus der Klasse zugelassener Wirkstoffe (Gefitinib, SMILES COc1cc2ncnc(Nc3ccc(F)c(Cl)c3)c2cc1OCCCN1CCOCC1). Das ist keine neuartige Verbindung, sondern eine gut charakterisierte Referenz. Unten stehen wörtliche covatox_check_domain-Ausgaben vom Live-Gateway, Lauf 2026-07-25.
| Endpunkt | in_domain | nearest_similarity | feature_coverage | confidence_modifier |
|---|---|---|---|---|
| Tox21 NR-AR | true | 1.00 | 0.9635 | 0.9816 |
| hERG | true | 0.75 | 0.9650 | 0.8508 |
| DILI | false | 0.00 | 0.9808 | 0.1000 |
Dasselbe Molekül, drei unterschiedliche Antworten. Das Tox21-NR-AR-Ergebnis liegt bei 1.00, weil Gefitinib buchstäblich in der Tox21-Screening-Bibliothek enthalten ist, der nächste Nachbar also es selbst ist. hERG liegt bei 0.75, komfortabel innerhalb eines großen, chemisch diversen Trainingssatzes. DILI liefert 0.00 Ähnlichkeit, sodass das Tanimoto-Gate versagt, obwohl 98 Prozent seiner Deskriptoren im Bereich liegen. Das ist der Bounding-Box-Fehlerfall aus der Tabelle oben, erfasst von der zweiten Methode.
Was die Plattform mit diesem Urteil macht
CovaTox hängt jeder Vorhersage eine Launch-Stufe an:
- production – das Modell erreicht sein kalibriertes Benchmark-Ziel, mit konformen Intervallen und kalibrierter AD.
- gated – nutzbar, aber mit dokumentierter Einschränkung.
- experimental – zur Referenz gezeigt, nicht als verlässlich zu behandeln.
Die Eskalationsregel ist bewusst kompromisslos: `in_domain: false` stuft jede Vorhersage auf experimental herab, unabhängig von der Headline-Genauigkeit des Endpunkts. Ein Modell behält sein Production-Abzeichen nicht an einem Molekül, das es nie gesehen hat.
So sieht das an derselben Verbindung aus, aus covatox_predict_endpoint:
hERG (in domain):
``
probability: 0.15, predicted_class: 0, decision_threshold: 0.20
confidence: 0.5956, risk_level: medium, launch_tier: production
conformal: prediction_set [0], set_size 1, coverage_level 0.90
``
DILI (out of domain):
``
probability: 0.90, predicted_class: 1, decision_threshold: 0.50
confidence: 0.08, risk_level: uncertain, launch_tier: experimental
conformal: prediction_set [1], set_size 1, coverage_level 0.90
``
Bemerkenswert ist, was *nicht* passiert. Die DILI-Wahrscheinlichkeit bleibt 0.90. Sie wird nicht versteckt oder weggerundet. Was sich ändert, ist die Konfidenz, die über den confidence_modifier von 0.1 von 0.5956 auf 0.08 fällt, die Risikostufe, die von "high" zu "uncertain" wird, und die Stufe. Ein 0.90-Out-of-Domain-DILI-Flag ist ein Grund, die Verbindung mit einem Toxikologen anzusehen. Es ist kein Grund, die Serie zu beenden.
Conformal Prediction: die andere Hälfte der Antwort
Ähnlichkeit zeigt, ob das Modell diese Nachbarschaft gesehen hat. Conformal Prediction zeigt, wie breit die Antwort sein muss, um eine Coverage-Garantie zu halten. CovaTox liefert ein prediction_set bei einem angegebenen coverage_level (0.90 oben). Das relevante Signal ist die Set-Größe:
set_size: 1– eine Klasse übersteht 90 Prozent Coverage. Das Modell entscheidet sich.set_size: 2– beide Klassen überstehen. Das Modell kann sie bei diesem Coverage-Level nicht trennen. Das ist das ehrliche "ich weiß es nicht" – ein anderer Fehlerfall als out of domain.
Ein Molekül kann in-domain mit einem Zwei-Klassen-Set sein (das Modell hat diese Chemie gesehen, und sie ist tatsächlich ambivalent) oder out-of-domain mit einem Ein-Klassen-Set (eine überzeugend wirkende Antwort ohne evidenzielle Stütze). Beide Felder lesen. Sie sind nicht redundant.
Warum Headline-Genauigkeit das nicht klärt
Der CovaTox-Scaffold-Split-Holdout gibt hERG ein AUC von 0.856 bei n_test = 7,500 und DILI ein AUC von 0.909 bei n_test = 72. Die DILI-Zahl ist höher. Sie ist zugleich die deutlich schwächere Aussage: 72 Testverbindungen, und ein Trainingssatz eng genug, dass ein zugelassener EGFR-Inhibitor außerhalb davon fällt. Jedes ohne Testsatzgröße und Split-Typ zitierte AUC ist Dekoration.
Wir berichten Scaffold-Split-Zahlen als Headline, weil zufällige Splits leaken. Die Lücke ist in unseren eigenen Daten sichtbar: Tox21 NR-AR liegt bei 0.830 Scaffold gegenüber 0.934 zufällig bei n_test = 1,453. Gleiches Modell, gleicher Endpunkt. Die 0.934 ergibt sich, wenn Analoga der Testverbindungen im Trainingssatz sitzen. Die AD-Prüfung zeigt, in welchem der beiden Regime sich die konkrete Anfrage befindet.
Ehrliche Grenzen
Was die Applicability Domain nicht sagt:
- Sie validiert die Vorhersage nicht. In-domain bedeutet, das Modell hat hier Evidenz. Es bedeutet nicht, dass das Modell recht hat. hERG bei 0.856 Scaffold-AUC klassifiziert auch innerhalb seiner Domain noch Verbindungen falsch.
- Ähnlichkeit ist kein Mechanismus. Zwei Verbindungen bei Tanimoto 0.9 können auf entgegengesetzten Seiten eines Activity Cliffs sitzen. Fingerprint-Ähnlichkeit ist ein Proxy für mechanistische Relevanz, kein Ersatz.
- Schwellenwerte sind Konventionen. Der Tanimoto-Cutoff von 0.3 ist ein vertretbarer Standard, kein Naturgesetz. Für regulatorisch relevante Arbeit enger fassen.
- Die Abdeckung des AD-Referenzsatzes zählt. Manche CovaTox-Endpunkte liefern einen vollständigen Ähnlichkeits-Referenzsatz, andere nicht, und wo er fehlt, schließt das Gate im Zweifel gegen out-of-domain. Das ist Absicht. Ein fehlender Referenzsatz darf niemals als "in domain" gelesen werden.
- Nichts davon ist eine regulatorische Einreichung. CovaTox ist Triage und Entscheidungsunterstützung. Eine ICH-M7- oder ICH-S-Serie-Einreichung braucht validierte Assays und fachliche Prüfung.
Häufige Fragen
Was ist die Applicability Domain in QSAR?
Die Applicability Domain ist der Bereich des chemischen Raums, in dem die Vorhersagen eines QSAR-Modells durch seine Trainingsdaten gestützt sind. Sie ist OECD-Validierungsprinzip 3 für QSAR-Modelle. Außerhalb dieses Bereichs extrapoliert das Modell, und seine berichtete Genauigkeit gilt nicht mehr. Eine Vorhersage ohne Applicability-Domain-Aussage ist kein validiertes Ergebnis, und die meisten regulatorischen Prüfer werden sie so behandeln.
Wie wird die Applicability Domain berechnet?
Drei Methoden dominieren. Nächste-Nachbarn-Ähnlichkeit misst die Tanimoto-Distanz von der Anfrage zur nächsten Trainingsverbindung. Feature Range prüft, ob jeder Deskriptor innerhalb von Trainingsminimum und -maximum liegt. Leverage misst die Distanz vom Deskriptorraum-Zentroid gegen einen h*-Cutoff. CovaTox kombiniert Tanimoto (Schwelle 0.3) mit Feature Coverage und verlangt, dass beide bestehen, bevor eine Verbindung als in-domain markiert wird.
Was passiert, wenn eine Vorhersage out of domain ist?
In CovaTox stuft in_domain: false die Vorhersage automatisch auf die Launch-Stufe experimental herab, wendet einen Confidence-Modifier von 0.1 an und setzt die Risikostufe auf "uncertain". Die Wahrscheinlichkeit wird weiterhin zurückgegeben. Für den EGFR-Inhibitor Gefitinib kam die DILI-Vorhersage von 0.90 mit Konfidenz 0.08 und Stufe experimental zurück, weil die nächste-Nachbarn-Tanimoto zum DILI-Trainingssatz 0.00 betrug.
Wie unterscheidet sich Conformal Prediction von einer Applicability-Domain-Prüfung?
Sie beantworten unterschiedliche Fragen. Die Applicability Domain fragt, ob das Modell diese Chemie gesehen hat. Conformal Prediction fragt, wie breit die Antwort sein muss, um eine angegebene Coverage-Garantie zu halten, typischerweise 90 Prozent. Ein Prediction Set mit beiden Klassen bedeutet, das Modell kann sie nicht trennen, selbst in vertrauter Chemie. Beide Felder lesen: Eine Verbindung kann in-domain und ambivalent sein, oder out-of-domain und fälschlich entschieden wirken.
Kann ein hoher AUC-Wert als Beweis genutzt werden, dass ein Modell bei meinen Verbindungen funktioniert?
Nein. AUC wird an einem spezifischen Testsatz mit einem spezifischen Split gemessen. CovaTox berichtet DILI mit 0.909 AUC bei nur 72 Testverbindungen und hERG mit 0.856 bei 7,500. Die größere, niedrigere Zahl ist die stärkere Aussage. Immer nach Testsatzgröße fragen und ob der Split scaffold-basiert oder zufällig war. Zufällige Splits blähen Scores auf, indem Analoga ins Training leaken.
Was ist ein angemessener Tanimoto-Schwellenwert für die Applicability Domain?
0.3 auf Morgan-artigen Fingerprints ist ein gängiger Arbeitsstandard und wird von CovaTox verwendet. Es ist eine Konvention, keine physikalische Konstante. Für regulatorisch relevante oder sicherheitskritische Entscheidungen höher setzen und zusätzlich eine engere Feature-Coverage-Grenze verlangen. Den verwendeten Schwellenwert bei jeder Vorhersage angeben, denn dasselbe Molekül wechselt den Domain-Status, wenn der Cutoff sich verschiebt.
Weiterführende Artikel
- ICH-M7-Klassifikation: Klasse 1 bis 5 mit durchgerechneten Beispielen
- Nitrosamin-Risikobewertung: ein ICH-M7-Workflow
- Wie genau ist ein Löslichkeitsvorhersagemodell wirklich?
- Generatives Moleküldesign mit einem ADMET-Filter
Testen Sie covatox_check_domain an Ihrer eigenen Serie im kostenlosen Tarif und sehen Sie, zu welchen Ihrer Verbindungen die Modelle tatsächlich eine Meinung haben dürfen.
- Tool Calling vs. Fine-Tuning für wissenschaftliche KI
Tools für dieses Thema
Direkt im AI-Agenten nutzen.
- CovatoxICH M7, Tox21, CYP450, Strukturalerts, ADMET-Triage.