Tool Calling vs. Fine-Tuning für wissenschaftliche KI

Sie haben ein LLM, einen Berg interner Assay-Daten und den Auftrag aus dem Management, "die KI soll unsere Chemie verstehen". Aus diesem Meeting führen zwei Wege: das Sprachmodell auf Ihren Daten fine-tunen, oder das Sprachmodell als Schnittstelle behalten und ein zweckgebundenes wissenschaftliches Modell aufrufen lassen. Die Wahl wirkt wie eine Modellierungsentscheidung. Tatsächlich ist es eine Entscheidung über Determinismus, Audit und das, was bei Verbindungen passiert, die man noch nie gesehen hat.

So denken wir darüber, mit den Zahlen, die wir belegen können.

Die zwei Architekturen, klar benannt

Beide können die Frage "wie löslich ist Aspirin in Wasser" beantworten. Nur eines von beiden kann Ihnen sagen, dass die Antwort morgen dieselbe ist.

Determinismus: die Eigenschaft, nach der niemand fragt, bis das Audit kommt

Wir haben covasolve_predict zweimal für Aspirin (CC(=O)Oc1ccccc1C(=O)O) in Wasser bei 298.15 K aufgerufen, unmittelbar hintereinander, live:

call 1: log_s_mol_l = -1.5360633667079602   confidence 0.9997810146692852
call 2: log_s_mol_l = -1.5360633667079602   confidence 0.9997810146692852

Identisch bis zur letzten Ziffer. Das 95%-Konfidenzintervall kam beide Male als [-1.5386, -1.5335] zurück, und das einzige Feld, das sich zwischen den beiden Rückgaben änderte, war der Audit-Zeitstempel. Das ist kein nettes Extra. Es bedeutet, dass eine in einem Entwicklungsbericht zitierte Vorhersage von jemand anderem, an einem anderen Tag, reproduziert und verteidigt werden kann.

Ein gesampeltes LLM liefert das nicht. Sie können die Temperatur auf null setzen und trotzdem Drift über Modellversionen, Prompt-Formatierung und Serving-Stacks hinweg sehen. Wenn die Zahl in den Gewichten lebt, können Sie sie nicht fixieren, ohne das gesamte Modell zu fixieren, und Sie können einem Prüfer nicht erklären, warum sie sich verschoben hat.

Genauigkeit: gemessen auf einem Split, den man benennen kann

Ein zweckgebundenes Modell kann gebenchmarkt werden. Genau das ist der Punkt.

CovaSolv (produktives ensemble_v7) auf dem eigenen zurückgehaltenen Scaffold-Split, wässrige Teilmenge, n_test = 4,193 Zeilen mit molekularen Kernen, die im Training fehlten:

Vorbehalte, einmal genannt und ernst gemeint: Das sind unterschiedliche Testsets. Die ESOL-Zahlen sind jene aus der Originalpublikation (Delaney, *J. Chem. Inf. Model.* 2004, 44, 1000), kein erneuter Lauf mit unseren Daten. Und CovaSolv sagt apparente wässrige Löslichkeit vorher, die Größe in seinen BigSolDB-/OChem-Trainingsdaten, nicht intrinsisches S0 der neutralen Spezies. Bei ionisierbaren Wirkstoffen unterscheiden sich beide um 1 bis 3 log-Einheiten.

Der Punkt für diesen Artikel ist enger gefasst: Diese Tabelle existiert, und der Split, der sie erzeugt hat, ist benannt. Sie können die entsprechende Tabelle für ein fine-getuntes LLM nicht ohne denselben Aufwand schreiben, und leisten Sie diesen Aufwand, haben Sie ohnehin ein gebenchmarktes Eigenschaftsmodell gebaut.

Die ehrliche Version eines direkten Vergleichs

CovaTox veröffentlicht einen Vergleich auf demselben Split gegen das TDC-ADMET-Leaderboard. Die Methodik zählt mehr als die Zahlen: Für jeden gemappten Datensatz trainieren wir die Standard-CovaTox-Pipeline (Mordred- + ToxPrint-Features, Optuna-getuntes XGBoost/LightGBM) neu, nur auf TDCs offiziellem Train-Split, 5 Seeds, und bewerten mit TDCs eigenem Evaluator. Die produktiven Modelle wurden auf den vollständigen Datensätzen trainiert, deren Zeilen sich mit TDCs Testset überschneiden, daher wäre deren Verwendung hier Leakage.

Ausgewählte Ergebnisse (Protokoll-Lauf 2026-05-23, 5 Seeds; Leaderboard #1 abgerufen 2026-05-23):

Wir liegen bei jedem einzelnen davon hinter Leaderboard #1. Wir veröffentlichen es trotzdem, weil das die Zahl ist, die ein Same-Split-Protokoll liefert, und weil sie zeigt, was der Abstand tatsächlich ist: ein paar Punkte AUROC, kein kategorialer Unterschied. Referenz: Huang et al., *Nat Chem Biol* 18, 1033 (2022) plus das Live-TDC-ADMET-Leaderboard.

Beachten Sie, was Sie mit dieser Tabelle tun können, was mit einem Chat-Transkript nicht geht. Sie sehen die Testset-Größe. Sie sehen die Streuung von Seed zu Seed. Sie können sie erneut laufen lassen.

Applicability Domain: die Antwort, die ein fine-getuntes Modell nicht gibt

Ein LLM beantwortet jede Frage, die Sie stellen, auch zu einem Scaffold, dem nichts in seinen Trainingsdaten ähnelt. Es hat keinen Mechanismus, um abzulehnen. Ein Eigenschaftsmodell hat einen.

Live-Aufrufe von covatox_check_domain gegen den Ames-Endpunkt:

• p-Toluidin (Cc1ccc(N)cc1): in_domain: true, tanimoto_ok: true, feature_coverage: 0.9327, confidence_modifier: 0.9658. Ein klassisches aromatisches Amin, gut innerhalb der Trainingschemie.
• Aspirin (CC(=O)Oc1ccccc1C(=O)O): in_domain: false, tanimoto_ok: false gegen einen Tanimoto-Schwellenwert von 0.3, feature_coverage: 0.9814, confidence_modifier: 0.1.

Das zweite Ergebnis ist das interessante. Aspirins Deskriptoren liegen innerhalb der Trainingsbereiche (Coverage 0.98), aber die Nächste-Nachbar-Prüfung fand nichts hinreichend Ähnliches im Ames-Referenzset, sodass das Tool seine eigene Konfidenz herabstuft, statt unbeirrt zu antworten. In CovaTox wird eine Out-of-Domain-Vorhersage zusätzlich auf die Stufe experimental herabgesetzt, und das Risikolevel wird auf uncertain gesetzt. Das ist ein Fail-Loud-Design. Lesen Sie nearest_similarity als "kein naher Nachbar im Referenzset", nicht als chemische Aussage über das Molekül.

Kosten, Latenz und das Praktische

• Kosten pro Vorhersage. Ein Aufruf von covasolve_predict oder covatox_check_domain wird pro Vorhersage abgerechnet, und beide antworten deutlich unter einer Sekunde auf CPU. Ein Frontier-Modell auf proprietärer Chemie zu fine-tunen und es bei jeder Ablösung des Basismodells erneut zu tunen, ist ein wiederkehrendes Projekt, kein Aufruf.
• Update-Pfad. Ein Gradient-Boosting-Modell mit neuen Assay-Daten neu zu trainieren, dauert Stunden auf CPU. Ein LLM erneut zu fine-tunen bedeutet einen Trainingslauf plus eine vollständige Revalidierung von allem, was das Modell berührt, weil die geänderten Gewichte auch das Sprachverhalten tragen.
• Datenresidenz. Tool Calling hält das numerische Modell hinter Ihrer Grenze. Das LLM sieht die Anfrage und das zurückgegebene JSON, nicht das Trainingsset. Fine-Tuning schreibt Ihre Assay-Daten in Modellgewichte, was sich viel schwerer wieder zurückholen lässt.
• Wo das LLM wirklich gewinnt. Die Anfrage lesen, fünf Tools in der richtigen Reihenfolge verketten und den Absatz schreiben, der das Ergebnis erklärt. Das ist Sprachtätigkeit, und genau das lässt Tool Calling es tun.

Wann Fine-Tuning die richtige Wahl ist

Nicht nie. Fine-Tunen Sie, wenn die Aufgabe Sprache ist: strukturierte Felder aus Chargenprotokollen extrahieren, Abweichungsberichte klassifizieren, hausinterne Nomenklatur normalisieren, die Schreibkonventionen eines Berichts treffen. Fine-Tunen Sie, wenn es keine numerische Ground Truth gibt, gegen die regressiert werden kann. Und fine-tunen Sie, wenn das Modell zuverlässig das richtige von 200 Tools wählen soll - das ist eine Formatierungs- und Routing-Fähigkeit, keine chemische.

Der Fehlermodus ist, Fine-Tuning zu nutzen, um einem LLM eine Zahl beizubringen, die es bei einem dafür validierten Modell hätte nachschlagen können.

Was das nicht zeigt

• Tool Calling macht das zugrunde liegende Modell nicht korrekt. CovaSolv liegt bei 0.914 R2 auf neuen Scaffolds und bei rund einem Faktor drei in der Konzentration für drei Viertel der Vorhersagen. Das ist Triage, kein analytisches Ergebnis.
• Der obige Vergleich ist architektonisch, kein Benchmark eines bestimmten LLM auf Löslichkeit. Wir haben keinen durchgeführt, also zitieren wir auch keinen.
• Das LLM kann trotzdem das falsche Tool mit den falschen Argumenten aufrufen. Determinismus des Tools kauft keine Korrektheit des Routings.
• Nichts davon ersetzt eine Bestätigung im Labor oder trägt allein eine Zulassungsunterlage. Es ändert, welche Experimente Sie zuerst durchführen.

Häufige Fragen

Weiterführende Artikel

• Genauigkeit von Löslichkeits-Vorhersagemodellen: richtig lesen
• Was ein Docking-Score in kcal/mol wirklich aussagt
• Generatives Moleküldesign mit einem ADMET-Filter
• ICH-Q8-Design-Space: NOR und PAR erklärt

Jedes hier genannte Tool läuft kostenlos, sodass Sie die Aspirin-Aufrufe selbst reproduzieren können, bevor Sie etwas entscheiden.