Zum Inhalt springen
CovaSyn
Erstgespräch

MolecularIQ, arXiv:2601.15279

Benchmark und Methodik

Bei Strukturfragen zu Molekülen, etwa Atome zählen, Ringe und Gerüste bestimmen oder Stereozentren zuordnen, sind ohne CovaSyn 14 bis 41 % der Antworten korrekt, mit CovaSyn 76 bis 92 %. Gemessen an MolecularIQ, einem unabhängigen Benchmark (Bartmann et al., ICLR 2026). Die Zahlen gelten für diese Aufgabenart; die Auswertung von Spektren, Stabilitäts- oder Toxikologiedaten misst der Benchmark nicht. Hier finden Sie die Zahlen, die Methodik und die Grenzen der Messung.

Konto anlegen, API-Schlüssel holen, die Tools in Ihrer gewohnten Arbeitsumgebung nutzen.

Ergebnis je TestlaufMolecularIQ, exakte Übereinstimmung
Ohne CovaSynMit CovaSyn0 %25 %50 %75 %100 %Lauf 1+64,2 Pp. · 4,0×Lauf 1, ohne CovaSyn: 21,18 %Lauf 1, mit CovaSyn: 85,38 %21,2 %85,4 %Lauf 2+50,8 Pp. · 2,2×Lauf 2, ohne CovaSyn: 40,75 %Lauf 2, mit CovaSyn: 91,51 %40,8 %91,5 %Lauf 3+67,6 Pp. · 4,0×Lauf 3, ohne CovaSyn: 22,29 %Lauf 3, mit CovaSyn: 89,92 %22,3 %89,9 %Lauf 4+62,0 Pp. · 5,5×Lauf 4, ohne CovaSyn: 13,68 %Lauf 4, mit CovaSyn: 75,66 %13,7 %75,7 %
Trefferquote auf dem Test-Split, symbolisch verifiziert: ein Lauf auf allen 3.540 Aufgaben, die übrigen auf je 910. Gleiche Fragen ohne und mit CovaSyn. Pp. = Prozentpunkte.

Dieselben Aufgaben, einmal ohne und einmal mit CovaSyn.

Vier Testläufe, 3.540 verifizierte Aufgaben, 12.540 Antworten. Gewertet wird nur die exakte Übereinstimmung mit der hinterlegten Lösung.

Ohne CovaSyn korrekt
14 bis 41 %
Mit CovaSyn korrekt
76 bis 92 %
MolecularIQ, ICLR 2026, Preprint arXiv:2601.15279

Quelle: Bartmann C., Schimunek J., Ielanskyi M., Seidl P., Klambauer G., Luukkonen S. (2026). MolecularIQ: Characterizing Chemical Reasoning Capabilities Through Symbolic Verification on Molecular Graphs. ICLR 2026. Preprint: arXiv:2601.15279. Snapshot: 2026-05-17.

Der Effekt zeigt sich in jedem Testlauf.

Die Spalte „Ohne CovaSyn“ zeigt die Trefferquote ohne Rechenwerkzeuge, die Spalte „Mit CovaSyn“ dieselben Aufgaben mit den CovaSyn-Werkzeugen. Ein Testlauf umfasst den vollen Test-Split, die übrigen drei eine proportional stratifizierte Stichprobe.

Trefferquote je Testlauf ohne und mit CovaSyn
TestlaufOhne CovaSynMit CovaSynDifferenz (Prozentpunkte)Faktor
Lauf 121,18 %85,38 %+64,204,03×
Lauf 240,75 %91,51 %+50,762,25×
Lauf 322,29 %89,92 %+67,634,03×
Lauf 413,68 %75,66 %+61,985,53×

Quelle: Bartmann C., Schimunek J., Ielanskyi M., Seidl P., Klambauer G., Luukkonen S. (2026). MolecularIQ: Characterizing Chemical Reasoning Capabilities Through Symbolic Verification on Molecular Graphs. ICLR 2026. Preprint: arXiv:2601.15279. Snapshot: 2026-05-17.

In allen vier Testläufen steigt die Trefferquote mit CovaSyn um mehr als 50 Prozentpunkte. Der Effekt hängt also nicht an einer bestimmten Arbeitsumgebung, er kommt aus den exakten Berechnungen.

Was gemessen wurde und wie.

Benchmarks, die ein Anbieter selbst entwirft, verdienen Misstrauen: wer die eigenen Werkzeuge testet, hat einen Anreiz, gut dazustehen. Deshalb messen wir an einem Benchmark, den wir nicht entworfen haben und auf dessen Aufgabenwahl wir keinen Einfluss hatten.

Unabhängiger Benchmark
MolecularIQ stammt von Bartmann et al. (Klambauer Lab, JKU Linz) und ist auf der ICLR 2026 veröffentlicht, einer begutachteten Konferenz (Preprint: arXiv:2601.15279). CovaSyn hat den Benchmark weder entworfen noch daran mitgearbeitet; wir haben unsere Werkzeuge daran gemessen.
Symbolische Verifikation
Jede Antwort wird symbolisch gegen die hinterlegte Lösung geprüft und zählt nur bei exakter Übereinstimmung. Teilpunkte oder eine Bewertung nach Ermessen gibt es nicht. Schönrechnen lässt sich das Ergebnis damit nicht.
Aufgaben
Ausgewertet wurde der Test-Split von MolecularIQ mit 3.540 Aufgaben, eingegrenzt auf symbolisch verifizierbare Fragetypen.
Umfang
Vier Testläufe in den gängigen Arbeitsumgebungen von drei Anbietern, jeweils ohne und mit CovaSyn. Insgesamt 12.540 ausgewertete Antworten (je Aufgabe und Lauf eine ohne und eine mit CovaSyn); ein Lauf auf dem vollen Test-Split, die übrigen drei auf einer stratifizierten Stichprobe von 910 Fragen je Lauf.
Werkzeuge
Chemische Grundoperationen aus der CovaBasicChem-Suite: deterministische Cheminformatik, die exakte Werte liefert. Gleiche Eingabe, gleiches Ergebnis.
Datenstand und Nachvollziehbarkeit
Daten-Snapshot vom 17.05.2026. Datensatz und Auswertungscode sind öffentlich; mit einem CovaSyn-Zugang lässt sich jede Zahl auf dieser Seite nachrechnen.

Paper, Daten, Code

Das PDF liegt bei arXiv, nicht auf unseren Servern. Datensatz und Code gehören den Autoren des Benchmarks.

Zitieren

Wenn Sie die Zahlen dieser Seite in einer Publikation, einem Poster oder einem internen Bericht verwenden, zitieren Sie bitte das MolecularIQ-Paper der Autoren:

BibTeX
@inproceedings{bartmann2026moleculariq,
  title     = {MolecularIQ: Characterizing Chemical Reasoning Capabilities
               Through Symbolic Verification on Molecular Graphs},
  author    = {Bartmann, C. and Schimunek, J. and Ielanskyi, M. and
               Seidl, P. and Klambauer, G. and Luukkonen, S.},
  booktitle = {The Fourteenth International Conference on Learning
               Representations (ICLR)},
  year      = {2026},
  url       = {https://openreview.net/forum?id=RqwEzZqMFv}
}
Fließtext
Bartmann C., Schimunek J., Ielanskyi M., Seidl P., Klambauer G., Luukkonen S. (2026). MolecularIQ: Characterizing Chemical Reasoning Capabilities Through Symbolic Verification on Molecular Graphs. ICLR 2026. Preprint: arXiv:2601.15279.

Wo CovaSyn am stärksten wirkt.

Mittlerer Zugewinn je Fragekategorie in Prozentpunkten, gemittelt über drei der vier Testläufe. Für den vierten Lauf liegen im aktuellen Snapshot keine Werte je Kategorie vor.

Mittlere Genauigkeit je Fragekategorie ohne und mit CovaSyn
KategorieOhne CovaSynMit CovaSynDifferenz (Prozentpunkte)
Gerüst und Fragmente18,0 %86,5 %+68,4
Ringe und Topologie29,4 %93,2 %+63,8
Bindungen und Ketten17,6 %80,9 %+63,3
Fragen mit mehreren Merkmalen27,3 %88,4 %+61,1
Atom- und Formelzählungen38,7 %98,3 %+59,7
Stereochemie28,7 %86,0 %+57,4
Elektronische Eigenschaften und H-Brücken31,2 %81,5 %+50,3

Das sind die Bausteine der täglichen medizinalchemischen Arbeit. Ein Molekülgerüst muss exakt bestimmt sein, eine Ringanalyse darf nicht ins Raten kippen, eine Mehrfachbedingung wie „alle Verzweigungspunkte innerhalb zweier Bindungen zu einem Halogen“ muss exakt aufgelöst werden.

Zugewinn je KategorieMittel über drei Testläufe
Ohne CovaSynMit CovaSyn0 %25 %50 %75 %100 %Gerüst und Fragmente+68,4 Pp.Gerüst und Fragmente, ohne CovaSyn: 18,00 %Gerüst und Fragmente, mit CovaSyn: 86,50 %18,0 %86,5 %Ringe und Topologie+63,8 Pp.Ringe und Topologie, ohne CovaSyn: 29,40 %Ringe und Topologie, mit CovaSyn: 93,20 %29,4 %93,2 %Bindungen und Ketten+63,3 Pp.Bindungen und Ketten, ohne CovaSyn: 17,60 %Bindungen und Ketten, mit CovaSyn: 80,90 %17,6 %80,9 %Fragen mit mehreren Merkmalen+61,1 Pp.Fragen mit mehreren Merkmalen, ohne CovaSyn: 27,30 %Fragen mit mehreren Merkmalen, mit CovaSyn: 88,40 %27,3 %88,4 %Atom- und Formelzählungen+59,7 Pp.Atom- und Formelzählungen, ohne CovaSyn: 38,70 %Atom- und Formelzählungen, mit CovaSyn: 98,30 %38,7 %98,3 %Stereochemie+57,4 Pp.Stereochemie, ohne CovaSyn: 28,70 %Stereochemie, mit CovaSyn: 86,00 %28,7 %86,0 %Elektronische Eigenschaften und H-Brücken+50,3 Pp.Elektronische Eigenschaften und H-Brücken, ohne CovaSyn: 31,20 %Elektronische Eigenschaften und H-Brücken, mit CovaSyn: 81,50 %31,2 %81,5 %
Gemittelt über drei Testläufe, sortiert nach dem Zugewinn.

Wo die verbleibende Lücke sitzt.

Die Trefferquote liegt nicht bei 100 %, und das verschweigen wir nicht. Jede falsche Antwort mit CovaSyn haben wir einer von drei Ursachen zugeordnet. So setzen sich die Fehlantworten je Testlauf zusammen, und hier lohnt es sich, bei Ihrer eigenen Validierung genauer hinzusehen.

FehlantwortenAnteil je Ursache
Jeder Balken = alle Fehlantworten eines Testlaufs mit CovaSyn (100 %). Die Fehleranalyse ist eine eigene Klassifizierung mit eigener Zählbasis; für die Trefferquote gilt die Tabelle oben.
Zusammensetzung der Fehlantworten mit CovaSyn je Testlauf, Anteil an allen Fehlantworten
UrsacheLauf 1Lauf 2Lauf 3Lauf 4
Werkzeugergebnis übergangen81 %86 %66 %25 %
Formatfehler1 %1 %25 %73 %
Werkzeugwert passt nicht18 %13 %9 %3 %
Werkzeugergebnis übergangen
Ein korrektes Werkzeugergebnis wird in der Antwort übergangen. Das hängt an der Arbeitsumgebung, nicht am Werkzeug. Eine klarere Fragestruktur senkt den Anteil deutlich, beseitigt ihn aber nicht vollständig.
Werkzeugwert passt nicht
Der Wert des Werkzeugs passt nicht zur Frage. Das sind echte Fehler im Ablauf, meist Grenzfälle bei komplexer Stereochemie oder ungewöhnlichen Strukturen. Diese Fälle bearbeiten wir laufend.
Formatfehler
Die Antwort lässt sich nicht auslesen. Diese Klasse ist technisch leicht abzufangen, weil sie bei einer Prüfung der Ausgabe sofort auffällt.

Höchstens 18 % der Fehlantworten eines Testlaufs gehen auf einen unpassenden Werkzeugwert zurück. Der Rest entsteht in der Arbeitsumgebung: ein korrektes Ergebnis wird übergangen oder die Antwort lässt sich nicht auslesen. Beides lässt sich im Ablauf abfangen.

Was das für Forschung und Entwicklung bedeutet.

Weniger Nacharbeit.
Steigt die Trefferquote von 14 bis 41 % auf 76 bis 92 %, sinkt der Anteil der Ergebnisse, die von Hand nachgerechnet werden müssen, um mehr als die Hälfte.
Der Zugewinn ist reproduzierbar.
Alle vier Testläufe zeigen dieselbe Richtung. Die Werkzeuge rechnen deterministisch: gleiche Eingabe, gleiches Ergebnis.
Die Lücke ist offengelegt.
Für die Validierung in regulierten Umgebungen ist eine offene Fehlerverteilung mehr wert als ein glattes Versprechen. Sie zeigt, welche Fehlerarten Ihr QA-Team in der Validierung des eigenen Anwendungsfalls gezielt prüfen sollte.

Häufige Fragen

Was ist der MolecularIQ-Benchmark?

Ein 2026 vom Klambauer Lab, JKU Linz veröffentlichter Benchmark (arXiv:2601.15279), der misst, wie verlässlich strukturierte chemische Analysen gelöst werden. 3.540 Aufgaben im ausgewerteten Test-Split, symbolische Verifikation ohne Bewertung nach Ermessen.

Warum steigt die Genauigkeit mit CovaSyn so stark?

Ohne Rechenwerkzeug werden strukturelle Chemie-Aufgaben wie Atomzählungen oder die Extraktion von Gerüsten oft geschätzt. CovaSyn rechnet sie mit geprüften Verfahren exakt aus. Aus einer Schätzung wird eine Rechnung.

Lässt sich das Ergebnis nachrechnen?

Ja. Der Datensatz liegt öffentlich auf Hugging Face, der Auswertungscode auf GitHub, und mit einem CovaSyn-Zugang rechnen Sie jede Zahl nach.

Was ist mit den übrigen CovaSyn-Werkzeugen?

Die Zahlen auf dieser Seite stammen aus einem Teil unserer Werkzeuge. Die übrigen messen wir an passenden Datensätzen. Sobald Ergebnisse vorliegen, stehen sie auf dieser Seite, mit voller Methodik und voller Verteilung.

Siegel der Bescheinigungsstelle Forschungszulage, Forschung und Entwicklung 2026

Forschung und Entwicklung

Die Entwicklung der CovaSyn-MCP-Plattform ist von der Bescheinigungsstelle Forschungszulage (BSFZ) als Forschung und Entwicklung im Sinne des Forschungszulagengesetzes bescheinigt.

Die Bescheinigung bewertet den Forschungscharakter der Entwicklungsarbeit. Sie ist keine Aussage über Produkteigenschaften und keine staatliche Produktzulassung. Bescheinigungsstelle Forschungszulage.

Sicherheit und Datenschutz

Nächster Schritt

Messen Sie selbst nach.

Was hinter diesen Zahlen steckt, testen Sie am eigenen Molekül.

Konto anlegen, API-Schlüssel holen, die Tools in Ihrer gewohnten Arbeitsumgebung nutzen.