MolecularIQ, arXiv:2601.15279
Benchmark und Methodik
Bei Strukturfragen zu Molekülen, etwa Atome zählen, Ringe und Gerüste bestimmen oder Stereozentren zuordnen, sind ohne CovaSyn 14 bis 41 % der Antworten korrekt, mit CovaSyn 76 bis 92 %. Gemessen an MolecularIQ, einem unabhängigen Benchmark (Bartmann et al., ICLR 2026). Die Zahlen gelten für diese Aufgabenart; die Auswertung von Spektren, Stabilitäts- oder Toxikologiedaten misst der Benchmark nicht. Hier finden Sie die Zahlen, die Methodik und die Grenzen der Messung.
Konto anlegen, API-Schlüssel holen, die Tools in Ihrer gewohnten Arbeitsumgebung nutzen.
Dieselben Aufgaben, einmal ohne und einmal mit CovaSyn.
Vier Testläufe, 3.540 verifizierte Aufgaben, 12.540 Antworten. Gewertet wird nur die exakte Übereinstimmung mit der hinterlegten Lösung.
- Ohne CovaSyn korrekt
- 14 bis 41 %
- Mit CovaSyn korrekt
- 76 bis 92 %
Quelle: Bartmann C., Schimunek J., Ielanskyi M., Seidl P., Klambauer G., Luukkonen S. (2026). MolecularIQ: Characterizing Chemical Reasoning Capabilities Through Symbolic Verification on Molecular Graphs. ICLR 2026. Preprint: arXiv:2601.15279. Snapshot: 2026-05-17.
Der Effekt zeigt sich in jedem Testlauf.
Die Spalte „Ohne CovaSyn“ zeigt die Trefferquote ohne Rechenwerkzeuge, die Spalte „Mit CovaSyn“ dieselben Aufgaben mit den CovaSyn-Werkzeugen. Ein Testlauf umfasst den vollen Test-Split, die übrigen drei eine proportional stratifizierte Stichprobe.
| Testlauf | Ohne CovaSyn | Mit CovaSyn | Differenz (Prozentpunkte) | Faktor |
|---|---|---|---|---|
| Lauf 1 | 21,18 % | 85,38 % | +64,20 | 4,03× |
| Lauf 2 | 40,75 % | 91,51 % | +50,76 | 2,25× |
| Lauf 3 | 22,29 % | 89,92 % | +67,63 | 4,03× |
| Lauf 4 | 13,68 % | 75,66 % | +61,98 | 5,53× |
Quelle: Bartmann C., Schimunek J., Ielanskyi M., Seidl P., Klambauer G., Luukkonen S. (2026). MolecularIQ: Characterizing Chemical Reasoning Capabilities Through Symbolic Verification on Molecular Graphs. ICLR 2026. Preprint: arXiv:2601.15279. Snapshot: 2026-05-17.
In allen vier Testläufen steigt die Trefferquote mit CovaSyn um mehr als 50 Prozentpunkte. Der Effekt hängt also nicht an einer bestimmten Arbeitsumgebung, er kommt aus den exakten Berechnungen.
Was gemessen wurde und wie.
Benchmarks, die ein Anbieter selbst entwirft, verdienen Misstrauen: wer die eigenen Werkzeuge testet, hat einen Anreiz, gut dazustehen. Deshalb messen wir an einem Benchmark, den wir nicht entworfen haben und auf dessen Aufgabenwahl wir keinen Einfluss hatten.
- Unabhängiger Benchmark
- MolecularIQ stammt von Bartmann et al. (Klambauer Lab, JKU Linz) und ist auf der ICLR 2026 veröffentlicht, einer begutachteten Konferenz (Preprint: arXiv:2601.15279). CovaSyn hat den Benchmark weder entworfen noch daran mitgearbeitet; wir haben unsere Werkzeuge daran gemessen.
- Symbolische Verifikation
- Jede Antwort wird symbolisch gegen die hinterlegte Lösung geprüft und zählt nur bei exakter Übereinstimmung. Teilpunkte oder eine Bewertung nach Ermessen gibt es nicht. Schönrechnen lässt sich das Ergebnis damit nicht.
- Aufgaben
- Ausgewertet wurde der Test-Split von MolecularIQ mit 3.540 Aufgaben, eingegrenzt auf symbolisch verifizierbare Fragetypen.
- Umfang
- Vier Testläufe in den gängigen Arbeitsumgebungen von drei Anbietern, jeweils ohne und mit CovaSyn. Insgesamt 12.540 ausgewertete Antworten (je Aufgabe und Lauf eine ohne und eine mit CovaSyn); ein Lauf auf dem vollen Test-Split, die übrigen drei auf einer stratifizierten Stichprobe von 910 Fragen je Lauf.
- Werkzeuge
- Chemische Grundoperationen aus der CovaBasicChem-Suite: deterministische Cheminformatik, die exakte Werte liefert. Gleiche Eingabe, gleiches Ergebnis.
- Datenstand und Nachvollziehbarkeit
- Daten-Snapshot vom 17.05.2026. Datensatz und Auswertungscode sind öffentlich; mit einem CovaSyn-Zugang lässt sich jede Zahl auf dieser Seite nachrechnen.
Paper, Daten, Code
- Paper bei arXiv (Abstract)https://arxiv.org/abs/2601.15279
- Paper-PDF bei arXivhttps://arxiv.org/pdf/2601.15279
- Datensatz auf Hugging Facehttps://huggingface.co/datasets/ml-jku/moleculariq-v0.0
- Auswertungscode auf GitHubhttps://github.com/ml-jku/moleculariq
Das PDF liegt bei arXiv, nicht auf unseren Servern. Datensatz und Code gehören den Autoren des Benchmarks.
Zitieren
Wenn Sie die Zahlen dieser Seite in einer Publikation, einem Poster oder einem internen Bericht verwenden, zitieren Sie bitte das MolecularIQ-Paper der Autoren:
@inproceedings{bartmann2026moleculariq,
title = {MolecularIQ: Characterizing Chemical Reasoning Capabilities
Through Symbolic Verification on Molecular Graphs},
author = {Bartmann, C. and Schimunek, J. and Ielanskyi, M. and
Seidl, P. and Klambauer, G. and Luukkonen, S.},
booktitle = {The Fourteenth International Conference on Learning
Representations (ICLR)},
year = {2026},
url = {https://openreview.net/forum?id=RqwEzZqMFv}
}Bartmann C., Schimunek J., Ielanskyi M., Seidl P., Klambauer G., Luukkonen S. (2026). MolecularIQ: Characterizing Chemical Reasoning Capabilities Through Symbolic Verification on Molecular Graphs. ICLR 2026. Preprint: arXiv:2601.15279.
Wo CovaSyn am stärksten wirkt.
Mittlerer Zugewinn je Fragekategorie in Prozentpunkten, gemittelt über drei der vier Testläufe. Für den vierten Lauf liegen im aktuellen Snapshot keine Werte je Kategorie vor.
| Kategorie | Ohne CovaSyn | Mit CovaSyn | Differenz (Prozentpunkte) |
|---|---|---|---|
| Gerüst und Fragmente | 18,0 % | 86,5 % | +68,4 |
| Ringe und Topologie | 29,4 % | 93,2 % | +63,8 |
| Bindungen und Ketten | 17,6 % | 80,9 % | +63,3 |
| Fragen mit mehreren Merkmalen | 27,3 % | 88,4 % | +61,1 |
| Atom- und Formelzählungen | 38,7 % | 98,3 % | +59,7 |
| Stereochemie | 28,7 % | 86,0 % | +57,4 |
| Elektronische Eigenschaften und H-Brücken | 31,2 % | 81,5 % | +50,3 |
Das sind die Bausteine der täglichen medizinalchemischen Arbeit. Ein Molekülgerüst muss exakt bestimmt sein, eine Ringanalyse darf nicht ins Raten kippen, eine Mehrfachbedingung wie „alle Verzweigungspunkte innerhalb zweier Bindungen zu einem Halogen“ muss exakt aufgelöst werden.
Wo die verbleibende Lücke sitzt.
Die Trefferquote liegt nicht bei 100 %, und das verschweigen wir nicht. Jede falsche Antwort mit CovaSyn haben wir einer von drei Ursachen zugeordnet. So setzen sich die Fehlantworten je Testlauf zusammen, und hier lohnt es sich, bei Ihrer eigenen Validierung genauer hinzusehen.
| Ursache | Lauf 1 | Lauf 2 | Lauf 3 | Lauf 4 |
|---|---|---|---|---|
| Werkzeugergebnis übergangen | 81 % | 86 % | 66 % | 25 % |
| Formatfehler | 1 % | 1 % | 25 % | 73 % |
| Werkzeugwert passt nicht | 18 % | 13 % | 9 % | 3 % |
- Werkzeugergebnis übergangen
- Ein korrektes Werkzeugergebnis wird in der Antwort übergangen. Das hängt an der Arbeitsumgebung, nicht am Werkzeug. Eine klarere Fragestruktur senkt den Anteil deutlich, beseitigt ihn aber nicht vollständig.
- Werkzeugwert passt nicht
- Der Wert des Werkzeugs passt nicht zur Frage. Das sind echte Fehler im Ablauf, meist Grenzfälle bei komplexer Stereochemie oder ungewöhnlichen Strukturen. Diese Fälle bearbeiten wir laufend.
- Formatfehler
- Die Antwort lässt sich nicht auslesen. Diese Klasse ist technisch leicht abzufangen, weil sie bei einer Prüfung der Ausgabe sofort auffällt.
Höchstens 18 % der Fehlantworten eines Testlaufs gehen auf einen unpassenden Werkzeugwert zurück. Der Rest entsteht in der Arbeitsumgebung: ein korrektes Ergebnis wird übergangen oder die Antwort lässt sich nicht auslesen. Beides lässt sich im Ablauf abfangen.
Was das für Forschung und Entwicklung bedeutet.
- Weniger Nacharbeit.
- Steigt die Trefferquote von 14 bis 41 % auf 76 bis 92 %, sinkt der Anteil der Ergebnisse, die von Hand nachgerechnet werden müssen, um mehr als die Hälfte.
- Der Zugewinn ist reproduzierbar.
- Alle vier Testläufe zeigen dieselbe Richtung. Die Werkzeuge rechnen deterministisch: gleiche Eingabe, gleiches Ergebnis.
- Die Lücke ist offengelegt.
- Für die Validierung in regulierten Umgebungen ist eine offene Fehlerverteilung mehr wert als ein glattes Versprechen. Sie zeigt, welche Fehlerarten Ihr QA-Team in der Validierung des eigenen Anwendungsfalls gezielt prüfen sollte.
Häufige Fragen
Was ist der MolecularIQ-Benchmark?
Ein 2026 vom Klambauer Lab, JKU Linz veröffentlichter Benchmark (arXiv:2601.15279), der misst, wie verlässlich strukturierte chemische Analysen gelöst werden. 3.540 Aufgaben im ausgewerteten Test-Split, symbolische Verifikation ohne Bewertung nach Ermessen.
Warum steigt die Genauigkeit mit CovaSyn so stark?
Ohne Rechenwerkzeug werden strukturelle Chemie-Aufgaben wie Atomzählungen oder die Extraktion von Gerüsten oft geschätzt. CovaSyn rechnet sie mit geprüften Verfahren exakt aus. Aus einer Schätzung wird eine Rechnung.
Lässt sich das Ergebnis nachrechnen?
Ja. Der Datensatz liegt öffentlich auf Hugging Face, der Auswertungscode auf GitHub, und mit einem CovaSyn-Zugang rechnen Sie jede Zahl nach.
Was ist mit den übrigen CovaSyn-Werkzeugen?
Die Zahlen auf dieser Seite stammen aus einem Teil unserer Werkzeuge. Die übrigen messen wir an passenden Datensätzen. Sobald Ergebnisse vorliegen, stehen sie auf dieser Seite, mit voller Methodik und voller Verteilung.
Forschung und Entwicklung
Die Entwicklung der CovaSyn-MCP-Plattform ist von der Bescheinigungsstelle Forschungszulage (BSFZ) als Forschung und Entwicklung im Sinne des Forschungszulagengesetzes bescheinigt.
Die Bescheinigung bewertet den Forschungscharakter der Entwicklungsarbeit. Sie ist keine Aussage über Produkteigenschaften und keine staatliche Produktzulassung. Bescheinigungsstelle Forschungszulage.
Nächster Schritt
Messen Sie selbst nach.
Was hinter diesen Zahlen steckt, testen Sie am eigenen Molekül.
Konto anlegen, API-Schlüssel holen, die Tools in Ihrer gewohnten Arbeitsumgebung nutzen.

