Eine Model Card ist die Antwort in einem Dokument auf die Frage, die eine prüfende Person zu jedem rechnerischen Schritt in einem regulierten Verfahren stellt: Wofür ist dieses Modell, worauf beruht es, wie gut ist es, wo hört es auf zu funktionieren, und welche Version hat das Ergebnis erzeugt, das vor mir liegt. ICH Q2(R2) hat multivariate Modelle ausdrücklich in den Validierungsrahmen geholt und unterscheidet nach ihrer Auswirkung; ICH Q14 stellt das analytische Verfahren samt rechnerischer Anteile in einen Lebenszyklus. Mit einer Model Card bleiben beide beantwortbar, ohne bei jeder Änderung einen Validierungsbericht neu zu schreiben.
Warum die Auswirkungsstufe zuerst kommt
ICH Q2(R2) behandelt ein Modell unterschiedlich, je nachdem, wie stark das berichtete Ergebnis von ihm abhängt. Die übliche Unterscheidung:
- Geringe Auswirkung: Das Modell stützt eine Entscheidung, die eine andere Messung bestätigt, oder das Ergebnis wird mit einer Referenzmethode verifiziert.
- Hohe Auswirkung: Das berichtete Ergebnis kommt aus dem Modell, und nichts anderes bestätigt es.
Die Auswirkungsstufe bestimmt die Tiefe von allem Weiteren: wie viele Validierungsdaten, wie eng die Akzeptanzkriterien, wie formal die Änderungskontrolle. Schreibe sie mit Begründung in den ersten Abschnitt der Karte, denn jede folgende Frage einer Prüfung hängt daran.
Was auf die Karte gehört
1. Identität und Version.
Name, Version, Datum der Inbetriebnahme, verantwortliche Stelle und die Kennung, die in jedem Ergebnisdatensatz erscheint.
2. Vorgesehener Zweck.
Die Frage, die das Modell beantwortet, die erwartete Eingabe, die Ausgabe mit Einheiten und die Verfahren, die es nutzen. Genauso wichtig: die ausdrücklich ausgeschlossenen Verwendungen.
3. Daten.
Worauf das Modell beruht: Zahl der Datensätze, Quellen und ihre Lizenzen, Zeitraum, wie die Daten kuratiert wurden und was ausgeschlossen wurde. Bei einem Modell auf Kundendaten: wem sie gehören und wofür sie genutzt werden dürfen.
4. Aufteilung in Training, Validierung und Test.
Wie die Daten geteilt wurden und nach welcher Regel. Das ist die aussagekräftigste Zeile der Karte. Eine zufällige Aufteilung chemischer Daten schönt die Leistung, weil nahe Duplikate auf beiden Seiten landen. Eine Aufteilung nach Molekülgerüst, Charge, Standort oder Zeitraum stellt die Frage, auf die es ankommt: Wie verhält sich das Modell bei etwas wirklich Neuem?
5. Leistung mit der zugehörigen Aufteilung.
Jede Kennzahl trägt den Namen der Metrik, den Datensatz, die Aufteilungsregel und die Stichprobengröße. Eine einzelne Zahl ohne Beschreibung der Aufteilung ist kein Beleg. Wird mit einer veröffentlichten Zahl verglichen, steht dabei, dass der veröffentlichte Wert aus der Quellliteratur stammt und kein Vergleich auf derselben Aufteilung ist.
6. Unsicherheit.
Wie das Modell Unsicherheit ausdrückt und ob dieser Ausdruck kalibriert ist, gemessen wie. Ein Vorhersageintervall, das 90 % abdecken soll und auf zurückgehaltenen Daten 90 % abdeckt, ist ein Ergebnis; ein Konfidenzwert ohne Abdeckungsprüfung ist Dekoration.
7. Applicability Domain.
Wie das Modell erkennt, dass eine Eingabe außerhalb des Chemie- oder Prozessraums liegt, den es kennt, was dann passiert, und wie sich die Genauigkeit innerhalb und außerhalb unterscheidet. Nimm das Verhalten auf, das das Verfahren verlangt: ablehnen, warnen oder zur Prüfung markieren.
8. Bekannte Grenzen und Fehlermodi.
Die Fälle, in denen das Modell am schwächsten ist, in klaren Worten. Dieser Abschnitt schützt dich. Eine vorab dokumentierte Grenze ist eine Grenze; dieselbe Grenze, von einer Inspektion gefunden, ist ein Mangel.
9. Qualifizierung für den vorgesehenen Zweck.
Was der Anwender, nicht der Lieferant, auf eigenen Daten und gegen welche Akzeptanzkriterien gemessen hat. Bei Modellen mit hoher Auswirkung ist das der Kern des Validierungspakets.
10. Änderungshistorie.
Jede Version mit Änderung, Grund, Vergleichbarkeitsbelegen gegen die Vorversion und dem Verweis auf die Änderungskontrolle.
Wie die Karte mit dem Verfahren zusammenhängt
Das analytische Verfahren oder die SOP verweist mit Name und Version auf die Model Card. Der Validierungsbericht verweist auf den Qualifizierungsabschnitt. Der Ergebnisdatensatz trägt die Versionskennung. Die Änderungskontrolle verlangt eine aktualisierte Karte, bevor eine neue Version in den Einsatz geht. Diese Kette macht ein Modell im regulierten Umfeld pflegbar: Wenn sich etwas ändert, ist genau ein Dokument die Quelle, und alles andere zeigt darauf.
Eine praktische Folge: Die Karte ist ein gelenktes Dokument. Sie wird wie eine SOP geprüft und freigegeben, nicht als Wiki-Seite geführt.
Lebenszyklus: wann muss die Karte überarbeitet werden?
- Bei jeder neuen Modellversion.
- Bei einer Änderung der Datenaufbereitung, weil die wirksame Eingabe sich geändert hat, auch wenn das Modell gleich blieb.
- Bei Leistungsdrift aus der laufenden Überwachung, die selbst in der Karte definiert sein sollte.
- Bei einer Erweiterung des Zwecks, etwa auf eine neue Produktfamilie, die eigene Qualifizierungsdaten braucht statt der Annahme, dass sich etwas überträgt.
- Bei einer Änderung der Softwareumgebung, die numerische Ergebnisse über die angegebene Toleranz hinaus verschiebt.
Grenzen der Aussage
- Eine Model Card ist Dokumentation. Sie macht ein Modell beurteilbar, nicht geeignet.
- Die Struktur oben ist eine Arbeitsvorlage aus den aktuellen ICH-Texten und üblichen Inspektionserwartungen, kein vorgeschriebenes Format. Prüfe den aktuellen Stand von Q2(R2), Q14 und den geltenden GMP-Annexen und richte die Karte an deinem Qualitätssystem aus.
- Leistungszahlen sind nur auf deinen Fall übertragbar, wenn deine Daten den Testdaten ähneln. Wenn nicht, zählt der Qualifizierungsabschnitt, nicht die Zahlen des Lieferanten.
Häufige Fragen
Was ist eine Model Card im regulierten Umfeld?
Ein gelenktes Dokument, das Identität und Version eines rechnerischen Modells, den vorgesehenen Zweck, die Datenbasis, die Aufteilungsregel, die Leistung mit Metriken und Stichprobengrößen, das Unsicherheitsverhalten, die Applicability Domain, die Grenzen, die Qualifizierung durch den Anwender und die Änderungshistorie festhält.
Behandelt ICH Q2(R2) Modelle des maschinellen Lernens?
Q2(R2) nimmt multivariate analytische Verfahren in den Validierungsrahmen auf und staffelt den erwarteten Aufwand nach der Auswirkung des Modells auf das berichtete Ergebnis. Ein eigenes Kapitel zu maschinellem Lernen gibt es nicht, also gelten die allgemeinen Validierungsprinzipien mit dieser Unterscheidung.
Warum ist die Datenaufteilung so wichtig?
Weil sie bestimmt, was die Leistungszahl bedeutet. Eine zufällige Aufteilung chemischer Daten lässt nahe Duplikate in Trainings- und Testsatz erscheinen, was die scheinbare Genauigkeit erhöht. Eine Aufteilung nach Gerüst, Charge, Standort oder Zeit misst das Verhalten bei wirklich neuen Fällen.
Was unterscheidet ein Modell mit geringer von einem mit hoher Auswirkung?
Bei geringer Auswirkung bestätigt eine andere Messung oder Referenzmethode das Ergebnis, bei hoher Auswirkung ruht das berichtete Ergebnis allein auf dem Modell. Hohe Auswirkung heißt mehr Validierungsdaten, engere Akzeptanzkriterien und strengere Änderungskontrolle.
Wer qualifiziert ein geliefertes Modell?
Der Anwender. Lieferantendokumentation kann den Aufwand senken, die Qualifizierung für den vorgesehenen Zweck auf den eigenen Daten und gegen die eigenen Akzeptanzkriterien bleibt beim Anwender.