Qualitätskennzahlen für kleine regulierte Hersteller: Was Sie erfassen sollten

Die meisten kleinen Hersteller berichten bereits über einige Qualitätskennzahlen. Das Problem: Die Kennzahlen wurden einmal von der Person ausgewählt, die die erste Tabelle erstellt hat, und niemand hat genau festgehalten, wie sie berechnet werden. Sechs Monate später bedeutet „CAPA fristgerecht“ in jedem Monatsbericht etwas anderes, der Schulungswert liegt nahe bei 100 %, während ein Bediener einen Chargenbericht anhand einer SOP-Version unterzeichnet, die er nie gelesen hat, und die Managementbewertung verbringt ihre Zeit mit Diskussionen über Definitionen. Dieser Artikel führt die Qualitätskennzahlen auf, die sich für ein kleines Medizinprodukte- oder Pharmaunternehmen lohnen, gibt für jede eine präzise Definition, unterscheidet Früh- und Spätindikatoren, benennt nichtssagende Kennzahlen, die Sie streichen sollten, und zeigt, wie Sie die Auswahl dem Management präsentieren.

Was die Normen von Ihnen verlangen

Keine Vorschrift gibt Ihnen eine Liste von KPIs vor. Gefordert ist, dass Sie messen und auf die Ergebnisse reagieren. ISO 13485:2016, Abschnitt 5.4.1, verlangt messbare Qualitätsziele, die mit der Qualitätspolitik im Einklang stehen. Abschnitt 8.2.5 fordert geeignete Methoden zur Überwachung und gegebenenfalls Messung der Prozesse des Qualitätsmanagementsystems. Abschnitt 8.4 verlangt ein dokumentiertes Verfahren zur Bestimmung, Erfassung und Analyse von Daten unter Verwendung geeigneter Methoden, einschließlich statistischer Verfahren. Zu berücksichtigen sind dabei Rückmeldungen, die Konformität mit Produktanforderungen, Merkmale und Trends von Prozessen und Produkten, Lieferanten, Audits und Serviceberichte. Die Ergebnisse fließen gemäß Abschnitt 5.6.2 in die Managementbewertung ein. Die Norm finden Sie auf der ISO-Seite zu ISO 13485:2016.

Für Arzneimittel erwartet ICH Q10, Abschnitt 4.1, dass die Managementbewertung „Leistungsindikatoren bewertet, die zur Überwachung der Wirksamkeit von Prozessen“ innerhalb des Qualitätssystems herangezogen werden können. Genannt werden die Prozesse für Beschwerden, Abweichungen, CAPA und Änderungsmanagement, Rückmeldungen zu ausgelagerten Tätigkeiten sowie Selbstbewertungen und externe Bewertungen. EU GMP Kapitel 1 übernimmt dasselbe Modell.

Die Auswahl der Kennzahlen liegt also bei Ihnen. Ein Inspektor oder Auditor beurteilt, ob sie aussagekräftig sind, ob sie einheitlich berechnet werden und ob jemand reagiert hat, wenn sich ihre Werte verändert haben.

So definieren Sie eine Qualitätskennzahl eindeutig

Für jede KPI benötigen Sie einen kurzen Definitionsdatensatz, der als kontrolliertes Dokument oder als Anhang zu Ihrem Verfahren zur Datenanalyse aufbewahrt wird. Ohne eine solche Definition ändert sich die Kennzahl mit der Person, die sie erstellt. Eine hilfreiche Definition umfasst folgende Angaben:

Am häufigsten gehen Kennzahlen bei der Zeitmessung schief. Das „CAPA-Alter“ kann ab dem auslösenden Ereignis, ab der CAPA-Eröffnung oder ab der QA-Freigabe des Plans gemessen werden. Der Unterschied kann Wochen betragen. Wählen Sie eine Methode, dokumentieren Sie sie und ändern Sie sie niemals stillschweigend.

Früh- und Spätindikatoren für Qualität

Ein Spätindikator erfasst etwas, das bereits geschehen ist: Beschwerden, Rückrufe, Chargenrückweisungen, wiederholte Abweichungen, schwerwiegende Auditfeststellungen. Er zeigt, wie das System funktioniert hat – zu spät, um das Ergebnis noch zu verhindern. Ein Frühindikator misst den Zustand des Systems, bevor es versagt: überfällige CAPA-Maßnahmen, nicht abgeschlossene Schulungen vor dem Inkrafttreten einer SOP, Dokumente, deren Überprüfungsdatum überschritten ist, oder Auditfeststellungen, die ohne Abschluss immer älter werden.

Ein kleines Unternehmen braucht beides, in etwa ausgewogen. Eine Auswahl, die nur auf Spätindikatoren beruht, sieht gut aus – bis sie es in einem bestimmten Quartal nicht mehr tut. Eine Auswahl, die nur auf Frühindikatoren beruht, misst Aktivitäten, ohne zu prüfen, ob diese Ergebnisse gebracht haben. Viele der folgenden KPIs treten paarweise auf: Ein Frühindikator sagt einen Spätindikator voraus.

Die Qualitätskennzahlen, die sich lohnen

CAPA-Durchlaufzeit und Anteil überfälliger CAPAs

Die CAPA-Durchlaufzeit ist die Anzahl der Kalendertage von der CAPA-Eröffnung bis zum Abschluss. Angegeben wird der Median der im Berichtszeitraum abgeschlossenen CAPAs; daneben wird die älteste offene CAPA aufgeführt. Unterteilen Sie den Zeitraum in Phasen (Untersuchung, Umsetzung, Wirksamkeitsprüfung), damit Sie sehen, wo die Zeit anfällt. Der Median wird weniger durch eine einzelne langwierige CAPA verzerrt als der Mittelwert.

Der Anteil überfälliger CAPAs ist die Zahl der offenen CAPAs oder offenen CAPA-Maßnahmen, deren Fälligkeitsdatum zum Monatsende überschritten ist, geteilt durch die Gesamtzahl der zum Monatsende offenen CAPAs. Messen Sie anhand des ursprünglichen Fälligkeitsdatums und erfassen Sie Fristverlängerungen gesondert. Ein Prozess, bei dem jede Frist durch Verlängerung eingehalten wird, ist trotzdem verspätet.

Ergänzen Sie beide Kennzahlen um eine Wirksamkeitsmessung, etwa den Anteil der CAPAs, bei denen die Wirksamkeitsprüfung ergab, dass das Problem nicht erneut aufgetreten ist. Geschwindigkeit ohne Wirksamkeit fördert einen verfrühten Abschluss. Unser Artikel über die Überprüfung der CAPA-Wirksamkeit erläutert, wie Sie diese Prüfung gestalten.

Wiederholungsrate von Abweichungen

Die Wiederholungsrate von Abweichungen ist die Zahl der im Berichtszeitraum eröffneten Abweichungen, die dieselbe Ursachenkategorie und denselben Prozess, dasselbe Produkt oder dieselbe Ausrüstung betreffen wie eine in den vorangegangenen zwölf Monaten abgeschlossene Abweichung, geteilt durch die Gesamtzahl der im Berichtszeitraum eröffneten Abweichungen. Sie ist einer der nützlichsten Spätindikatoren an einem kleinen Standort, da Wiederholungen unmittelbar belegen, dass eine Untersuchung oder CAPA nicht wirksam war.

Dafür ist eine einheitliche Taxonomie der Ursachen erforderlich. Wenn Untersuchende frei zwischen „menschlichem Versagen“, „Verfahren“ oder „Sonstiges“ wählen können, misst die Kennzahl ihre Gewohnheiten. Voraussetzung sind eine kurze kontrollierte Kategorienliste und eine Regel für die Verwendung jeder Kategorie. Der Leitfaden zum Abweichungsmanagement erläutert die Klassifizierung ausführlicher.

Right-first-time

Right-first-time ist die Zahl der Chargen, Lose oder Gerätehistorienaufzeichnungen, die im Berichtszeitraum ohne Abweichung, Nacharbeit oder Korrektur mit erforderlicher QA-Prüfung abgeschlossen wurden, geteilt durch die Gesamtzahl der abgeschlossenen Einheiten. Legen Sie vorab fest, ob kleinere Korrekturen gemäß guter Dokumentationspraxis mitzählen. Beide Antworten sind vertretbar, aber dieselbe Antwort muss jeden Monat gelten. Berichten Sie die Kennzahl nach Produktlinie oder Prozess, damit ein Problem in einer Linie nicht im Durchschnitt verschwindet.

Schulungskonformität

Die übliche Kennzahl – der an einem bestimmten Tag abgeschlossene Anteil der Schulungsmatrix – ist eine Momentaufnahme, die Risiken verbirgt. Aussagekräftiger ist der Anteil der Schulungszuweisungen, die bis zum Fälligkeitsdatum abgeschlossen wurden, geteilt durch alle im Berichtszeitraum fälligen Zuweisungen. Die Fälligkeitsdaten sollten so gesetzt sein, dass die Schulung vor dem Inkrafttreten einer SOP-Version abgeschlossen wird. Ergänzen Sie eine Spätindikator-Prüfung: die Zahl der Abweichungen, bei denen die ausführende Person nicht zur aktuellen Version geschult war. Der Zielwert dafür ist null. Unser Artikel zur inspektionsbereiten GMP-Schulungsmatrix erklärt, wie Sie die Matrix so einrichten, dass sich dies messen lässt.

Dokumente mit überfälliger regelmäßiger Überprüfung

Dies ist die Zahl der kontrollierten Dokumente, deren Termin für die regelmäßige Überprüfung überschritten ist, geteilt durch die Zahl der kontrollierten Dokumente mit festgelegtem Überprüfungstermin. Führen Sie die ältesten Dokumente mit Namen auf. Als zweite, optionale Kennzahl können Sie die mediane Zeit von der Genehmigung eines Änderungsantrags bis zum Inkrafttreten des überarbeiteten Dokuments erfassen. So erkennen Sie, ob die Dokumentenlenkung CAPA und Änderungsmanagement ausbremst.

Abschluss von Auditfeststellungen

Der Abschluss von Auditfeststellungen ist die Zahl der internen, Lieferanten- und externen Auditfeststellungen, die bis zum vereinbarten Termin abgeschlossen wurden, geteilt durch die Zahl der im Berichtszeitraum fälligen Feststellungen. Zeigen Sie das Alter offener schwerwiegender Feststellungen gesondert, da eine sechs Monate offene schwerwiegende Feststellung mehr zählt als zehn geringfügige. Erfassen Sie wiederholte Feststellungen, bei denen innerhalb eines Jahres erneut auf dieselbe Klausel oder denselben Prozess verwiesen wird. Wiederholungen deuten auf eine unzureichende Ursachenanalyse beim ersten Auftreten hin.

Beschwerderate und Trends

Geben Sie Beschwerden als Rate im Verhältnis zu den verkauften oder ausgelieferten Einheiten an, denn die absolute Zahl steigt mit dem Umsatz. Analysieren Sie die Trends nach Fehlermodus oder Beschwerdekategorie über mindestens zwölf Monate, damit ein langsamer Anstieg in einer Kategorie sichtbar wird, auch wenn die Gesamtzahl gleich bleibt. Medizinproduktehersteller sollten außerdem die Zeit von Eingang bis zur Entscheidung erfassen, ob die Beschwerde ein meldepflichtiges schwerwiegendes Vorkommnis betrifft, da die Meldefristen gemäß MDR Artikel 87 ab dem Zeitpunkt laufen, zu dem Sie davon Kenntnis erlangen.

Nichtssagende Kennzahlen vermeiden

Eine nichtssagende Kennzahl steigt, wenn viel gearbeitet wird, sagt aber nichts über die Beherrschung aus. Gängige Beispiele sind die Zahl der abgeschlossenen CAPAs (was den Abschluss belohnt, unabhängig davon, ob tatsächlich etwas behoben wurde), die Zahl der erstellten oder überarbeiteten SOPs, die Zahl der durchgeführten Schulungen sowie planmäßig abgeschlossene Audits, die ohne Angaben zu Feststellungen oder deren Abschluss präsentiert werden. Keine dieser Kennzahlen zeigt, ob sich Produktqualität oder Compliance verbessert haben.

Eine weitere Falle sind Kennzahlen, die sich durch Manipulation des Prozesses erfüllen lassen. Wenn die CAPA-Durchlaufzeit die einzige CAPA-Kennzahl ist, werden CAPAs abgeschlossen, bevor ihre Wirksamkeit bekannt ist. Wenn die Abweichungszahl die einzige Kennzahl für Abweichungen ist, werden Mitarbeitende kleinere Abweichungen nicht mehr melden. Ein Inspektor, der einen Standort mit sehr wenigen erfassten Abweichungen prüft, wird fragen, warum das so ist. Kombinieren Sie jede Geschwindigkeits- oder Mengenk­ennzahl mit einer Qualitätskennzahl und betrachten Sie eine plötzliche Verbesserung genauso aufmerksam wie eine plötzliche Verschlechterung.

Ein Qualitäts-Dashboard für das Management erstellen

Beschränken Sie es auf eine Seite und etwa acht Kennzahlen. Zeigen Sie für jede einen Verlaufsgraphen über zwölf Monate, den Zielwert oder die Handlungsschwelle sowie ein bis zwei Kommentarzeilen dazu, was sich verändert hat und welche Maßnahmen vorgeschlagen werden. Eine Farbcodierung ist in Ordnung, sofern die dahinterstehende Regel dokumentiert ist; eine Kennzahl wird beispielsweise gelb, sobald sie einen festgelegten Schwellenwert überschreitet.

Bei kleinen Zahlen ist Vorsicht geboten. Ein Unternehmen, das pro Quartal vier CAPAs eröffnet, sieht seine Überfälligkeitsrate wegen einer einzigen verspäteten Maßnahme von null auf 25 % springen. Zeigen Sie neben jedem Prozentwert auch die Anzahl und ziehen Sie erst nach mehreren Berichtszeiträumen Schlüsse aus Trends. Bei geringen Fallzahlen ist eine Liste der tatsächlich überfälligen Punkte mit den Verantwortlichen oft nützlicher als ein Verhältniswert.

Überprüfen Sie schließlich die Kennzahlenauswahl einmal jährlich. Streichen Sie Kennzahlen, auf die niemand reagiert hat, ergänzen Sie solche, die Sie vor den diesjährigen Problemen gewarnt hätten, und halten Sie die Gründe fest. Diese Überprüfung ist ein naheliegender Punkt für die Managementbewertung nach Abschnitt 5.6.

Fazit

Wählen Sie weniger Kennzahlen und definieren Sie jede präzise: Zähler, Nenner, Zeitmessung, Quelle, Verantwortliche und die Schwelle, die eine Maßnahme auslöst. Sorgen Sie für ein ausgewogenes Verhältnis von Früh- und Spätindikatoren, kombinieren Sie jede Geschwindigkeitskennzahl mit einer Wirksamkeitsmessung und zeigen Sie neben Prozentwerten auch die Fallzahlen. Eine kleine Auswahl, die jeden Monat gleich berechnet wird, sagt dem Management mehr als ein umfangreiches Dashboard, dem niemand vertraut.

Diese Definitionen lassen sich leichter konsistent halten, wenn Abweichungen, CAPA, Schulungen, Dokumente und Auditfeststellungen in einem System mit einheitlichen Datums- und Statusangaben erfasst werden. Genau das bietet die eQMS-Plattform von InnoQualis.