KPI di qualità per un piccolo produttore regolamentato: cosa monitorare

La maggior parte dei piccoli produttori comunica già alcuni dati relativi alla qualità. Il problema è che i dati sono stati scelti una volta sola da chi ha creato il primo foglio di calcolo, e nessuno ha documentato esattamente come viene calcolato ciascuno. Sei mesi dopo, «CAPA nei tempi» significa qualcosa di diverso in ogni report mensile, il dato sulla formazione si avvicina al 100% mentre un operatore firma un registro di lotto facendo riferimento a una revisione di una SOP che non ha mai letto, e il riesame della direzione viene speso a discutere le definizioni. Questo articolo elenca i KPI di qualità che vale la pena monitorare in una piccola azienda di dispositivi medici o farmaceutica, fornisce una definizione precisa per ciascuno, distingue gli indicatori anticipatori da quelli consuntivi, individua le metriche di facciata da eliminare e mostra come presentare l’insieme alla direzione.

Cosa chiedono gli standard di misurare

Nessuna normativa fornisce un elenco di KPI. Ciò che richiede è misurare i risultati e agire di conseguenza. La clausola 5.4.1 della ISO 13485:2016 richiede obiettivi per la qualità misurabili e coerenti con la politica per la qualità. La clausola 8.2.5 richiede metodi adeguati per monitorare e, ove opportuno, misurare i processi del sistema di gestione per la qualità. La clausola 8.4 richiede una procedura documentata per determinare, raccogliere e analizzare i dati, utilizzando metodi adeguati, comprese le tecniche statistiche, e includendo feedback, conformità ai requisiti del prodotto, caratteristiche e tendenze dei processi e dei prodotti, fornitori, audit e rapporti di assistenza. I risultati alimentano il riesame della direzione ai sensi della clausola 5.6.2. Lo standard è disponibile nella pagina ISO dedicata alla ISO 13485:2016.

Per i medicinali, la sezione 4.1 della ICH Q10 prevede che il riesame della direzione valuti gli «indicatori di prestazione utilizzabili per monitorare l’efficacia dei processi» del sistema qualità, nominando i processi di gestione dei reclami, delle deviazioni, delle CAPA e delle modifiche, il feedback sulle attività esternalizzate, l’autovalutazione e le valutazioni esterne. Il capitolo 1 delle EU GMP adotta lo stesso modello.

La scelta delle metriche spetta quindi a voi. Un ispettore o auditor valuterà se forniscono informazioni utili, se sono calcolate in modo coerente e se qualcuno è intervenuto quando i valori sono cambiati.

Come definire una metrica di qualità affinché resti affidabile

Ogni KPI necessita di una breve scheda di definizione, conservata come documento controllato o come appendice alla procedura di analisi dei dati. Senza di essa, il dato cambia ogni volta che cambia la persona che lo produce. Una definizione utile comprende i seguenti campi:

La cronologia è il punto in cui la maggior parte delle metriche non funziona. «Durata della CAPA» può partire dall’evento scatenante, dall’avvio della CAPA o dall’approvazione del piano da parte della QA, con differenze anche di settimane. Scegliete un criterio, documentatelo e non modificatelo senza darne comunicazione.

Indicatori di qualità anticipatori e consuntivi

Un indicatore consuntivo riporta qualcosa che è già accaduto: reclami, richiami, lotti respinti, deviazioni ricorrenti, rilievi di audit maggiori. Indica come ha funzionato il sistema, ma troppo tardi per prevenire l’esito. Un indicatore anticipatore misura le condizioni del sistema prima che si verifichi un problema: azioni CAPA scadute, formazione non completata prima dell’entrata in vigore di una SOP, documenti oltre la data di riesame, rilievi di audit che restano aperti senza essere chiusi.

Una piccola azienda ha bisogno di entrambi, in proporzioni più o meno equilibrate. Un insieme basato solo su metriche consuntive sembra soddisfacente finché non arriva il trimestre in cui non lo è più. Un insieme basato solo su metriche anticipatorie misura le attività senza verificare se hanno prodotto risultati. La maggior parte dei KPI riportati di seguito viene proposta in coppia, con una misura anticipatoria che consente di prevederne una consuntiva.

I KPI di qualità che vale la pena monitorare

Tempo di ciclo delle CAPA e tasso di CAPA scadute

Il tempo di ciclo delle CAPA è il numero di giorni di calendario dall’avvio della CAPA alla sua chiusura, riportato come mediana delle CAPA chiuse nel periodo, mostrando anche la CAPA aperta da più tempo. Suddividetelo per fase (indagine, attuazione, verifica dell’efficacia) per individuare dove si concentra il tempo. La mediana è meno soggetta all’effetto distorsivo di una CAPA di lunga durata rispetto alla media.

Il tasso di CAPA scadute è il numero di CAPA aperte, o di azioni CAPA aperte, che a fine mese hanno superato la data di scadenza, diviso per il totale delle CAPA aperte a fine mese. Misurate rispetto alla data di scadenza originale e conteggiate separatamente le proroghe. Un processo che rispetta ogni scadenza prorogandola è comunque in ritardo.

Affiancate entrambe le metriche a una misura di efficacia, ad esempio la percentuale di CAPA la cui verifica di efficacia ha rilevato che il problema non si era ripresentato. La velocità senza efficacia incoraggia la chiusura prematura. Il nostro articolo sulla verifica dell’efficacia delle CAPA spiega come progettarla.

Tasso di ricorrenza delle deviazioni

La ricorrenza delle deviazioni è il numero di deviazioni aperte nel periodo che condividono la stessa categoria di causa principale e lo stesso processo, prodotto o apparecchiatura di una deviazione chiusa nei dodici mesi precedenti, diviso per il totale delle deviazioni aperte nel periodo. È uno degli indicatori consuntivi più utili per un piccolo sito, perché la ricorrenza dimostra direttamente che un’indagine o una CAPA non ha funzionato.

La metrica dipende da una tassonomia coerente delle cause principali. Se gli investigatori possono scegliere liberamente «errore umano», «procedura» o «altro», la metrica riflette le loro abitudini. Sono indispensabili un breve elenco controllato di categorie e una regola che stabilisca quando utilizzarle. La guida alla gestione delle deviazioni tratta la classificazione più nel dettaglio.

Corretto al primo tentativo

Il dato «corretto al primo tentativo» è il numero di lotti o di documenti relativi alla storia del dispositivo completati nel periodo senza deviazioni, rilavorazioni o correzioni che richiedano la revisione della QA, diviso per il numero di lotti o documenti completati. Stabilite in anticipo se conteggiare le correzioni minori alle buone pratiche di documentazione: entrambe le scelte sono difendibili, ma la risposta deve restare la stessa ogni mese. Riportatelo per linea di prodotto o processo, così un problema su una linea non viene mascherato dalla media.

Conformità alla formazione

Il dato abituale, ovvero la percentuale della matrice di formazione completata in un determinato giorno, è un’istantanea che nasconde i rischi. Una misura migliore è il numero di assegnazioni formative completate entro la scadenza diviso per le assegnazioni in scadenza nel periodo, stabilendo le scadenze in modo che la formazione sia completata prima dell’entrata in vigore di una revisione della SOP. Aggiungete una verifica consuntiva: il numero di deviazioni in cui la persona che ha svolto l’attività non era formata sulla revisione corrente. L’obiettivo per quest’ultima è zero. Il nostro articolo su una matrice di formazione GMP pronta per le ispezioni spiega come impostarla in modo che sia possibile misurare questo dato.

Documenti oltre la scadenza del riesame periodico

È il numero di documenti controllati che hanno superato la data di riesame periodico, diviso per il numero di documenti controllati con una data di riesame. Indicate per nome i documenti rimasti oltre la scadenza più a lungo. Una seconda metrica, facoltativa, è il tempo mediano tra l’approvazione di una richiesta di modifica e l’entrata in vigore del documento revisionato, che mostra se il controllo documentale costituisce un collo di bottiglia per le CAPA e il controllo delle modifiche.

Chiusura dei rilievi di audit

La chiusura dei rilievi di audit è il numero di rilievi degli audit interni, dei fornitori e degli audit esterni chiusi entro la data concordata, diviso per i rilievi in scadenza nel periodo. Mostrate separatamente l’anzianità dei rilievi maggiori ancora aperti, poiché un singolo rilievo maggiore aperto da sei mesi conta più di dieci rilievi minori. Monitorate i rilievi ricorrenti, nei casi in cui la stessa clausola o lo stesso processo venga citato di nuovo entro un anno: le ricorrenze indicano un’analisi della causa principale debole al primo riscontro.

Tasso e tendenze dei reclami

Riportate i reclami come tasso rispetto alle unità vendute o spedite, perché il conteggio assoluto aumenta con le vendite. Analizzate la tendenza per modalità di guasto o categoria di reclamo per almeno dodici mesi, in modo che un aumento graduale di una modalità sia visibile anche quando il totale rimane stabile. Per i produttori di dispositivi, aggiungete il tempo che intercorre tra la ricezione e la decisione sull’obbligo di segnalare l’evento avverso grave, poiché i termini di vigilanza previsti dall’articolo 87 dell’MDR decorrono dal momento in cui ne venite a conoscenza.

Evitare le metriche di facciata

Una metrica di facciata aumenta quando le persone sono occupate, ma non fornisce informazioni sul controllo. Tra gli esempi più comuni figurano il numero di CAPA chiuse (che premia la chiusura indipendentemente dall’effettiva risoluzione del problema), il numero di SOP redatte o revisionate, il numero di sessioni formative erogate e gli audit completati secondo il piano, presentati senza dati sui rilievi o sulla loro chiusura. Nessuna di queste metriche indica se la qualità del prodotto o la conformità sono migliorate.

Un’altra insidia è una metrica che si può soddisfare manipolando il processo. Se il tempo di ciclo delle CAPA è l’unica misura relativa alle CAPA, queste verranno chiuse prima di conoscerne l’efficacia. Se il numero di deviazioni è l’unica misura relativa alle deviazioni, le persone smetteranno di segnalare quelle minori e un ispettore che esamina un sito con pochissime deviazioni registrate si chiederà perché. Affiancate a ogni metrica di velocità o volume una metrica di qualità e accogliete un miglioramento improvviso con la stessa curiosità di un calo improvviso.

Creare un cruscotto della qualità per la direzione

Limitatelo a una pagina e a circa otto metriche. Per ciascuna, mostrate un grafico dell’andamento su dodici mesi, l’obiettivo o la soglia d’intervento e una o due righe di commento che spieghino cosa è cambiato e cosa si propone. Il codice colore va bene, purché la regola alla base sia documentata: una metrica diventa gialla quando supera una soglia definita.

I numeri piccoli richiedono attenzione. Un’azienda che avvia quattro CAPA a trimestre vedrà il tasso di CAPA scadute passare da zero al 25% a causa di una sola azione in ritardo. Mostrate il conteggio accanto a ogni percentuale e osservate le tendenze su più periodi prima di trarre conclusioni. Quando i volumi sono bassi, un elenco delle singole attività scadute con i relativi responsabili è spesso più utile di un rapporto.

Infine, riesaminate l’insieme delle metriche una volta all’anno. Eliminate quelle che non hanno portato ad alcuna azione, aggiungete quelle che avrebbero potuto segnalare i problemi di quest’anno e documentate le motivazioni. Questo riesame è un elemento naturale del riesame della direzione previsto dalla clausola 5.6.

In sintesi

Scegliete meno metriche e definite ciascuna con precisione: numeratore, denominatore, cronologia, fonte, responsabile e soglia che determina un intervento. Bilanciate gli indicatori anticipatori e consuntivi, affiancate a ogni metrica di velocità una misura di efficacia e mostrate i conteggi insieme alle percentuali. Un insieme ristretto, calcolato ogni mese nello stesso modo, fornirà alla direzione più informazioni di un cruscotto ampio di cui nessuno si fida.

È più facile mantenere stabili queste definizioni quando le deviazioni, le CAPA, la formazione, i documenti e i rilievi di audit vengono registrati in un unico sistema con date e stati coerenti, proprio ciò che offre la piattaforma eQMS di InnoQualis.