Indicateurs clés de qualité pour un petit fabricant réglementé : que suivre
Quels indicateurs clés de qualité méritent d’être suivis dans une petite entreprise de dispositifs médicaux ou pharmaceutique, comment définir chacun d’eux pour éviter toute dérive et comment les présenter à la direction.
La plupart des petits fabricants communiquent déjà certains chiffres liés à la qualité. Le problème, c’est que ces chiffres ont été choisis une fois, par la personne qui a créé le premier tableur, et que personne n’a consigné précisément la façon dont chacun est calculé. Six mois plus tard, « CAPA dans les délais » signifie quelque chose de différent dans chaque rapport mensuel, le taux de formation reste proche de 100 % alors qu’un opérateur signe un dossier de lot en se référant à une révision d’une SOP qu’il n’a jamais lue, et la revue de direction passe son temps à débattre des définitions. Cet article répertorie les indicateurs clés de qualité qui méritent d’être suivis dans une petite entreprise de dispositifs médicaux ou pharmaceutique, en donne une définition précise, distingue les indicateurs avancés des indicateurs retardés, indique les indicateurs de vanité à abandonner et explique comment présenter l’ensemble à la direction.
Ce que les normes vous demandent de mesurer
Aucune réglementation ne vous fournit une liste d’indicateurs clés de performance. Elles exigent que vous mesuriez les résultats et que vous agissiez en conséquence. La clause 5.4.1 de la norme ISO 13485:2016 exige des objectifs qualité mesurables et cohérents avec la politique qualité. La clause 8.2.5 demande des méthodes appropriées pour surveiller et, le cas échéant, mesurer les processus du système de management de la qualité. La clause 8.4 exige une procédure documentée pour déterminer, collecter et analyser les données, à l’aide de méthodes appropriées, notamment des techniques statistiques, couvrant les retours d’information, la conformité aux exigences relatives aux produits, les caractéristiques et tendances des processus et des produits, les fournisseurs, les audits et les rapports de service. Les résultats alimentent la revue de direction prévue à la clause 5.6.2. La norme est présentée sur la page de l’ISO consacrée à ISO 13485:2016.
Pour les médicaments, la section 4.1 de l’ICH Q10 prévoit que la revue de direction évalue les « indicateurs de performance pouvant servir à surveiller l’efficacité des processus » du système qualité. Elle cite les processus de gestion des réclamations, des déviations, des CAPA et des modifications, les retours d’information sur les activités externalisées, l’auto-évaluation et les évaluations externes. Le chapitre 1 des BPF de l’UE adopte le même modèle.
Le choix des indicateurs vous revient donc. Un inspecteur ou un auditeur évaluera s’ils vous apprennent quelque chose, s’ils sont calculés de manière cohérente et si quelqu’un a agi lorsque leur évolution l’exigeait.
Comment définir un indicateur qualité pour qu’il reste fiable
Chaque indicateur clé de performance nécessite une fiche de définition concise, conservée comme document contrôlé ou en annexe de votre procédure d’analyse des données. Sans cela, le chiffre change chaque fois que la personne qui le produit change. Une définition utile comporte les champs suivants :
| Champ | Contenu à indiquer |
|---|---|
| Question | La décision à laquelle cet indicateur contribue |
| Numérateur et dénominateur | Ce qui est précisément comptabilisé, avec les inclusions et exclusions |
| Période de mesure | Les événements qui marquent le début et la fin de toute mesure de durée |
| Source | Le système ou registre d’où proviennent les données |
| Fréquence | La fréquence de calcul et la période considérée |
| Responsable | La personne qui le produit et celle qui agit en conséquence |
| Règle d’action | Le seuil ou la tendance qui déclenche une réponse |
C’est au niveau de la période de mesure que la plupart des indicateurs déraillent. L’« ancienneté d’une CAPA » peut commencer à l’événement déclencheur, à l’ouverture de la CAPA ou à l’approbation du plan par l’assurance qualité ; la différence peut représenter plusieurs semaines. Choisissez une définition, consignez-la et ne la modifiez jamais sans le signaler.
Indicateurs qualité avancés et retardés
Un indicateur retardé rend compte de quelque chose qui s’est déjà produit : réclamations, rappels, rejets de lots, déviations récurrentes, constats majeurs d’audit. Il vous indique la performance du système, mais trop tard pour éviter le résultat. Un indicateur avancé mesure l’état du système avant sa défaillance : actions CAPA en retard, formation non terminée avant l’entrée en vigueur d’une SOP, documents dont la date de révision est dépassée, vieillissement des constats d’audit sans clôture.
Une petite entreprise a besoin des deux, dans des proportions globalement équilibrées. Un ensemble composé uniquement d’indicateurs retardés semblera satisfaisant jusqu’au trimestre où il ne le sera plus. Un ensemble composé uniquement d’indicateurs avancés mesure l’activité sans vérifier qu’elle a produit des résultats. La plupart des indicateurs ci-dessous vont par paire : une mesure avancée prédit une mesure retardée.
Les indicateurs clés de qualité à suivre
Durée du cycle CAPA et taux de CAPA en retard
La durée du cycle CAPA correspond au nombre de jours calendaires entre l’ouverture et la clôture d’une CAPA. Elle est rapportée sous forme de médiane des CAPA clôturées pendant la période, avec l’âge de la CAPA ouverte la plus ancienne indiqué en complément. Ventilez la durée en phases (investigation, mise en œuvre, vérification de l’efficacité) afin de voir où le temps est consacré. La médiane est moins sensible qu’une moyenne à la distorsion causée par une CAPA qui s’éternise.
Le taux de CAPA en retard correspond au nombre de CAPA ouvertes, ou d’actions CAPA ouvertes, dont l’échéance est dépassée à la fin du mois, divisé par le nombre total de CAPA ouvertes à cette date. Mesurez le retard par rapport à l’échéance initiale et comptabilisez les prolongations séparément. Un processus qui respecte toutes les échéances en les prolongeant reste un processus en retard.
Associez ces deux mesures à une mesure d’efficacité, telle que la proportion de CAPA dont la vérification de l’efficacité a révélé que le problème ne s’était pas reproduit. La rapidité sans efficacité incite à clôturer prématurément. Notre article sur la vérification de l’efficacité des CAPA explique comment concevoir cette vérification.
Taux de récurrence des déviations
Le taux de récurrence des déviations correspond au nombre de déviations ouvertes pendant la période qui partagent une catégorie de cause racine et le même processus, produit ou équipement qu’une déviation clôturée au cours des douze mois précédents, divisé par le nombre total de déviations ouvertes pendant la période. C’est l’un des indicateurs retardés les plus utiles pour un petit site, car une récurrence prouve directement qu’une investigation ou une CAPA n’a pas fonctionné.
Cet indicateur dépend d’une taxonomie des causes racines cohérente. Si les enquêteurs peuvent choisir librement « erreur humaine », « procédure » ou « autre », l’indicateur mesure leurs habitudes. Une courte liste contrôlée de catégories, assortie d’une règle précisant quand utiliser chacune, est indispensable. Le guide de gestion des déviations traite plus en détail de leur classification.
Réussite du premier coup
La réussite du premier coup correspond au nombre de lots ou de dossiers d’historique de dispositif médical terminés pendant la période sans déviation, reprise ni correction nécessitant une revue de l’assurance qualité, divisé par le nombre de lots ou de dossiers terminés. Décidez à l’avance si les corrections mineures relevant des bonnes pratiques documentaires sont prises en compte ; les deux choix se défendent, mais le même choix doit être appliqué chaque mois. Présentez le résultat par gamme de produits ou processus afin qu’un problème sur une ligne ne soit pas masqué par la moyenne.
Conformité de la formation
Le chiffre habituel — le pourcentage de la matrice de formation achevé à une date donnée — est un instantané qui masque les risques. Une meilleure mesure est le nombre de formations assignées terminées avant leur échéance, divisé par le nombre de formations arrivant à échéance pendant la période. Les échéances doivent être définies de sorte que la formation soit terminée avant l’entrée en vigueur d’une révision de SOP. Ajoutez une vérification rétrospective : le nombre de déviations dans lesquelles la personne ayant effectué la tâche n’était pas formée sur la révision en vigueur. La cible pour cet indicateur est zéro. Notre article consacré à une matrice de formation GMP prête pour une inspection explique comment configurer la matrice pour rendre cet indicateur mesurable.
Documents dont la révision périodique est en retard
Il s’agit du nombre de documents contrôlés dont la date de révision périodique est dépassée, divisé par le nombre de documents contrôlés assortis d’une date de révision. Indiquez le nom des documents les plus anciens. Une deuxième mesure, facultative, est la durée médiane entre l’approbation d’une demande de modification et l’entrée en vigueur du document révisé ; elle indique si le contrôle documentaire constitue un goulot d’étranglement pour les CAPA et la maîtrise des modifications.
Clôture des constats d’audit
Le taux de clôture des constats d’audit correspond au nombre de constats d’audits internes, fournisseurs et externes clôturés à la date convenue, divisé par le nombre de constats arrivant à échéance pendant la période. Présentez séparément l’ancienneté des constats majeurs ouverts, car un constat majeur ouvert depuis six mois compte davantage que dix constats mineurs. Suivez les constats récurrents, c’est-à-dire lorsque la même clause ou le même processus est de nouveau cité dans un délai d’un an ; ils indiquent que l’analyse de la cause racine initiale était insuffisante.
Taux et tendances des réclamations
Rapportez les réclamations sous forme de taux par rapport au nombre d’unités vendues ou expédiées, car un chiffre brut augmente avec les ventes. Analysez les tendances par mode de défaillance ou catégorie de réclamation sur une période d’au moins douze mois, afin qu’une hausse lente dans une catégorie reste visible même si le total est stable. Pour les fabricants de dispositifs médicaux, ajoutez le délai entre la réception et la décision quant au caractère déclarable de l’incident grave, car les délais de vigilance prévus par l’article 87 du MDR commencent à courir dès que vous en avez connaissance.
Éviter les indicateurs de vanité
Un indicateur de vanité augmente lorsque les équipes sont occupées, sans rien vous apprendre sur la maîtrise. Parmi les exemples courants : le nombre de CAPA clôturées (qui récompense la clôture, que le problème soit résolu ou non), le nombre de SOP rédigées ou révisées, le nombre de sessions de formation dispensées et les audits réalisés conformément au plan, présentés sans données sur les constats ou leur clôture. Aucun de ces indicateurs ne dit si la qualité des produits ou la conformité s’est améliorée.
L’autre piège est un indicateur auquel on peut satisfaire en manipulant le processus. Si la durée du cycle CAPA est le seul indicateur CAPA, les CAPA seront clôturées avant que leur efficacité soit connue. Si le nombre de déviations est le seul indicateur de déviation, les équipes cesseront de signaler les déviations mineures, et un inspecteur qui examinera un site avec très peu de déviations enregistrées demandera pourquoi. Associez chaque indicateur de rapidité ou de volume à un indicateur de qualité et examinez une amélioration soudaine avec autant d’attention qu’une détérioration soudaine.
Créer un tableau de bord qualité pour la direction
Limitez-vous à une page et à environ huit indicateurs. Pour chacun, présentez un graphique d’évolution sur douze mois, la cible ou le seuil d’action, ainsi qu’une ou deux lignes de commentaire indiquant ce qui a changé et ce qui est proposé. Le code couleur convient si la règle qui le sous-tend est consignée ; un indicateur passe à l’orange lorsqu’il franchit un seuil défini.
Les petits nombres nécessitent une attention particulière. Une entreprise qui ouvre quatre CAPA par trimestre verra son taux de retard passer de zéro à 25 % à cause d’une seule action en retard. Indiquez le nombre à côté de chaque pourcentage et examinez les tendances sur plusieurs périodes avant d’en tirer des conclusions. Lorsque les volumes sont faibles, une liste des éléments effectivement en retard et de leurs responsables est souvent plus utile qu’un ratio.
Enfin, réexaminez l’ensemble des indicateurs une fois par an. Supprimez ceux sur lesquels personne n’a agi, ajoutez ceux qui auraient pu vous alerter sur les problèmes de l’année écoulée et consignez les raisons de ces changements. Cet examen constitue un point naturel de la revue de direction prévue à la clause 5.6.
À retenir
Choisissez moins d’indicateurs et définissez chacun avec précision : numérateur, dénominateur, période de mesure, source, responsable et seuil déclenchant une action. Équilibrez les indicateurs avancés et retardés, associez chaque indicateur de rapidité à une mesure d’efficacité et indiquez les nombres à côté des pourcentages. Un petit ensemble, calculé de la même manière chaque mois, apportera davantage à la direction qu’un grand tableau de bord auquel personne ne fait confiance.
Il est plus facile de maintenir ces définitions dans la durée lorsque les déviations, les CAPA, les formations, les documents et les constats d’audit sont enregistrés dans un seul système avec des dates et des statuts cohérents, ce que propose la plateforme eQMS d’InnoQualis.
