Indicadores de qualidade para um pequeno fabricante regulamentado: o que acompanhar

A maioria dos pequenos fabricantes já comunica alguns números de qualidade. O problema é que os números foram escolhidos uma vez, por quem criou a primeira folha de cálculo, e ninguém registou exatamente como cada um é calculado. Seis meses depois, «CAPA atempada» significa algo diferente em cada relatório mensal, o indicador de formação aproxima-se dos 100% enquanto um operador assina um registo de lote com base numa revisão de SOP que nunca leu, e a revisão pela gestão é passada a discutir definições. Este artigo enumera os indicadores de qualidade que vale a pena acompanhar numa pequena empresa de dispositivos médicos ou farmacêutica, apresenta uma definição precisa para cada um, distingue indicadores preditivos de indicadores históricos, identifica as métricas de vaidade a eliminar e mostra como apresentar o conjunto à gestão.

O que as normas exigem que meça

Nenhuma regulamentação lhe fornece uma lista de indicadores. O que exigem é que meça e atue com base nos resultados. A cláusula 5.4.1 da ISO 13485:2016 exige objetivos da qualidade mensuráveis e coerentes com a política da qualidade. A cláusula 8.2.5 solicita métodos adequados para monitorizar e, conforme apropriado, medir os processos do sistema de gestão da qualidade. A cláusula 8.4 exige um procedimento documentado para determinar, recolher e analisar dados, utilizando métodos adequados, incluindo técnicas estatísticas, e abrangendo feedback, conformidade com os requisitos do produto, características e tendências dos processos e do produto, fornecedores, auditorias e relatórios de assistência. Os resultados alimentam a revisão pela gestão prevista na cláusula 5.6.2. A norma está disponível na página da ISO sobre a ISO 13485:2016.

No caso dos medicamentos, a secção 4.1 da ICH Q10 prevê que a revisão pela gestão avalie «indicadores de desempenho que possam ser utilizados para monitorizar a eficácia dos processos» no âmbito do sistema da qualidade, nomeando os processos de reclamações, desvios, CAPA e gestão de alterações, o feedback sobre atividades subcontratadas, a autoavaliação e as avaliações externas. O capítulo 1 das EU GMP adota o mesmo modelo.

Assim, a escolha das métricas é sua. Um inspetor ou auditor avaliará se elas lhe dizem alguma coisa, se são calculadas de forma consistente e se alguém tomou medidas quando os valores se alteraram.

Como definir uma métrica da qualidade para que continue fiável

Cada indicador precisa de um registo de definição sucinto, mantido como documento controlado ou como anexo ao procedimento de análise de dados. Sem esse registo, o número muda sempre que muda a pessoa que o produz. Uma definição útil inclui os seguintes campos:

É na medição do tempo que a maioria das métricas falha. A «antiguidade da CAPA» pode contar-se a partir do evento desencadeador, do início da CAPA ou da aprovação do plano pela QA, e a diferença pode ser de semanas. Escolha um critério, registe-o e nunca o altere sem o comunicar.

Indicadores de qualidade preditivos e históricos

Um indicador histórico comunica algo que já aconteceu: reclamações, recolhas, rejeições de lotes, desvios recorrentes, constatações de auditoria graves. Informa sobre o desempenho do sistema, mas demasiado tarde para evitar o resultado. Um indicador preditivo mede o estado do sistema antes de este falhar: ações de CAPA em atraso, formação não concluída antes da entrada em vigor de uma SOP, documentos cuja data de revisão já passou, constatações de auditoria que permanecem abertas sem resolução.

Uma pequena empresa precisa de ambos, em proporções aproximadamente equilibradas. Um conjunto baseado apenas em métricas históricas parece estar bem até ao trimestre em que deixa de estar. Um conjunto composto apenas por indicadores preditivos mede a atividade sem verificar se esta produziu resultados. A maioria dos indicadores abaixo apresenta-se em pares, nos quais uma medida preditiva antecipa uma medida histórica.

Os indicadores de qualidade que vale a pena acompanhar

Tempo de ciclo das CAPA e taxa de CAPA em atraso

O tempo de ciclo das CAPA é o número de dias de calendário entre o início da CAPA e o seu encerramento, comunicado como a mediana das CAPA encerradas no período, com a CAPA aberta há mais tempo indicada à parte. Divida-o por fases (investigação, implementação e verificação da eficácia) para perceber onde se perde tempo. A mediana é menos afetada por uma CAPA de longa duração do que a média.

A taxa de CAPA em atraso corresponde ao número de CAPA abertas, ou de ações CAPA abertas, que estão fora de prazo no final do mês, dividido pelo total de CAPA abertas nessa data. Meça em relação à data de conclusão inicialmente prevista e contabilize as prorrogações separadamente. Um processo que cumpre todos os prazos através de prorrogações continua atrasado.

Combine ambas as métricas com uma medida de eficácia, como a proporção de CAPA cuja verificação da eficácia concluiu que o problema não voltou a ocorrer. A rapidez sem eficácia incentiva o encerramento prematuro. O nosso artigo sobre verificação da eficácia das CAPA explica como conceber essa verificação.

Taxa de recorrência de desvios

A recorrência de desvios corresponde ao número de desvios abertos no período que partilham a mesma categoria de causa-raiz e o mesmo processo, produto ou equipamento de um desvio encerrado nos doze meses anteriores, dividido pelo total de desvios abertos no período. É um dos indicadores históricos mais úteis para uma unidade pequena, porque a recorrência é uma prova direta de que uma investigação ou uma CAPA não foi eficaz.

Depende de uma taxonomia consistente de causas-raiz. Se os investigadores puderem escolher livremente «erro humano», «procedimento» ou «outro», a métrica acaba por refletir os seus hábitos. É indispensável dispor de uma lista controlada e sucinta de categorias e de regras que indiquem quando utilizar cada uma. O guia de gestão de desvios aborda a classificação com mais pormenor.

Certo à primeira

O indicador «certo à primeira» corresponde ao número de lotes ou registos de histórico de dispositivos concluídos no período sem desvios, retrabalho nem correções que exijam revisão da QA, dividido pelo número de lotes ou registos concluídos. Decida antecipadamente se as correções menores de boas práticas de documentação contam; qualquer opção é defensável, mas a resposta tem de ser sempre a mesma, todos os meses. Apresente o indicador por linha de produto ou processo, para que um problema numa linha não fique diluído na média.

Conformidade da formação

O indicador habitual — a percentagem da matriz de formação concluída num determinado dia — é uma fotografia que oculta o risco. Uma medida melhor é o número de atribuições de formação concluídas até à data-limite, dividido pelo número de atribuições com prazo no período, definindo os prazos de modo que a formação seja concluída antes de uma revisão da SOP entrar em vigor. Acrescente uma verificação histórica: o número de desvios em que a pessoa que executou a tarefa não tinha formação sobre a revisão atual. O objetivo para este indicador é zero. O nosso artigo sobre uma matriz de formação GMP pronta para inspeção explica como configurar a matriz para que isto seja mensurável.

Documentos com revisão periódica em atraso

Este indicador corresponde ao número de documentos controlados cuja data de revisão periódica já passou, dividido pelo número de documentos controlados com uma data de revisão. Indique os documentos mais antigos pelo nome. Uma segunda métrica, opcional, é o tempo mediano entre a aprovação de um pedido de alteração e a entrada em vigor do documento revisto, que permite perceber se o controlo de documentos está a criar um estrangulamento para as CAPA e o controlo de alterações.

Encerramento de constatações de auditoria

O encerramento de constatações de auditoria corresponde ao número de constatações de auditorias internas, a fornecedores e externas encerradas até à data acordada, dividido pelo número de constatações cujo prazo terminou no período. Apresente separadamente a antiguidade das constatações graves ainda abertas, uma vez que uma constatação grave em aberto há seis meses é mais importante do que dez constatações menores. Acompanhe as constatações recorrentes, em que a mesma cláusula ou processo volta a ser mencionado no espaço de um ano; as recorrências apontam para uma análise de causas-raiz deficiente na primeira ocasião.

Taxa e tendências de reclamações

Apresente as reclamações como uma taxa face às unidades vendidas ou expedidas, porque o número absoluto aumenta com as vendas. Analise as tendências por modo de falha ou categoria de reclamação ao longo de, pelo menos, doze meses, para que seja visível uma subida lenta num dos modos, mesmo quando o total se mantém estável. Para os fabricantes de dispositivos, acrescente o tempo entre a receção e a decisão sobre se a reclamação constitui um incidente grave notificável, uma vez que os prazos de vigilância previstos no artigo 87.º do MDR começam a contar quando a organização toma conhecimento do caso.

Como evitar métricas de vaidade

Uma métrica de vaidade aumenta quando as pessoas estão ocupadas, mas não lhe diz nada sobre o controlo. Entre os exemplos comuns contam-se o número de CAPA encerradas (que recompensa o encerramento, independentemente de se ter corrigido alguma coisa), o número de SOP elaboradas ou revistas, o número de sessões de formação realizadas e as auditorias concluídas conforme planeado, apresentadas sem dados sobre constatações ou encerramentos. Nenhuma destas métricas indica se a qualidade do produto ou a conformidade melhoraram.

A outra armadilha é uma métrica que pode ser cumprida manipulando o processo. Se o tempo de ciclo das CAPA for a única medida de CAPA, estas serão encerradas antes de se conhecer a eficácia. Se o número de desvios for a única medida relativa a desvios, as pessoas deixarão de registar os desvios menores, e um inspetor que leia os registos de uma unidade com muito poucos desvios documentados perguntará porquê. Combine cada métrica de rapidez ou volume com uma métrica de qualidade e analise uma melhoria súbita com a mesma curiosidade que uma descida súbita.

Criar um painel de qualidade para a gestão

Limite-o a uma página e a cerca de oito métricas. Para cada uma, apresente um gráfico de evolução dos últimos doze meses, o objetivo ou limite de ação e uma ou duas linhas de comentário sobre o que mudou e o que se propõe fazer. A utilização de cores é aceitável, desde que a regra correspondente esteja documentada; uma métrica passa a âmbar quando ultrapassa um limite definido.

Os números pequenos exigem cuidado. Uma empresa que inicia quatro CAPA por trimestre verá a sua taxa de atrasos saltar de zero para 25% por causa de uma única ação atrasada. Apresente a contagem junto de cada percentagem e analise as tendências ao longo de vários períodos antes de tirar conclusões. Quando os volumes são baixos, uma lista das ações efetivamente em atraso, com os respetivos responsáveis, é muitas vezes mais útil do que um rácio.

Por fim, reveja o próprio conjunto de métricas uma vez por ano. Elimine as métricas que nunca deram origem a medidas, acrescente as que teriam alertado para os problemas deste ano e registe os motivos. Essa revisão é um elemento natural da revisão pela gestão prevista na cláusula 5.6.

Em resumo

Escolha menos métricas e defina cada uma com precisão: numerador, denominador, relógio, fonte, responsável e limite que desencadeia uma ação. Equilibre os indicadores preditivos e históricos, associe cada métrica de rapidez a uma medida de eficácia e apresente as contagens juntamente com as percentagens. Um conjunto reduzido, calculado da mesma forma todos os meses, dirá mais à gestão do que um painel extenso em que ninguém confia.

É mais fácil manter estas definições estáveis quando os desvios, as CAPA, a formação, os documentos e as constatações de auditoria são registados num único sistema, com datas e estados consistentes, que é o que a plataforma eQMS da InnoQualis disponibiliza.