L’évaluation externe au carrefour (deuxième partie [1])

Les hésitations et fluctuations en matière de doctrine conduisent de fait à nourrir une tentation d’orienter les évaluations vers des pratiques d’audit. Cela pose un problème général au regard des intentions du législateur et de la commande publique, problème plus aigu quant à l’évaluation externe compte tenu de son impact sur le renouvellement de l’autorisation.

La tentation de l’audit

L’on peut regarder une même thématique avec des finalités différentes. La question du droit des usagers, par exemple, ne sera pas abordée de la même façon lors d’une mission d’inspection, d’un audit ou d’une évaluation. La première forme relève du contrôle au regard de la réglementation. Les pratiques d’audit renvoient le plus souvent à regarder la conformité de ce qui se fait par rapport à des référés qui peuvent être de nature législative ou réglementaire mais aussi des référentiels de toute nature. C’est ce que l’on retrouve dans les démarches de certification par exemple. Nous sommes là dans des logiques de vérification par rapport à des normes ou à des règles, soit externes, soit internes. Or, l’évaluation « doit viser à la production de connaissance et d’analyse. Cette évaluation doit permettre de porter une appréciation qui l’inscrit dans une logique d’intervention et d’aide à la décision. Elle a pour but de mieux connaître et comprendre les processus, d’apprécier les impacts produits au regard des objectifs tels que précisés ci-après, en références aux finalités prioritairement définies pour l’action publique. »[2]

Si contrôler (ou auditer) c’est vérifier, évaluer c’est comprendre. L’enjeu de cette dernière c’est l’appréciation non seulement de la qualité de ce que réalise un ESSMS mais aussi de sa « capacité…à réaliser les missions qui lui sont confiées et [de] la qualité de ses activités au regard de son autorisation » (circulaire du 21 octobre 2011). Autrement dit, c’est la question de l’inscription de l’ESSMS dans une politique publique donnée et, comme l’indique à plusieurs reprises le décret du 15 mai 2007, celle des effets des actions conduites sur la situation des usagers qui sont au cœur des finalités assignées à l’évaluation.

Certes, l’on pourrait dire que la distinction entre inspection, contrôle ou audit d’un coté, évaluation de l’autre, répétée dans différents textes et lors d’interventions des pouvoirs publics fait consensus, qu’il y aurait là un fait acquis. La réalité est plus complexe, notamment dans le champ des personnes âgées.

En effet, la Fédération Hospitalière de France promeut, pour les Ehpad, son propre référentiel d’évaluation externe (EVA) dont les principes sont plutôt éloignés des dispositions du décret du 15 mai 2007. En effet ce référentiel est calqué sur celui utilisé par la Haute autorité de santé pour certifier les établissements de santé. La méthode employée, qui est quasiment la même, consiste en une visite concentrée sur deux ou trois jours, par une équipe de deux à trois évaluateurs qui en fait vérifie la conformité de ce que réalise l’établissement au regard du référentiel EVA avec un système de cotation (A, B, C, D).

Cette situation est publique et revendiquée par la FHF[3]. Elle est manifestement contraire au décret du 15 mai 2007. Mais, ni l’Anesm, ni la DGCS n’ont émis le moindre commentaire sur ces situations.  La DGCS, qui exerce pour le compte de l’Etat la tutelle de l’Agence, serait légitime à soulever ce type de problème, à la fois sur un plan formel et sur le fond car de telles postures concourent à brouiller le message relatif à ce que les pouvoirs publics attendent de l’évaluation. Quant à l’Anesm, elle a un pouvoir de contrôle et de sanction, non directement sur la FHF qui n’est pas en tant que telle habilitée à réaliser des évaluations externes mais sur l’organisme qui utilise le référentiel EVA et sa méthodologie en lieu et place des dispositions du cahier des charges réglementaire. En outre, l’Agence pourrait attirer l’attention des autorités  publiques sur ce point pour qu’elles soient vigilantes. L’Anesm avait d’ailleurs bien précisé, dès 2009, que « il convient de rappeler que l’évaluation externe se fait selon un seul référentiel : le cahier des charges fixé par le décret n° 2007-975 du 15 mai 2007. »[4]  Hors, bien qu’un certain nombre d’évaluations prétendues externes aient déjà été réalisées avec le référentiel EVA,  il n’y a eu, à notre connaissance aucune réaction.[5]

Par ailleurs le SYNERPA, qui représente les Ehpad sous statut commercial milite pour faire reconnaître la certification comme valant évaluation externe. Pour l’instant leur lobbying n’a pas permis d’atteindre l’objectif. La loi du 21 juillet 2009 (dite HPST) a seulement ajouté à l’article L312-8 du Casf  que, « en cas de certification par des organismes visés à l’article L115-28 du code de la consommation, un décret détermine les conditions dans lesquelles cette  certification peut être prise en compte dans le cadre de l’évaluation externe ». 

Le décret pris pour appliquer cette disposition et publié le 30 janvier 2012 précise que cette prise en compte s’effectuera « dans les limites de la correspondance définie pour chaque référentiel de certification ». Les rédacteurs de référentiels de certification devront seulement transmettre à l’Anesm les éléments nécessaires à la réalisation de ces tableaux. L’idée d’une correspondance totale débouchant sur le fait qu’une certification pourrait valoir évaluation externe est exclue. En outre, il n’y aura pas de voie directe entre organismes certificateurs et pouvoirs publics. Reste que pour l’instant ce travail n’en est qu’à ses balbutiements. Néanmoins, l’Anesm puis le Cnosms ont rendu deux avis en début d’année sur la correspondance de référentiels de certification. L’Anesm n’a pas communiqué sur ce point  et la méthodologie de réalisation des tableaux est pour le moins obscure.

En fait l’enjeu portera sur les critères qui sont privilégiés pour établir ces concordances. Le risque est d’en rester aux thématiques et d’occulter les questions de méthodes. Or, comme nous l’avons déjà dit, les mêmes thématiques peuvent être regardées de façon très différente avec des logiques et des finalités distinctes. Le décret du 15 mai 2007 pose des repères méthodologiques qui fondent le sens de la logique évaluative. Ils ont donc un rôle fondamental. La centralité du projet, l’appréciation des actions développées au regard des missions, de l’autorisation et des effets sur la situation des usagers, le caractère participatif  et pluraliste du processus, la construction d’un cadre de référence spécifique, l’importance de l’observation des pratiques sont des marqueurs incontournables

Or aujourd’hui, si l’on s’en réfère à la circulaire du 21 octobre 2011, l’accent est surtout porté sur les thématiques sans que la façon de les aborder ne soit prise en compte. Ceci a pu faire dire à certains que des rapports de certifications pouvaient être plus complets que des rapports d’évaluation externe. Outre que cette vision s’appuie sur des critères d’exhaustivité et non pas sur une logique d’appréciation globale (premier objectif de l’évaluation externe), elle sous-estime fortement les enjeux autour de la question de la finalité et de l’utilité de l’évaluation. Occulter les repères méthodologiques conduit, de fait, à considérer la méthode employée comme secondaire et favorise les logiques d’audit et/ou de certification.

Le paradoxe est que si la loi (au sens large) est suffisamment claire sur les distinctions entre audit et évaluation, il reste encore trop d’incertitudes dès lors que l’on passe des principes à l’opérationnel. Ceci provient bien de la faiblesse en matière de construction d’une doctrine forte, claire, pédagogiquement exprimée. Ni la Dgcs, ni l’Agence n’ont suffisamment avancé sur ce point.

Les grandes fédérations et les divers représentants au comité d’orientation stratégique non plus. Ces acteurs semblent très en retrait et se refusent à toute confrontation alors même que certains d’entre eux ont des points de vue affirmés mais pas vraiment convergents (et cela ne concerne pas seulement la FHF ou le Synerpa bien sur). Plusieurs fédérations développent des visions propres de ce que doit être l’évaluation. Certaines ont construit des outils, parfois en lien étroit avec les démarches qualité, outils qui sont parfois une source de rentrées financières.

Il y a en fait une forme d’accord tacite pour assurer, sur ces questions méthodologiques qui sont centrales et stratégiques, un service minimum. En effet, force est de constater qu’il y a loin d’avoir, au sein du conseil stratégique de l’Agence une vision solidement partagée sur ce que doit être l’évaluation, qu’elle soit interne ou externe[6]. Aucun des acteurs présents n’a pris l’initiative d’un débat clair pourtant indispensable, même s’il n’est pas sans risque. Les accords passés sur les questions de méthodologie et de finalité évaluatives ne sont largement que de façade dès lors que chacun peut s’en exonérer.

Ce contexte ne peut qu’encourager, par exemple,  les tenants des certifications (que ce soit le modèle sanitaire pour la FHF ou le modèle commercial pour le SYNERPA) non seulement à faire valoir leurs points de vue mais surtout à se sentir libre, dans les faits, de développer leurs propres logiques en toute impunité.

Quelques regroupements ont même été jusqu’à se faire habiliter en vue de réaliser des évaluations externes, faisant, dans leurs bulletins, de la communication pour que leurs adhérents fassent appel à eux.[7] Certains de ces regroupement ont d’ailleurs fait machine arrière en demandant à mettre fin à leur habilitation compte tenu des contradictions dans lesquelles cette situation les plaçaient.

Conclusion

Ces faiblesses dans la construction d’une doctrine pèsent sur la qualité des évaluations conduites. Malgré des délais qui se raccourcissent l’Agence peut encore agir pour « déterminer les principes fondamentaux garantissant la qualité des procédures suivies en matière d’évaluation interne et externe et assurant leur articulation et complémentarité ».[8] La Dgcs aussi bien sur.

Ce besoin de clarification et de consolidation est d’autant plus nécessaire que la situation actuelle va peser sur la qualité et le traitement des rapports d’évaluation externe.