Evaluation externe et certification : la situation clarifiée ?

Suite aux deux derniers billets, il n’était pas prévu de revenir tout de suite sur la question de l’évaluation dans les ESSMS mais l’actualité nous y conduit. En effet, deux arrêtés portant reconnaissance partielle entre des référentiels de certifications et le cahier des charges relatif à l’évaluation externe viennent de paraître.[1] A priori ces textes bouclent le dispositif institutionnel issu de la loi 2002.2, même si d’autres référentiels de certification au sens de la loi devraient encore faire l’objet de textes règlementaires.

Néanmoins, il n’est pas certain que ces deux textes apportent réellement des clarifications et facilitent vraiment le travail tant des commanditaires que des évaluateurs externes et même des autorités publiques. Pour cela, il est nécessaire d’examiner leur périmètre, leur contenu avant de s’interroger sur leur mise en œuvre.

Un périmètre circonscrit

Il faut rappeler que l’article 312-8, modifié sur ce point par la loi de juillet 2009 (dite HPST), définit un cadre limité :

• la correspondance ne peut être totale. Le lobbying d’un certain nombre d’acteurs qui voulaient, à l’occasion du vote de la loi HPST, obtenir une possible correspondance totale, n’a, heureusement, pas été couronné de succès. Dans le cas contraire, cela aurait conduit de fait à mettre un trait d’égalité entre certification et évaluation et donc à conforter ainsi les visions de type « audit »  de l’évaluation externe. Dès lors, les dispositions prises procèdent d’un compromis, et ceci doit permettre d’éclairer l’appréciation de ce qui ressort des deux arrêtés.
• cela ne concerne que les référentiels  de certification au sens des dispositions du code de la consommation et les organismes accrédités à cet effet par le Comité français d’accréditation, ce qui exclu les autres  référentiels construits, par exemple, par des fédérations voire d’autres organismes. Le principal référentiel exclu du processus est celui promu par la Fédération hospitalière de France (FHF), appelé « EVA »  et calqué sur le manuel de certification de la HAS. Cette disposition limite fortement l’impact  des éventuelles correspondances certification-évaluation.  

Par ailleurs ces deux arrêtés ne portent que sur deux référentiels de certification relatifs aux Ehpad[2]. En fait très peu d’établissements sont réellement concernés.[3] Plusieurs acteurs ont d’ailleurs regretté que les services, pour lesquels il existe des référentiels de certification au sens du code de la consommation, et notamment une norme Afnor, n’aient pas été concernés. Peut être que ceux-ci feront l’objet de dispositions analogues dans un avenir proche.

Néanmoins, pour bien comprendre les enjeux dans ce domaine, il faut revenir à la réglementation particulière relative aux services à la personne en direction des publics dits « fragiles ». En effet, selon l’article L.313-1-2 du Casf, ces services peuvent opter entre deux régimes juridiques avec une entière liberté de choix. Soit ils relèvent du régime de l’autorisation, et alors ils relèvent de la loi 2002.2, soit ils optent pour le régime de l’agrément, ce qui les fait relever du code du travail. Dans ce dernier cas, la loi dispose que la certification vaut évaluation externe. Dans la mesure où certains voudraient que tous les services relèvent du régime de l’agrément, l’on comprend les hésitations en matière de concordance entre certification et évaluation externe. En outre, aujourd’hui, pour des services identiques qui auraient été certifiés, parfois à l’aide du même référentiel, certains  verront leur certification prise en compte intégralement (régime de l’agrément) et d’autres que partiellement (régime de l’autorisation)[4]. L’on imagine les débats que cela peut susciter.

Ce que disent ces arrêtés (et ce qu’ils ne disent pas)

Tout d’abord, le tableau de concordance ne porte que sur le chapitre II du cahier des charges, chapitre qui fixe les quatre objectifs de l’évaluation externe (appréciation globale, regard sur l’évaluation interne,  examen de points  spécifiques, propositions).

Rien n’est regardé quant à la méthode employée pour examiner telle ou telle dimension. Or, sur un même thème, l’on peut avoir un regard très différent : celui de l’inspecteur, de l’auditeur, du certificateur ou de l’évaluateur[5]. Ces visions distinctes emportent des méthodes très différentes notamment quant aux modes d’implication des parties prenantes. Ces visions ne sont donc pas substituables les unes aux autres. Il est patent que les deux arrêtés illustrent la sous estimation des questions de méthodes tant par l’administration centrale que par l’Anesm. Or en matière de politique publique, les méthodologies employées sont un facteur clef de qualité et d’efficacité des processus conduits.

En fait, la concordance ne porte que sur deux objectifs, celui relatif à l’évaluation interne et celui relatif  aux questions spécifiques. Il est révélateur (et plutôt bon signe d’ailleurs) que sur l’objectif « porter une appréciation globale », qui est le cœur de l’évaluation, les deux arrêtés disposent qu’il y a une absence totale de concordance. Illustration parfaite et salutaire des différences entre certification et évaluation. De même, la mention « aucune concordance »  s’applique aussi au quatrième objectif, « élaborer des propositions et/ou des préconisations », ce qui est en cohérence avec la même mention relative à l’appréciation globale. En outre ceci sanctionne bien que le processus de certification s’apparente d’abord à une posture de vérification de conformité et non d’appréciation et d’aide à la décision.

Quant aux deux autre objectifs, les mentions portées peuvent laisser perplexe. Un tableau met en regard les articles de chacun des référentiels concernés et ceux du cahier des charges. Puis une dernière colonne détermine, pour chaque article du cahier des charges une échelle de concordance qui va de concordance complète  à  aucune concordance  en passant par des concordances partielles « à hauteur » soit du tiers, de la moitié ou des trois quarts. Ceci produit une échelle à cinq degrés mais sans « décodeur » pour saisir les critères permettant telle ou telle cotation. Personne n’a communiqué sur ce point. L’Anesm, pourtant en général plus prompte à faire savoir ce qu’elle réalise et produit, conserve un secret total sur ses avis rendus sur chacun de ces tableaux de concordance et sur la méthode employée. Ni le Cos ni le conseil scientifique n’ont été consultés (ni même informés) de ces positions.

Les quelques notes de bas de page qui accompagnent, dans chaque arrêté, le tableau de concordance montre que l’administration a perçu, au moins partiellement, les limites de cette logique. Mais là non plus il n’est pas certain que leur contenu soit d’une grande aide. Une des notes précise que « l’évaluateur externe devra examiner les documents relatifs à la certification pour trouver les éléments nécessaires à la satisfaction des exigences du 2° de la section 2 du chapitre II de l’annexe, la mise en place d’une démarche de certification qui comporte un audit interne, présentant autant de garanties méthodologiques et de périmètre que l’évaluation interne. L’évaluateur externe examine ce que le référentiel de certification ne prend pas en compte.»[6]

En gros, l’on demande à l’évaluateur de prendre en compte ce qui a été fait afin d’éviter les redondances. Mais cette disposition figure déjà dans le décret du 15 mai 2007 quant il précise, par exemple, que « l’évaluation tient compte des résultats des démarches d’amélioration continue de la qualité. » (Chapitre 1^er, section 1, article 1.2). La note explicative contenue dans l’arrêté ne semble pas dire autre chose. En fait, toute cette démarche relative à la prise en compte des certifications pourrait apparaître quelque peu superfétatoire. Mais n’oublions pas que ce dispositif résulte d’un compromis suite au lobbying des partisans des certifications. Dès lors, l’existence même des arrêtés est utile et salutaire au-delà de leur contenu, dans la mesure où ils sanctionnent la distinction nette entre certification et évaluation et donc permettent de clore une controverse.

Une mise en pratique loin d’être évidente

Ce sera donc aux évaluateurs confrontés à ces situations de déterminer le tiers, la moitié ou les trois quarts qu’ils n’auront pas à regarder et la proportion inverse qu’il leur faudra analyser.[7] Cette responsabilité est clairement précisée dans les notes de l’arrêté. C’est dans la phase de synthèse et d’analyse, phase préparatoire à la rédaction du pré-rapport, que ce travail devra être réalisé. Ceci va leur demander de s’approprier le contenu des référentiels de certification, de prendre le temps de porter un regard et une appréciation sur le processus même de mobilisation et d’utilisation de cet outil, et de proportionner les articles concernés. Accessoirement cela peut conduire à des débats pas toujours aisés avec le commanditaire sur ce qui peut être retenu ou pas au regard des exigences de l’évaluation externe.

Mais cela va être aussi un problème pour les autorités publiques qui vont réceptionner de tels rapports et qui devront aller regarder aussi les référentiels de certification, voire éventuellement les rapports de certification, pour s’assurer que l’évaluation externe a bien répondu à ses objectifs et que la prise en compte de la certification est bien conforme aux dispositions des arrêtés et ne contourne pas les obligations au regard des dispositions du décret du 15 mai 2007.

A priori, les certificateurs ne devraient pas pouvoir effectuer l’évaluation externe d’un établissement qu’ils ont certifié car, la certification impliquant un paiement annuel, les dispositions réglementaires interdisent ce risque de débordement. Mais des contournements sont possibles, notamment en cas de proximité entre l’organisme certificateur et l’organisme habilité et/ou les évaluateurs externes pris comme personnes et auxquels les dispositions relative aux relations financières avec la structure ne s’appliquent pas.

Conclusion

La marginalité du dispositif au regard de l’ensemble des établissements et services concernés par l’obligation d’évaluation externe, fait que cela n’impacte que peu l’ensemble du processus.  Mais le compromis passé dans le cadre de la loi HPST est plutôt un révélateur des flous et des impasses en matière de contenu, de pré-requis pour assurer une évaluation pertinente, répondant à des critères de qualité. Plus particulièrement, c’est l’impasse sur les questions de méthodes qui est la plus préoccupante en termes de sens. Cela l’est d’autant plus qu’il y a de grande chance que ce soit la parole des usagers qui en soit la première victime. Par exemple, lorsque l’on voit une correspondance complète sur « la réponse de l’établissement ou du service aux attentes exprimées par les usagers » sans s’inquiéter de la façon dont l’avis des usagers a pu s’exprimer, sur comment il a été pris en compte, mis en débat, validé par les intéressés, l’on mesure l’ampleur du chemin qui reste à parcourir.

Derrière la certification il y a la « tentation de l’audit ».[8] Au-delà des questions posées par la concordance certification – évaluation, c’est bien là que se nichent les enjeux clefs. Il n’est jamais trop tard pour s’emparer des dimensions méthodologiques et d’éviter de se polariser uniquement sur les thématiques, quelles que soient leur intérêt et leur importance, sans s’interroger sur les modes concrets de collecte des informations nécessaires à l’appréciation globale et les formes d’implication des acteurs.

NB : Il ne nous a pas échappé que le 6 mai était une date anniversaire sur un plan institutionnel. Reste que le point de départ des politiques mises en œuvre est plutôt le moment de la formation du gouvernement. Nous reviendrons donc, à cette occasion, sur les politiques menées depuis lors, que ce soit dans le champ social ou qu’elles impactent ce champ sous une forme ou sous une autre.