L'évaluation externe au carrefour (première partie [1])

A moins de deux ans de l’échéance prévue pour le rendu des rapports d’évaluation externes, (le 3 janvier 2015), la dynamique apparaît encore comme incertaine même si l’on sent une accélération tant du coté des ESSMS que des autorités publiques.  

Mais, quoiqu’il arrive le rythme n’est pas encore à la hauteur. Le risque est réel, qu’au final, ce mouvement ne débouche que sur un exercice formel.

De nombreux facteurs peuvent expliquer cette situation. Certains relèvent des établissements et des services (manque de temps, autres priorités, difficultés de faire adhérer le personnel, absence d’expérience évaluative ou de compétence en interne…). D’autres renvoient la responsabilité sur les seuls retards dans la clarification du dispositif institutionnel ou dans l’adaptation du calendrier.

Mais l’on ne peut en rester là. Il faut s’interroger sur les causes plus profondes qui contribuent à comprendre où l’on en est dix ans après la promulgation de la loi, et pourquoi. Pour autant, il est encore possible d’agir pour que les évaluations externes répondent à des critères de qualité et d’utilité pertinents. Cela implique de revenir sur un certain nombre de questions.

     Un dispositif quasiment bouclé…dix ans après   !   

Deux phases ont marqué la mise en place du dispositif institutionnel. La première débute à l’automne 2004 avec la parution du décret relatif au conseil national de l’évaluation sociale et médico-sociale (Cnesms) qui ne sera mis en place que le 15 avril 2005. La loi de financement de la sécurité sociale pour 2007 le remplacera par l’Anesm qui démarrera ses travaux à la fin de cette année là. Parallèlement le décret relatif au cahier des charges en vue des évaluations externes paraîtra le 15 mai 2007[2].

La seconde phase sera marquée par le déploiement des travaux de l’Anesm, d’une part,  et par une accélération de la mise en œuvre du dispositif institutionnel à partir de l’automne 2010, d’autre part.  La question du calendrier, qui devenait déjà de plus en plus prégnante, trouvera une réponse dans la loi du 21 juillet 2009 (Hôpital Patients Santé Territoire). Actant du retard pris, la loi ramènera, pour la grande majorité des ESSMS, l’obligation à une évaluation interne et une évaluation externe[3]. Dès lors la DGCS va prendre conscience des problèmes posés par le retard accumulé.

Le décret du 3 novembre 2010 établira les modalités pratiques relatives au calendrier et à la transmission des rapports d’évaluation. Une circulaire du 21 octobre 2011 reprendra de façon synthétique et plutôt pédagogique, l’ensemble des éléments relatifs au dispositif institutionnel précisant à la fois les exigences législatives et réglementaires en matière d’évaluation, les thématiques à évaluer, les liens avec le renouvellement de l’autorisation,  et quelques modalités de réalisation. Enfin, dix ans après la promulgation de la loi 2002.2, le décret du 30 janvier 2012 va quasiment boucler le dispositif institutionnel[4]. Si son intitulé porte sur les conditions de prise en compte de la certification dans le cadre de l’évaluation externe, il introduira surtout l’obligation d’annexer un abrégé au rapport d’évaluation, dont l’élaboration du modèle sera confiée à l’Anesm. Cette dernière aura aussi pour mission de calibrer la synthèse du rapport d’évaluation prévue par le décret du 15 mai 2007.

Néanmoins si le cadre institutionnel peut être considéré comme bouclé, des questions demeurent. Dans le fond, la commande publique n’apparaît pas comme totalement clarifiée.

La circulaire du 21 octobre 2011 reste plutôt en retrait quant aux méthodes et outils et n’aborde que très partiellement les questions de finalité. Elle n’apporte pas d’éléments suffisant sur le fond même de la commande publique. Elle aurait pu, notamment, éclairer le processus évaluatif en s’appuyant sur ce qui ressort des évaluations de politique publique en montrant comment cela pouvait être utilement mobilisé dans les ESSMS[5]. Elle ne reprend ni les repères méthodologiques ni la procédure prévue par  le décret du 15 mai 2007 relatif au cahier des charges en matière d’évaluation externe. Celui-ci restera sans véritable circulaire d’interprétation et d’application, illustrant et explicitant l’ensemble de ses dispositions. Ceci est d’autant plus regrettable que son contenu, relativement dense et issu de nombreuses phases de concertation, conduit à une multiplicité de lectures. Cette situation fragilise le dispositif.

Une construction incertaine en matière de doctrine relative à l’évaluation

Incontestablement, il n’y a pas de vision suffisamment établie sur ce que doit être l’évaluation, qu’elle soit interne ou externe, et l’absence d’éléments de doctrine suffisamment robustes pour donner des repères solides aux structures sociales et médico-sociales comme aux autorités publiques est patent. Le positionnement des différents acteurs concernés permet de comprendre le pourquoi de cette situation.

La DGCS n’a pas pris encore véritablement ce problème au fond. Du coté des départements, ils sont plutôt restés attentistes et n’ont pas vraiment produit de réflexions sur les finalités de l’évaluation externe et sur ce qu’elle devait être, alors que, à travers leur très forte présence tant à l’Assemblée Nationale qu’au Sénat, ils ont été en première ligne pour exiger qu’une obligation d’évaluation externe, et pas seulement interne, soit mise en place[6].

Le refus de l’Association des départements de France (ADF), en 2007, de rejoindre l’Anesm est problématique. Cette position se comprend mal alors même que les départements ont propension à recevoir des milliers de rapports d’évaluation et à les instruire, notamment en vue du renouvellement de l’autorisation.

Néanmoins, l’association des directeurs généraux adjoints des départements, chargés de la solidarité (Andass) affiche une volonté nette  de s’engager fortement en faveur du déploiement de l’évaluation[7]. L’association participe au comité d’orientation stratégique et organise des  journées de sensibilisation des cadres des départements, parfois avec l’Anesm. De même, l’on note une participation grandissante de cadres de conseils généraux à des rencontres de toute nature autour de l’évaluation.

Quant à l’Anesm, elle s’est essentiellement concentrée, en matière d’évaluation externe, sur le processus d’habilitation et sa gestion juridique. Elle ne s’est quasiment pas engagée sur les dimensions du cahier des charges relatif au déroulement de l’évaluation externe et sur ses principes méthodologiques. Il n’y a pas eu de travaux sur ce point. Accessoirement, le comité d’orientation stratégique n’a pas non plus affiché une volonté de clarifier les questions de méthodes alors même qu’il dispose de fait d’une forme de pouvoir d’initiative en matière de programme de travail de l’Agence. En fait, il y a eu une sorte de consensus mou pour ne pas aborder la question tant les divergences sont fortes au sein des acteurs représentés et aucun d’entre eux n’a eu la volonté de prendre l’initiative d’un débat qui pourtant est plus nécessaire que jamais.

Cela ne fait qu’accroître les incertitudes quant aux traitements des rapports d’évaluation.

Les autorités publiques face aux rapports d’évaluation externe et à leurs abrégés

Le décret  du 15 mai 2007 ne donne qu’une trame assez approximative quant à la structure du rapport d‘évaluation externe. Les retards pris et l’approche de l’échéance ont conduit à une réflexion accélérée (pour ne pas dire parfois précipitée) sur le traitement des rapports. C’est pour anticiper les difficultés à les traiter correctement que le décret du 30 janvier 2012 a rendu obligatoire la production d’un abrégé annexé obligatoirement au rapport. La réalisation du modèle d’abrégé est confiée à l’Anesm. Dès lors, elle dispose là d’une prérogative réglementaire puisque, outre la charge d’élaborer ce document, cet abrégé devient opposable dès lors qu’il est mis en ligne sur son site. [8]

Les débats qui ont présidé à la construction de l’abrégé, fin 2011 et début 2012, sont très significatifs du flou sur la doctrine  En effet, les premières moutures ont été construites sur le modèle d’un système de cotation. Ce modèle (dont il y eut plusieurs versions) conduisait à la fois à une logique de conformité et à l’éviction de tout critère méthodologique. La logique de l’audit y présidait, très éloignée en cela de la commande publique d’évaluation. Savoir qu’il y a un conseil de la vie sociale, qu’il se réunit trois fois par an et qu’il y a des comptes rendus ne dit pas grand-chose sur les qualités de cette structure, son efficacité, la possibilité, réelle ou formelle, laissée aux usagers de s’exprimer. Sans entretiens qualitatifs et une observation en situation, il est difficile de répondre à ces questionnements.

Le comité d’orientation stratégique n’a pas brillé par sa capacité à proposer une approche directement assise sur l’évaluation des politiques publiques. Néanmoins, ces premiers  projets ont suscité de nombreuses réactions et notamment celle de Thierry Nouvel, directeur général de l’Unapei qui a en fait une critique pertinente dans un courrier publié par les Actualités sociales hebdomadaires, et intitulé « évaluation : le syndrome de la boîte à cocher ».[9]

Le caractère quasi public du débat a contraint à un débat quasiment public et a  permis que le modèle d’abrégé définitif soit construit sur la base d’espaces d’expression problématisées. Notamment la séparation en deux cases distinctes des points forts et des points faibles, a été abandonnée in extremis et leur fusion permet une approche nuancée et plus pertinente.[10] Un emplacement a été également rajouté pour faire une place à la question des méthodes. Le fait que le conseil scientifique, enfin mis en place au second trimestre 2012, ait pu être consulté sur ce point en a amélioré le contenu.

Sur le fond, le principe de cet abrégé n’est pas en soi discutable. Il est courant, en matière d’évaluation des politiques publiques comme pour de très nombreux rapports officiels, de produire une synthèse, un résumé, qui reprend les grandes lignes du rapport. Reste qu’un traitement en parallèle du rapport et de l’abrégé aurait permis une mise en cohérence facilitant tant la rédaction par les évaluateurs externes que le traitement par les autorités publiques.

Il est regrettable que le décret du 30 janvier 2012 n’ait pas procédé à cette mise en cohérence du plan du rapport avec l’abrégé, quitte à modifier la partie concernée du cahier des charges. De plus, compte tenu que, dans l’hypothèse d’un non renouvellement tacite, ce n’est que le rapport qui peut servir de moyen et en aucun cas l’abrégé, l’on perçoit aisément l’intérêt d’une structure congruente entre l’abrégé et le rapport permettant d’aller directement et sans  peine du premier au second.

Reste deux éléments. Tout d’abord, les autorités publiques doivent faire un usage « modéré » de cet abrégé et surtout ne pas, à tort ou à raison, laisser penser que, dans une majorité de cas, les rapports ne seraient pas lus. Par ailleurs, le traitement complet de ces rapports d’évaluation est de nature à enrichir les réflexions tant sur les évolutions des besoins et attentes des usagers que sur les politiques publiques. Parfois même ces dernières pourront se trouver questionnées par ce qui ressortira de telle ou telle évaluation. Des retours vers les établissements et services seraient alors utiles à la fois pour améliorer les dispositifs et pour enrichir le dialogue. De plus, le matériau ainsi capitalisé ne sera pas inutile pour nourrir les schémas ou les appels à projet.

Conclusion

Le dispositif (rapport et abrégé) pourra (devra ?) être corrigé au regard de la production des premiers documents, pour, faire évoluer cet outil et contribuer à restructurer le rapport dans son entier.

Mais les retards et les hésitations qui ont présidé à la mise en place du dispositif institutionnel, illustre un flou sur le fond de ce que devrait être l’évaluation externe.