Evaluation externe : l’esprit des textes

L’ARS et les Conseils généraux de Bretagne ont prescrit aux établissements et services relevant de leur compétence la modification de l’abrégé du rapport d’évaluation externe tel qu’édité sur le site de l’ANESM[1].

Sans doute, nous dira-t-on, il ne s’agit pas à proprement parler d’une modification de l’abrégé lui-même puisque l’administration a seulement demandé aux ESSMS de transposer les éléments de l’abrégé dans un tableau Excel. Pour autant, ce tableau a une double caractéristique : il dissocie forces et faiblesses et préétablit un certain nombre d’items.

Forces et faiblesses

Rappelons l’explication qu’apporte l’ANESM sur le fait de considérer d’un seul tenant forces et faiblesses dans les sept rubriques[2] constitutives de l’abrégé : « La méthode de remplissage consiste pour chacune des sept rubriques à noter les forces « et » les faiblesses à partir de la synthèse de l’évaluation externe. En effet chaque rubrique ne peut être réduite à l’une ou l’autre des deux dimensions. L’approche par la complexité consiste à chaque fois à identifier en quoi la rubrique présente une force et une faiblesse, ces deux aspects étant toujours contenus dans les faits observés. »

Cette prise en compte de la complexité - d’une réalité qui comporte des aspects diversifiés - est l’une des caractéristiques premières de l’activité du secteur social et médico-social, ce qui fait son humanité et son efficience. Son humanité parce qu’elle prend en compte la singularité vivante de chaque personne, son efficience parce qu’elle repose sur le corpus pluridisciplinaire des sciences humaines.

En séparant dans un tableau Excel (instrument dont on rappellera qu’il sert à faire des tris et des calculs) forces et faiblesses, ce traitement des conclusions de l’évaluation externe les ramène à un clivage entre positif et négatif, l’inscrit dans une vision simpliste et manichéenne de la réalité, entretient la prétention de formaliser le vivant là où il s’agit de le formuler, l’illusion de le penser  dans une distinction simpliste entre l’erreur et le juste. C’est tout à l’opposé de l’approche développée par l’ANESM dans ses recommandations. Elaborées sur le principe de la « méthode du consensus simple »[3], elles constituent des « repères » éclairants mais nuancés, ouvrant à la réflexion et à la responsabilité et non à l’application de prescriptions mécanistes.

Items préétablis

Par ailleurs, le tableau Excel de l’ARS et des Conseils généraux de Bretagne formule des items préétablis, tout en laissant, diversement selon les rubriques, la possibilité d’en développer d’autres, dans la limite de 5. L’examen de ces items ne permet pas de dégager une cohérence d’ensemble, le sens de leur visée.

Pour exemples.

Le premier item de la rubrique 3 (Modalité d’élaboration du projet d’établissement, sa formalisation, son actualisation, son appropriation) comporte une pluralité d’aspects qui ne peuvent être abordés d’un seul tenant. Les deux autres (Cohérence entre projets personnalisés et objectif opérationnel du projet d’établissement, Adaptation de l’offre à la population accueillie, de l’accompagnement et des ressources) ne constituent que des reformulations simplifiées des items de l’ANESM relatifs à la synthèse du rapport, sans qu’on sache ce que recouvre le terme d’objectif opérationnel. S’agit-il de la mission de l’établissement et, si c’est le cas, pourquoi la rabattre au niveau d’un simple objectif ?

De même, dans la rubrique 4, comment traiter l’item Nature et objet des partenariats mis en place (vie sociale…) ? Faut-il lister tous les partenariats et leurs objectifs, sans appréciation des orientations partenariales de l’établissement ou du service ? Quel en serait l’intérêt ? Considère-t-on qu’il n’y a qu’un type (nature) de partenariat, alors qu’il s’agit au contraire de prendre en compte la pluralité des composantes de l’existence des publics accompagnés ? On ne manquera pas en l’occurrence de relever qu’un seul type de partenariat est cité (vie sociale), dont la dénomination est particulièrement vague. Ignore-t-on les partenariats concernant la santé, la sécurité, les déplacements, etc. ?

Dans la rubrique 5, peut-on considérer les 3 items préétablis comme de même niveau d’importance (ce qu’implique toute classification) : Recueil des besoins des usagers de façon pluridisciplinaire, Participation des usagers à l’élaboration de leur projet, Actualisation des projets ? Ainsi, la participation de l’usager à son élaboration ne mérite-t-elle pas des développements plus circonstanciés que l’actualisation du projet ? Et pourquoi n’évoque-t-on pas aussi l’analyse des observations, l’élaboration des hypothèses sur l’éventuelle problématique qu’engage la situation de l’usager, les objectifs qu’établissent les professionnels, l’adéquation des moyens à ces objectifs, etc. ?

Dans la rubrique 6, pourquoi limiter l’expression et la participation individuelle et collective des usagers à leur seule Participation à la vie de l’établissement ?

Dans la rubrique 7, pourquoi réduire la garantie des droits et la politique de prévention et de gestion des risques aux seuls événements indésirables et faits de maltraitance (ne supposant que des faits de maltraitance, sans supposer des dispositions de prévention de la maltraitance) ? A-t-on oublié les dispositions de sécurité, le respect de l’intimité, de la confidentialité, etc.

Ainsi cette classification – plutôt d’ailleurs cette ébauche de classification – paraît peu cohérente, déséquilibrée, hâtive.

On ne soupçonnera pas l’ARS et les Conseils généraux de Bretagne de vouloir réaliser des comparaisons entre les établissements, a contrario des attendus du décret du 15 mai 2007. Certainement l’administration est-elle en l’occurrence guidée par le souci d’examiner soigneusement les rapports d’évaluation externe et pour cela de se doter d’une méthode de traitement des abrégés. Mais alors l’initiative est inadéquate sur le plan méthodologique et elle assigne aux directions et gestionnaires des ESSMS une responsabilité qui incombe aux instances de contrôle.

Inadéquation méthodologique

      Le clivage entre forces et faiblesses est contraire à la nature du rapport d’évaluation externe qui vise « la production de connaissance et d'analyse » (décret du 15 mai 2007) et donc suppose la problématisation des données recueillies, la prise en compte de la réalité dans sa complexité, une intelligence qui articule ses aspects complémentaires et contradictoires.

Par ailleurs quelle en est l’intention méthodologique des items formulés par l’administration ? S’agit-il d’exemples ou de priorités ?

Si les items préétablis ne servent que d’exemples, attend-on que l’établissement ou le service assure de lui-même un découpage en segments abstraits de ce qui a été rédigé par l’évaluateur non sur le mode d’une « boîte à cochet »[4] mais sur le mode de la continuité du vécu des acteurs, de la problématisation de pratiques professionnelles et dispositions organisationnelles ? Réducteur, ce découpage sera par ailleurs statistiquement improductif car l’approche n’aura pas résolu la question de la diversité des aspects abordés dans l’abrégé.

      Si les items préétablis relèvent de priorités de politique publique, d’une part ils ne sont pas énoncés comme tels, d’autre part ils constituent des catégories statistiques à mi-chemin entre le qualitatif et le quantitatif, dont le traitement n’aura pas de valeur scientifique par les effets de déformation qu’il comportera. En effet les énoncés consécutifs à ces items ne pourront pas faire l’objet d’un traitement quantitatif sauf à être fortement interprétatif, induit par les résultats attendus ou les représentations dominantes. Par ailleurs un traitement qualitatif sera également faussé parce que la matière recueillie aura été prétraitée par une diversité d’acteurs (les établissements et services) sans que les items préétablis aient fait l’objet d’une définition suffisamment raisonnée pour assurer une unité de sens.

Dans les deux cas de figure, l’approche n’offrira pas un instrument dévaluation des politiques publiques.

Alors, sans pertinence scientifique, comment cette classification inachevée peut-elle contribuer à la détermination d’une politique régionale d’action sociale ? Elle ne soutiendra qu’une justification d’affichage, dénuée de cette vraisemblance qui fait d’un recueil de terrain sans présupposé l’aliment d’un projet politique à l’écoute des besoins observés et non prédéfinis par des représentations.

Confusion des rôles

En demandant aux établissements et services de traiter sur le mode d’une classification l’exposé problématisé de leur action, issu du croisement des points de vu des acteurs (usagers, professionnels, partenaires, gestionnaires), l’administration leur demande de défaire une matière signifiante élaborée au fil de l’analyse détaillée du rapport d’évaluation externe et rassemblée en quelques pages essentielles. Pourquoi n’en a-t-elle pas pris elle-même la responsabilité ?

A-t-on déjà oublié l’instruction ministérielle qui invitait les ESSMS à se placer « dans une perspective d’amélioration de la qualité, distincte de la recherche de l’atteinte immédiate de résultats ou de conformité à un étalon, contrairement à ce qui existe dans le champ sanitaire. »[5]?

L’administration ignore-t-elle que si « à partir du modèle d’abrégé de l’ANESM, il est possible de définir une « grille de lecture » des rapports d’évaluation externe, adaptée aux besoins propres des autorités compétentes, assortie en tant que de besoin de priorités régionales et départementales, ces dernières ne peuvent pour autant pas réduire le champ de l’évaluation externe, ni anticiper sur le contenu de l’abrégé du rapport d’évaluation externe. » ?

De même, faut-il rappeler le 3.2 du décret du 15 mai 2017 à propos des 15 thématiques à examiner en ce qui précise que c’est en « prenant en compte les particularités liées à l’établissement ou au service » ?

Pour que l’évaluation externe soit une opération d’évaluation des politiques publiques, son exploitation ne peut préétablir les dominantes qui ressortiront de la pluralité des rapports, elle ne peut enfermer la richesse d’un matériau dans des catégories préétablies. Seul un travail a posteriori des tendances relève d’une démarche scientifique, hors de laquelle les traitements de données ne servent qu’à cautionner ce qu’on souhaite déterminer par un a priori rationnalisant.

En la matière les ESSMS ont aussi une responsabilité. Ils sont restés isolés les uns des autres devant cette initiative de l’administration, alors que nombre d’entre eux se disent opposés à un formatage de cet ordre. Et pourtant ils n’ont pas concrétisé cette convergence dans un mouvement concerté pour se positionner en sorte que l’administration modifie sa commande toujours dans la visée d’une évaluation des politiques publiques. D’autres exemples pourtant, au niveau local et national, ont montré que de telles prescriptions de l’administration ou du politique étaient résistibles. Chaque brindille d’un fagot se brise sans mal, mais unies elles disposent d’une résistance inattendue. Non pas une résistance d’évitement, mais une affirmation de responsabilité partagée dans la construction d’une politique d’action sociale. La citoyenneté associative et professionnelle, dans sa proximité aux besoins, se fonde là.