Evaluer pour améliorer la qualité : méthode et outils

.1. REMARQUES D’ORDRE CONCEPTUEL

La construction d’une doctrine :

Avec l’introduction de l’obligation d’évaluer dans le champ de l’action sociale et médico-sociale, nous nous trouvons devant un terrain relativement vierge. Tout est à construire. Non pas à partir de rien (certains établissements et services pratiquaient déjà l’évaluation, des démarches évaluatives intéressantes existent dans d’autres champs d’activité) mais en cherchant à développer une doctrine signifiante pour la spécificité des activités sociales et médico-sociales.

Ce fut le sens des travaux du « défunt » Conseil National de l’Evaluation Sociale et Médico-Sociale que de jeter les bases d’une doctrine particulière, adaptée au secteur[1].

Retour sur quelques débats sémantiques :

Au cours de la journée de formation, les débats ont montré la nécessité de mieux définir les termes  que nous employons, ou, au moins, d’en montrer toutes les ambiguïtés pour éviter de les prendre « pour argent comptant ». En voici quelque illustrations :

• Qualité : Il n’y a rien de plus fluctuant que le concept de qualité. Pierre Savignat l’a utilement relié à celui d’utilité sociale. La qualité des prestations ne s’évalue pas à l’aune d’une satisfaction individuelle mais de l’utilité sociale de la mission assumée.
• Satisfaction : La notion de satisfaction doit être investie de toutes ses significations possibles en action sociale. Par exemple, satisfaire un enfant dans son éducation, n’est pas se priver de le frustrer pour grandir mais de lui permettre de comprendre et d’assumer les contraintes qui lui sont imposées.
• Prestation : Il ne s’agit pas d’un « produit » (un objet fini et délimité que l’on se passe de main en main) mais d’une interaction, d’une relation, d’une processus sans cesse en construction.
• Résultat : Autant je pense qu’il est utile de s’emparer des « gros mots » pour ne pas laisser à d’autres le soin de les définir selon leurs propres valeurs, autant je pense que le terme de résultat est un piège pour l’action sociale. Je préfère parler d’effets. Ce concept est plus large, plus riche, plus ouvert. Il prend en compte de multiples dimensions qui sont enfermées et limitées avec la notion de résultat.
• Indicateurs : Nous avons eu un débat intéressant sur ce terme. Ne pourrions-nous pas le remplacer par le terme « indices », au sens où l’utilise Sherlock Holmes ? C’est-à-dire en l’investissant de toute la richesse de l’intuition, du ressenti, de la subjectivité qui caractérise une manière d’appréhender les phénomènes dans l’action sociale.

Un débat scientifique de fond :

Au-delà des discussions nécessaires sur les mots, nous devons mettre à jour un débat scientifique fondamental qui recouvre deux conceptions opposées de l’évaluation.

Dans une vision positiviste : l’évaluation est un acte d’explication qui repose sur l’idée qu’il y a une réalité à appréhender, des écarts à mesurer, des liens de cause à effet à établir. Pour cela, il suffit de découper les faits à observer en unités simples et compréhensibles. C’est un peu ce qu’induit une lecture au premier degré de la roue de Deming : prévoir, réaliser, évaluer et modifier (ou évoluer). Le schéma de principe exposé sur le site de l’Agence Nationale de l’Evaluation Sociale et Médico-Sociale n’est pas exempt de cette tendance.

Dans une vision constructiviste : l’évaluation est un acte d’analyse qui vise à faire surgir toute la complexité de l’objet à évaluer qui ne pourra jamais être perçu indépendamment du discours employé pour le décrire. Pour cela, l’évaluation est une approche systémique qui empêche l’effet kaléidoscope en mettant en valeur les interactions entre tous les éléments du dispositif complexe.

Lisibilité de dispositifs « transparents » ? :

Une des difficultés que pose l’obligation à évaluer est de rendre lisible des interefaces techniques dans un contexte ou la transparence de la technique est la règle (c’est-à-dire la non visibilité des médiations techniques). Monsieur Guy-Grand le disait en introduction de la journée, nous assistons, en matière de qualité, à la primauté du résultat. Le résultat est plus important que les moyens employés pour y parvenir. Or en travail social, c’est l’inverse. C’est le dispositif qui fait « effet » et il est impossible de séparer les moyens de leur impact.

.2. A PROPOS DE LA CONDUITE DU CHANGEMENT

Distinguer « programme » et « projet » :

Si nous sommes d’accord pour dire qu’évaluer c’est d’abord conduire le changement, nous avons à opérer une distinction claire entre « programme » et « projet ». Le programme, c’est la reproduction de ce qui se fait. L’effort consistera à garantir la bonne reconduction des actes selon un principe de standardisation. Le programme implique le contrôle. Le projet[2] quant à lui est toujours déviant par rapport à l’axe de la reproduction. Il est anticipation de quelque chose de différent. L’effort portera alors sur l’innovation et l’imagination selon un principe de singularisation des actes. Le projet implique l’évaluation qui, en ce sens, est un acte subversif. L’évaluation éclaire la route sinueuse du projet.

Délibérer et débattre ! :

Si donc les choses ne sont pas jouées d’avance dans la reproduction de standards, il faut débattre du chemin à suivre qui n’est pas tracé une fois pour toutes. L’évaluation est un processus délibératif qui met en tension les intérêts en présence, qui met en relation toutes les parties prenantes. C’est parce que l’évaluation est un processus de débat qu’elle interroge les missions par un effet de retour, alors que le contrôle n’interroge pas le cadre de l’action mais son respect. Précision : ces distinctions entre évaluation et contrôle ne signifient pas que l’un est mieux que l’autre. Ces deux pratiques sont indispensables à la bonne tenue des institutions (entre maintien de l’ordre et mise en mouvement, stabilité/déstabilisation). Ce n’est pas leur hiérarchisation dans un système de valeurs qui compte mais leur distinction pour éviter les confusions et permettre à chacune d’exister.

Changer l’organisation :

Cela a été dit à plusieurs reprises, notamment dans les témoignages de Mmes Gigli (Samaid) et Brault (Caroussel), l’évaluation doit aller jusqu’à interroger l’organisation. C’est une démarche participative qui invite les parties prenantes à formuler un jugement sur la valeur des actions, et donc, qui remet en mouvement les formes organisationnelles, les interrogent, prévoient leur évolution, leur adaptation.

Des enjeux de postures :

Les enjeux de postures – positionnement des professionnels, catégorisation des usagers – qui sont intrinsèques à l’évaluation conduisent à valoriser les acteurs. C’est ce que montrent les deux expériences présentées au cours de la journée. Nous avons pu voir ainsi comment, par exemple, les assistantes familiales d’un Centre d’Accueil Familial Spécialisé se saisissaient de la démarche d’évaluation pour s’engager dans une professionnalisation. Le même constat était fait pour les Auxiliaires de Vie Sociale dans un Service d’Aide à Domicile. L’évaluation ne vient pas dire « ce qui se faisait jusque là est nul » mais « la qualité a besoin d’acteurs reconnus et professionnels ».

.3. QUESTIONS DE METHODES

La méthode fait sens :

L’évaluation est une méthodologie qui apporte de la valeur – une « plus-value » – à l’action en se situant d’abord dans le registre du sens. Parce que l’évaluation n’est pas le contrôle, elle dépasse les questions de conformité à un modèle préalable pour s’interroger sur la signification de ce modèle. C’est le registre éthique qui est convoqué.

D’où l’urgente nécessité d’interroger, pour l’évaluation, l’articulation entre la fin et les moyens. La finalité du processus est contenue dans les moyens utilisés. Gandhi déclarait : « La fin est dans les moyens comme l’arbre est dans la graine. »

L’indispensable passage par le quantitatif pour parvenir à une analyse qualitative :

Une des difficultés de méthode que pose l’évaluation réside dans le fait que, pour parvenir à une analyse qualitative des faits, il faut préalablement passer par une étape de quantification. Sur ce point, un débat s’est ouvert ente nous à propos des chiffres. Si la calculette ne peut permettre de décrire toutes les réalités du travail social, nous ne pouvons pour autant faire l’impasse sur les données chiffrées (qui ne se réduisent pas aux indicateurs de convergence tarifaire !). Plutôt que de débattre sur les chiffres, ne devrions-nous pas penser à nouveaux frais nos méthodes de description des phénomènes. En matière de description (des pratiques, des conduites, des faits, des effets, etc.) le champ social et médico-social a de grands progrès à accomplir pour devenir plus lisible…

Être « lisible » pour rendre « lisible » :

C’est d’ailleurs là un enjeu pour la méthodologie de l’évaluation. Les termes employés doivent être lisibles et compréhensibles. C’est à ce prix que les résultats de l’évaluation seront correctement perçus par tous (et d’abord par les usagers).

Communiquer pour valoriser :

Le compte rendu de l’évaluation est un moyen important de communication sur l’établissement ou le service. Deux attitudes sont possibles :

• Communiquer a minima : C’est ce qu’auront sans doute tendance à faire les équipes qui pensent que l’évaluation leur « tombe dessus » et qu’il vaut mieux en dire le moins possible (« pour vivre heureux, vivons cachés »).
• Promouvoir l’établissement ou le service : L’évaluation est une opportunité à parler de ce qu’on fait autrement que dans le cadre budgétaire ou celui, trop étroit, du rapport d’activité. Il ne s’agit pas d’une promotion sur le mode de la communication publicitaire mais de la démonstration, en actes, de ce qui se passe au cœur de la relation d’aide, de la capacité de l’institution à évoluer, à s’adapter.

Le pragmatisme :

L’évaluation est, selon le terme de Michel Laforcade, une démarche très « triviale » ou, comme le disait ce matin Michèle Pondaven : « Ce n’est qu’un questionnement que l’on aborde avec un peu de méthode ». Inutile donc de se « prendre la tête », l’évaluation a une dimension extrêmement « pragmatique », elle porte sur le quotidien, le minuscule des actes banals de tous les jours, c’est là sa force et son intérêt.

D’ailleurs, je pense qu’en ce sens, l’évaluation est vraiment dans l’air du temps. Nous assistons en effet à une « pragmatisation » des projets. Nous quittons progressivement les grandes rhétoriques déclaratives sur des notions générales et généreuses pour s’atteler, notamment par l’évaluation, à l’opérationnalité des valeurs auxquelles se réfèrent les établissements et services.

.4. L’ENJEU DE LA PARTICIPATION

Un enjeu de management :

L’évaluation est un enjeu pour les directeurs et responsables d’établissements et de services. Par enjeu de management, j’entends la conduite du changement. L’évaluation est une opportunité pour fluidifier les fonctionnements, leur permettre d’évoluer sans tout révolutionner, en s’appuyant au contraire sur les savoirs faire acquis mais en s’interrogeant constamment sur ce qu’il faut adapter.

Le point d’adaptation majeure que je perçois actuellement concerne la manière dont les usagers (bénéficiaires et familles) sont associés à la vie et au fonctionnement des établissements et services.

Quelle place pour les usagers ? :

Il est bien difficile d’associer les usagers à l’évaluation, les expériences relatées le montrent. Cependant, si l’évaluation ne mobilise que le regard des professionnels (éventuellement associé à celui des représentants de l’organisme gestionnaire), l’évaluation risque d’être « borgne ». Pour percevoir la profondeur de champ, il faut deux regards différents qui ne perçoivent pas la même chose. Le regard des usagers est indispensable à l’évaluation. C’est ce croisement des points de vue qui enrichit le regard évaluatif.

Il me semble d’ailleurs qu’il est assez logique, en terme de stratégies de communication, d’aller chercher les usagers sur le registre de l’évaluation. En effet, alors qu’il est parfois difficile de les faire participer à des instances de concertation (type Conseil de la Vie Sociale) quand ils ne réclamaient pas d’y prendre place, il paraît logique de leur demander leur avis sur le service dont ils bénéficient.

L’évaluation est donc peut-être un bon moyen d’initier une autre forme de participation des usagers.

Roland JANVIER

[1] Cf. les deux notes d’orientation et le guide de l’évaluation interne à l’adresse suivante : http://www.social.gouv.fr/article.php3?id_article=970

[2] Cf. JP. Boutiniet, « Anthropologie du projet », PUF, 1993.

Roland JANVIER

Retrouvez toutes les informations à propos de Roland JANVIER sur la page à propos.