Réflexions autour de la question des indicateurs

L’existence et le maniement d’un certain nombre d’indicateurs ne représentent pas vraiment une nouveauté pour les établissements et services sociaux ou médico-sociaux. Mais, depuis quelques temps, il y une volonté nette d’en accroître le nombre et de leur conférer un rôle de plus en plus important dans les modes de gestion, dans les relations avec les autorités publiques, voire même au sein des pratiques professionnelles. Au-delà d’une croissance significative du nombre potentiel d’indicateurs à manipuler, d’outils d’information et d’aide à la décision, les indicateurs pourraient devenir aussi des outils de normalisation.

Le décret budgétaire de 2003 avait déjà accéléré le mouvement, en matière de gestion, en regroupant un ensemble d’indicateurs au sein de tableaux de bord, dans un objectif affiché de maîtrise budgétaire et de convergence tarifaire. Le déploiement de cette logique a conduit à quasiment vider les procédures contradictoires de tout contenu[1].

Début 2010, un fait grave de maltraitance dans une maison de retraite, largement médiatisé, avait conduit une ministre à commander à l’Anesm (agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux) des indicateurs dits « qualité » dans le champ des personnes âgées. Ces indicateurs auraient été mis à la disposition du public. Certains à l’époque iront même jusqu’à évoquer un « guide Michelin » des maisons de retraite. Le projet n’a pas été concrétisé. Pour autant, l’idée réapparait régulièrement.

En 2011, l’Anap (agence nationale d’appui à la performance) a mis en route une expérimentation d’un tableau de bord rassemblant plusieurs indicateurs plutôt centrés sur la gestion et concernant les établissements et services relevant du champ médico-social (personnes âgées et handicaps). A ce jour son éventuel déploiement se fait dans une relative discrétion.

La même année, Sabine Fourcade, directrice générale de la Dgcs (direction générale de la cohésion sociale) avait annoncé sa volonté de déterminer des indicateurs opposables, notamment dans le cadre des dialogues de gestion, et communicables au grand public qui pourrait ainsi disposer d’informations sur l’offre existante. L’un des objectifs de la Dgcs en 2011 visait à la détermination, dans les palettes d’indicateurs existants, de ceux qui pourraient être rendus publics et à la création d’un système de remontée et de gestion de ces indicateurs.  

Toujours en 2011, dans son article 67, la loi de financement de la sécurité sociale pour 2012 prévoyait, pour les Ehpad, l’expérimentation d’indicateurs « qualité » pouvant avoir une incidence en terme de financement (sorte de bonus à la qualité)[2]. Un comité « d’experts » devait venir appuyer cette expérimentation et contribuer à fournir un cadre robuste à ce travail. L’idée a été, semble t-il, remisée. C’est regrettable car il y aurait eu là une opportunité de nourrir des réflexions et des débats méthodologiques avec l’ensemble des acteurs concernés.

En fait, certains de ces projets ont été abandonnés ou sont en sommeil, d’autres se poursuivent, mais, en tout état de cause, cela traduit un mouvement en profondeur de « promotion » des indicateurs.  Dès lors ce sont des dizaines et des dizaines d’indicateurs que les établissements et services pourraient être amenés à renseigner, selon des trajectoires pas forcément congruentes, des finalités diverses et des portées inégales. Pour autant, c’est moins le nombre qui pose problème (encore que la charge de travail induite ne soit pas toujours négligeable) que les questions de leur utilité et surtout de sens qui portent ce mouvement « d’indicatomanie ».

En effet, devant ce foisonnement qui paraît, à première vue, un peu brouillon, l’on cherchera vainement des éléments de doctrine de nature à donner un cadre un peu robuste aux travaux relatifs aux indicateurs.  Les réflexions sur ce plan sont quasi-inexistantes. Tout se fait comme si la question allait de soi.

C’est ce que révèlent les recommandations de bonnes pratiques professionnelles publiées par l’Anesm en 2012 et relatives à l’évaluation interne dans les Ehpad d’une part, dans les services à domicile d’autre part. Si les premières pages renvoient bien à des principes évaluatifs, l’essentiel de ces documents consiste en la présentation d’une batterie d’indicateurs, dont les choix, les finalités et les modes de construction comme d’utilisation, ne sont pas totalement évidents. La confusion entre méthodes et outils de suivi et l’évaluation est totale[3].

Cette approche tranche avec celle, beaucoup plus prudente et rigoureuse, initiée par l’Agence nationale de l’évaluation en santé (Anaes) et que la Haute autorité de santé (Has), qui lui a succédée,  a reprise à son compte. En effet, avant de s’engager dans la construction et le déploiement des indicateurs, l’Anaes a produit un document de référence fixant un corpus théorique et méthodologique servant de base, de repère pour leur développement.[4]

            Il est urgent qu’un travail analogue soit développé dans le champ social et médico-social, et l’on doit donc s’interroger sans tarder sur ces indicateurs, sur leurs différentes finalités et/ou utilisations comme sur leurs modes de construction.

Le propos de cet article est d’y contribuer. L’objectif n’est pas de réaliser une revue critique des différents indicateurs préconisés et mobilisés. Ce travail, pour indispensable qu’il soit, reste à faire. Il s’agit juste ici de poser quelques repères, quelques questionnements pour nourrir les nécessaires réflexions et controverses.

            Pour cela, il convient de rappeler et de discuter la notion même d’indicateur et ses fonctions,  d’en apprécier les finalités (dans quel but est utilisé tel ou tel indicateur), les modes de construction afin de dégager quelques pistes relatives à ce qui pourrait être un bon usage.

Intérêts et limites des indicateurs

C’est sans doute la première question à se poser. Nous retiendrons la définition donnée par l’Agence nationale de l’accréditation et de l’évaluation en santé (et repris par la Has)[5] : « un indicateur est une variable qui décrit un élément de situation ou une évolution d’un point de vue quantitatif [souligné par nous]. » Cette définition est d’ailleurs assez largement partagée. Le document précise que « les chiffres ne parlent pas d’eux-mêmes. Un indicateur donne une indication, c'est-à-dire une information incomplète, mais utile [souligné par nous], sur un phénomène, un dysfonctionnement, une situation ».

Il y a donc une relativité de l’indicateur, un caractère d’approximation, y compris d’ailleurs en matière de gestion ou de processus, qui doit inciter à la prudence quant aux interprétations, d’autant qu’il s’agit bien, nous y reviendrons, d’une information « quantitative » quelles qu’en soient les formes.

 Dès lors, l’indicateur apporte une contribution à l’information recherchée, et devra être associé à d’autres éléments plus qualitatifs et/ou relevant du contexte. Ainsi, un indicateur mesurant le taux d’accès à l’emploi pour des personnes en grandes difficultés ou en situation de handicap devra être corrélé, pour nourrir une information sérieuse, au contexte économique du territoire considéré, aux types d’activités représentées, à la situation de l’emploi, aux besoins des entreprises (au sens large), au niveau de formation des personnes concernées, à l’offre de formations professionnelles disponibles, au degré d’accessibilité (y compris les modes de transports)… L’on pourrait faire la même démonstration en ce qui concerne la scolarité pour les enfants par exemple.

Autrement dit, l’information permettant de bien connaître une situation, de l’apprécier nécessite le plus souvent d’une part plusieurs indicateurs dont on va croiser les éléments et, d’autre part, des éléments plus qualitatifs. En outre, ce travail de rapprochement de données nécessite une analyse et donc des outils d’analyse.

Il convient de souligner qu’il n’y a pas de Vérité du chiffre. Pour certains, l’indicateur aurait une valeur scientifique. Il faut comprendre que dans leurs bouches, scientifique signifie vrai, au sens de vérité absolue, indiscutable. Ils oublient que toute vérité qualifiée de scientifique ne l’est qu’autant qu’elle n’ait pas été contredite.[6] Les domaines baptisés de scientifique, n’échappent pas à la mise en question, à l’incertitude et à la relativité.

Il faut tenir compte des biais possibles dans l’interprétation des indicateurs et notamment sur les relations causales qui conduisent aux résultats chiffrés constatés. Ainsi, un taux d’hospitalisation pour des personnes résidant en Ehpad peut révéler tout aussi bien une insuffisance de personnel (pas d’infirmière 24/24…), des pratiques médicales, notamment en matière de gardes, la volonté des personnes ou des familles, des épisodes d’épidémies, une évolution globale de la situation de santé des personnes accueillies…. ou tout cela à la fois, les facteurs jouant différemment selon les situations individuelles. Cela ne disqualifie pas pour autant l’indicateur, mais souligne les précautions d’interprétation indispensables, plus particulièrement lorsque l’on cherche à établir des relations de cause à effet.

Cela conduit aussi à constater les limites si l’on veut utiliser des indicateurs pour comparer les établissements ou les services entre eux. Tout d’abord, la masse de variables pouvant influer sur un résultat rend très problématique l’exercice comparatif. En effet, plus il y a de variables en jeu plus l’on multiplie les risques de biais, d’interprétations différentes sans même parler de l’homogénéité du recueil d’informations qui est loin d’être garanti. Chaque acteur concerné a tendance à interpréter voire à sélectionner les données. Ensuite, l’on ne peut ignorer les éléments de contexte qui peuvent influer largement sur ces données et donc sur les éléments qui ressortent des indicateurs. Enfin, les modes de déploiement des politiques publiques selon les territoires sont loin d’être homogènes et influent, au moins en partie, sur les activités des établissements et services. Dès lors, si comparaison il y a, les précautions et les risques méthodologiques doivent être clairement exprimés en amont et les résultats interprétés avec prudence.[7]

Donnée quantitative, donnée chiffrée, l’indicateur exprime donc une information utile mais lacunaire, et l’utilisation des éléments ainsi obtenus nécessite de nombreuses précautions méthodologiques. Mais au delà de ces éléments de définitions, l’appréciation d’un indicateur nécessite d’interroger la finalité qui lui est assignée. Autrement dit, un indicateur ne fait pas sens en soi, sa portée et son utilité dépendent de ce à quoi l’on veut l’utiliser.

Questionner les finalités

L’on peut, à travers les indicateurs développés ici ou là, dégager trois grands types de finalités.

La première est interne aux structures. Elle vise à développer une meilleure connaissance des éléments structurant la vie d’un établissement ou d’un service (situation et typologie des usagers accueillies, suivi budgétaire et financier, utilisation des moyens, activité, développement d’une démarche qualité, déploiement d’un projet institutionnel, respect et mise en œuvre d’obligations législatives et réglementaires…). De nombreux indicateurs utilisés par les structures n’ont d’intérêt et ne font sens qu’à travers leur suivi, leur utilisation et leur comparaison dans le temps au sein d’un même établissement ou service. Sorti du contexte bien spécifique, ils perdent leur sens.  C’est particulièrement le cas pour des indicateurs contribuant à l’appréciation des effets des actions déployées sur la situation des usagers.

La seconde finalité impacte les relations avec les autorités publiques. Si souvent ces indicateurs concernent la gestion, d’autres domaines peuvent s’intégrer dans cette finalité, comme l’activité par exemple, ou la formalisation d’objectifs, particulièrement dans le cadre d’une convention ou d’un contrat. Généralement ces indicateurs visent à étayer le dialogue entre structures et pouvoirs publics. Ils peuvent aussi être mobilisés dans une logique de contrôle pour établir l’effectivité ou la conformité au regard des obligations législatives ou réglementaires. Les indicateurs relatifs à l’état des personnes dans la mesure où ils impactent les dotations budgétaires s’inscrivent dans cette finalité. Il en va ainsi de la mesure de l’état de dépendance des personnes âgées à travers le GMP (groupe iso-ressource moyen pondéré) par exemple.

La troisième, qui trouve à s’articuler  avec les deux premières selon les cas, renvoie à la comparaison entre établissements et/ou services. Celle-ci peut se faire sous une forme volontaire, de structure(s) à structure(s) ou relever d’une disposition législative ou réglementaire.  La notion de valeur cible s’inscrit dans cette logique. Elle est très présente en matière budgétaire où la moyenne a très souvent été érigée en valeur cible sans que cela soit justifié au regard des besoins des usagers et des moyens nécessaires. Il y a là une logique normative voire de standardisation. Cela peut être accepté pour certains domaines (pour les documents rendus obligatoire par la loi 2002.2 par exemple) mais en aucun cas cette logique ne peut être généralisée[8]

Reste que cette typologie rapide permet juste de se repérer. Très souvent, les finalités peuvent se mêler. L’on perçoit, par exemple,  dans plusieurs des indicateurs demandés par les autorités publiques, des finalités distinctes ou du moins potentiellement distinctes.

Les indicateurs de convergence tarifaire, par exemple relèvent à la fois d’une finalité de régulation (règles du jeu entre structures et autorités publiques) et d’une logique comparative, largement basée en l’espèce sur la moyenne. Mais les éléments contenus dans les tableaux de bord financiers sont aussi utiles pour la structure.                                                                                                                                         

Ce nécessaire repérage conduit à répondre, pour chaque indicateur ou groupe d’indicateurs aux questions du type pourquoi cet outil et à quoi va-t-il servir.  C’est dans ce cadre que l’on va pouvoir interroger la notion d’opposabilité qui s’affiche progressivement. Elle mériterait bien des débats à la fois sur les objectifs sous-tendus par l’opposabilité mais aussi sur la valeur de fait accordée à un (ou plusieurs) indicateur qui, par lui même, suffirait à donner une information suffisante et complète. Contrairement à ce qui a pu être dit, il n’est pas possible, sérieusement, de définir des indicateurs qui permettraient de définir « le coût juste du juste soin »[9]. L’on peut s’interroger sur ce double niveau de justesse, celui du coût et celui de l’acte de soin et sur leur rapprochement.

L’on perçoit bien que, quelles que soient les précautions prises, il y a une différence, au moins d’intention et de logique, entre l’idée d’utiliser des indicateurs dans le cadre d’un dialogue, ce qui devrait permettre de les compléter par d’autres sources d’information et de les contextualiser, et celle de les rendre opposables qui relève d’une toute autre dynamique.

Incidemment, l’on peut supposer que  cette question fait débat au sein même des autorités publiques, ou tout au moins laisse place à des visions différentes. Ainsi, l’ancienne directrice générale de la Dgos (direction générale de l’offre de soins), Annie Podeur, déclarait le 20 octobre 2011 que les indicateurs de pilotage de l’activité qui allaient permettre, pour les établissements de santé, le suivi des contrats d’objectifs et de moyens, ne seraient pas opposables. Pour la Dgos, ces indicateurs sont des repères et une invitation au dialogue au niveau de la région et du territoire de santé, pas des normes.

De même, le tableau de bord actuellement expérimenté par l’Anap, qui, accessoirement, ne contient pas vraiment d’indicateurs nouveaux mais cherche avant tout à les organiser et à permettre leur pleine utilisation par l’ensemble des structures concernées, se situe dans une logique de dialogue. D’où, l’importance de corréler ces indicateurs à des éléments de contexte, ce que précise le tableau de bord proposé par l’Anap, et de les éclairer par des informations qualitatives[10].

Le débat sur les finalités est donc une forme de préalable. Il ne suffit pas, à ce propos, de se contenter de les afficher. Encore faut-il établir leur pertinence et celle de l’usage projeté pour atteindre les objectifs annoncés.

Il serait intéressant d’ailleurs, avant de se lancer dans de nouvelles batteries d’indicateurs, d’évaluer ceux contenus dans les tableaux de bord budgétaires. A quoi ont-ils servi ? En quoi ont-ils facilité le dialogue entre structures et pouvoirs publics ? Comment l’usage d’un tableau de bord contenant plusieurs indicateurs se conjugue avec l’objectif de convergence tarifaire et/ou l’existence de tarifs plafond ? Des synthèses ont été réalisées à partir de ces tableaux de bord. Leurs résultats devraient être mis en débat, soumis aussi à des regards extérieurs, à la critique, afin de progresser sur cette question. Force est de constater que ce travail de relecture n’a pas été fait ni même envisagé.

Ce sont les travaux sur ces finalités et sur la pertinence même d’utilisation d’indicateurs sur tel ou tel domaine, qui permettront ensuite de s’atteler à leurs constructions et à leurs utilisations. Ces finalités doivent être mises en débat.

Construire des indicateurs

Le débat n’est pas pour ou contre les indicateurs ou, dit autrement, pour ou contre la quantification. Incontestablement, les indicateurs sont des outils de connaissance qui contribuent à objectiver les éléments choisis. Cette objectivation est un préalable à l’analyse et à l’appréciation.

            Mais un indicateur c’est avant tout une donnée chiffrée qui résulte d’une construction, de choix qu’il faut mettre en lumière. Le processus de construction est important car un indicateur est une mise en forme chiffrée d’une réalité. Dès lors, l’on saisit que l’information qui va être donnée est, pourrions nous dire quasiment par nature, incomplète. Plus encore, la quantification, pour nécessaire et utile qu’elle soit, opère de fait une réduction du réel.

Même en matière budgétaire ou  financière, la réalité du chiffre, du ratio nécessite une contextualisation et une mise en perspective. Le travail d’analyse dans ces domaines ne peut se limiter à une succession de données quantitatives et de tableaux.

Le processus de construction n’est donc pas neutre. Il relève de choix mais aussi de dimensions de sens. Des choix sont indispensables, sauf à avoir des milliers  d’indicateurs. Mais il convient de les justifier et de regarder ce qu’ils révèlent en termes de sens. Avant de se lancer dans la détermination précise de l’indicateur, ou plutôt des indicateurs nécessaires, il est nécessaire de bien définir ce que l’on entend exactement mesurer. Cela conduit à définir des critères.

Si l’on veut, par exemple, utiliser des indicateurs pour éclairer la question de l’autonomie des personnes, l’on doit s’interroger sur l’approche que l’on veut prioriser.  Souvent, les indicateurs proposés pour ce domaine, portent essentiellement sur des dimensions fonctionnelles (déplacement, capacité ou non à accomplir des actes de la vie quotidienne comme la toilette, les repas…). Qu’on le veuille ou non, cela peut donner un éclairage de la question de l’autonomie dans laquelle l’on priorise de fait les dimensions fonctionnelles au détriment d’autres capacités comme celle d’exprimer des volontés, de choisir, ou comme celles permettant d’exercer concrètement ses droits, de disposer d’espaces de liberté, d’accéder à des biens immatériels. Ces dimensions sont pourtant essentielles pour la personne, y compris dans une approche de l’autonomie. L’on perçoit bien que le choix réalisé recouvre des questions de représentations et de sens. Ce travail de décryptage est d’autant plus indispensable que, lorsque l’on cherche à déterminer des critères et des indicateurs, le mouvement naturel fait pencher vers les dimensions les plus aisément perceptibles, pas forcément les plus déterminantes.

Il en va de ainsi sur la question de l’état de santé pour lequel l’on met surtout l’accent sur les dimensions organiques beaucoup plus que sur une approche globale. Indiscutablement l’on voit plus facilement les déficiences, le handicap que les potentialités, on détermine plus aisément des besoins que l’on ne repère les attentes ou les désirs de la personne. Actuellement le choix des indicateurs reflète souvent cette tendance générale. En matière de soins, la plupart des indicateurs portent sur des états de morbidité (de maladie) ou de mortalité, c'est-à-dire des données plutôt « négatives ». Dès lors, la logique sous-tendue est celle d’une vision de l’état de santé qualifié par l’absence de maladie. L’on comprend la difficulté à établir des indicateurs qui s’inscrivent plus largement dans la définition portée par l’Organisation mondiale de la santé, à savoir un état de bien être physique, psychique et social[11].

C’est le cas aussi des indicateurs économiques, comme par exemple l’indice des prix, dont la construction, les choix opérés de retenir tel bien de consommation et d’en exclure d’autres, la façon de les pondérer, reposent sur des présupposés qui sont discutables et d’ailleurs discutés.

De même, survaloriser des indicateurs de résultats, comme la mise au travail pour les structures d’insertion par l’activité économique par exemple, ou de retours scolaires, porte une vision réductrice de l’utilité des structures concernées et du travail qu’elles réalisent comme des effets produits par leur activité sur la situation des usagers. Cette survalorisation, surtout si elle recouvre aussi des enjeux financiers (allocation de ressources, prime au résultat…) conduit à faire du résultat l’objectif et par voie de conséquence, à la tentation de sélectionner les usagers en fonction de leur proximité avec les résultats chiffrés attendus[12]. Dès lors ce n’est plus les objectifs, les missions, les besoins de l’ensemble des usagers qui comptent mais le résultat qui tourne pour lui-même. Il est donc également nécessaire lors de la construction et du choix d’indicateurs d’en examiner les effets collatéraux. Il s’agit de s’assurer qu’ils ne vont pas concourir, comme le décrit Maya Beauvallet[13], au déploiement de stratégies absurdes.

Pour un bon usage des indicateurs

            Il convient de s’écarter de deux écueils. Le premier renvoie à un débat de principe sur la quantification en elle-même. Pour certains, le champ social, serait largement et consubstantiellement rétif à toute mesure chiffrée. Le second, symétrique au premier, conduit à survaloriser le chiffre.

            La mesure est à la fois utile et nécessaire. Mais outre le fait que tout n’est pas forcément mesurable, la mesure est aussi relative. Dire cela, ne signifie pas ne pas l’utiliser chaque fois que cela  peut apporter des éléments d’information, de connaissance utiles aux différents acteurs. Simplement il s’agit d’être conscient des limites de la mesure et de ne pas survaloriser le chiffre.   Au-delà des finalités différentes qui sont assignées aujourd’hui aux indicateurs, et même si certaines approches sont parfaitement critiquables, il est important de comprendre que cette question s’inscrit dans un mouvement plus général. En effet, le travail d’action sociale se complexifie, les publics concernés s’élargissent et se diversifient. Leurs besoins et attentes évoluent. Parler, aujourd’hui, des personnes handicapées en général, par exemple, devient de moins en moins pertinent. Par ailleurs, insister sur la personnalisation de l’accueil et de l’accompagnement, vouloir être au plus près des attentes et des besoins de l’usager ou d’un groupe d’usagers concourent à l’accentuation de la complexité.

            Dès lors, pour être efficace, les gestionnaires, les professionnels comme les autorités publiques, ont besoin d’un nombre croissant d’outils de connaissance, de repères, d’éléments d’objectivation de ce qui se passe. Les indicateurs participent de ce mouvement. Les rejeter par principe serait incontestablement une erreur.

Néanmoins, si l’on veut que cet outil soit plus et mieux utilisé, il convient de s’entourer de précautions méthodologiques et assurer une transparence la plus totale sur les processus de construction, comme sur les finalités et l’utilisation. En outre, toutes ces questions doivent être mises en débat, à toutes les étapes du processus. Des conférences de consensus, regroupant tous les acteurs concernés, pourraient être un cadre de travail pertinent. Elles pourraient se structurer autour de questions simples : pourquoi, dans tel domaine, des indicateurs sont souhaitables ? Cela est-il pertinent ? Quels sont les critères les plus à même de rendre compte de ce que l’on veut mesurer ? Quelles sont les difficultés de construction de l’outil, de recueil de l’information, d’interprétation ? Ces travaux déboucheraient sur des tests et des expérimentations. Les résultats seraient aussi mis en débat.

Ceci signifie que l’on ne doit pas sacrifier à une forme de « religion » du chiffre. Les évolutions des besoins et attentes des usagers accroissent la complexité du travail d’action sociale. La tentation d’y répondre par des outils réducteurs est grande. Cela rassure, mais cela n’est pas efficace. Certains auteurs proposent aujourd’hui des outils, qu’ils soient de démarche qualité, de stratégie de changement ou de projet, d’évaluation, débouchant sur des indicateurs chiffrés, des grilles d’indicateurs dans lesquelles ces derniers sont parfois pondérés, conduisant parfois à des scoring, sans logique apparente. Outre que cela conforte des approches normatives, que cela accroît la tentation de standardisation, le décalage est tel avec la réalité des besoins et des pratiques professionnelles que ces outils chiffrés, parfois très sophistiqués et informatisés, sont non seulement inutiles mais surtout totalement contre-productifs.

Conclusion

            Le risque aujourd’hui réside moins dans la production d’indicateurs dont le nombre tend à croître, que dans ce dont ils sont investis. Nous ne sommes pas à l’abri d’une logique normative dans l’usage et la portée des indicateurs, même, parfois, à l’insu de celles et ceux qui s’en font les fervents promoteurs. Il ne s’agit pas de faire des procès d’intention mais de regarder lucidement les dynamiques qui s’instaurent de fait.

            Or, il convient de le répéter, les indicateurs ne représentent qu’une appréciation partielle de la réalité à laquelle ils cherchent à se rapporter. Ils sont utiles pour produire de l’information et contribuer à la décision, à l’évaluation, à l’action. Mais ils portent des informations insuffisantes. Ils contribuent plutôt à formuler des hypothèses, ils indiquent, ils constatent. Dès lors il convient de les éclairer tant pour chercher à établir des relations causales que pour en tirer des enseignements en matière d’action.

Pour cela, l’information donnée par un  indicateur (ou par une batterie d’indicateurs), doit, pour être pertinente en terme d’appréciation et d’aide à la décision, être croisée avec des éléments de contexte et des informations qualitatives (observation, analyse documentaire, entretiens, groupes de parole…).

Il y aurait d’autres pistes de recherches en matière d’indicateurs, en s’inspirant des travaux conduits sur les notions de bien être, de qualité de vie mais aussi sur les inégalités sociales et économiques qui ne sont pas sans effets sur les publics accompagnés. Les indicateurs relatifs aux usagers préconisés sont essentiellement des indicateurs de comptage et de classement en catégories. L’on ne s’intéresse que très peu aux attentes, aux points de vue des usagers non seulement quant au service directement rendu mais aussi vis à vis des dispositifs et des politiques publiques.  Voilà qui nourrirait fort utilement les échanges entre les professionnels, les gestionnaires et les décideurs. Or force est de constater que très peu de travaux concernent la réalité du vécu des usagers, leurs besoins, l’adéquation des politiques. Les indicateurs de gestion, au sens large, prédominent largement.

En outre, les pouvoirs publics se préoccupent aujourd’hui beaucoup des indicateurs relevant des établissements et service, mais semblent moins déterminés quant il s’agit de l’évaluation des besoins (observation sociale) et des politiques publiques[14].

Pour revenir aux indicateurs destinés aux établissements et services, si le propos n’est pas de les disqualifier par principe, bien au contraire, ni de contester leur utilité, l’espèce de monopole qu’ils prennent de fait interroge. Le risque de les voir mis au service de logiques de rationalisation est bien réel.

Voilà pourquoi il est indispensable d’ouvrir un débat afin de déterminer un cadre général établissant clairement les enjeux, les principes, les finalités et les méthodologies. Les pouvoirs publics bien sur mais aussi les divers regroupements représentants les associations et les professionnels, en portent la responsabilité.

Philippe LEMAIRE

Diplômé de l’Université Lille 2 - Droit et Santé, Directeur général d’un Groupement de coopération sociale et médicosociale.

Membre du bureau du comité d’orientation stratégique de l’Anesm, jusqu’en septembre 2014.

Membre du groupe « évaluation et action sociale » de la Société Française de l’Evaluation.

Pierre Savignat

Ancien élève de l’Ehesp, Directeur d’établissement

Maître de conférences associé, master « évaluation et management des politiques sociales, de santé et du vieillissement », UPMF (Grenoble 2)

Membre du conseil scientifique de l’Anesm

Président de la Société Française de l’Evaluation
 

Annexe : quelques repères

Les définitions retenues ici sont celles les plus couramment admises dans  les différents travaux et écrits portant sur cette question.

• indicateurs exprimant une quantité, parfois appelés indicateurs quantitatifs (nombre de journée ; nombre de personnes nouvelles prises en charge par le service…) ;

   

• indicateurs indiquant un taux ou un ratio, (taux d’occupation, nombre de dossiers suivis sur le nombre d’entrées de l’année…) parfois appelés indicateurs qualitatifs (voir infra), ce qui n’est pas sans nourrir de nombreuses ambiguïtés ;

   

• indicateurs basés sur une variable dichotomique, de type 1-0 ou oui – non, indicateurs qui renvoient souvent à une approche de l’effectivité et/ou de la conformité. Par exemple, l’on établira avec cet outil la présence ou non des documents rendus obligatoires par la loi 2002.2.

   

• indicateurs sous la forme d’échelle qui permettent, par exemple, de mettre en évidence l’évolution de la mise ne place d’un processus. Ces indicateurs se présentent sous la forme d’une suite d’échelons, bornés par un niveau « 0 » (pas du tout réalisé), jusqu’à un niveau « X », (réalisation aboutie ou processus terminé). Pour que cet indicateur soit aisé à utiliser, il convient que, pour chaque échelon proposé corresponde un, et un seul, critère simple marquant une étape identifiée de réalisation. Ce type d’indicateur est aussi utilisé pour rendre compte des enquêtes de satisfaction (de pas satisfait du tout à très satisfait, par exemple). Pour certains auteurs, il s’agit là d’indicateurs semi-quantitatifs, car ils transforment en données numériques, souvent présentées sous forme de pourcentage, des éléments subjectifs, ce qui est la cas de la notion de satisfaction (toutes les personnes, satisfaites ou non, ne le sont pas forcément pour les mêmes raisons, ne donnent pas le même contenu à cette notion…). Notons que plus le champ couvert par l’enquête est large, plus la dimension subjective du résultat est grande. Il faut donc être prudent quant aux interprétations.

   

• indicateurs synthétiques (ou composites), ils représentent l’agrégation de plusieurs données en un seul indicateur. Par exemple, le croisement de données sur la mortalité (espérance de vie) et sur la morbidité (état de santé à différents âges de la vie) permet d’établir un indicateur d’espérance de vie sans incapacité. En réalité ce type d’indicateur est très difficile de construction comme d’utilisation. De nombreux auteurs préfèrent opter pour des tableaux de bord regroupant sous une forme organisée, un ensemble d’indicateurs de nature à éclairer telle ou telle dimension.[15] Le tableau de bord permet ainsi de mettre en relation les différents indicateurs retenus et, le cas échéant, d’établir des corrélations ou des tensions entre plusieurs variables. Néanmoins sa compréhension nécessite le plus souvent un commentaire analytique.

  Les indicateurs peuvent avoir des objectifs différents et/ou porter sur des domaines distincts. Par exemple :

   

• Des indicateurs d’activité. C’est une catégorie manipulée depuis fort longtemps dans les établissements et services (nombre de journées, file active, taux d’occupation…) Ils permettent de donner un premier niveau d’information sur la structure. Ils peuvent s’attacher aussi à décrire les publics reçus.

   

• Des indicateurs de structure ou de ressource. Ils concernent les moyens, notamment humains et financiers, dont la structure dispose pour conduire ses missions (ratios budgétaires, taux d’encadrement en personnel, taux de qualification…).

   

• Des indicateurs de processus. Ils visent essentiellement à renseigner une partie des modes opératoires et des pratiques mises en œuvre. Ils concernent des procédures comme l’accueil en établissement (nombre de visites préalables, nombre de contrats de séjours signés…) ou la détermination d’un plan personnalisé ou d’un plan d’aide à domicile. Ils permettent d’en décrire les aspects formels (au sens de la forme) mais non la qualité. Une bonne procédure d’accueil, si elle est nécessaire voire indispensable, ne garantit pas automatiquement un accueil de qualité même si cela y contribue.

   

• Des indicateurs de résultats. C’est sans doute la catégorie la plus délicate à manier. L’on a vu déjà que la qualification des résultats de l’action sociale et médico-sociale ne permet pas de rendre compte de la totalité du travail d’accompagnement et des effets produits. Les quelques exemples portant sur la mise à l’emploi par exemple montrent les limites et surtout les risques d’une survalorisation de ce type d’indicateur.

   

• C’est pour cela que certains auteurs parlent d’indicateurs de résultats intermédiaires. Il s’agit non plus de s’intéresser à la mise en œuvre de processus mais aux résultats que l’on peut constater à différentes étapes. Par exemple, une équipe a mis en place une réunion de synthèse hebdomadaire. L’un des résultats est un meilleur renseignement des dossiers écrits (les synthèses individuelles y figurent) et une amélioration de l’information pour les professionnels et entre eux. Certes il n’y pas d’impact direct sur les usagers, mais il y a néanmoins des résultats. Ces résultats intermédiaires sont, en général, assez aisés à repérer pour construire des indicateurs qui en rendent compte. Ils peuvent contribuer à approcher et apprécier les effets finaux sur la situation des usagers.

  Certaines formulations conduisent à des confusions :

   

• L’on parle souvent d’indicateurs « qualité », ce qui génère beaucoup d’ambiguïtés. En effet, il y a une différence entre établir des indicateurs portant sur les domaines de la qualité, ce qui implique la définition préalable de critères susceptibles d’en rendre compte, et penser que certains indicateurs seraient capables, par eux-mêmes, de rendre compte des qualités d’une action ou d’un processus, ce qui est illusoire.

   

• Il en va de même pour les indicateurs dits qualitatifs. Si l’on parle réellement d’indicateur, alors un indicateur qualitatif est un ratio (taux d’emploi par exemple). En fait, les éléments baptisés « indicateurs qualitatifs » sont le plus souvent des critèresou des descripteurs qui rendent compte d’une activité mais sans la mesurer (exemple modalités d’accompagnement ; modalités permettantl’effectivité de l’exercice des droits…). Ces critères peuvent être éclairés par des indicateurs qui contribuent à la connaissance mais sont insuffisants à en rendre compte pleinement[16].

  Cette typologie est loin d’être exhaustive mais ce travail devrait s’inscrire dans l’indispensable construction d’un corps de doctrine suffisamment robuste et recueillant un large assentiment (pour ne pas dire un consensus), préalable à un déploiement d’indicateurs et de tableaux de bord.