Tribune

L’évaluation : entrer dans l’ère de la maturité…

L'évaluation, obligation depuis 2002 pour tous les établissements et services sociaux et médico-sociaux (ESMS), devient réalité, les années 2009-2010 constituant une période charnière. Auparavant, il était possible d'habiller les démarches à sa manière, de tarder ; maintenant, l'évaluation est en cours de généralisation. Et pourtant... il reste de nombreuses interrogations sur le lien avec le mouvement d'évaluation des politiques publiques, sur la différence avec les démarches qualité, sur la compatibilité avec l'action sociale et médico-sociale (accompagnement de personnes en situation de fragilité, de bascule parfois) et les cultures professionnelles.

L'articulation avec l'évaluation des politiques

L'évaluation des politiques publiques est construite, en France, dès les années 1980, comme une des réponses au mal administratif français (« organisations qui agiraient sans référence à une efficience », « qui généreraient en permanence des moyens supplémentaires sans logique réelle d'objectifs »). L'objet de cette évaluation : apprécier l'efficience (coût-résultat) d'une politique, en vue de décisions. Sa visée : examiner les effets et impacts et l'adéquation besoins/objectifs. Sa dynamique : impliquer les professionnels (avec production partagée de connaissances pour rechercher une meilleure efficience) et tenir compte du point de vue des bénéficiaires. Le résultat est, hélas, loin de cet idéal : techniques évaluatives hasardeuses, décisions finales (réduction de moyens souvent) sans lisibilité ni lien avec des objectifs, langage abscons des évaluateurs, avancée de la politique du chiffre et de sa logique quantificatrice.
Mais les pouvoirs publics ont également poussé des démarches qualité : énoncé de référentiels (exhaustivité des engagements ou des procédures de gestion des aléas), mesure des écarts entre pratiques standard et pratiques réelles, démarches d'accréditation ou de certification. Le résultat est en deçà des ambitions, malgré les satisfecit ambiants : univers procédural, avènement des experts de la codification, référence à des recommandations de bonnes pratiques professionnelles consensuelles, mais éloignées des problématiques cliniques, mythe de la maîtrise de tout à travers de nombreux indicateurs, temps énorme passé à des démarches dont l'efficience est faible.
L'indécision concernant l'évaluation en action sociale et médico-sociale a été importante. Levons les ambiguïtés : affirmons le besoin d'évaluations centrées sur les activités, leur efficience, sans entrer dans des démarches qualité (standardisation et contrôle d'une conformité) et à condition d'éviter certaines dérives (politiques du chiffre, culture du résultat, codification des pratiques).

Spécificité pour l'action sociale et médico-sociale

Dans cette optique, nous recommandons d'utiliser les repères formels posés par les pouvoirs publics : des dynamiques participatives (mobilisation cognitive des parties prenantes : professionnels, usagers, entourage...). Il suffit de reprendre les textes officiels sur une évaluation à trois objets : l'examen des activités (efficience, effets et impacts) ; l'examen de la qualité des prestations (cohérence des objectifs et adéquation aux besoins) ; la prise en compte de recommandations de bonnes pratiques (énonçant le sens des pratiques). Cet appui sur les textes s'avère néanmoins complexe, tant les discours et les premières pratiques allaient dans un sens contraire.

Des certitudes erronées

Malgré son positionnement en effet (la nécessaire « évaluation des activités »), l'évaluation s'est mise en place entre 2002 et 2008, dans les ESMS, sur le modèle démarche qualité... Les premiers écrits publics (de l'ex-Direction générale de l'action sociale) allaient dans ce sens il est vrai : ils parlaient de processus systémiques visant une dynamique, s'intéressant aux résultats, mais s'appuyant sur l'usage d'un « référentiel, texte à considérer comme opposable », « l'évaluation ne pouvant se réaliser sans référence à un standard ». 15 % des structures avant 2006 et 40 % entre 2007 et 2008 ont travaillé dans cette optique, faisant appel à des « experts » (déjà nombreux). Dans un marché naissant, ces derniers ont vendu ou appris à construire des référentiels, structurés certes, mais avec des dérives classiques : énoncés de standard, soit procéduraux et précis, soit consensuels et euphémistiques, propositions de mesure d'écarts par cotation facilitant les appréciations « pifométriques », exhaustivité des contenus, à la limite du raisonnable. Une littérature abondante s'est diffusée, avec des surenchères dans les supports (référentiels, outils de mesure, logiciels d'exploitation). Trois types d'influence dans les modes de pensée : les « rationnels humanistes », les « managérialistes », les « qualiticiens » (ou « certificateurs »).
Ce n'est qu'en 2007 (décret sur l'évaluation externe), 2008 (premier texte de l'Agence nationale de l'évaluation des établissements sociaux et médico-sociaux - Anesm - sur l'évaluation) et 2009 (recommandations de l'Anesm sur l'évaluation) qu'ont été affirmées les positions nettes qui devraient s'imposer aujourd'hui : l'évaluation (interne ou externe) n'est pas une démarche qualité, elle vise l'examen des effets/impacts des actions au regard des besoins. La question des certifications est débattue en vue d'un décret à venir, avec d'ailleurs l'idée qu'une certification ne peut remplacer une évaluation. Ces positions officielles supposent des révisions importantes chez de nombreux experts ou structures, malgré les dénégations (de type « mon référentiel est conforme »...) ou les positions d'autorité (dénonçant une « erreur » des pouvoirs publics ou une autre vision). D'ores et déjà, dès que ce repositionnement est présenté, des résistances importantes s'expriment, non du côté des équipes, mais du côté des promoteurs des démarches qualité.
C'est pourquoi et avec l'arrivée réelle des évaluations externes, nous affirmons ici trois impératifs : sortons des référentiels « clé en main », étudions réellement les objectifs et les effets/impacts et non des conformités à des pratiques standard, ayons des évaluateurs présentant une réelle expérience du travail social et non des démarches qualité.
Une réorganisation conceptuelle sera également nécessaire chez les personnes hostiles à l'évaluation : ceux qui sont opposés par nature à toute approche contraignante de l'État, ceux qui sont favorables au principe, mais contestent les modes d'application ou dérives actuelles (approche gestionnaire, etc.) Nous pensons utile une modification des alliances initiales, éloignant les extrémistes du refus total, portant haut une rhétorique sociale matinée de refus individualiste de toute contrainte, et les constructivistes proposant d'autres formes de direction et d'évaluation.

La maturité nécessaire

Pour sortir des débats sur de fausses bases, pour entrer dans une approche réellement évaluative (démarche interne, compatible avec la culture professionnelle, impliquant réellement les parties prenantes, sans brouillage par de faux outils de mesure ou des référentiels « idéaux »), sortons des discours enthousiastes ou angéliques (l'évaluation est « la » solution) ou dénonciateurs (l'évaluation diabolisée). Soyons tranquilles et confiants. Tranquilles parce que l'évaluation, bien positionnée, reliée à d'autres outils (les projets, les réflexions sur les modes d'intervention, l'analyse des besoins), est une démarche utile pour interroger l'agir et les effets des actions, en particulier si c'est une démarche partagée. Confiants parce qu'il est possible de croire à l'intelligence humaine et collective, sans vision négative a priori sur les capacités des équipes professionnelles à analyser leur pratiques et leurs impacts.
Dans cette optique, voici quelques recommandations simples :

• D'abord, sortir des visions toutes faites et, malheureusement, exotiques : un référentiel ne fait pas l'évaluation, une certitude d'expert ne fait pas une pratique, c'est sur le terrain que se réalise réellement une démarche évaluative.
• Ensuite, prêter attention au risque du marché en développement. Qualité et coût des interventions sont des éléments de différenciation, mais, la surabondance de l'offre (plus de 500 cabinets habilités pour l'évaluation externe sans réelle sélection qualitative par l'Anesm !) rend difficile le choix, en dehors d'éléments apparents (coût et nombre des journées, caractère clinquant d'un référentiel, etc.). Devraient prévaloir la qualité du travail, la prise en compte des références et réalités internes, la capacité à mobiliser les équipes professionnelles ou à prendre en compte le point de vue des bénéficiaires.
• Développons des démarches rationnelles, raisonnables, toujours avec quatre étapes : une étape participative de construction de l'objet de l'évaluation (références, choix d'action ou processus structurants, effets attendus ou engagements concrets), une étape participative de recueil de données sur le terrain, une étape participative d'analyse et d'élaboration des axes d'amélioration, une étape d'engagement de la direction autour de plans d'action. Ces quatre étapes concernent tant l'évaluation interne que l'évaluation externe.
• Anticipons et gérons le temps : il est nécessaire de réaliser les démarches dans des programmes visibles, connus par avance, avec un calendrier à tenir dans des institutions qui vivent par ailleurs de nombreuses pressions (moyens, CPOM, etc.), en maîtrisant le risque de la « chronophagie ».
• Innovons dans les phases de recueil de données : la cotation, si connue en démarche qualité, n'a rien à voir avec ce recueil, ni les déclarations d'intention. Il convient d'utiliser une batterie diversifiée de supports sans quantification simplificatrice ni appréciation qualitative « pifométrique ».
• Gardons en vue l'essentiel : la qualité du service rendu au regard des besoins, les conceptions de ce travail, et non le seul respect de procédures, la vérité (à mettre en valeur) des lieux de vie et de mort que sont les structures sociales et médico-sociales.

Publié dans le magazine Direction[s] N° 77 - octobre 2010