Tribune

Évaluation : rendez-vous manqué de la HAS

La première période quinquennale du nouveau dispositif d’évaluation des établissements et services sociaux et médico-sociaux (ESSMS) est ouverte. Mais si l’article L. 312-8 du Code de l'action sociale et des familles (CASF) fonde une obligation d’évaluation, le dispositif arrêté est une certification qui ne dit pas son nom. La structure du référentiel, l’organisation des trois chapitres, les méthodes pour chacun d’entre eux, la notion de critères impératifs ou le système de cotation à quatre degrés, révèlent une consanguinité manifeste avec la certification des établissements de santé, voire des « copiés-collés ».

Ceci est assumé : « Nous avons voulu coller au plus près de la certification », expliquait Véronique Ghadi, alors directrice de la Qualité de l’accompagnement social et médico-social, dans le rapport d’activité 2020 de la Haute Autorité de santé (HAS). Or, à aucun moment ce choix n’est argumenté au vu des intentions de la loi dite 2002.2 et des réalités du secteur. Le propos n’est pas ici de discuter s’il faut ou pas soumettre les ESSMS à un processus de certification. La question mériterait un débat ouvert, transparent qui reste à conduire.

Retour aux sources

Les parlementaires ont introduit l’évaluation dans la loi 2002.2 car les seuls indicateurs d’activité, de place ou budgétaires ne rendaient pas compte de la réalité du travail. Les modes traditionnels de contrôle ou d’inspection n’étaient pas suffisants pour apprécier la qualité du service rendu et, in fine, l’utilité des ESSMS au regard des missions imparties. La référence centrale aux missions est alors le cœur de l’évaluation, ce qui la distingue du contrôle, de l’inspection et de la certification. Chaque dispositif a sa fonction. Mais ce ne sont pas les mêmes finalités ni les mêmes méthodes. L’ancienne annexe 3-10 du CASF précisait que l’évaluation devait « viser à la production de connaissance et d’analyse… dans le but de mieux connaître et comprendre les processus, d’apprécier les impacts produits… en référence aux finalités prioritairement définies pour l’action publique » (article 1.1). Il s’agissait de porter une appréciation globale, plus particulièrement sur « l’adéquation des objectifs du projet d’établissement par rapport aux besoins, aux priorités des acteurs et aux missions imparties ». En résumé, l’évaluation vise à produire des analyses argumentées sur les effets des actions conduites, à apprécier des écarts entre le prescrit et le réalisé sur la base d’informations quantitatives et qualitatives. Un rapport d’évaluation est un écrit documenté et contextualisé.

Sans nier les aspects intéressants du référentiel d'évaluation de la HAS (place donnée aux personnes accompagnées, dimensions éthiques, etc.), la question discutée ici est celle du sens. Il réduit l’appréciation de chacun des critères à une notation à quatre chiffres, consolidée en trois notes globales (une par chapitre) [1]. Ceci est réducteur pour rendre compte de la réalité d’un ESSMS. Pour fonder cette notation dans un souci d’harmonisation, la HAS détaille critère par critère, les références venant en appui. Certaines procèdent de textes législatifs ou réglementaires et leurs dispositions s’imposent. Mais qu’en est-il des recommandations de bonnes pratiques professionnelles (RBPP) ? Dans le document HAS de 2020 sur les RBPP, il est écrit : « Elles reflètent le consensus autour de l’état de l’art et des connaissances à un moment donné…  Elles doivent donc être distinguées des standards et des normes qui définissent des critères d’évaluation. » Dès lors, comment apprécier, ou plutôt noter, des pratiques décalées mais qui, une fois réellement évaluées, s’avéreraient pertinentes ? La structure et la logique du référentiel risquent en fait d’accroître une approche standardisée dans laquelle la stricte conformité à la norme pousse à formater les pratiques.  

Une lecture de simple conformité par les autorités ?

Les évaluateurs peuvent ajouter des observations pour chaque critère. Néanmoins elles ne sont obligatoires que pour les dix-huit dits impératifs.  Il y a aussi une observation finale. L’expérience nous dira quelle sera la portée exacte de ces observations devant la « vérité » du chiffre et des schémas en couleur. Il y a un risque réel que les autorités publiques fassent une lecture du rapport sur le mode de la conformité, plus proche de la culture administrative que l’évaluation, d’autant qu’elles n’ont pas été associées à la construction du référentiel et de la méthode.

Le fait que le projet institutionnel ne soit pas au centre du processus est révélateur. Certes, plusieurs critères reprennent tel ou tel élément du projet (pas forcément tous). Mais le référentiel ne permet pas d’en apprécier la pertinence. Or, le projet est avant tout l’interface entre les missions imparties, la stratégie de la structure et les objectifs fixés pour la rendre opérationnelle. C’est le cadre qui met en cohérence la gouvernance, l’organisation, le fonctionnement, les pratiques, les partenariats. Le projet d’un ESSMS ne s’apprécie pas à la découpe, il ne fait sens que dans sa globalité. Le référentiel tourne le dos à une approche systémique, prenant en compte la complexité des situations, les dynamiques en œuvre, les tensions qui traversent des exigences contradictoires sans même parler des moyens alloués. Or, c’est à cette aune que l’on apprécie l’utilité sociale d’une structure, la façon dont elle répond ou pas aux missions imparties et la qualité du service rendu.

L'État s'est défaussé

La HAS a imposé ses vues en excluant tout niveau politique dans la construction du référentiel et des outils, et dans le suivi du processus. La Direction générale de la cohésion sociale (DGCS) et l’Assemblée des départements de France ne disposent que de voix consultatives dans la commission sociale et médico-sociale. Les représentants des acteurs en sont exclus. Le comité consultatif, qui les réunit une ou deux fois par an, n’a qu’un rôle purement formel. La certification des organismes habilités conforte le processus. Ils doivent répondre « aux exigences d’accréditation fixées par la norme EN ISO/IEC 17020 "Évaluation et conformité". Exigence pour le fonctionnement des différents types d’organismes procédant à l’inspection » [2]. Les mots ont un sens.

Dans le fond, la loi a donné un blanc-seing à la HAS pour établir le référentiel et la méthode d’évaluation. Aucun cadre ni aucune obligation ne lui ont été fixés. Au vu de son expérience, l’on comprend qu’elle se soit orientée vers la certification. L’État s’est défaussé. La DGCS s’est seulement réservé le calendrier, le financement et les modalités de publication des rapports. Les fédérations, arc-boutées sur le maintien de l’Agence nationale de l'évaluation, alors même que sa disparition était actée, n’ont pas pesé sur les choix d’évolution du dispositif. La Caisse nationale de solidarité pour l'autonomie (CNSA) aurait été une alternative plus pertinente, pour de nombreuses raisons (expertise dans le champ de l’autonomie, gouvernance participative incluant les acteurs et les autorités publiques de plein droit, travaux d’études et d’évaluations, conseil scientifique indépendant, etc.) [3].

Renouer avec une pratique évaluative

La loi a supprimé l’évaluation interne, dans sa version formalisée et consommatrice de temps. Tant mieux. Il y a donc là un espace de liberté pour les ESSMS. Appelée désormais auto-évaluation, elle n’est pas encadrée, il n’y a pas de formalisme imposé. Rien n’oblige à se limiter au référentiel HAS, bien au contraire. Cela permet de situer l'ESSMS au regard de l’évolution des politiques publiques et des contextes. Elle se construit à partir des missions imparties, du projet propre à la structure, de ses valeurs, des objectifs fixés et des actions qui en découlent. Cette démarche s’impose notamment pour négocier un contrat pluri-annuel d'objectifs et de moyens, ou son renouvellement, actualiser un projet stratégique ou en matière d’expérimentation.

La montée en puissance de notions telles que la désinstitutionnalisation, l’inclusion, le virage domiciliaire, l’autodétermination, le pouvoir d’agir, aux contenus à la fois imprécis et protéiformes, rend d’autant plus nécessaire une approche évaluative. L’évaluation permet une vision globale et problématisée par des approches systémiques. Participative, alliant des éléments quantitatifs et qualitatifs, c’est à la structure de déterminer ses finalités, la périodicité, les outils et les méthodes. Il ne s’agit plus de construire des outils « hors sol », lourds, consommateurs de temps et d’énergie, mais d’intégrer cette préoccupation dans le fonctionnement ordinaire de la structure afin qu’elle soit partagée par l’ensemble des acteurs. Plusieurs associations se sont d’ores et déjà engagées dans la construction de leurs propres outils d’évaluation intégrée.

Une ckeck-list pas une évaluation de l'utilité sociale

La quasi-certification issue du référentiel HAS et de la méthode associée permet de se positionner à un moment donné au regard d’un certain nombre de questions, elle peut servir de piqûre de rappel et ce n’est jamais inutile. Toutes proportions gardées cela ressemble à la check-list du pilote d’avion. C’est un socle minimal qui ne peut, à lui seul, rendre compte de la qualité de service. Elle sera encore plus utile si le regard des évaluateurs s’inscrit dans une approche globale et aussi bienveillante à l’opposé d’une posture d’inspection. Mais, encore une fois, ce n’est pas de l’évaluation. Le processus mis en place ne dit rien de l’utilité sociale d’un ESSMS, de sa capacité à mettre en œuvre les missions imparties, de s’adapter aux évolutions de la commande publique, de développer des capacités de transformation ni des effets produits.

L’évaluation reste donc un outil précieux, pertinent, non préformaté, utile, dont les ESSMS ont tout intérêt à se saisir pour construire, étayer et négocier leurs projets et en favoriser la mise en œuvre.

[1] L’idée d’une note globale fut finalement écartée

[2] Cahier des charges applicables aux organismes chargés d’évaluation des ESSMS, HAS, mai 2022

[3] Consultée sur ce point par le cabinet de la ministre Marisol Touraine, la Société française de l'évaluation avait proposé de confier la mission à la CNSA. Une position franche des grandes fédérations associatives aurait peut-être fait pencher la balance à ce moment-là, même si la CNSA ne s’est pas vraiment positionnée.

Publié dans le magazine Direction[s] N° 222 - septembre 2023