Évaluation de programmes
Le Service de la surveillance de la santé publique et de l’évaluation effectue deux fonctions principales, soit :
- La surveillance de la santé publique
- L’évaluation de programmes
L’évaluation de programmes
En théorie, l’évaluation de programmes se définit ainsi :
« L’évaluation de programmes est l’utilisation des techniques de recherche afin d’investiguer de façon systématique l’efficacité des interventions des programmes. De façon plus spécifique, les évaluateurs font appel à des méthodes scientifiques pour étudier, évaluer et aider l’amélioration des programmes dans l’ensemble de leurs aspects. L’évaluation de programmes inclut le diagnostic du problème auquel l’autorité veut s’adresser, la conceptualisation et le processus des programmes, leur implantation, leurs effets et leur efficacité ».
Les activités de recherche et d’évaluation sont souvent confondues. En ce sens, voici quelques éléments de divergence qui nous permettent de différencier ces deux activités :
1. Utilité
- Évaluation : L’évaluation est destinée à l’utilisation immédiate.
- Recherche : La recherche produit des connaissances.
2. Questions à répondre
- Évaluation : Les décideurs, le contexte et les parties prenantes posent les questions de l’étude (besoins exprimés).
- Recherche : Le chercheur détermine les questions de sa recherche.
3. Jugement et démonstration
- Évaluation : On compare entre ce qui est et ce qui aurait dû être.
- Recherche : On étudie ce qui est.
4. Cadre général
- Évaluation : Le programme est le cadre des priorités de l’intervention.
- Recherche : La priorité porte sur le sujet de recherche et non ce qui est étudié précisément.
5. Publications de diffusion
- Évaluation : Les résultats de l’évaluation sont généralement non publiés. On parle davantage de rapports qui sont produits et partagés entre les décideurs.
- Recherche : La publication est essentielle et non mise en cause, une fois publiée.
6. Allégeance
- Évaluation : L’évaluation est généralement commandée par les besoins du promoteur du programme. L’évaluateur doit donc porter allégeance au promoteur de ce programme.
- Recherche : Le chercheur se rend compte à lui-même et aux pairs.
7. Motivation
- Évaluation : L’évaluateur ne développe pas de théorie, mais il vise à améliorer la pratique en procurant de l’information pour décider, non dans l’intérêt de l’évaluateur, mais dans celui des décideurs.
- Recherche : Le chercheur développe des théories et les teste pour accroître la compréhension de celle-ci.
8.
Audience
- Évaluation : L’évaluation a comme public cible les décideurs et les parties prenantes d’un programme.
- Recherche : Le public cible des chercheurs est la communauté scientifique.
9.
Autonomie
- Évaluation : L’évaluateur travaille sous l’égide de décideurs, parfois dans un cadre politique pour diriger l’évaluation et pour se protéger en tant qu’évaluateur.
- Recherche : Le chercheur est relativement autonome et idéalement libre (pas de contrôle politique).
10.
Généralisation
- Évaluation : On n‘accorde pas de préoccupation à la généralisation. L’intérêt est porté sur le cas évalué.
- Recherche : La généralisation est souhaitée dans le temps et dans l’espace.
À l’Agence de la santé et des services sociaux de l’Estrie, l’évaluation de programmes est vue comme faisant partie intégrante du processus de planification et de programmation d’un programme. Le Service de la surveillance de la santé publique et de l’évaluation offre donc une expertise afin d’outiller les divers intervenants dans l’exécution de travaux d’évaluation.
L’évaluation de programmes à l’Agence de la santé et des services sociaux de l’Estrie
L’évaluation de programmes peut se déployer sur plusieurs formes, telles que :
- L’évaluation des besoins
- L’évaluation d’implantation
- L’évaluation du processus
- L’évaluation d’impact
- L’évaluation de l’efficience (études coûts/bénéfices)
Toutefois, les travaux d’évaluation à l’Agence de la santé et des services sociaux de l’Estrie se concentrent davantage sur l’évaluation liée à l’implantation de programmes, l’évaluation de processus et l’évaluation d’impact.
L’évaluation de l’implantation est le processus permettant d’observer si toutes les conditions nécessaires inscrites dans la planification d’un programme ont été rencontrées à la suite de l’implantation. Ce processus peut permettre de documenter les raisons qui expliquent les ratés de l’implantation du programme. Finalement, dans un contexte où plusieurs programmes sont implantés à l’échelle locale, l’évaluation d’implantation peut servir à déceler les meilleurs pratiques dans chacun des milieux où le programme a été implanté.
L’évaluation du processus est davantage mise en place pour des programmes déjà bien établis. Elle vise à documenter si l’ensemble des opérations visant à produire le service requis sont réalisées, tel que prévu, et s’il y a place à optimiser ces opérations.
L’évaluation d’impact est une étude permettant de juger si le programme implanté permet d’atteindre les buts et les objectifs fixés au départ dans sa planification et sa programmation. Cette démarche est réalisée une fois que le programme est implanté et que des usagers en bénéficient. L’évaluation d’impact est un outil de reddition de comptes qui permet aux décideurs de réorienter la planification et la programmation de son programme à la lumière de l’impact de celui-ci.
Afin de visualiser les divers types d’évaluation possibles, voici un schéma illustrant les types d’évaluation en relation avec les composantes d’un programme :
Des outils pour guider la pratique
Afin d’orienter la pratique de l’évaluation de programmes à l’Agence de la santé et des services sociaux de l’Estrie, une politique d’évaluation et de suivi de gestion a été adoptée par le conseil d’administration de la Régie régionale de l’Estrie, le 20 juin 2000.
Cette politique est présentement en cours de révision. Elle sera publiée ultérieurement.
De manière générale, un rapport d’évaluation comporte les éléments suivants :
- Rappel du mandat d’évaluation
- Raison d’être du programme et description du contexte interne et externe dans lequel l’évaluation est réalisée
- Modèle logique du programme (voir exemple en cliquant sur le nom)
- Questions d’évaluation
- Méthodologie
- Résultats
- Recommandations
Les travaux réalisés
Voici la liste des rapports d’évaluation ayant été produits :
Les travaux en cours
Plusieurs travaux d’évaluation de programmes sont présentement en cours. En voici une brève liste à titre indicatif :
- Évaluation de la réorganisation des services résidentiels en santé mentale
- Évaluation de l’implantation des guichets d’accès de santé mentale dans les CSSS
- Évaluation de l’implantation du futur centre satellite du PQDCS au CSSS du Granit
- Évaluation de l’impact de la nouvelle Loi sur la protection de la jeunesse sur l’organisation de services
- Évaluation du programme de tatouage sécuritaire en milieu carcéral
- Évaluation de l’implantation et des résultats de la stratégie du développement des communautés
- Évaluation du programme en saines habitudes de vie «Bien manger, bien bouger!»
- Évaluation de l’implantation des activités prescrites par le Programme national de santé publique – mise à jour 2008 et de l’implantation des activités prioritaires identifiées dans les plans d’action régional et locaux (mise à jour 2010)
Quelques exemples de modèles logiques
Références
Dagenais, Christian et Valéry RIDDE. «Approches et pratiques en évaluation de programmes», Les Presses de l’Université de Montréal, 2009, p. 25.
LAMARI, Moktar. « Quelques différences entre recherche et évaluation», ÉNAP, 15 janvier 2007.
ROSSI, FREEMAN et LIPSEY.«Evaluation: A Systemic Approach», 6e édition, 1999, p. 4.
