Initiative des orientations stratégiques de l'EFPC - Évaluation sommative intégrée : Résumé du rapport

Mai 2018

Évaluation sommative intégrée – version définitive – résumé du rapport

 Résumé

Historique et contexte

En novembre 2014, le Conseil du Trésor (CT) a approuvé l'Initiative des orientations stratégiques (l'IOS ou l'Initiative), un projet échelonné sur 3 ans (de 2014-2015 à 2016-2017) visant à examiner l'exécution et la gestion de l'apprentissage à l'École de la fonction publique du Canada (l'EFPC ou l'École) ainsi que la programmation, le modèle opérationnel et les stratégies qui permettraient de mettre en œuvre un nouveau modèle. L'Initiative visait à établir une plateforme d'apprentissage plus accessible, plus pertinente et plus adaptable. Elle comportait des projets de modernisation des activités opérationnelles de l'École et de modification du modèle de financement, dans le but d'instaurer une nouvelle approche à l'égard de l'apprentissage. Selon cette nouvelle approche, il incomberait aux ministères d'offrir l'apprentissage propre à leur mandat respectif, tandis que l'École offrirait un programme de cours commun s'adressant à l'ensemble de la fonction publique et favoriserait une culture axée sur l'apprentissage dans la fonction publique.

Les 3 dernières années ont été fécondes à bien des égards : consultations auprès des ministères et organismes fédéraux, mise en œuvre progressive du nouveau modèle de financement, révision du programme de cours et mise au point de technologies d'aide à l'apprentissage et de systèmes de renseignements d'affaires. À la fin de l'exercice 2016-2017, les fonctionnaires n'avaient besoin que d'une connexion Internet pour accéder à la plateforme en ligne de l'École, GCcampus, et à la série de produits d'apprentissage qu'elle contient.

Objet et portée de l'évaluation

L'Initiative a fait l'objet d'une évaluation dont le but était de fournir aux décideurs de l'École une rétroaction neutre, fiable et pertinente au regard des engagements faits au premier ministre et au Conseil du Trésor en 2014. Deux exercices d'évaluation ont été menés. Premièrement, en décembre 2016, une évaluation formative a fourni un bilan à mi-parcours de l'Initiative. Cette évaluation portait sur la mise en œuvre de l'IOS et répondait aux questions principalement liées aux activités, aux extrants et aux résultats immédiats de celle-ci. Deuxièmement, le présent document, intitulé Initiative des orientations stratégiques de l'EFPC : Évaluation sommative intégrée, aborde les questions liées aux résultats à moyen et à long terme de l'IOS. Plus précisément, l'évaluation sommative portait sur l'état de la situation après la mise en œuvre de l'IOS, notamment en ce qui concerne les points suivants : pertinence du financement de l'École et de ses autorisations; mesure dans laquelle il y a eu une amélioration du degré de satisfaction des apprenants, des connaissances acquises et de la capacité d'appliquer les connaissances; pertinence du programme de cours de l'École; incidence de l'IOS sur la gamme de produits d'apprentissage de l'EFPC; mesure dans laquelle un programme de cours commun de base a été mis en place; rendement de l'École à l'égard de la présentation des résultats de formation.

L'évaluation sommative portait également sur la façon dont l'École pourra mesurer les résultats de son écosystème d'apprentissage.

Sources de données

Les constatations issues de 5 sources de données ont été résumées pour répondre à chaque question portant sur l'examen des résultats et l'examen du modèle de financement.

Les données ont été recueillies notamment au moyen d'un examen documentaire (plus de 150 documents ont été consultés, y compris des documents internes de l'École, allant des plans de projets aux rapports, ainsi que divers outils de suivi) et d'une collecte de données administratives sur les inscriptions et les évaluations relatives aux produits d'apprentissage qu'a consignées l'École de 2013-2014 à 2016-2017. Des entrevues ont été menées auprès de 45 informateurs clés (17 dirigeants externes, 18 autres représentants externes et 10 membres de l'École). Enfin, un examen documentaire des méthodes employées pour évaluer et communiquer les résultats d'apprentissage de l'écosystème d'apprentissage de l'École a été réalisé. L'examen du modèle de financement de l'École représentait la 5e source de données.

Constatations principales de l'évaluation

Conclusions et recommandations

1. Le nouveau modèle de financement de l'EFPC a été adopté avec succès, et les autorisations de dépenser et les niveaux de référence prévus semblent appropriés. Puisque les activités entreprises dans le cadre de l'IOS devront se stabiliser pendant encore au moins 2 ans et que les besoins futurs sont difficiles à prédire à ce stade précoce du cycle de vie du nouveau modèle, il est trop tôt pour évaluer avec certitude les besoins de l'École en matière de ressources. Cela dit, il semble que les niveaux de référence actuels pour 2017-2018 et ceux prévus pour les exercices subséquents soient suffisants à court terme, à condition que toute augmentation ultérieure des responsabilités de l'École soit assortie de fonds supplémentaires.

   La capacité de percevoir des redevances et de reporter à l'exercice financier suivant les recettes provenant de ces redevances fournit à l'École une marge de manœuvre suffisante pour mettre en œuvre le nouveau de modèle opérationnel de façon efficace et efficiente.

   Recommandation 1. À l'avenir, les coûts estimatifs associés à l'élaboration et à la prestation de l'apprentissage devraient devenir un élément distinct à prendre en compte dans les présentations au Conseil du Trésor et les demandes présentées au Cabinet.

2. L'École a établi un programme de cours commun de base pertinent, tel qu'il est défini par les cadres supérieurs. L'École a réalisé des progrès considérables vers l'établissement d'un programme de cours commun de base pertinent. L'orientation de l'École s'est précisée aux yeux des intervenants, et les représentants des ministères et organismes font davantage confiance à l'École pour répondre aux besoins d'apprentissage fondamentaux, ce qui laisse aux organisations le soin d'offrir la formation propre à leur mandat.

   Le programme de cours commun de base s'entend essentiellement des sujets et des priorités jugés pertinents au regard des responsabilités de rendement d'une masse critique de fonctionnaires à l'échelle pangouvernementale, ainsi que des priorités déterminées aux échelons supérieurs. Toutefois, la définition n'a pas été systématiquement validée par les employés de première ligne. En outre, la présomption voulant que les besoins d'apprentissage doivent être pangouvernementaux semble freiner la formation d'importantes sous-populations; des représentants de certains ministères et organismes estiment que les besoins de leurs employés échappent à la nouvelle définition de l'École et qu'ils doivent offrir eux-mêmes la formation dont ont besoin leurs employés.

   Recommandation 2. L'École, en consultation avec les cadres supérieurs ainsi que les gestionnaires intermédiaires et le personnel de première ligne de toutes les régions, devrait continuer à clarifier, à valider et à préciser la définition de son programme de cours commun de base.

3. La gamme de produits d'apprentissage de l'École a fait l'objet d'une refonte complète qui a amélioré l'accessibilité et le choix parmi les modes d'apprentissage. Dans le cadre de l'IOS, la gamme de produits d'apprentissage de l'EFPC a été fondamentalement modifiée. Le nombre de cours en classe est passé de 262 à 87 tandis que le nombre d'événements a presque quintuplé pour passer à 372. Le nombre de produits d'apprentissage en ligne à rythme libre est demeuré relativement stable (219 à la fin de 2016-2017), mais la plupart des produits sont dorénavant offerts en nouvelles versions. En outre, de nouveaux types de produits d'apprentissage sont désormais offerts.

   De façon générale, les représentants des ministères et organismes accueillent favorablement la gamme renouvelée de produits d'apprentissage et notent des améliorations en ce qui concerne le choix des modes d'apprentissage et l'accessibilité aux possibilités d'apprentissage. L'École semble plus apte à s'adapter rapidement aux nouvelles priorités. Toutefois, certaines préoccupations demeurent, principalement en ce qui concerne le passage d'un modèle axé sur l'apprentissage en classe à un modèle reposant sur les activités d'apprentissage en ligne. La réduction du nombre d'options d'apprentissage en classe peut amener les utilisateurs à croire à une pénurie de places. En outre, une trop grande dépendance aux modes d'apprentissage en ligne peut nuire à la formation des employés qui n'ont pas facilement accès à Internet.

   Recommandation 3. L'École devrait continuer à développer et à optimiser la gamme de modes d'apprentissage associés à son écosystème d'apprentissage.

4. L'École doit établir un cadre solide de mesure des résultats. L'EFPC menait des évaluations de niveau 1 bien avant l'IOS. En comparant les données d'évaluation de niveau 1 avant et après la mise en œuvre de l'IOS, l'École a constaté que la satisfaction à l'égard des produits d'apprentissage en ligne au rythme de l'apprenant avait augmenté pendant cette période. Toutefois, les observations issues des évaluations de niveau 1 n'intéressent à peu près pas les représentants des ministères et organismes, qui souhaitent plutôt connaître la mesure dans laquelle leurs employés acquièrent de nouvelles connaissances et compétences grâce à l'École et utilisent ces nouveaux éléments dans le cadre de leurs tâches.

   L'École recueille des données fondamentales sur l'acquisition et la mise en application de connaissances pour la plupart des activités exigeant une inscription, ainsi que des données détaillées sur un petit échantillon d'activités d'apprentissage défini chaque année. Toutefois, elle n'a pas élaboré de protocole d'analyse permettant de satisfaire les organisations clientes. De plus, étant donné la façon dont évolue l'écosystème d'apprentissage de l'École, il faudra mettre en place un système qui permet de mesurer de manière convenable et efficace les résultats d'apprentissage et qui va au-delà des concepts d'évaluation classiques (le modèle Kirkpatrick) et des approches classiques de collecte de données d'évaluation. Les ministères et les organismes doivent participer à la collecte des données. En bref, il faudra adopter une approche plus exhaustive et plus stratégique pour répondre aux exigences des ministères et organismes ainsi qu'aux besoins de l'École, approche selon laquelle les méthodes sont instaurées en fonction des besoins en matière d'évaluation.

   Recommandation 4. L'École devrait s'appuyer sur les pratiques d'évaluation de l'apprentissage existantes et investir de façon appropriée dans la création d'un régime d'évaluation complet permettant la collecte, l'analyse et la communication des données sur l'apprentissage, l'application des acquis et la satisfaction des apprenants et tous les autres concepts fondés sur les besoins des utilisateurs.

5. L'IOS a donné à l'École un système de renseignements d'affaires bonifié, capable de produire une vaste gamme de rapports; les rapports internes ont été bien accueillis; toutefois, les organisations clientes sont toujours insatisfaites. À la suite des activités menées dans le cadre de l'Initiative, l'École a investi dans un système de renseignements d'affaires amélioré qui, jumelé aux pratiques existantes en matière de collecte de données, permet de fournir une vaste gamme de mesures des résultats. En général, les responsables de l'École sont satisfaits des rapports produits destinés à l'interne. Toutefois, les différentes versions des modèles de rapports externes ne répondent pas encore pleinement aux besoins des ministères et organismes clients. Les responsables des ministères et organismes souhaitent obtenir des chiffres sur l'utilisation mensuelle, des renseignements sur les cours terminés ou annulés et des mesures des résultats d'apprentissage, y compris des renseignements statistiques comme les taux de réponse.

   Recommandation 5. L'École devrait améliorer ses rapports externes en établissant un système produisant des rapports qui répondent aux exigences des clients sur le plan de la fréquence, du contenu et du format.

Réponse et plan d'action de la direction

Contactez-nous Abonnez-vous au bulletin GCApprentissage

---

En vedette

Événement : Saluer la résilience des femmes autochtones et des personnes 2ELGBTQIA+

(3 mai 2024)

Événement : L'ACS Plus à l'œuvre : Respect, relations et leadership intersectionnel à Gwaii Haanas

(6 mai 2024)

Événement : Tirer profit des preuves scientifiques pour élaborer des politiques de manière efficace

(7 mai 2024)

Suivez :

• Twitter
• YouTube
• LinkedIn
• Bulletin GCApprentissage
• RSS