Évaluation de la formation : si on ré-évaluait notre approche ?

1.
Trop de fausses notes ?

Évaluer, c’est encore trop souvent donner une note. Par facilité, le poids de l’évaluation sommative est surpondéré dans les formations. Cette évaluation correspond à la mesure quantitative objectivable de l’efficacité interne du dispositif de formation.

Réduire l’impact individuel d’une formation au couple « Réussite-échec » revient à méconnaitre les rouages cognitifs de l’apprentissage, à éluder (souvent par confort), la pertinence de la préparation de l’action de formation, que l’on parle de recueil des besoins, d’implication du manager, de présentation des bénéfices collectifs mais également individuels de la démarche tant de formation que d’évaluation.

Si les objectifs de l’entreprise, ceux du formateur (notamment s’il est prestataire) et ceux de l’apprenant en poste sont indéniablement corrélés dans une action de formation continue, ils n’en restent pas moins distincts :

• L’entreprise cherche à combler des besoins en compétences qui se font jour pour assurer sa croissance, à renforcer la performance des équipes ou à rétablir ou développer un environnement de travail apaisé pour éviter le turn over.
• Le formateur ou l’organisme de formation prestataire recherche une efficacité de ses parcours au travers de taux de réussite, de taux de complétion (en distanciel), d’avis favorables en pratiquant la mesure de la satisfaction.
• L’apprenant recherche une sécurisation de son emploi, une promotion, une augmentation de salaire, un équilibre personnel à court terme et une valorisation de ses savoirs et savoir-faire sur le marché du travail à plus long terme.
  • Une évaluation sur le thème « Que sont devenues mes compétences acquises en formation » ?
    Cette évaluation relève de l’efficacité externe qui implique notamment pour l’entreprise de suivre et de restituer aux collaborateurs les évolutions dans l’entreprise et de les corréler à divers indicateurs dont le suivi d’actions de formation, l’accompagnement du manager ou de pairs plus expérimentés dans la mise en pratique. Elle nécessite également d’évaluer l’équité d’accès à la formation selon les fonctions ou les statuts des salariés.

Pour des raisons évidentes de simplicité et compte tenu de l’hétérogénéité des dispositifs de formation mis en œuvre dans une entreprise, l’évaluation est réalisée unitairement, formation par formation et non au niveau de la politique globale de formation sur longue période. Cette évaluation unitaire prive le service RH, la direction et les managers d’un levier fort d’engagement de leurs équipes en formation : les perspectives d’évolution dans l’entreprise mesurées à l’aune de l’investissement dans le développement des compétences.

Mesurer la performance de la formation, dans la promotion et le parcours de vie du salarié dans l’entreprise, nécessiterait d’élaborer divers indicateurs destinés à mesurer la pertinence de l’action de formation. On peut citer par exemple :

• une analyse amont des besoins menée auprès de toutes les parties prenantes (direction générale sur le volet stratégie, RH sur le volet recrutement, managers, collaborateurs). Elle constitue un levier fort de valorisation de la démarche auprès du futur apprenant et permet un retour sur les attentes mesuré plus finement en sortie de formation suivi d’une analyse aval réalisée auprès des mêmes personnes, c’est-à-dire notamment en intégrant le manager ;
• un « que sont-il devenus ? » des apprenants précédemment formés via des dispositifs de formation similaires et réalisés dans le même contexte, qui s’attacherait ainsi à présenter l’évolution et le gain individuel des apprenants précédents ;
• la formalisation de parcours d’évolution dans l’entreprise incluant des actions de formation mais également l’intégration de l’apprenant dans des communautés de pratique, la désignation d’un mentor interne pour accompagner la mobilisation de ses compétences sur ses nouvelles missions…

2.
Connais-toi toi-même !

Qu’apprend l’apprenant de son score aux évaluations sommatives ? La plupart du temps, en formation continue, l’évaluation sommative prend la forme d’un quiz qui mesure la mémorisation des concepts clés. Quand elle est bien faite, cette évaluation intègre des cas pratiques ou des mises en situations à même de juger du niveau de compréhension et de projection en situation professionnelle. Dans tous les cas, la forme des quiz voire des livrables reflète peu les mécanismes cognitifs d’apprentissage mis en œuvre par l’apprenant. En réalité, l’apprenant sera, au vu de la note, capable, au mieux, d’identifier les notions qu’il maîtrise mal. Il aura surtout in fine une vision de la pertinence et du niveau des questions par rapport à ses propres attentes.

Peut-on déduire d’un score élevé chez la majorité des apprenants que la formation est efficace ? A priori, la réponse est non. Les questions peuvent aussi être honteusement simples voire simplistes…

Quant aux évaluations formatives, elles ressemblent le plus souvent aux évaluations sommatives et constituent généralement un entraînement pour maximiser la note et obtenir le certificat de fin de formation.

Or évaluer la qualité et l’impact d’une formation au niveau individuel devrait sans doute laisser une place plus importante à la réflexion et à la prise de conscience par l’apprenant des mécanismes qu’il a mobilisés pour intégrer les savoirs, savoir-faire ou savoir-être qui lui ont été présentés.
Cette réflexion métacognitive, véritable « connais-toi toi-même » socratique, est indispensable pour progresser dans la construction de soi et lever les freins à l’apprentissage (manque de confiance en soi, désintérêt…). Dès lors que l’apprenant est capable de décrypter les stratégies qu’il bâtit pour apprendre et progresser, son temps d’appréhension des nouvelles notions ou postures, des nouveaux concepts sera réduit. En outre, il sera à même de choisir une stratégie optimale au regard de ses enjeux propres ou de ceux de son entreprise. On parle alors d’auto-régulation de l’apprenant face à ses apprentissages.

Qualifiée d’évaluation formatrice (et non formative !) par Gérard de Vecchi, agrégé et maître de conférences en sciences de l’éducation et formateur, cette démarche métacognitive dépasse la mesure du savoir, du savoir-faire ou du savoir-être. Elle constitue une mesure de l’efficacité individuelle de la formation.

Elle suppose une implication de l’apprenant dans l’élaboration de l’évaluation des acquis au regard de ses attentes, de ses besoins. Cette évaluation individuelle s’attachera à explorer sa démarche et ses ressorts personnels d’apprentissage :

• quelles ressources lui ont été utiles ?
• où (ou auprès de qui) a-t-il été chercher des compléments ?
• comment a-t-il procédé pour apprendre et comprendre ?

Les questions de l’évaluation formatrice lui permettent d’entrevoir les attendus du formateur et au-delà de l’entreprise qui a investi dans l’action de formation à son profit. Cette évaluation pourra être plus ou moins autonome selon son degré de maturité et de conscientisation de ses apprentissages.

Pourquoi l’évaluation formatrice est intéressante dans une démarche d’évaluation d’impact de la formation ?

Juger de la capacité d’une formation à développer les capacités métacognitives de ses collaborateurs permet d’ajuster le plan d’accompagnement au transfert en situation de travail. Si la formation et l’évaluation parviennent à faire prendre conscience à l’apprenant des méthodes d’appréhension des compétences nouvelles et de la façon dont il pourra les mobiliser, la probabilité est grande qu’il soit plus autonome sur ses nouvelles missions, face à un nouveau périmètre ou à de nouveaux enjeux. Dans ce contexte, le temps d’accompagnement de son manager ou d’un mentor sera réduit ou tout au moins optimisé.

Et si on poussait le bouchon ?

A-t-on vraiment besoin d’un score/d’une note en formation pour adulte ? Un bon feedback du manager dans les 3 mois qui suivent la formation aurait sans doute plus de poids qu’un chiffre, qui, sans mise en perspective des conditions de réalisation, des objectifs individuels de l’apprenant et du besoin de compétences de l’organisation n’a de vertu que de rassurer le formateur et le service RH et de stresser l’apprenant.

Une bonne formation au feedback pour le manager en prérequis et la valorisation du temps qu’il va passer à débriefer et à accompagner son collaborateur peut-être ?

3.
Revisiter Kirkpatrick

Bien qu’imparfait, le modèle de Kirkpatrick a au moins le mérite d’être actionnable et de tenter de mesurer l’efficacité organisationnelle de la formation. Si on se prêtait au jeu de revisiter les 4 niveaux qui le composent dans une optique d’évaluation individuelle de l’efficacité de la formation ?

Pour se rafraîchir la mémoire…

Le modèle de Kirkpatrick comprend 4 niveaux successifs généralement outillés par des questionnaires à chaud (au sortir de la formation) et à froid (à 3 mois le plus souvent) :

• Niveau 1 : les réactions des apprenants
  Il vise à apprécier la satisfaction des apprenants qu’il s’agisse du contenu, du rythme, de l’accompagnement, de la durée.
• Niveau 2 : les apprentissages
  Il permet de mesurer l’efficacité pédagogique de la formation, notamment le niveau de mémorisation et de compréhension des notions abordées.
• Niveau 3 : le transfert
  Il s’agit ici de valider les changements de comportement en situation de travail chez les apprenants.
• Niveau 4 : les résultats
  Ce dernier niveau mesure l’atteinte de l’objectif global de départ (amélioration des délais de traitement des réclamations, augmentation de la part de marché sur un segment donné, baisse du turn-over dans l’entreprise…).

Mon petit Kirkpatrick illustré

Si on reprenait Kirkpatrick au niveau individuel de l’apprenant, comment pourrait-on définir les indicateurs clés de chaque niveau ?

Prérequis

Avant toute chose, si l’on partait de mes ambitions d’apprenant, de mes attentes, des besoins que j’identifie face à ma situation professionnelle. Un questionnaire prérequis pourrait me permettre un pas de côté pour formaliser :

• Mes objectifs professionnels individuels à court terme (6 mois) puis à moyen terme (2 ans)
• Ma compréhension des attentes de l’entreprise vis-à-vis de mon poste à court terme (6 mois)
• Mon niveau de confiance pour atteindre mes objectifs professionnels à court terme
• Mon niveau de confiance pour répondre aux attentes de l’entreprise à court terme
• L’investissement temps et les efforts que je suis prêt à dédier à l’atteinte de ces objectifs
• Le niveau d’accompagnement que j’estime nécessaire pour atteindre mes objectifs et les attentes de l’entreprise à court terme

Un questionnaire similaire et adapté renseigné par mon manager me serait très utile pour vérifier l’alignement de ma vision avec celle de l’organisation et de mon équipe.

Et, comble de bonheur, si vous pouviez nous informer (mon manager et moi) du programme de la formation, de ses objectifs mais aussi des compétences que je suis censé développer pendant cette formation. Cerise sur le gâteau si quelqu’un pouvait relier ces compétences à mes activités, le temps que je vais dépenser en formation ne m’apparaîtrait pas comme du temps perdu.

Niveau 1 : Haro sur le croissant

Il y a quelques années, on trouvait, dans les fameux questionnaires d’évaluation à chaud remplis en fin de formation présentielle, plus de remarques sur la fraîcheur des croissants que sur le contenu de la formation et la capacité pédagogique du formateur. Le croissant constitue certes une information cruciale pour le boulanger ou le traiteur mais n’apporte que peu d’indication à l’apprenant ou à son manager/service RH.

Mesurer la satisfaction à chaud de l’apprenant (tout en répondant à l’obligation légale) pourrait procéder d’une véritable réflexion individuelle sur sa situation professionnelle et ses missions à date.

Demandez-moi de me positionner sur la qualité de l’expérience formative au vu de mes objectifs individuels et des attentes de l’entreprise :

• Suivre une formation était selon vous, une réponse adaptée à vos objectifs individuels/ aux attentes de l’entreprise à court terme…
• Quelle autre réponse auriez-vous souhaité voir envisagée ?
• Le rythme était-il adapté à vos disponibilités ?
• Le format (présentiel/à distance) a-t-il répondu à votre besoin/à vos préférences ?
• L’accompagnement du formateur était-il adapté à vos enjeux/ aux attentes de l’entreprise ?
• L’accompagnement de votre manager était-il adapté à vos enjeux/ aux attentes de l’entreprise ?
• Avez-vous appris des choses ?
• Avez-vous remis en cause certaines de vos convictions, certaines de vos façons de procéder, certaines de vos postures professionnelles ?

Proposez-moi un entretien (30 minutes devraient suffire) avec mon manager suite à la complétion du questionnaire, que nous puissions passer en revue ces différents points et adapter la réponse formation pour la suite ou pour mes collègues ou en imaginer une autre.

Niveau 2 : Haro sur la couleur du cheval blanc d’Henri IV

L’évaluation des acquis ? Formatrice sinon rien ! Par pitié cessez de me demander la couleur du cheval blanc d’Henri IV, je n’apprendrai rien sur moi-même, sur mes points forts et mes faiblesses. Certes j’aurais une bonne note, mais en suis-je encore là ?
Demandez-moi, comment j’ai procédé pour me saisir de toutes les ressources présentes dans la formation ? Qu’est-ce que j’ai regardé, écouté, lu ? Qu’est ce qui m’a apporté le plus de connaissances ? Qu’est ce qui m’a déstabilisé, étonné ? Qu’est-ce qui m’a permis de projeter en situation de travail ce que je découvrais au fil des heures (les mises en situations, les échanges entre pairs, les temps synchrones, les ressources additionnelles) ?
Quelle est la phrase clé que je retiens de la formation ? Parmi diverses proposition qu’est-ce qu’il ne faut pas faire et pourquoi ?
Demandez-moi d’imaginer ma première journée, armé de ces nouvelles compétences, et de décrire ce que je vais en faire concrètement…

Niveau 3 : Haro sur le standard

Puis-je évaluer le pourcentage de mes acquis en formation qui me sont utiles au quotidien maintenant que 3 mois se sont écoulés ? Vous pourriez être un peu plus précis ?
Et si j’essayais de faire l’exercice moi-même ? Donnez-moi le mode d’emploi, expliquez-moi les bénéfices de l’exercice et je devrais y parvenir. Cette réflexion à froid va me servir à entretenir ma motivation, à positiver mes apprentissages, à faire un point d’étape dans mes objectifs personnels et vos attentes.

Mon mode d’emploi :
Pour chaque compétence adressée par la formation :

• Quelles sont les activités que je réalise en toute autonomie ?
• Quelles sont les activités que je réalise avec plus d’aisance ou d’efficacité ?
• Quelles sont les missions nouvelles qui m’ont été confiées ?
• Qui sont les personnes que j’ai pu aider grâce à chacune de ces nouvelles compétences ?
• Quelles sont les compétences que je n’ai pas pu mobiliser et pourquoi ?
• Qu’est-ce que je ne suis pas encore capable de réaliser sans assistance ?

Demandez à mon manager de me faire un feedback sur les mêmes points. Faites preuve de créativité et de personnalisation et évitez de jargonner !

Niveau 4 : Quel niveau 4 au niveau individuel ?

Si je devais transposer la mesure d’un ROE (retour sur les attentes) à mon niveau individuel, cela aurait-il du sens ? Si oui à quelle échéance ? 6 ou 12 mois selon mes objectifs ? Dois-je faire le bilan de ma ou mes actions de formation en ces termes au niveau individuel tant les facteurs qui ne dépendent pas de moi (conjoncture, événements personnels, évolution de l’entreprise…) sont importants ?

En revanche, au niveau de l’organisation, parvenir à mesurer l’impact de la politique formation sur les évolutions de carrière des collaborateurs peut constituer un levier d’engagement fort en formation pour tous les futurs formés de l’entreprise. Après tout, la formation initiale ou les organismes de formation qui s’adressent aux demandeurs d’emploi notamment évaluent bien leur taux d’insertion à 6 et 12 mois…

Pour résumer

Nous ne sommes plus à l’école. Les notes ne constituent pas l’indicateur le plus pertinent d’évaluation individuelle. Favoriser la réflexion et la conscientisation des apprentissages a une valeur nettement supérieure pour l’apprenant et permet un engagement et un transfert supérieurs. Accompagner l’auto-évaluation peut devenir un levier de fidélisation des collaborateurs.

Quoi qu’il en soit, toute démarche d’évaluation de la formation doit être saluée avant d’être optimisée en fonction de l’objectif précis de l’entreprise.