L’intermédiation digitale des activités humaines (professionnelles autant que personnelles) et la mondialisation de l’économie numérique concourent à alimenter une nappe de datas, souterraines pour la plupart, dont l’extraction se structure au regard des enjeux économiques mais dont l’exploitation et la valorisation restent encore balbutiantes et partielles.
Côté formation, le développement du digital learning et la co-existence des temps et des activités formels et informels participent à l’alimentation de la nappe de données. L’hétérogénéité des sources de données, la diversité de leurs formats et de leur niveau de granularité rendent difficile leur transformation en levier de décisions pédagogiques correctives ou pro-actives visant un développement des compétences sur-mesure de l’apprenant au regard des enjeux business de l’entreprise.
Si l’exploitation des données est déjà une réalité notamment dans les services marketing voire en formation, elle reste parcellaire. Un projet du département de défense américain baptisé TLA (Total Learnng Architecture), mené depuis plusieurs années déjà, a analysé les freins à la valorisation des learning datas et imaginé les prérequis et infrastructures techniques et sémantiques pour transformer ces données en outils décisionnels de formation. Ce projet de Recherche et Développement est un exemple avec déjà plusieurs itérations qui permet de dessiner les contours d’un Internet de l’apprentissage tel qu’il pourrait, dans ses grandes lignes, se dessiner dans les années à venir. Il est bien évidemment actuellement inapplicable tel quel à l’échelle d’une entreprise.
Une première vision des principes fondateurs du travail de recherche mené par la structure en charge du projet TLA (baptisée DOD’s) en moins d’une minute de vidéo (en anglais) :
Le projet TLA a identifié 4 types de freins à une exploitation véritablement efficace des données de formation, qui dépasse le suivi de la complétion et des résultats. Plusieurs constats réalisés dans le cadre du projet TLA, de même que certaines orientations R&D proposées, sont partiellement transposables à l’entreprise apprenante.
1.
Lever les freins
Le premier constat du projet TLA repose sur l’analyse des faiblesses de l’écosystème de données d’apprentissage avec 4 obstacles majeurs auxquels se trouvent confrontées toutes les organisations qui souhaitent exploiter les learning datas pour optimiser le travail de leurs équipes et anticiper leurs besoins en compétences futurs.
LES ENVIRONNEMENTS SONT CLOISONNES
La plupart des expériences de développement des compétences qu’elles soient formelles ou informelles (par exemple, une session en présentiel, un module en ligne, une simulation en réalité virtuelle ou augmentée, des activités de mise en pratique mais également les compétences acquises en situation de travail tout au long de la carrière de l’apprenant) sont déconnectées les unes des autres.
Une vision globale du développement des compétences professionnelles individuelles est entravée par le manque de cohésion des différents temps d’acquisition de connaissances et de compétences. En outre, chaque temps formatif quelle qu’en soit sa forme, est considéré unitairement, comme si l’apprenant était vierge de tout apprentissage sur le domaine adressé ou sur des domaines potentiellement connexes. Cette « virginité apprenante » présupposée limite l’efficacité de l’adaptation des parcours de formation aux spécificités et aux besoins des individus (ou des équipes). Idéalement, le développement des compétences d’un individu ou d’une équipe devrait être géré comme un continuum cohérent, tout au long de la carrière. Pour ce faire, un premier prérequis consiste en un partage des données d’apprentissage initial et continu, formel et informel entre les différents systèmes d’apprentissage. L’exploitation de ces données consolidées et individualisées permettant une plus grande efficience de la stratégie de développement des compétences au niveau de l’entreprise.
LES PARCOURS PEUVENT ETRE INDIVIDUALISES, PAS LA TRAJECTOIRE D’APPRENTISSAGE DANS SON ENSEMBLE
Les données récoltées restent encore trop souvent superficielles et peu optimisées au regard de l’enjeu d’un continuum d’apprentissage tout au long de la vie. Elles reposent encore largement sur des critères d’achèvement basés sur le temps de connexion. En résultent une perte de temps et souvent une démotivation pour les apprenants les plus performants et une frustration voire un échec et in fine une démotivation des apprenants plus lents qui ne parviennent pas à appréhender l’ensemble du parcours ou échouent aux évaluations.
L’adaptive learning permet déjà une individualisation des parcours pour lutter contre un désengagement lié à une mauvaise adéquation entre le besoin/niveau de l’apprenant et le parcours qui lui est proposé. En revanche cette adaptabilité reste intra-parcours et, là encore, traitée de façon unitaire formation par formation. L’adaptive ne permet généralement pas une adaptation à l’échelle de l’écosystème pédagogique tout entier et du développement professionnel global de l’apprenant.
LES DONNEES D’APPRENTISSAGE SONT SOUVENT SOUS-EXPLOITEES FAUTE DE DE COMMUNICATION ENTRE LES SYSTEMES D’INFORMATION
Les données RH sont encore souvent « silotées » et la communication entre LMS/LRS et SIRH global n’est pas systématique. En outre, les événements enregistrés par le LMS sont souvent très basiques comme la complétion, le score d’évaluation ou le temps passé. Les données ne reflètent que rarement la performance réelle de l’apprenant en situation de travail au sortir de la formation. C’est ici toute la problématique de l’évaluation de l’efficacité en formation. Dans ce contexte, la prise de décision et la stratégie de gestion des compétences au sein de l’organisation ne peuvent reposer sur des données objectives, robustes et pertinentes.
Dans l’idéal, la définition d’indicateurs « quali » (entretiens post-formations, évaluation du transfert de compétences sur le poste de travail, gains de productivité, baisse du turn-over et fidélisation…) en complément des indicateurs « quanti » et l’interfaçage entre tous les systèmes de données relatives aux collaborateurs pourraient offrir aux services RH un levier de décision et de planification stratégique des formations, optimisées et alignées avec les objectifs business de l’entreprise.
UNE COMPLEXITE D’ANALYSE
Le cloisonnement des systèmes, la faiblesse des indicateurs de performance de l’apprenant comme ceux de l’efficacité de la formation, le manque de communication entre les différents systèmes d’information de l’entreprise en général et des RH en particulier rendent complexe la valorisation des données d’apprentissage dans une optique d’optimisation des choix de formation et d’anticipation des besoins en compétences individuels et collectifs au sein de l’entreprise.
En résumé, la pertinence des données récoltées, leur centralisation et leur confrontation sont fondamentales pour ne pas se cantonner à une analyse descriptive et pouvoir accéder aux niveaux supérieurs formalisés par le cabinet Gartner.
2.
Du constat a posteriori à l’analyse prédictive
Lever les 4 freins fondamentaux mis en évidence dans le cadre du projet TLA permettrait de s’extraire d’une analyse a posteriori, qui, bien qu’intéressante, ne permet pas une anticipation des besoins et une agilité de la stratégie de formation de l’entreprise. Toutefois, aujourd’hui, les analyses de données appliquées à la formation restent largement au niveau d’une formation ou d’un parcours et ne considèrent pas l’apprentissage comme un continuum tout au long de la vie, intégrant les expériences, les apprentissages, les activités extra-professionnelles…
Il est toutefois intéressant d’en voir la portée en formation. Le cabinet de conseil Gartner distingue traditionnellement 4 grands types d’analyse de données.
LA PARTIE ÉMERGÉE DE L’ICEBERG
Décrire et diagnostiquer constituent les premiers niveaux d’utilisation des learnings analytics. Ils s’apparentent à un reporting support. L’analyse est réalisée formation par formation et manque à ce titre d’une vision plus « macro ». Les indicateurs clés sont basiques et essentiellement « quanti ».
L’analyse descriptive vise à rendre compte de l’activité de l’apprenant et des éventuels incidents intervenus durant le parcours de formation. Elle répond à la question : que se passe-t-il sur le parcours ? Elle constitue la base du retour d’expérience, permettant de replacer le projet dans son contexte et de réaliser un premier bilan :
- combien d’apprenants ?
- combien de ressources consultées ?
- combien d’abandon ?
- quel taux de complétion ?
- combien d’heures passées sur le parcours ou sur chaque ressource ?
- combien de messages envoyés ?
- quelle utilisation du mobile learning ou du social learning ?
- quels résultats aux évaluations ?
L’analyse « diagnostic » interroge l’origine des actions (ou de l’inaction) des apprenants et les causes des incidents détectés par l’analyse descriptive. Pour réaliser un diagnostic, on mesure notamment :
- les périodes d’activité et d’inactivité de l’apprenant sur la semaine ou sur la journée (certains jours sont-ils plus productifs que d’autres ?) ;
- les taux de complétion du parcours (temps de connexion, téléchargement des documents, visionnage des vidéos, réalisation des évaluations formatives et sommatives…) ;
- les scores aux évaluations : au niveau individuel le score peut mettre en évidence un besoin de soutien ou de mise à niveau et au niveau collectif il peut être un indicateur de l’adéquation ou de l’inadéquation des activités proposées à la communauté apprenante ;
- la participation (discussion sur les forums, sollicitation des tuteurs, pratique collaborative…) : au niveau individuel elle peut révéler l’engagement de l’apprenant (c’est surtout son évolution dans le temps qui sera intéressante pour identifier des moments de baisse d’activité et agir) et au niveau collectif elle peut permettre aux tuteurs et/ou au learning community manager d’ajuster leur niveau d’intervention au sein du groupe ;
- les choix réalisés sur un parcours non contraint : la navigation de l’apprenant dans le parcours et le choix des ressources pédagogiques ou sa décision d’abandonner des ressources peuvent constituer un bon indicateur de son niveau, de sa disponibilité, de sa rapidité d’apprentissage (la pertinence de ses choix est mesurée par les scores aux évaluations).
L’analyse diagnostic va chercher à comprendre, a posteriori, l’origine (ou les multiples facteurs) de tel ou tel comportement inattendu de l’apprenant (pourquoi l’apprenant n’a-t-il pas validé le module 3 ? Est-ce le niveau de difficulté ? Du découragement ? Un format inadéquat de l’évaluation ou des ressources pédagogiques ? Un sentiment d’isolement ?…).
Mais l’enjeu des learning analytics est de dépasser la simple description et le diagnostic pour aller vers des analyses prédictives et prescriptives.
PRÉDIRE, PRESCRIRE : VERS UN PARCOURS PROACTIF ?
Plus intéressant que l’analyse a posteriori et les actions correctives qui peuvent en découler, les analyses prédictive et prescriptive sont à même de créer, pour chaque apprenant, une expérience unique et un parcours sur mesure. Là encore le cloisonnement des systèmes d’informations, la décorrélation des données récoltées au fil de l’évolution professionnelle du collaborateur en limitent encore aujourd’hui la portée et la pertinence des choix.
L’analyse prédictive vise à anticiper les problèmes. Elle s’attache à croiser les données récoltées, à les comparer avec des bases de données plus larges (données nationales, par exemple) ou antérieures (données sur le groupe d’apprenant précédent notamment) pour permettre de créer des modèles prédictifs basés sur les observations passées et les activités en cours. Elle répond à la question : que va-t-il se passer sur le parcours au niveau individuel et collectif ?
Au vu des résultats des analyses descriptive et diagnostic, il est ainsi possible de détecter a priori, des événements et incidents avant même leur réalisation. L’algorithme va croiser toutes les données à sa disposition, notamment les résultats de l’apprenant aux évaluations ou aux tests de positionnement, son engagement et sa participation sur la plateforme, sur les forums et dans les activités collaboratives ainsi que son parcours académique et professionnel. Il calculera alors une probabilité d’incident dans son parcours et génèrera une alerte auprès de l’équipe pédagogique pour informer d’un risque d’abandon ou d’échec de l’apprenant.
Cette capacité à anticiper les comportements de l’apprenant va permettre de mettre en place des stratégies curatives. La baisse de motivation de l’apprenant, qui peut se caractériser par une absence soudaine sur la plateforme, une diminution sensible de ses temps de connexion, la baisse de ses résultats aux évaluations, pourra être compensée par des actions automatiques (envois de notifications automatiques pour engager l’apprenant à poursuivre, message d’encouragement …) gérées par l’algorithme mais aussi par une intervention humaine du tuteur notamment (lui-même alerté du risque par l’algorithme).
L’analyse prescriptive va plus loin pour transformer le diagnostic et les données prédictives en actions pédagogiques. Elle répond à la question : comment agir sur le parcours et sur les apprenants ?
L’analyse prescriptive va permettre la personnalisation des parcours au rythme, au niveau, aux préférences et aux attentes de chaque apprenant. Cette individualisation des parcours repose sur l’analyse des données et des traces en temps réel pour ajuster le parcours, les ressources mises à disposition de l’apprenant, procéder à une remédiation par l’intermédiaire de ressources complémentaires en cas de difficultés ou d’un allègement du parcours au vu des prérequis de l’apprenant ou par l’intervention tutorale pour briser l’isolement.
Réalisée au niveau des parcours de formation, sans intégration des référentiels de compétences métier, sans prise en compte des profils d’apprenants ou des parcours individuels de vie, elle ne permet pas d’élaborer une véritable stratégie alignée avec les objectifs de développement de l’entreprise et la sécurisation du parcours professionnel de l’apprenant.
Le projet TLA en structurant une approche plus globale de la compétence individuelle et collective tente d’apporter des solutions aux 4 freins définis pour permettre, dans quelques années, une analyse à plus forte valeur ajoutée.
3.
Vers un Internet de l’apprentissage ?
Le projet TLA vise à fournir des directives techniques et des règles d’interopérabilité des systèmes en vue de créer un internet de l’apprentissage. L’interopérabilité des normes et des systèmes constitue une clé technologique primordiale mais la volonté de définir des référentiels partagés et évolutifs de compétences dans l’ensemble des métiers et d’imaginer des indicateurs pertinents à même de caractérisé le parcours d’un apprenant depuis sa formation initiale n’en demeure pas moins fondamentale.
Le projet TLA s’appuie sur une architecture de données à 4 piliers :
- Pilier 1 : l’indexation des ressources (par exemple, le catalogue de formation, de contenus, d’activités pédagogiques dont dispose l’entreprise) et les métadonnées
- Pilier 2 : un LRS (Learning Record Store) pour tracer toutes les données d’apprentissage formel et informel de l’apprenant et des paradonnées associées au LRS.
- Pilier 3 : des référentiels de compétences partagés autrement dit une définition partagée des emplois et des compétences à l’échelle d’une entreprise, d’un secteur
- Pilier 4 : des profils d’apprenants (données démographiques, centres d’intérêt des apprenants, préférences et habitude d’apprentissage, compétences inter et intra-personnelles, compétences déjà acquises et à acquérir (soft ou hard skills) ; parcours académiques ; actions de remédiation éprouvées…). Ce recueil de données doit être encadré pour garantir la protection des données personnelles.
Au-delà de ces 4 piliers, d’autres composants participent à la l’élaboration d’une architecture globale d’apprentissage (TLA). Pour aller plus loin dans la modélisation de la TLA, voici une présentation synthétique et simplifiée des différentes briques de données du projet avec, en regard, les normes utilisables pour recueillir les données nécessaires :
Enfin, le projet TLA définit pour chaque objectif d’un parcours de développement des compétences tout au long de la vie, l’infrastructure requise. Le tableau ci-dessous est une adaptation de celui de la TLA et correspond à une contextualisation à la structure d’une entreprise apprenante :
CONCLUSION
Cette stratégie de data analyse est développée pour fournir une interopérabilité sémantique indispensable à l’analyse et à la prise de décision au niveau de l’entreprise. Utiliser l’analyse des learning datas pour arbitrer dans des choix stratégiques de développement des compétences suppose d’affiner en continu la cartographie des compétences internes et la création, la sélection et l’adaptation des activités pédagogiques nécessaires au développement ou à l’actualisation des compétences cibles.
A retenir :
Les learning datas joueront dans les années qui viennent un rôle majeur dans la construction des parcours de formation et la définition des stratégies learning des organisations. Avant de disposer d’un système de données structurées interopérable, de nombreuses phases d’harmonisation des référentiels de compétences, des attendus des différents postes et métiers de l’entreprise, des normes utilisés en formation, des profils et du parcours individuel de chaque apprenant dans un portfolio et du développement de l’interfaçage entre tous les systèmes d’information RH.