L'évaluation, pour prouver l'intérêt d'investir en formation

Avec la réforme en cours, la formation est appelée à être perçue comme un investissement.
Corollaire, la qualité et l'évaluation sont dans tous les esprits. De quoi susciter un regain d'intérêt pour
les méthodes d'évaluation, en premier lieu desquelles celle de leur pionnier, Donald Kirkpatrick.

La nouvelle loi sur la
formation remet, un
peu, sur le devant de
la scène les questions
de qualité et d'efficacité
des formations. À force de
répéter aux directions générales
que la formation était
un investissement, elles nous
ont crus ! Et, suppression du
0,9 % oblige, les responsables
formation sont attendus
au tournant : de façon
croissante, toute dépense
devra être justifiée au regard
des bénéfices escomptés",
observe Jonathan Pottiez,
directeur produit et innovation
de Formaeva ^{[ 1 ]}Spécialiste de la méthode d'évaluation de
Kirkpatrick, il est l'auteur de L'évaluation de la
formation - Piloter et maximiser l'efficacité des
formations (Dunod, 2013)..
Légitimement donc, une
direction générale peut
s'interroger si, au vu du
budget alloué à la formation,
elle “en a pour son
argent". Répondre à cette
question suppose de disposer
d'une méthode – et
de l'envie pour remettre
en cause des pratiques de
formation désuètes.

Les quatre
niveaux de Donald
Kirkpatrick

La méthode la plus connue
pour évaluer la formation est celle créée
à la fin des années 1950 par l'Américain
Donald Kirkpatrick, récemment
disparu ^{[ 2 ]}Le 9 mai dernier. L'Inffo n° 857, p. 6.. S'interrogeant sur les résultats
possibles d'une formation, il a
décrit ce que pourraient être les quatre
niveaux d'évaluation d'une formation :
la “réaction" : le niveau de satisfaction
des participants à l'égard de la formation
; l'“apprentissage" : ce que les participants
ont appris grâce à la formation
; le “comportement" : l'utilisation
des acquis de la formation en situation
de travail ; et les “résultats" : l'impact
de la formation sur les résultats attendus
au niveau de l'entreprise.

Jack Phillips et
le cinquième niveau

Au fil des années, ce modèle de
Kirkpatrick a évolué. À partir des années
1970, un autre Américain, Jack
Phillips, a ajouté un cinquième niveau,
axé sur l'évaluation du ROI (retour sur
investissement). Il s'agit de savoir si la
formation a été “rentable", donc si les
bénéfices de la formation
– gains et/ou économies
réalisé(e)s à la suite de la
formation – sont supérieurs
au coût total de la
formation (coûts directs et
indirects).

Engagement
et motivation

Par la suite, James et
Wendy Kirkpatrick (fils
et belle-fille de Donald
Kirkpatrick) ont enrichi
les niveaux 1 et 2 (par
exemple, l'accent est mis
sur la mesure de l'engagement
et de la motivation
des apprenants).
Désormais, le niveau 3
intègre la notion de pilotes
(processus ou systèmes qui
viennent renforcer, encourager
et récompenser la
mise en oeuvre au poste de
travail des comportements
critiques visés par la formation)
et le niveau 4 repose
à la fois sur des indicateurs
de pilotage à court
ou moyen terme et aussi
sur l'atteinte d'objectifs à
plus long terme.

Apporter des réponses
aux commanditaires

Ce modèle répond donc aux critiques
qui avaient été émises à l'encontre
du premier modèle et propose une
démarche plus pragmatique que celle
du “retour sur investissement" (ROI,
return on investment), à savoir la mesure
du retour sur attentes (ROE,
return on expectation). Démarche
collaborative d'évaluation, celle-ci
permet d'apporter des réponses aux
commanditaires quant à la valeur ajoutée
de la formation.

“Le mérite de la simplicité"

Selon Marc Dennery, directeur associé
de C-Campus, cabinet de conseil
et de formation spécialisé dans l'innovation
pédagogique ^{[ 3 ]}Marc Dennery a été directeur du développement
de l'emploi et de la formation du groupe SFR-Cegetel
et administrateur d'Auvicom, Opca des télécoms. Il
est l'auteur de plusieurs ouvrages sur la formation,
notamment Réforme de la formation professionnelle
(ESF, 2005), Piloter un projet de formation (ESF, 2008),
et Évaluer la formation après la réforme (ESF, 2005)., “le modèle de
Kirkpatrick a le mérite de la simplicité
et de l'effet mobilisateur des acteurs
de la formation. Il est très bien perçu
par les entreprises, qui l'adoptent progressivement".
Cependant, insiste-t-il,
“il n'est pas juste de penser que c'est la
méthode idéale, la seule qui vaille pour
évaluer la formation". Le modèle de
Kirkpatrick n'épuiserait pas le sujet
de l'évaluation de la formation. Il
limiterait même le regard porté sur la
formation.

Le risque de se focaliser
sur l'action de formation

Marc Dennery, qui a consacré un
article à ce sujet sur son blog, relève
trois limites au modèle de Kirkpatrick.
Le premier reproche concerne sa “focalisation
sur l'action de formation et
l'apprenant. Le modèle de Kirkpatrick
oublie de prendre en compte l'action au
sein du projet plus global de formation
et les systèmes qui la produisent. Alors
que l'on sait depuis la généralisation des
approches qualité que, pour progresser,
il est préférable d'agir sur le système qui
produit l'action plutôt que sur l'action
elle-même". Il déplore également que
le modèle de Kirkpatrick ne prenne
pas en compte les coûts de la nonformation.
“Aujourd'hui, on sait combien
coûte une formation, mais sait-on
ce que coûte l'incompétence ?", interroge
Marc Dennery.

La question de la “performance"

La seconde limite consiste au fait que le
modèle de Kirkpatrick “est très orienté
performance économique. Il survalorise
l'impact sur la performance (niveau 4)".
Tout en reconnaissant qu'avec l'évolution
de la notion de ROI vers celle de
ROE, cette lacune du modèle est corrigée,
Marc Dennery insiste sur “la difficulté
d'évaluer objectivement les effets de
la formation sur la performance".
Enfin, il reproche au modèle de
Kirkpatrick d'être “orienté vers une
évaluation post-formation". En effet, explique-
t-il, ce modèle “mesure les réactions
à chaud de la formation (niveau 1)
ou les effets à froid (niveaux 2 à 4). Il
ne s'intéresse pas à la prescription et à la
réalisation de la formation. Orienté sur
l'aval, il ne prend pas en compte les temps
en amont de l'évaluation". Selon lui,
évaluer en amont permet de personnaliser
le parcours formatif en proposant
à chacun des actions qui répondent
précisément à ses besoins et attentes.

Ajouter trois autres niveaux ?

Marc Dennery propose d'enrichir le
modèle de Kirkpatrick par trois autres
niveaux, afin de l'adapter aux évolutions
de la formation. Il s'agirait d'“évaluer
les effets sociaux de la formation, c'est-àdire
les effets sur l'identité professionnelle
de la personne formée et sa valeur sur le
marché de l'emploi". Car, estime-t-il, “il
est également important d'évaluer l'effet
de la formation sur le niveau d'employabilité
de l'apprenant. La réforme en cours
renforce le lien formation-employabilité.
Il est essentiel de le mesurer".

“Les effets pollinisateurs"

Un autre niveau permettrait d'évaluer
“le collectif apprenant et les effets pollinisateurs"
de la formation. “Conçu
bien avant le développement des réseaux
sociaux et de la pédagogie connectiviste,
le modèle de Kirkpatrick ne cherche pas à
savoir comment la formation a pu favoriser
les apprentissages collectifs au cours et
à l'issue de sa réalisation ; comment des
collectifs apprenants se sont constitués ;
comment ils se sont pérennisés à travers
les réseaux sociaux. Il s'agit de s'intéresser
non pas aux seules compétences acquises
par l'apprenant mais aussi à celles que
celui-ci peut transmettre à d'autres apprenants.
Ainsi, un formé devient formateur
à son tour", précise Marc Dennery. Qui
propose également d'“évaluer l'impact
sur les capacités d'apprenance de l'apprenant
lui-même". Ce niveau permettrait
de mesurer sa capacité à renouveler ses
apprentissages de façon autonome.

7 NIVEAUX ?

Comme Marc Dennery, Valérie Hellouin et Alice Vielajus, chargées d'études à Centre Inffo,
estiment que “le modèle de Kirkpatrick mérite d'être complété par d'autres dimensions".
Elles proposent un modèle en 7 niveaux : conduite du projet formation/évaluation ; besoins
de compétences ; besoins de formation ; dispositif de formation ; acquis ; transfert des
acquis ; impact, dont le retour sur investissement (RSI). “De plus en plus de commanditaires
intègrent l'évaluation des dispositifs de formation, ainsi que des transferts. Une
telle exigence oblige à revoir l'ingénierie de formation et de la centrer sur la mise en
oeuvre opérationnelle des acquis et de leur transfert", précise Valérie Hellouin. Qui ajoute :
“Le modèle que nous proposons est un modèle pratico-pratique. Nous sommes confortées
dans notre démarche par la nouvelle norme sur l'évaluation NF X50-768 ^{[ 4 ]}NF X50-768 Formation professionnelle - Conception d'un système d'évaluation de la formation -
Lignes directrices., qui prend en
compte notre vision."