Longtemps j’ai détesté les QCM.

Ils ne me semblaient pertinents ni comme exercices (car l’évaluation est toujours aussi un moment de pratique des apprentissages, et en tant que telle, elle est formatrice), ni comme moyen de jauger l’acquisition des connaissances.

Je les trouve encore aujourd’hui très peu bénéfiques dans la majorité des cas. Il m’arrive pourtant d’en utiliser, jamais pour plus de quatre ou cinq points dans un contrôle de connaissances, ou ponctuellement pour insuffler une motivation supplémentaire à réviser les notions-clés régulièrement ou à effectuer les lectures préliminaires au cours qui font partie intégrante d’une approche inversée.

Et puis, en ces temps de co(VID)nfinement, il peut être d’autant plus tentant de recourir à ce type d’évaluation rapide à exécuter et à corriger pour pallier l’impossibilité d’organiser les examens normalement. Alors quitte à QCM-iser, essayons au moins d’en éviter les chausse-trappes. Pour ma part, j’en identifie trois : la tentation du tout-QCM quand de nombreux types de connaissances ne s’y prêtent pas ; le problème du QCM trop directif ; et la difficulté à juger si un QCM a été rempli sérieusement ou de façon purement aléatoire.

Trop de QCM tue le QCM

C’est peut-être là un truisme, mais il est bon à rappeler malgré tout : toutes les questions ne se prêtent pas à un choix fermé entre plusieurs réponses fournies a priori. Ce qu’évalue le QCM, ce n’est pas une capacité à fournir la bonne réponse, c’est une capacité à reconnaître la bonne réponse au milieu d’un pool de réponses possibles. Il s’agit donc d’une compétence plutôt passive qu’active, dans le sens où la lecture des réponses proposées pousse déjà dans la bonne direction – remémorant la réponse adéquate, éliminant les petites fautes annexes, et n’incitant pas à l’utilisation spontanée de la compétence mais à la réponse à un stimulus extérieur.

En ces temps de confinement et d’ennui (et de rédaction de thèse, mais enfin !), j’ai eu l’envie de réaliser une vieille envie en apprenant l’italien, et cédé à la facilité en testant l’application Babbel sur mon téléphone portable. Si le média est pratique et tout à fait adéquat pour l’apprentissage du vocabulaire ou de quelques règles de grammaire simples, l’usage immodéré des flashcards ne me paraît à première vue pas très adapté à l’acquisition sur le long terme d’un vocabulaire bien maîtrisé : surtout pour l’italien dont la structure est si proche du français, il faut bien reconnaître que la compétence testée n’est pas exactement la même lorsque l’on demande de relier fine settimana à sa traduction correcte parmi un choix de quatre possibilités et si l’on demandait sans autre forme d’indice comment se dit le “week-end”.

Au-delà de cet exemple linguistique extrême, certaines questions, en particulier les questions de synthèse générale et de définition, se prêtent particulièrement mal à la réponse en QCM. Si celui-ci peut en théorie porter aussi bien sur des faits que sur des méthodes, “les méthodes alors sont représentées et reconnues comme des faits (par les résultats, les marques matérielles d’un cheminement etc.)” (Hufschmitt 1989, p. 212). Difficile pour l’enseignant, en corrigeant les réponses, d’identifier où la méthode a péché, difficile également d’évaluer des compétences plus élaborées que celles de la stricte mémorisation.

Dans les petits tests destinés à vérifier que la lecture préalable au cours a bien été effectuée, je couple toujours le QCM à au moins une question portant sur le propos général de l’article (“Pierre Grandet (2008) distingue dans ce chapitre deux grands adversaires successifs de l’Egypte entre 1600 et 1200. Lesquels sont-ils ?“) ou au moins une question de définition portant sur un terme complexe qui apparaît dans l’article : stratigraphie, glyptique… Bien évidemment, il faut ensuite supporter la déception de constater que parmi des étudiants de L3, bien rares sont ceux qui prennent la peine de chercher dans le dictionnaire, ou simplement en trois clics sur Google, le sens des mots qu’ils ne connaissent pas dans un article scientifique – mais on peut au moins espérer que cela serve de leçon des deux côtés du bureau !

Ces questions non-rédactionnelles, mais qui ne sont pas non plus trop orientées ou “directives” dirons-nous tout à l’heure, sont bien sûr plus complexes que le pur QCM, et méritent donc en général un nombre de points plus élevé.

Il existe de fait en sciences de l’éducation une véritable théorisation du QCM. Certains considèrent par exemple que ce type de QCM que j’ai en horreur, celui où les réponses apparaissent de manière évidente, ont en réalité une vertu importante – non pas pour l’évaluation, mais bien en cours d’apprentissage (c’est clairement, d’ailleurs, la méthode utilisée par ma fameuse appli de langues). Basé sur l’enseignement au présupposé behaviouriste de Skinner (même si celui-ci exclut au départ les QCM), le principe de base y est le suivant :

^{Puisque l’erreur [est] à éviter absolument, sans quoi il y aura renforcement dans l’erreur, le programme doit être très progressif dans son questionnement afin d’éviter que l’élève puisse se tromper (5% maximum d’erreur accepté). Les questions doivent donc toujours être faciles, banales, voire les réponses pratiquement données à l’avance, en particulier par l’usage d’un système d’aides. Le principe en est exactement celui du dressage (ce que reconnaît Skinner lui-même)}

^{(Hufschmitt 1989, p. 213-214)}

Cette dernière phrase résume cependant le problème de cette méthode : reposant sur le conditionnement et sur l’association “bête et méchante” de connaissances sans réelle profondeur de réflexion, elle ne s’accorde pas foncièrement avec ma vision de l’enseignement, et c’est pourquoi je rechigne à un tel usage des QCM. Je crois néanmoins avec Dieudonné Leclerc qu’ “il n’existe pas une et une seule forme de QCM” (Leclerc 2006, p. 139) et que certains usages permettent d’aller plus loin que d’autres, sans s’arrêter à l’outil de dressage permettant d’enfoncer une bonne réponse dans le crâne de l’élève indépendamment de la méthode permettant d’y parvenir.

“D : … La réponse D“. Prendre en compte et minimiser la réponse par élimination

Un problème crucial des QCM à mon sens, intimement lié au précédent, est en fait leur côté “directif”, au sens qu’a pris le terme en sociologie ou en psychologie : un entretien trop directif, où les questions posées au sujet orientent d’emblée son propos, informent moins sur ses réponses qu’ils n’in-forment directement ses réponses… Bien sûr, la non-directivité parfaite est une utopie, et peut-être même souvent un masque de la recherche (Legavre 1996). On peut néanmoins chercher à rendre les réponses proposées par le QCM le moins directives possibles, afin d’éviter, là encore, la réponse purement par élimination (fine settimana a beaucoup plus de chances de signifier “weekend” que domani) et forcer un peu plus la réflexion et la mémorisation précise (au fait, était-ce fine settimana ou fino settimane ?)

Premier moulin à vent sur lequel je jette ma hargne : je suis très méfiante envers les QCM en Vrai/Faux. Outre le fait qu’ils rendent beaucoup plus difficile de juger une éventuelle réponse aléatoire (cf. infra), ils ne prennent pas en compte les éventuels problèmes de la formulation de la question, que l’enseignant n’aura pas remarqués et qui rendront une catégorisation franche entre vrai et faux impossible ou malaisée. Je l’ai appris à mes dépens à la suite d’une question “La ville d’Uruk a été entièrement fouillée par les archéologues allemands : OUI/NON” : la question porte-t-elle sur la nationalité des chercheurs, auquel cas c’est effectivement vrai ? ou porte-t-elle sur le “entièrement”, ce qui rend l’affirmation fausse ? Et que veut-on évaluer par cette question : l’intérêt des étudiants pour l’historiographie et l’histoire de la recherche, parce qu’ils auraient retenu que les fouilleurs étaient allemands ? ou leur capacité à se remémorer que rares sont les sites fouillés en intégralité, et qu’il faut donc toujours être prudent devant les reconstitutions et autres extrapolations ?

Pour faire face à ce problème éternel de la façon dont B perçoit et comprend ce que A a tenté d’exprimer, qui ne se pose du reste pas qu’avec le VRAI/FAUX (mais que cette binarité exacerbe plus encore), certains chercheurs ont proposé la mise en place de réponses alternatives, destinées à promouvoir la réflexion plutôt que la simpliste, et fortement idéalisée, réponse conditionnée A –> B. Ainsi, Dieudonné Leclercq suggère le développement de

^{QCM à Solutions Générales Implicites (…) au nombre de quatre : Aucune, Toutes, Manque de données dans l’énoncé, Absurdité dans l’énoncé (…) Elles sont implicites parce qu’elles ne sont présentées qu’une seule fois (au début du test) et ne sont pas répétées dans chaque question : l’évalué doit y penser tout seul (…) Cette procédure (…) permet de distinguer deux niveaux de la taxonomie de Bloom : la compréhension (sans piège) et l’analyse (avec piège)}

^{(Leclercq 2006, p. 144-145)}

Cette proposition tout à fait intéressante doit cependant certainement s’accompagner d’une réflexion poussée sur la mise en forme des réponses, en évitant autant le Vrai/Faux binaire donc réducteur et misleading, que les réponses orientées où seule une possibilité est véritablement plausible.

Pour éviter ces écueils, je m’efforce toujours de respecter deux règles de base lorsque je propose des QCM : les questions doivent porter sur des détails précis (des détails essentiels bien évidemment, que les étudiants auront mémorisés, et non pas écartés comme des informations anecdotiques), et l’ensemble des réponses proposées (les “distracteurs” (Leclercq 2006, p. 140)) doit paraître plausible et valable a priori. C’est à mon sens la condition pour dépasser la limite principale du QCM, à savoir le fait que

“les QCMC ne peuvent prétendre mesurer la capacité d’évoquer des connaissances, mais bien celle de les “reconnaître“, ce qui n’est pas la même chose”

^{(Leclercq 2006, p. 143)}

Pour l’enseignement de l’histoire, les questions les plus adaptées à une mise en forme en QCM me paraissent donc être :

• les points de vocabulaire (dans un sens comme dans l’autre : donner la définition et demander quel est le terme adéquat parmi une sélection de termes complexes tous vus en cours ; ou donner un terme et demander de sélectionner la définition, cet exercice se prêtant cependant mieux à une question ouverte où l’étudiant doit formuler lui-même la définition)
• les noms propres et particulièrement l’identification de tel ou tel souverain
• la chronologie : dates relatives (dans le cas de l’égyptologie, les différentes dynasties, ou le règne de tel ou tel roi), ou dates absolues suffisamment éloignées pour ne pas corser inutilement l’exercice (à 100 ans près par exemple)
• les questions à réponses multiples demandant à l’étudiant de se remémorer tous les éléments composant une liste ou un ensemble
• les questions de type “trouvez l’intrus“, qui ne sont finalement que la contrepartie des précédentes

Ici, la première question joue sur une lecture attentive et une connaissance rigoureuse de la séquence de développement des pyramides : les trois noms mentionnés sont certainement des “firsts” dans ce domaine, mais Djoser, qui bâtit la toute première pyramide de l’histoire, s’arrête à la pyramide dite “à degrés”, tandis que Chéops ne réalise pas la première pyramide à faces lisses (ce mérite revenant à son papa Snefrou), juste la plus grande (compensating much?)

Les questions 2 et 7 impliquent une mémorisation intelligente de la chronologie, puisqu’à défaut de mémoire des dates, une bonne appréciation des jalons principaux vus pendant le cours et un peu de réflexion peuvent permettre de répondre (c’est ma petite guerre personnelle contre le pur par-cœur). Même si beaucoup de rois de la XVIIIème dynastie mettent en avant leur aspect solaire, ce sont ceux de la Vème dynastie qui remportent la palme du nombre de noms incluant le dieu soleil “Rê”. Confere l’astuce mnémotechnique que je confie en général aux étudiants pour briller en société : s’il a un nom à coucher dehors, et qu’il y a Rê dedans, c’est probablement un roi de la Vème dynastie (voyez plutôt : Niouserrê, Neferirkarê-Kakai, Djedkarê-Isési…). En plus, c’est à cette période que se développe la mode de construire un temple solaire presque à chaque nouveau règne, ce qui achève de convaincre sur l’importance du culte de Rê à cette période précisément.

Quant à la question 7, on remarquera que si la date conventionnelle (puisqu’il est inepte de donner des dates à l’année près en histoire ancienne) de la célèbre bataille de Ramsès II à Qadesh est d’environ 1270, j’ai pris un soin quelque peu sadique à proposer des réponses fausses qui paraissent vraiment plausibles – 2140 plutôt que 2100, qui sent tout de suite la date factice…

La question 4 fait elle aussi référence aux relations internationales de l’Egypte (narrées par exemple par (Grandet 2008), dont un chapitre était lu et discuté en cours). On n’a pas versé dans le piège, induisant inutilement en erreur, qui consisterait à placer dans la liste l’Assyrie, dont le statut se modifie au cours de la période. A la place, la question ne pose pas de difficulté à qui a retenu les acteurs principaux du Proche-Orient de cette époque : la Babylonie et le Mitanni sont deux royaumes influents, alors que l’Amurru est une petite principauté levantine qui jongle entre la vassalisation auprès de l’Egypte et auprès du Hatti pour tenter de tirer son épingle du jeu.

Enfin, les questions 5 et 6 s’axent sur la connaissance des personnages-clés de la période abordée par le programme. Ahmès fils d’Abana participe certes à la réunification, mais il n’est qu’un noble intégré à l’armée du roi, et certainement pas l’acteur principal ; trancher entre les deux autres noms proposés demande un peu plus de connaissances, car Kamosis est le prédécesseur immédiat d’Ahmosis, quoiqu’il n’achève pas tout à fait le processus et que ce mérite revienne à son successeur. Dans le même genre, Montouhotep II et Hatchepsout ont tous deux construit un temple à terrasses à Deir el-Bahari, mais il faut connaître la chronologie des règnes pour se souvenir que c’est bien la seconde qui imite le premier, et non l’inverse.

Les questions 8 et 10 impliquent respectivement des connaissances de géographie et de vocabulaire, mais le mécanisme est exactement le même : les trois réponses proposées doivent évoquer un souvenir ua lecteur, puisque Memphis, Thèbes et Tell el-Amarna sont trois vraies capitales de l’Egypte antique, tandis que les fêtes de Khoïak, d’Opet et la Belle Fête de la Vallée sont effectivement trois fêtes attestées. Tout l’enjeu est de se souvenir laquelle est quoi : rituels en l’honneur d’Osiris pour la première, procession de la statue d’Amon d’un temple à l’autre pour la seconde, seule la troisième correspond bien à la définition proposée.

Enfin, je tente également d’éviter les réponses qui risquent de surévaluer ou pénaliser inutilement en impliquant deux fois la même connaissance, les questions dont l’énoncé contient un indice voire la réponse elle-même, ou encore celles dont la réponse est indiquée par une question ultérieure…

Un autre type de solution face au choix par essence fermé de réponses du QCM et à leur nature trop directive a pu être mis au point par des chercheurs en sciences de l’éducation : le QCL ou Questionnaire à Choix Large implique une liste de dizaines de réponses possibles, classées par ordre alphabétique, afin d’obliger les testés à réfléchir à la réponse in abstracto, dans leur for intérieur, plutôt que de “considérer (et éliminer) les solutions proposées, puis seulement choisir la solution au lieu d’en évoquer une personnelle” (Leclercq 2006, p. 143). Même si l’auteur argue que cette solution permet de conserver l’avantage de l’automatisation, et donc de la rapidité, de la correction, il reste que l’établissement d’une immense liste de réponses apparaît comme chronophage et donc bien peu adaptée à son utilisation dans un cadre pédagogique individuel.

Le QCM comme mind-game : réponse aléatoire ou réponse incertaine ?

Même si l’on fait tout pour anticiper les stratégies de réponse possibles et ménager des situations qui valorisent la réflexion, il reste une épineuse question : comment repérer, et si possible éviter, que certains étudiants ne répondent parfaitement au hasard quand ils ne savent pas ? Le problème, identifié dès les années 1920, a incité au développement du QCM punitif (correction for guessing), très utilisé jusqu’à aujourd’hui, où une réponse incorrecte vaut un retrait de points, si bien qu’il vaut mieux s’abstenir de répondre plutôt que de cocher une case au hasard.

Néanmoins, les études de psychologie du QCM (si on peut les appeler ainsi) ont tendu très tôt à démontrer que cette méthode n’était pas idéale. Choppin (1975) identifie trois cas de figure possibles :

• modèle 1 : si l’étudiant.e sait, iel choisit la bonne réponse ; s’iel ne sait pas, iel choisit au hasard parmi les réponses proposées ;

Cependant, le comportement humain n’est pas aussi simpliste. En réalité, l’attitude des étudiant.es correspond bien plutôt aux deux autres modèles proposés, qui impliquent plus de réflexion et des stratégies pour minimiser le hasard :

• modèle 2 : si l’étudiant.e ne sait pas, iel commence par éliminer les solutions qu’iel sait être fausses, puis choisit au hasard parmi celles qui restent :
• ou modèle 3 : l’étudiant.e “commence par ranger les solutions possibles par ordre de plausibilité décroissante et, si la consigne l’oblige à ne fournir qu’une d’entre elles, alors il choisit celle dont la probabilité (subjective) est la plus élevée (à ses yeux)” (Leclercq 2006, p. 142)

La première action à prendre pour reconnaître cette connaissance partielle paraît être de maximiser la probabilité que ce choix plus ou moins incertain, plus ou moins hasardeux, se fasse sur des critères raisonnés et non extérieurs au test. Je me souviens, enfant, m’être souvent amusée à vérifier si les enseignant.es avaient suivi un pattern de positionnement de la bonne réponse dans leurs QCMs. Si la bonne réponse est très souvent positionnée en dernière position, un.e étudiant.e ne connaissant pas la réponse aura peut-être tendance à choisir en tenant compte de ce facteur, plutôt qu’en réfléchissant à ce que ses connaissances lui permettent de déduire parmi les réponses proposées…

Surtout, les spécialistes en sciences de l’éducation ont tenté de prendre en compte ces comportements rationnels, et de récompenser la réflexion à défaut de connaissance par-cœur parfaite, en proposant la prise en compte de “Degrés de Certitude“. En plus de sa ou ses réponses, l’étudiant.e indique à quel niveau iel est sûr.e de sa réponse. La consigne verbale “peu sûr”, “très sûr” aboutit visiblement à des résultats faussés (Leclercq 2006, p. 145), mais un trop grand éventail de possibilités (20, 40, 60…%) paraissant rébarbatif, un bon juste milieu semble être de se contenter, comme le proposait Eric Vachey (1997, p. 31), de trois gradients : 0 (certain.e de ne pas savoir), 1 (incertain), 2 (certain.e de savoir).

Dans l’intéressante expérimentation d’Eric Vachey, il ne s’agit plus d’une pénalité “punitive” retirant des points à chaque mauvaise réponse, mais uniquement d’une méthode pour comptabiliser les points dans les questions admettant plusieurs réponses. Le point intéressant est le fait que le type de pénalité est en fait conditionné au niveau de certitude indiqué par l’étudiant.e : si celui-ci indiquait répondre tout à fait au hasard, alors seule une réponse parfaite pouvait apporter des points (l’ensemble des réponses attendues est présent et aucune réponse fausse n’est cochée), tout le reste valant zéro. Les autres cas de figure valorisaient les réponses partiellement correctes (Vachey 1997, p. 40).

Malgré une idée de base intéressante, le constat final était cependant que la méthode testée avantageait les étudiants les plus confiants, mais ne récompensait pas nécessairement l’honnêteté d’un aveu d’ignorance ou d’incertitude. En simplifiant le calcul complexe des points suggéré par cet auteur, et en tentant de gommer cette tendance à pénaliser les étudiants peu sûrs d’eux, on pourrait suggérer le système suivant :

• l’étudiant.e indique être sûr.e de sa réponse : une réponse parfaitement correcte rapporte 2 points, une réponse incomplète 0,5 point, une réponse fausse ou partiellement fausse retire 0,5 point
• l’étudiant.e indique être incertain.e : une réponse parfaitement correcte rapporte 1 point, une réponse incomplète 0,25 point pour chaque bonne réponse, une réponse fausse 0 point
• l’étudiant.e avoue répondre totalement au hasard : une réponse parfaitement correcte rapporte 1 point, une réponse incomplète ou fausse 0 point

Il me semble que ce système fonctionnerait au mieux si les étudiant.es ne sont pas au courant en amont de ce que provoque l’indication du degré d’incertitude, afin d’éviter la mise en place de stratagèmes complexes pour maximiser les points obtenus. Je crois en tout cas qu’il pourrait permettre d’encourager à admettre une situation d’incertitude, tout en pénalisant les situations où on a tort en étant persuadé d’avoir raison (situations que les diverses expérimentations consultées montrent heureusement être rares) ainsi que les réponses au hasard. Je souhaite le tester très prochainement, et tout retour d’expérience serait évidemment bienvenu !

Conclusion : des QCM, oui, mais quand ?

Certes, les QCM présentent deux avantages certains : en plus du gain de temps de correction très apprécié par l’enseignant.e, ils permettent une évaluation selon des critères relativement objectifs, parce que binaires, quand une copie rédigée est sujette à bien plus de variabilité dans l’appréciation et la notation en fonction du correcteur. Cependant, c’est précisément cette binarité qui en fait la pauvreté : impossible de vérifier comment on est arrivé à ce résultat, ou si la réponse a été choisie partiellement au hasard – même en tentant de contrôler au mieux les options de réponse proposées pour ne faciliter ni l’aléatoire, ni la passivité d’une réponse reconnue plutôt que connue.

D’autre part, la pression constante pour la dématérialisation et la “mooc-isation” des apprentissages, dans les universités et ailleurs, ces dernières années et particulièrement depuis le début du confinement, inquiète entre autres par son incitation à privilégier les QCM et autres tests informatisables au détriment d’autres formes plus réflexives et actives d’acquisition et d’évaluation des connaissances. Si ceux-ci peuvent être mobilisés dans le cadre d’une approche inversée pour varier les temps du cours (Mouton et al. 2015), ils ne sont pas le Graal de l’enseignement participatif mais en constituent au contraire une forme très pauvre, qui ne doit pas prendre le dessus sur des tâches de recherche, de réflexion et de rédaction, qui restent au cœur des compétences valorisées à l’université, en sciences humaines et historiques tout particulièrement.

… Et néanmoins, lorsqu’ils sont limités à des connaissances très factuelles, mêlés à d’autres types de questions, ou employés dans le contexte d’une vérification en cours de formation, les QCM ont leur utilité, et certainement leur aspect ludique : on pense au succès de l’inventif Questions pour un balcon qui a su tirer le meilleur parti du confinement parisien !

Et en bonus, un petit QCM que j’espère “done right“, pour faire réviser les 6e-5e confinés ou, pourquoi pas, à faire avec ses voisins de balcon !

Image de couverture © Signe Wilkinson

Matériel clés en mains

Lecture maison et QCM de vérification (L2/L3)

                        
         P. Grandet,                  QCM associé
Les Pharaons du Nouvel Empire
          (extrait)

Questionnaire de connaissances historiographiques (Atelier méthodologique de L1, fin de semestre)

 
 Questionnaire

Références

CHOPPIN B.H. (1975), “Guessing the answer on objective tests”, British Journal of Educational Psychology, vol. 45, p. 206-213

GRANDET P. (2008), Les Pharaons du Nouvel Empire. Une pensée stratégique (1550-1069 avant JC), Paris, Editions du Rocher

HUFSCHMITT B. (1989), “Choix pédagogiques en usage en EAO”, Bulletin de l’EPI (Enseignement Public et Informatique), p. 209-229

LECLERC D. (2006), “L’évolution des QCM”, in G. Figari & L. Mottier-Lopez, Recherches sur l’évaluation en éducation, Paris, L’Harmattan, p. 139-146

LEGAVRE J.-B. (1996), “La ‘neutralité’ dans l’entretien de recherche. Retour personnel sur une évidence”, Politix, vol. 9, no. 35, p. 207-225

MOUTON S. et al. (2015), “Dynamiser l’enseignement avec Moodle : QCM et travaux pratiques virtuels”, 22ème congrès français de mécanique, Lyon

VACHEY E. (1997), Pénalité et métacognition dans l’évaluation par les QCM. Mémoire pour le Diplôme Universitaire de Pédagogie des Sciences de la Santé, Université Victor-Segalen-Bordeaux 2

---

---