D.

Leclercq 2005

Edumtrie et docimologie
Editions de luniversit de Lige Chapitre 4

T.O.I.S.E.
ou Une Taxonomie dObjectifs Instrumente au Service de lEvaluation pdagogique

A. La taxonomie des objectifs cognitifs de Bloom

..1

B. Mesurer la CONNAISSANCE RESTITUTION..6 C. Mesurer la COMPREHENSION - TRADUCTION.....16 D. Mesurer lAPPLICATION PARTICULARISATION......23 E. Mesurer lANALYSE VIGILANCE...27 F. Mesurer la SYNTHESE CREATIVITE .31 G. Mesurer lEVALUATION JUGEMENT33 H. La T.O.I.S.E. pour le seul domaine cognitif..35 I. Une taxonomie de taxonomies : BASCIDO..35
Le prsent chapitre -Dfinit chacun des niveaux de performance mentale valuer (et les contraste entre eux) sur la base dapports thoriques successifs -Dfinit une panoplie de techniques de questionnement et les contraste entre elles -Associe des techniques (et des combinaisons de ces techniques) aux niveaux dobjectifs et donne une vision de la spcificit de chaque technique, de sa capacit de couvrir des champs prcis.
D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Se rvice de lEvaluation (TOISE) page 1 / 34

A. La taxonomie des objectifs cognitifs de Bloom

A1. Lide lumineuse de Bloom Il y a 50 ans, aux Etats Unis, certains regrettaient dj que les valuations scolaires portent trop exclusivement sur la mesure de la restitution de mmoire. Cest ce thme que traitaient des examinateurs de lenseignement suprieur en 1948 Boston au congrs de lAmerican Psychological Association (A.P.A). Leur projet tait daugmenter lventail des types dobjectifs et de processus mentaux valuer. Pour ce faire, ils cherchaient leur inspiration dans les questions rellement poses, quils regroupaient par catgories. Cest au cours de cette runion, dit B.S. Bloom (1956, p.6), que lide de la taxonomie surgit dans son esprit. La taxonomie fit ensuite lobjet dun symposium de l APA Chicago en 1951, et enfin aprs la circulation de documents gris 1, en 1956, Bloom coordonna une publication plus officielle, qui ne sera traduite en franais quen 1969 (Lavalle et al.). Bloom distingue (voir ci-contre) 6 niveaux strictement hirarchiss (empils) : les plus bas sont ncessaires pour la matrise (latteinte) des suprieurs dans un domaine donn . Si le seul nom de Bloom est rest attach cette production, cela nest que justice. Parce quil a t lanimateur, le rdacteur principal et le relecteur ultime de la production dune cinquantaine de personnes; (43 pour la Taxonomie des objectifs Affectifs). Cest Bloom qui a aussi inspir la Taxonomie des Objectifs Affectifs, signe de Krathwohl, Bloom et Masia ainsi que le Handbook of Summative & Formative Evaluation. (voir ci-aprs). A2. Les 6 niveaux de la taxonomie On lira la taxonomie ci-dessous du bas vers le haut, car les niveaux suprieurs reposent sur les infrieurs. Cest la raison pour laquelle nous les avons prsents sous forme de blocs . 6. Evaluation (jugement selon des critres internes, donc subjectifs) 5. Synthse (production personnelle, expression, formulation, crativit) 4. Analyse (dcomposition, classification, organisation) 3. Application (dun principe gnral un cas particulier) 2. Comprhension (interprtation, traduction, rien ntant cach ) 1. Connaissance (ractualisation de contenus mmoriss)

La limitation 6 niveaux permet un grand nombre de personnes de les retenir par cur et dans lordre. Hlas, cette limitation a le dfaut inverse : ce qui ne figure pas dans ces 6 niveaux est oubli ce qui nous parat plus grave. Cest pourquoi nous prfrons augmenter le nombre de blocs , quitte ne pas les empiler en une seule colonne .

Allusion la littrature grise , non publie dans des organes officiels.

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Se rvice de lEvaluation (TOISE) page 2 / 34

A3. Linspiratrice de nombreux travaux Ds quils ont pris connaissance de la taxonomie, la majorit des pdagogues ont eu le sentiment que quelque chose dimportant venait de se passer dans le champ de la pdagogie . 2 Depuis lors, de trs nombreux chercheurs y ont consacr des travaux exprimentaux et thoriques, comme on peut sen rendre compte en lisant le premier chapitre de la section III (Taxonomies) du fameux ouvrage de Viviane et Gilbert DE LANDSHEERE Dfinir les objectifs de l ducation , 1975. En 1972, Bloom, Hastings et Madaus coordonnent un volumineux manuel : le Handbook of Summative & Formative Evaluation, o le terme formatif lanc par Scriven est popularis et o la taxonomie est applique de nombreux domaines. Par ailleurs, lIEA (International Asssociation for the Assessment of Educational Achievement) a adopt, pour ses banques de questions internationales, une classification en 4 niveaux : connaissance, comprhension, application, processus suprieurs (ceci indique dj que les trois niveaux suprieurs leur ont pos plus de problme que les autres). En 1975, lUniversit Libre de Bruxelles (ULB), Louis Vandevelde et son collaborateur Vanderelst consacrent un livre qui se veut le vademecum de lutilisation de la taxonomie : Peut-on prciser les objectifs en ducation . A lULG, V. & G. de Landsheere y font une place importante dans leur ouvrage. Nous nuancerons cette taxonomie en lui faisant une srie de critiques.

A4. Benjamin S. Bloom Professeur mrite luniversit de Chicago

N en 1913. Membre fondateur de lAssociation Internationale pour lvaluation du rendement scolaire (IEA). Proprsident de l American Educational Research Association (AERA). Titulaire du prix John Dewey. Il publie, en 1956, la premire taxonomie des objetifs de lducation, relevant du domaine cognitif. Elle est suivie dune seconde, relative au domaine affectif (1964) et dune troisime sur le domaine sensorimoteur (1967). Il coordonne (1972) le volumineux manuel Handbook of summative and formative evaluation . Dans son ouvrage Caractristiques individuelles et apprentissages scolaires (1979), il tablit les concepts de la pdagogie de la matrise et fournit des rsultats sur les effets des variables changeables. Il rendit plusieurs visites au LPEUL (Labor. de Pdag. Exprim. de lUlg) du professeur G. de Landhseere et, lors du 175 anniversaire de lULg, en 1994, il en reu le titre de Docteur Honoris Causa.

Francine Robaye dans sa prface ldition canadienne en langue franaise de la Taxonomie des Objectifs Affectifs, 1969
D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Se rvice de lEvaluation (TOISE) page 3 / 34

A5. Le triple flou de la taxonomie de Bloom 1- Flou des termes de la taxonomie et des concepts psychologiques auxquels ils se rfrent ( ex : les diffrences entre comprhension , analyse, application.. et entre savoir, mmoriser, identifier, reconnatre, voquer, comprendre, etc. ne sont pas assez claires, faute de dfinitions ) 2- Flou des techniques dvaluation pdagogiques (ex : parler de LA technique des QCM comme sil sagissait dune forme unique de questionnement, sans variantes importantes ) . 3. Flou des relations entre ces deux volets (ex : croire qu UNE technique dvaluation correspond UN processus mental et rciproquement). Ce triple flou se manifeste videmment par la difficult quont divers spcialistes (des enseignants par exemple) classer une mme question dans les six catgories. La prcision des objets ne rsout pas ce problme : BLOOM et al, dans leur taxonomie originale, avaient distingu des sous-catgories en fonction des objets sur lesquels sapplique lactivit mentale. Voici ces prcisions en ce qui concerne la rubrique 1 Connaissance 1.10 C... de donnes particulires 1.11 C... de la terminologie (ex : signification de synonymes) 1.12 C... des faits particuliers 1.20 C... des moyens permettant lutilisation des donnes particulires 1.21 C... de conventions 1.22 C... des tendances et des squences 1.23 C... des classifications 1.24 C... des critres 1.25 C... des mthodes 1.30 C... des reprsentations abstraites 1.31 C... des principes et des lois 1.32 C... des thories

A6. La prcision (cruciale) des verbes A la suite de Mager, on a essay de parer au flou en recourant des verbes daction appliqus ces objets-contenus. Ainsi, le tableau de Metessel et al. (1970)3, prcise, dans la catgorie 1 Connaissance , la sous-catgorie 1.12 Connaissance des faits particuliers par les verbes rappeler, reconnatre, acqurir, identifier, etc.. mis sur le mme pied, considrs comme quivalents. Or il ne sert rien dutiliser des verbes sans les dfinir. Par exemple, nous suggrons de distinguer, lintrieur de reconnatre : Apparier : porter un jugement didentit alors que le modle est prsent (ex : Voici une personne et une photographie. Est-ce la mme personne ?). Identifier : (comme diffrent ou comme semblable) sans le modle sous les yeux . Cest ce que fait le tmoin confront avec plusieurs suspects : il ne dispose plus du modle (une photo par exemple) mais dun souvenir mental !! Ainsi, dsigner est apparier : Dsignez un objet dcrit parmi dautres (ex : Parmi ces dessins, quel est le logo de la firme Mercedes ? et Renault ?) Par contre, nommer est Identifier (en donnant le nom ). (ex : Voici des logos de voiture. Dites pour chacun de quelle marque il est le symbole ? rappel). Ainsi, discriminer est apparier quand les possibilits sont restreintes, bien connues, mais hautement confusionnelles. (ex : Quel est l e genre du mot allemand Stein ?). On teste ici ce que GAGNE appelle les discriminations multiples .
3

cit par V & G. de Landsheere (1978, p. 90)

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Se rvice de lEvaluation (TOISE) page 4 / 34

A7. La linarit excessive du modle empil Aprs avoir fait connatre la taxonomie ellemme, Gilbert de Landsheere en a suggr des variantes , contestant notamment sa structure totalement verticale . Dans sa variante, le tronc de base restait constitu de lempilement de connaissance comprhension - application. A partir de l, lanalyse et lvaluation formaient une branche et la synthse une autre.(V. & G. de landsheere, 1978, p. 84). Evaluation Analyse Application Comprhension Connaissance Il sagit l de ladoption du schma mis en vidence par analyse de variance par Madaus, Woods & Nuttall (1973), qui, eux, groupent Synthse et Evaluation et laissent lAnalyse seule sur une autre branche : Evaluation Synthse Application Comprhension Connaissance Limportant de ces suggestions est que la structure linaire (hirarchique) est garde pour les trois niveaux du bas de la taxonomie, et rejete pour les niveaux suprieurs, principe de la dlinarisation qui figure dans notre taxonomie. Analyse Synthse

A8. Baron Gilbert de Landsheere

Professeur mrite de l'Universit de Lige

Fondateur du Laboratoire de Pdagogie Exprimentale l'ULg (LPE-ULG). Instituteur, Rgent, Licenci en philologie germanique., Docteur en Sciences de l'Education. Prix Mondial de l'Education, Conseil Culturel Mondial, 1988. Docteur honoris causa de l'Universit de Genve.Fellow de l'American Philosophy of Education Society. Fellow de la John Dewey Society. Trois fois titulaire d'une Chaire Francqui en Belgique (en 1975, 1979, 1983). Professeur ordinaire, Chaire de Pdagogie exprimentale l'Universit de Lige, 1965-1986. Professeur visiteur dans plusieurs Universits. Prsident de la Fondation Universitaire de Belgique, de l'International Academy of Education et de la Fondation des Rgions Europennes pour la Recherche en Education & Formation (FREREF), membre de comits au: CERI, OCDE, OTAN, INRP (France). Consultant pour l'UNESCO, Conseil de l'Europe, Union Europenne, Administrateur permanent de l IEA (International Association for the Evaluation of Educational Achievement), Membre du comit scientifique de la rdaction de nombreuses revues.

Principaux livres (sur 16) :

-Le test de closure 1973. -Comment les matres enseignent1981; 4e d. -La formation des enseignants demain 1976. -Dictionnaire de l'valuation et de la recherche en ducation , 1979 -Comportements non verbaux de l'enseignant 1979. -Evaluation continue et exame ns. Prcis de docimologie, 1992, 7e d. -Introd. la recherche en ducation 1982, 5e d. -La recherche en ducation dans le monde, 1986. Articles : environ 250.

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Se rvice de lEvaluation (TOISE) page 5 / 34

A9. Comprhension, analyse et valuation : des processus peu valus en eux-mmes "Les scores (mesures) reprsentent-ils (elles) bien ce que l'on prtend mesurer, tout ce que l'on veut mesurer et rien d'autre ?" C'est la question de la validit des mesures en valuation. Or les formateurs veulent mesurer des processus mentaux appliqus des contenus. La taxonomie des objectifs cognitifs de B. Bloom et al. (1956) est un repre commode et bien connu relatif aux processus mentaux. Or, dans l'enseignement (primaire, secondaire, suprieur), trois seulement de ses 6 niveaux sont systmatiquement mesurs : - les connaissances (rcitations), - l'application (problmes classiques) - la synthse (rdactions, ...). Une des raisons de cette prpondrance est que les techniques dvaluation qui se rapportent ces trois niveaux taxonomiques sont -bien connues des enseignants -relativement commodes mettre en uvre On ne peut esprer voir augmenter la proportion de lvaluation consacre la comprhension, lanalyse et au jugement, pourtant si ncessaires dans notre socit de linformation que si ces concepts sont bien dfinis, bien compris et bien instruments. Cest cela que sattache le prsent chapitre, en conjonction avec dautres chapitres. Nous avons rserv certains de ces processus un chapitre entier la synthse production (le 3), le chapitre 4 aux connaissances, la comprhension et lanalyse et le 7 lvaluation - jugement ..
Evaluation

Synthse

Analyse

Application

Comprhension

Connaissance

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Se rvice de lEvaluation (TOISE) page 6 / 34

B. Mesurer la CONNAISSANCE
B1 Les diffrences de performance entre vocation et recognition Sur un contenu donn, une mme personne a, assez souvent, une performance en recognition largement suprieure sa performance en vocation, comme le montrent L uh (1922) et Bahrick (1984).
100 90 80 70 60 50 40 30 20 10 0 1 2 4 24 Nombred'heuresaprsl'apprentissage 4 8 Reconnaissance Rappel

B2 Enjeu 1 : distinguer rappel et reconnaissance On peut tre incapable de se rappeler, de restituer (un nom de famille, par exemple), tout en tant capable de le reconnatre si on nous le montre et dliminer dautres propositions comme tant incorrectes. Cest ce qui se passe quand on rpond une

Deux modalits de mesure de la mmoire (LUH,1922)

Question Choix Multiple (QCM)

simple, o la solution correcte (unique) figure parmi les solutions proposes. Ce qui est ainsi mesur nest plus la capacit dvocation ou de rappel, mais de recognition. Cette rubrique nest pas un bloc de la taxonomie ; elle est ainsi souvent confondue avec lvocation dans le bloc connaissance . Nous ddoublerons donc, dans notre taxonomie, la connaissance (terme que nous nutiliserons plus pour ne pas prolonger la confusion) en - recognition dune part (ou identification, ce que font les tmoins ou victimes qui la police prsente plusieurs personnes et qui doivent dsigner lagresseur) -et Rappel (ou restitution, ou vocation) dautre part, un niveau plus lev, car constituant une performance plus exigeante (cf ci-aprs).

100 90 80 70 60 50 40 30 20 10 0 1

Deux modalits de mesure de la mmoire de l'espagnol (BAHRICK, 1984)

Rappel Reconnaissance 3 5 10 15 25 Nombre d'annes coules depuis l'apprentissage 35 50

Rappel (Enoncer sans aide les contenus mmoriss = QRO) RecognitionIdentification = QCM simple

Bloom entend par connaissance le rappel de faits, de mthodes, de processus, etc. Ce rappel, ou restitution ou encore vocation de mmoire, se mesure laide de

Questions Rponse Ouverte (QRO).

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Se rvice de lEvaluation (TOISE) page 7 / 34

B3. Enjeu 2 : Eviter la Recognition correcte par hasard : La SGI AUCUNE Depuis toujours, la technique de QCM a soulev la suspicion, car ltudiant peut fournir une rponse correcte grce au seul hasard, ou en tapant dedans , ce que les anglo saxons appellent guessing . Le guessing est plus quun choix au hasard total (dailleurs appel blind guessing ) ; il consiste exploiter toute information parcellaire, mme trangre la matire, pour rpondre comme si on connaissait. Un exemple de cette connaissance latrale est la familiarit avec les QCM , aussi appel test wiseness . les tudiants aguerris aux QCM dtectent en effets les dfauts de rdaction qui rvlent involontairement o est la solution correcte (voir chapitre 6). Bien entendu, on a propos des techniques de correction a-posteriori du score, mais ces techniques, connues sous le nom de correction for guessing (voir chapitre 7), sont aveugles, injustes, non informatives, non formativeset correctives, alors quil est possible de prvenir. Comment ? Une premire technique consiste adjoindre toute QCM une solution gnrale implicite

B4 : Enjeu 3 : diminuer le foss entre rappel et vocation : les QCL Les QCL ou Questions Choix Large, en proposant des dizaines voire des centaines de solutions possibles tirent parti des possibilits actuelles de la Lecture Optique de Marques ou LOM(voir chapitre 8). Il sagit en quelque sorte de prsenter aux tudiants lindex du livre de la matire value, donc une liste alphabtique des termes (y compris les noms dauteurs), mais avec un numro (entre 001 et 999) pour chaque mot.

On prendra diverses prcautions : 1. Ne commencer la numrotation qu partir de 21 (par exemple), pour pouvoir, dans la mme preuve, intercaler des questions classiques (dont les solutions sont infrieures 21), et surtout pouvoir bnficier des numrations figurant dans les documents de rfrence.
Exemple : Parmi les 17 caractristiques listes (et numrotes) page 133 du livre, quelle est celle qui.

AUTRE ou AUCUNE
On appelle aussi cette solution NUL ou le REJET (des solutions proposes). Quand la QCM a 4 solutions dactylographies, ltudiant doit se souvenir que la solution correcte pourrait tre une autre, donc aucune dentre elles. Il faut avoir beaucoup de culot pour ainsi rejeter ce qui est propos, et on a une chance de moins de rpondre correctement par hasard.

2. Quand cette technique est utilise livres ferms , annoncer (par crit) quelles sont les matires mmoriser. 3. Quand des termes sont quivalents, le signaler. Exemple : si vulnrabilit et
susceptibilit sont utiliss comme des synonymes dans un cours, ces deux mots figureront dans la liste comme suit : 37. Susceptibilit 37. Vulnrabilit

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Se rvice de lEvaluation (TOISE) page 8 / 34

B5. Consignes aux tudiants sur les livres ferms (Questions Choix Large)

QCL
3. Il arrivera que plusieurs questions relvent dun mme contenu. Nous le signalons par une introduction en gras et une zone blanche aprs ce bloc de questions. 4. Il arrivera que nous introduisions des QCM simples parmi les QCL ; cest pourquoi les 20 premiers nombres ne sont pas utiliss dans les Choix Larges. 5. Les 20 premiers nombres servent aussi parfois utiliser les numros dune liste de choix existant dans un livre, sans devoir les recopier. 6. Il arrive que des questions choix multiple (QCM) simples (avec seulement quelques solutions) soient mles aux QCL. Pour ces questions, la solution TOUTES reste dapplication et les SGI sont 666, 777, 888, 999. 7. Avec les QCL au verso de cette page quand les Solutions Gnrales Implicites (SGI) sont dapplication (ce qui est prcis dans la liste des solutions), ces SGI sont codes comme suit : 666 pour AUCUNE 777 pour TOUTES (non valable pour les QCL, mais seulement pour les QCM SGI 888 pour MANQUE 999 pour ABSURDITE 8. Livres ferms signifie : Sans AUCUN document de rfrence : ni le livre, ni notes personnelles, ni mme la liste des matires mmoriser. Toute infraction cette rgle entrane un 0 pour toute linterrogation et lventualit dun 0 pour toute la session (le jury tranchera).

1. Les solutions (QCL) proposes sont en gnral prsentes au masculin, au singulier et sans leur article dfini (le ou la), mais cest leur code quil faut utiliser quand ils sont attendus comme rponse au fminin ou au pluriel. De mme, les questions trous (pointills) nindiquent pas toujours larticle (le ou la, du ou de la), qui faciliterait la rponse en rvlant dj le genre. Il faut donc imaginer larticle dans les pointills (quand on na pas mis les 3 : le, la, l).
2. Pour gagner beaucoup de temps et diminuer votre charge mentale : a) Rpondez la main dans les pointills (ils sont l pour cela) en crivant le mot attendu comme si la question tait ouverte (sans solutions proposes). Indiquez votre degr de certitude (dans la colonne C) ce moment l. Vous garderez votre questionnaire (vous ne devrez pas le rendre). b) Seulement ensuite, quand vous avez rpondu ainsi toutes les questions, allez consulter les numros des solutions et recopiez-les sur votre feuille de questions. c) Une fois cela fait, transposez vos codes (numros des solutions et certitudes) sur votre formulom (formu laire de lecture optique de marques) rouge ple.

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Se rvice de lEvaluation (TOISE) page 9 / 34

B6. Exemple de feuille de solutions QCL

21. action 22. adulte 23. advance organiser 24. ALBERTINI Jean Marie 25. allo 26. ambivalence 27. ampleur de leffet 28. analyse 29. APP 30. Apprenant/e 31. application 32. apprentissage 33. approvisionnement 34. aphorisme 35. attribution 36. AUSUBEL David 37. auto 38. auto-servuction 39. aveugle 40. axiologie 41. BACON Francis 42. BANDURA Albert 43. BARROWS Howard 44. BAYEUX 45. Bb(s) lectronique(s) 46. BEGUIN Andr 47. behaviorisme 48. bit 49. blok test 50. BLOOM Benjamin 51. bourreaux 52. BRUNER Jrme 53. cas 54. cause(s) 55. changeable 56. CLAUSSE Arnould 57. clinique(s) 58. cognitivisme 59. compensatoire 60. comptence(s) 61. comprhension 62. conceptualisation (abstraction et gnralisation) 63. CONDORCET 64. cne 65. confiance 66. conflit sociocognitif 67. confrontation 68. confortation 69. connaissance 70. correction for guessing 71. cration 72. culture(s) 73. cycle 74. DALE 75. dcrt 76. dmocratique 77. dmultiplicatrice/te ur 78. dstayage 79. deviner 80. DEWEY John 81. didactique 82. distance 83. donne(s) 84. double 85. double aveugle 86. droits de lHomme 87. DURKHEIM 88. dynamique 89. cart-type 90. effect size 91. galitaire 92. ELIOT Thomas.S. 93. litiste 94. ELLIOTT Jane 95. encyclopdie 96. enfant 97. pisodique 98. tayage 99. valuation 100. externe 101. exprience 102. exprimentation 103. exploration 104. FERRY Jules 105. feedback 106. formateur/trice 107. FOUREZ Grard 108. FREINET Clestin 109. groupe 110. guidage 111. guessing 112. HAWTHORNE 113. idologie 114. impregnationimitation 115. information 116. incertitude 117. interne / intrieur 118. internet 119. jeu 120. KELLER Fred 121. KENNEDY (JFK) 122. KOLB David 123. langage 124. LECLERCQ D. 125. LEWIN Kurt 126. LQRT 127. LORENZ Konradt 128. Maastricht 129. magical number seven 130. maeutique 131. matching 132. mathtique 133. MCT 134. mdecine 135. mdia 136. mdiatisation 137. mental(e)/mentaux 138. message 139. mta-analyse 140. mtacognitif 141. MILLER Georges 142. modlisation 143. nombre 144. nuance 145. observation 146. DIPE 147. outcome expectancy 148. ouverte 149. Oxford Brookes Uni 150. PARM 151. pari dducabilit 152. Patient/e 153. PBL 154. PIAGET Jean 155. philosophie 156. polyvalence 157. pratique 158. prdiction(s) 159. prsage 160. problme(s) 161. processus 162. proctor 163. production 164. produit 165. progress test 166. prudence 167. PSI 168. pygmalion en classe 169. pyramide 170. ractivit 171. REBOUL 172. rception 173. redondant 174. RESSUCI-ANNE 175. ROSENTHAL & JACOBSON 176. ROTTER 177. SAFE 178. sagesse 179. SALOMON Gabriel 180. self 181. smantique 182. service 183. servuction 184. SHANNON & WEAVER 185. SHERBROOKE 186. skillslab 187. SOCRATE 188. soldat 189. sous-estimation 190. spcifique 191. stade 192. stratgique 193. structure 194. supplantation 195. surestimation 196. synthse 197. temps 198. thorie 199. transmission 200. travail 201. tutoriel 202. TULVING Elden 203. Ulg 204. valeurs 205. VALERY Paul 206. victime 207. vie 208. vigilance cognitive 209. VYGOTSKY Lev 210. Wisconsin 211. ZEIGARNIK 212. Zone Proximale de Dveloppement 666. Aucune ou une autre 777. Toutes 888 Manque 999

6 7 8 9

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Se rvice de lEvaluation (TOISE) page 10 / 34

B7. Un cas-limite : les VRAI-FAUX La mesure de la recognition se fait par jugement OUI-NON de conformit entre le stimulus prsent et le modle mental de ltudiant. Le mode de questionnement prototypique est la QCM simple (une des solutions est correcte, les autres sont fausses) avec pour "limite" le VRAI - FAUX o la probabilit de fournir une rponse correcte grce au seul hasard culmine (1/2). Beaucoup (dont nous) pensent que la mesure de la recognition nest pas bien couverte ou assure par ces deux techniques. Nicole R iche, professeur de physique Paris VII et pionnire de l'Enseignement Assist par Ordinateur (EAO), parle mme d'une "maladie qui existe l'tat endmique chez tout formateur. Il suffit de jeter un coup d'il sur les manuels d'auto-instruction, sur les exercices proposs la fin de chapitres de cours, sur les feuilles d'interrogation photocopies pour voir surgir des ruptions plus ou moins violentes de Questions OUINON. L'ordinateur constitue un rvlateur de l'infection et offre un terrain favorable son dveloppement." Elle propose " Un vaccin anti-ouinonique " (le titre de son article de 1979 qui a pour soustitre : "Quelques motifs pour engager les auteurs de dialogue liminer4 les questions oui-non"). Modestement, elle prcise "Je me refuse mettre au monde le sigle tir de Question Oui Non qui viendrait agrandir la famille QCM, QROC, etc. par crainte que ce sigle plaise et contribue la propagation de la maladie au lieu de l'radication vise" (p.3)

B8.Les degrs de certitude comme parade au hasard Lexigence dun degr de certitude (CERT) accompagnant la rponse offre une garantie de fiabilit beaucoup plus grande ces modes de questionnement (LECLERCQ, 1983, 1993). Avec l'chelle (de pourcentages): 0 20 40 60 80 100

on voit que mme les VRAI-FAUX sont passibles de 3 nuances : 60 (aveux de quasi rponse au hasard), 80 et 100. En ralit, les degrs de certitude (DC) constituent une mthode gnrale, dpassant de loin le problme des rponses au hasard. Par ces degrs de certitude, on peut valuer lauto-valuation, aspect important de la mtacognition (? ) , ou connaissance de sa connaissance. Rappel + ? QRO + CERT

Recognition + ?
QVF et QCM simples + CERT

Avec des tudiants familiariss la technique, on peut , comme JANS (1999) utiliser une srie plus nuance de degrs de certitude : 2 10 25 50 75 90 98 Cette chelle correspond mieux ce que lon sait (Leclercq, 1983 et 1993) des limites de la capacit humaine estimer son incertitude (7 degrs au maximum, plus grande subtilit aux extrmes). Le chapitre 7 sera consacr entirement cette technique.

Elle justifie le terme ELIMINER et non DIMINUER : " certains auteurs auraient cru tre autoriss une dcroissance doses homopathiques. L'effet bnfique pour les tudiants risquerait de concider avec la mise la retraite du concepteur." (p. 3)

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Se rvice de lEvaluation (TOISE) page 11 / 34

B9. Enjeu 4 : mesurer la dtection derreurs , la vigilance factuelle, et combattre le curriculum cach Jusqu prsent, nous considrions les situations o ltudiant tait invit EXPLICITEMENT juger de la conformit de faits : dun objet, dun terme, dune image, dune proposition (vraie ou fausse ; prononce ou non ; due ou non lauteur indiqu. Dtecter une erreur (FAUX) alors que la question ne nous est pas pose est une performance du mme type, mais plus exigeante car elle implique une vigilance accrue . Cest ce qui se passe lorsquon relit un texte pour y dtecter les fautes dorthographe et que la question ne nous est pas pose mot par mot. Ne pas dtecter une erreur (ou omettre) doit donc tre considr comme une rponse incorrecte (alors que, stricto sensu il ny a pas eu rponse ). Nous parlerons de questionnement implicite lorsque lvaluateur, sans poser explicitement la question, attend des valus quils se la posent et y rpondent. . L'exprience du Dr Fox (Naftulin et al., 1974 ) constitue un exemple amusant de ce principe. Un acteur a t pay pour faire devant des assembles de psychologues et de mdecins, des exposs creux, truffs dinexactitudes, mais avec beaucoup de talent. Les auditeurs se sont laisss piger cette sduction pdagogique . Do limportance dun entranement systmatique la vigilance cognitive. Dautant plus que lcole vhicule un curriculum cach (ce que personne nenseigne, mais que tout le monde apprend) : quand le professeur pose une question, elle est pertinente, complte, sans ambigut, avec une (et une seule) rponse correcte.(voir D1 ciaprs).

B10.Pour mesurer la vigilance factuelle : la SGI ABSURDITE Nous avons propos des Solutions Gnrales Implicites (LECLERCQ, 1986) ou SGI ajoutes aux QCM classiques. L une dentre elles est la Solution Gnrale Implicite

Absurdit dans l'nonc

Cette solution est gnrale parce qu'elle concerne TOUTES les questions d'un test. Elle est implicite parce qu'elle est annonce une fois pour toutes au dbut de l'preuve (et rappele par des affiches en classe ou au tableau noir) mais ne figure pas dans l'nonc de chaque question La rgle du jeu est stricte : Si une Absurdit dans lnonc se prsente, cette ventualit DOIT tre dnonce par ltudiant en priorit sur toute autre solution. .

Dtection factuelle SGI Absurdit

+ CERT

Rappel QRO
+ CERT

Recognition QVF et QCMs +CERT

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Se rvice de lEvaluation (TOISE) page 12 / 34

B11. Enjeu 5 : Habituer aux situations o plusieurs solutions sont correctes : Dans la vie, il est frquent que plusieurs solutions soient simultanment correctes, alors que bon nombre de questions scolaires ont tendance renforcer lide quil ny en a quune seule. Par ailleurs, quand des tudiants sont confronts une QCM, ils peuvent tre tents, une fois quils ont rencontr une solution correcte, de ne mme plus lire les autres solutions. Pour ces deux raisons, lune relative aux objectifs ultimes (travailler sur le curriculum cach) et lautre relative un objectif plus limit (forcer ltudiant examiner toutes les solutions proposes), nous avons suggr dajouter systmatiquement toute QCM la solution gnrale et implicite TOUTES. Pour des raisons de simplicit de lencodage des rponses par ltudiant, la consigne reste La rponse correcte est soit 1, soit 2, soit 3, soit 4, soit 5, soit 6 (Aucune), soit 7(Toutes), soit 9 (Absurdit) et non pas 1 et 2 peuvent tre corrects, mais pas 3 ou 1, 2 et 3 peuvent tre corrects mais pas 4 . Une telle consigne facilite, il faut bien lavouer, la vie de ltudiant car sil dtecte que 2 solutions sont correctes, elles le sont forcment toutes, tant donn cette consigne. La solution gnrale implicite TOUTES na donc pas du tout le mme pouvoir de diminution du guessing que la solution 6 (AUCUNE), au contraire. Pour pallier cet inconvnient, un certain nombre dvaluateurs invitent les tudiants juger chaque solution, ce qui fait dune QCM une suite de Vrai-Faux.

B12 : Enjeu 6 : faire juger toutes les solutions proposes :ou QCM Rponses Multiples (QRM ou QCRM) Le nombre de solutions proposes est illimit car il sagit en fait de questions (et rponses) diffrentes, qui auraient une amorce commune, sans plus, la rponse une solution nimpliquant pas logiquement la rponse une autre, do le nom..

VRAI-FAUX GENERALISE

Avec une telle consigne, deux principes de notation sont possibles : La notation additive (ou rponses indpendantes) Ltudiant reoit un point par rponse correcte et 0 (ou x) par incorrecte et omission. La notation multiplicative (ou rponses solidaires) Ltudiant ne reoit de points que si toutes les rponses n solutions, sont correctes, sinon il ne reoit aucun point. Si on code 0 lerreur (ou omission) et 1 la russite et si n (le nombre de solutions vaut) vaut 4, et si la qualit des 4 rponses est 0 1 1 0 alors, avec la premire notation, plus nuance et plus gnreuse que la seconde, le score sera 2/4, soit 0,5 et, avec la deuxime notation, plus dichotomise 5 et plus svre que la premire, le score sera 0.
5

On appelle dichotomique une variable naturellement binaire (ex : Homme / Femme) et dichotomise une variable continue (ex : lge) rendue dichotomique laide dun seuil arbitraire (ex : les plus de 45 ans ).

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Se rvice de lEvaluation (TOISE) page 13 / 34

B13 : Enjeu 7 : dans le rappel, distinguer Prcision (qualitative) et Mobilisation (quantitative) Koriat & Goldsmith (1996) distinguent deux faons de mesurer la remmoration : - Lextraction dlments pralablement appris dun entrept mnsique, la performance se comptant au pourcentage de restitus Par exemple les recherches d Ebbinghaus mmorisant des trigrammes sans signification et mesurant leffet de la rptition sur la mmoire, ses performances tant exprimes en termes de pourcentages de restitution ou p (le pourcentage complmentaire ou q correspondant ce qui est omis). Dans une telle perspective, il ne fait pas de diffrence que des dix indices chapeau soit retenu et couteau oubli ou vice versa. Dans un tmoignage en justice sur une agression, une situation du deuxime type, il en va tout autrement. - La qualit et la fiabilit dune description prcise, ou un seul lment peut tre dterminant et o importe la correspondance avec la ralit, donc la fiabilit (du tmoignage par exemple). Une seule erreur peut tre fatale et toutes les questions sont loin davoir la mme importance. Dans cette deuxime perspective, de fiabilit , les degrs de certitude prennent toute leur importance. Koriat et Goldsmith (p. 172) parle de sentiment de familiarit , de Feeling of Knowing ou FOK), de lexprience subjective du rappel , de degrs de dtails ou granulosit (encore Torrance !), de distorsions (tudies par LOFTUS, 1982). Nous parlerons de PROXIMITE ou PRECISION.

B14 : Enjeu 8 : mesurer la fluidit de lvocation, son abondance Nous emprunterons DHainaut (voir ciaprs) sa catgorie

mobilisation convergente
(produire , de faon convergente, des choses apprises. ayant un rapport Torrance (1967) en fait son premier indice de la crativit, ce quil appelle la fluidit : le nombre de productions. Ses autres indices sont la flexibilit (le nombre de productions appartenant des catgories diffrentes), la raret (ou originalit) et la prcision ou sophistication ou encore laboration ou raffinement ou degr de dtails . .

Dtect. Fact. SGI

Rappel QRO

Mobilisation QROCFluidit

Recognition
QVF et QCMs

+CERT
Nous mettons Rappel et Mobilisation sur le mme niveau, car on ne peut dire que lun est plus difficile que lautre. Alors que le rappel exige la qualit , la mobilisation exige la quantit .

Les QROC (un seul mot) peuvent tre remplaces par des

QROM (QRO de longueur moyenne :

quelques mots).

Les QROL (Questions Rponse Ouverte Longue) sont traites dans le chapitre 3.
D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Se rvice de lEvaluation (TOISE) page 14 / 34

What style of art does this sculpture represent? 1. Expressionism 2. Greek classicism 3. Gothic art 4. Renaissance art 5. Roman art Example of question

Evaluation

Tool ?

Synthesis

Analysis

Application

Comprehension Knowledge (recall)

Knowledge (Recognition) MCQ + None
14

D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instrum ents Supporting Evaluation. LabSET, Universit de Lige

Evaluation

Tool ?

Synthesis

Analysis

Application Tool ?
Example of question What is the capital of Italy? .

Comprehension Knowledge (recall)

Knowledge (Recognition) Open Ended Q

MCQ + None
15

D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instrum ents Supporting Evaluation. LabSET, Universit de Lige

Tool ?
Evaluation
21. Advance Organiser 22. ALBERTINI J. M. 23. Allo 24. Ambivalence 25. Analysis 26. Aphorism 27. Application 28. AUSUBEL D. 29. Blind . 50. PBL. 51. Proximal Zone . 139. Tutorial 140. TULVING E. 141. VYGOTSKY L. 142. ZEIGARNIK

Synthesis
Example of question
Q1. Who proposed the concept of Advance Organizer? .. Q2. BACON wrote Q3. Frequently changing your learning strategy is called mathetic Q4. Support (according to BRUNER) helps increase the . of development

Analysis

Application

Comprehension Knowledge (recall)

Knowledge (Recognition)

Open ended Q Long Menu Q MCQ + None

16

D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instrum ents Supporting Evaluation. LabSET, Universit de Lige

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Se rvice de lEvaluation (TOISE) page 15 / 34

C. Mesurer la COMPREHENSION
C1. Enjeu 9 : Dfinir la Comprhension et linstrumenter Par comprhension, Bloom entend (V. et G. de Landsheere, 1978, 70): - transposition littrale (transformer du matriel verbal en numrique, des tableaux en graphiques, des graphiques en phrases, etc. et nous ajoutons : SANS PIEGE (ce qui le distinguera de lanalyse) . - interprtation : explication ou rsum dune communication un point de vue nouveau (ce qui y mle une part de production formulation - synthse) - extrapolation : extension des courants et tendances au-del des donnes prsentes, par exemple les consquences, les corollaires ( ce qui en fait un exercice de LOGIQUE). C2. Une dfinition behavioriste
de la comprhension

Rappelons la dcomposition que Bloom (1956) fait de la comprhension (in V. et G.de Landsheere, 1978, p.91) :
10 : Transposition : (11) Traduire, (12) transformer, (13)dire avec ses mots, (14) illustrer, (15) prparer, (16) lire, (17) reprsenter, (18) changer, (19a) rcrire, (19b) redfinir (a) des significations, (b) des exemples, (c) des dfinitions, (d) des abstractions, (e) des reprsentations, (f) des mots, (g) des phrases. 20 : Interprtation : (21) Interprter, (22) rorganiser, (23) rarranger, (24) diffrencier, (25) distinguer, (26) faire, (27) tablir, (28) expliquer, (29) dmontrer (h) la pertinence, (i) les relations, (j) les faits essentiels, (k) les aspects, (l) les vues nouvelles, (m) les qualifications, (n) les conclusions, (o) les mthodes, (p) les thories, (q) les abstractions. 30 : Extrapolation : (31) estimer, (32) infrer, (33) conclure, (34) prdire, (35) diffrencier, (36) dterminer, (37) tendre, (38) interpoler, (39a) extrapoler, (39b) complter, (39c) tablir des consquences, (s) des implications, (t) des conclusions, (u) des facteurs, (v) des ramifications, (w) des significations, (x) des corollaires, (y) des effets, (z) des probabilits. On remarque la forte empreinte du behaviorisme par la liste des verbes ou comportements (que nous avons numrots) et la liste des objets

Il nous parat vident quune preuve portant sur la comprhension (et non pas sur lvocation ou le rappel) devrait pouvoir se drouler

livres ouverts.

(auxquels nous avons attribu une lettre de lalphabet) spars des verbes ! ! !

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Se rvice de lEvaluation (TOISE) page 16 / 34

C3. Smedslund :Une dfinition cognitiviste de la comprhension La dfinition ci-aprs a t propose par Smedslund (1997) dans les Cahiers de Psychologie Cognitive. Cest dire si elle est inspire du cognitivisme ! Que lon en juge plutt (NB les parenthses sont de nous) : Une personne E (comme Elve) comprend correctement ce qui est signifi par une expression X produite par une personne P (comme Professeur) si les deux personnes saccordent sur ce qui, pour P : (1) est quivalent X, c--d signifie la mme chose que X (2) est impliqu par X, c--d dcoule de X (3) est contredit par X, ou ni par X (4) est non pertinent par rapport X, c--d na rien voir avec X Un dsaccord sur un seul de ces critres indique une mauvaise comprhension (misunderstanding). Cela suppose que E est logique.

C4. Les QCM pour valuer la comprhension selon Smedslund Exemple : On veut tester la comprhension de ville de Paris . On peut poser une srie de questions du type : Q1. La pollution atmosphrique 1. est quivalente ville de Paris 2. dcoule de ville de Paris 3. est contredite par ville de Paris 4. na rien voir avec ville de Paris Q2. Parler majoritairement la langue franaise 1. est quivalente ville de Paris 2. dcoule de ville de Paris 3. est contredite par ville de Paris 4. na rien voir avec ville de Paris etc. Ce questionnement est fastidieux et assez ambigu. On prfrera : Rpondez par OUI NON Manque La ville de Paris Q1. est une source de pollution Q2. est un lieu o la langue majoritairement parle est le franais Q3. est lie historiquement loppression du peuple Q4. Q5. Etc. Les codes exposs en C2 ci-dessus permettent de mettre en correspondance les propositions de Bloom et celles de Smedslund :
Smedslund

On ne peut en effet distinguer un manque de comprhension d un manque de logique.

Ce qui nous plait dans cette dfinition de Smedslund est le caractre situ de lvaluation de la comprhension : la source (P) de X est pris en considration par E !
Il sagit donc de jugements dquivalence entre deux propositions, do lintrt dune consigne

VRAI FAUX Manque (de donnes)

(1) (3) (2)

Bloom 11,12,13,14,17,19a,19b 21,32,33,34,38,39a,39b,,r,s,t,w,x,y

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 17 / 34

C5 : La recherche MOHICAN Le groupe de travail Russite en candidature instaur par le CIUF (Conseil Inter Universitaire Francophone) a organis une srie dpreuves dites Check Up passer lors de lentre dans les universits ds octobre 1999. Certaines de ces preuves portent sur la comprhension, dans le sens traduction dun langage dans lautre .

C6. Le carrefour des comprhens ions de lpreuve CHECK UP MATH Une partie de lpreuve de Mathmatiques (Lebrun & Lega, UCL) est structure comme un carrefour des divers tournants possibles (du concept exprim en mots au graphique, et vice versa, etc. ). Un tel carrefour comporte 16 chemins , qui ont t reflts dans cette preuve Check up de la recherche MOHICAN (Monitoring HIstorique des CANdidatures) :

CC
Q8

CONCEPTS
(mots) NC
Q5 Q13

GC

EC
Q3

Q7

NN

CN

CE EN
Q1 Q11

NOMBRES
(Tableaux de)

EQUATIONS
NE
Q6

FORMULES

EE
Q4

GN
Q10

GE NG
Q9

EG
Q12

Q2

CG

GRAPHIQUES
GG NB : Les questions de cette preuve relvent aussi de l application (voir ci-aprs), do la prsence de Solutions gnrales Implicites AUCUNE et TOUTES.
D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 18 / 34

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 19 / 34

Understanding is translating...

Evaluation

Tool ?

Synthesis

Analysis
Concept words

Application
Graphs Formulae Translations

Comprehension Knowledge (recall)

Open ended Q Long Menu Q

Tables Knowledge (Recognition)

MCQ + None
17

D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instrum ents Supporting Evaluation. LabSET, Universit de Li ge

Example of question

Evaluation
The points ringed in blue are pupils with: 1. A good forecast and a poor score 2. A good forecast and a good score 3. A poorforecast and a good score 4. A poorforecast and a poor score

Understanding : translating in all ways

Synthesis
Concept words

Analysis
Graphs Formulae

Application

Comprehension
Tables

Knowledge (recall)
Knowledge (Recognition)
D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instrum ents Supporting Evaluation. LabSET, Universit de Lige

18

Example of question

Evaluation

Understanding : translating in all ways

Synthesis
Concept words

Analysis
Graphs Formulae

Application
In this feedback sheet of a progress test in medicine at Maastricht University, in which subject is the student superior to the group average by themost? 1. Anatomy 2. Biochemistry 3. Pharmacology 4. Physiology 5. Genetics

Comprehension
Tables

Knowledge (recall)
Knowledge (Recognition)
19

D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instrum ents Supporting Evaluation. LabSET, Universit de Li ge

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 20 / 34

Example of question
In the conclusions on page 51, the authors argue that: 1. A restricted quota should be introduced 2. Possibilities for career change should be restricted 3. The incidence of pupils repeating a year twice is huge 4. Reception efforts represent a wasted investment

Evaluation

Understanding : translating in all ways

Synthesis
Concept words

Analysis
Graphs Formulae

Application

Comprehension
Tables

Knowledge (recall)
Knowledge (Recognition)
D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instrum ents Supporting Evaluation. LabSET, Universit de Li ge

20

Example of question

Evaluation

What if images are added ?

Synthesis
Concept words Images

Analysis
Graphs Formulae

Application

Comprehension
Tables
Quino

Knowledge (recall)
Knowledge (Recognition)
21

What does Quinos Drawing mean ?

D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instrum ents Supporting Evaluation. LabSET, Universit de Li ge

Evaluation
Example of question

and maps ?

Synthesis
Concept words Images

Analysis
Graphs Formulae

Application

What is the distance (in Km) Between Aostaand Courmayeur ? .

Comprehension
Tables

Knowledge (recall)
Knowledge (Recognition)

Maps

D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instrum ents Supporting Evaluation. LabSET, Universit de Li ge

22

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 21 / 34

D. Mesurer lAPPLICATION : de la conceptualisation la Rsolution de problme

D1. Un dfaut majeur de la taxonomie de Bloom Trs tt on a souhait utiliser la taxonomie cognitive de Bloom pour attribuer chaque question UN niveau : telle question mesure la connaissance de mmoire, telle autre lvaluation (jugement), etc. Il a vite fallu dchanter, car ce qui est mesur ne dpend pas QUE de la question, mais aussi du degr de prparation de ltudiant y rpondre. Prenons lexemple du professeur dhistoire qui pose (en 1999) la question ses tudiants de 17 ans : Napolon serait-il encore possible notre poque ? Pourquoi ? . Apparemment, cette question exige de ltudiant danalyser les diffrences entre les deux poques, dvaluer les tendances historiques, de les justifier en argumentant, par une production (synthse) avec ses propres mots, ventuellement en crant des formules littraires nouvelles (ex : Les dmocraties modernes ne peuvent plus tre menes par des petits caporaux devenus marchaux ). Or il en va tout autrement si, quelque temps auparavant, le professeur a dict la classe :
Voici les 3 raisons pour lesquelles Napolon nest plus possible notre poque : 1. xxxxxxxx xxx xxxxxx xxxxxxx 2.yy yyy yyyyy yy yyyyy 3.zzz zzz zz zzzzzzz zzzzz .

D2. La taxonomie de L. DHainaut sur les situations de questionnement ou le lien entre apprentissage et valuation Cest prcisment sur la diffrence de situation entre la phase dapprentissage et la phase dvaluation que Louis DHainaut (Professeur mrite lUniversit de Mons Hainaut) fonde(1983, p. 200) sa taxonomie 6.: La reproduction (ou rptition sans modle) : la question et la rponse sont les mmes lors de lvaluation que lors de lapprentissage La conceptualisation : mme rponse, mais appliques des objets nouveaux (non vus lors de lapprentissage), bref gnralisation Lapplication de rgles (ou dalgorithmes) : questions et rponses nouvelles, mais rattachables des catgories de rponses et de questions La mobilisation (convergente ou divergente) : produire des choses ayant un rapport , imaginer La rsolution de problmes : trouver une solution (non apprise comme telle). Cest le professeur qui sait le mieux (aprs ltudiant) quel est le degr de prparation ; donc ce que mesure une question ne peut tre estim que pour un groupe dapprenants donns (dont on connat ltat de prparation) un moment donn (celui de la rdaction des questions nest pas forcment celui du test).

La performance, lexamen, devient alors de la pure restitution de mmoire . On risque ainsi de confondre question (identique pour tous les tudiants) et processus mentaux de rponse (diffrents dune personne lautre), comme on confond parfois message (identique pour tous) et information transmise, linformation tant, selon S hannon et Weaver, ce qui rduit lincertitude (diffrente selon les personnes).

voir L. DHainaut1983 p. 200 et ss., ou V.& G. dE Landsheere, 1978,227.

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 22 / 34

D3. Louis DHainaut

D4. Conceptualisation (selon DHainaut)

Pour DHainaut, u n

concept se dfinit par une structure logique dattributs, tels que donns par les dictionnaires . Ex : ERABLE : Arbre des forts tempres, fruits secs munis dune paire dailes, feuilles alternes lobes aigus. Pou lui, conceptualiser cest classer (identifier une classe), c--d dcider si un stimulus ou objet non appris (ex : une plante observe au bord du chemin) correspond ou non un concept appris (ex : la catgorie rable ), sinon il sagirait de rptition. Spcialiste de lenseignement programm, de la formation modulaire et de la rsolution de problmes. A crit Poids et masse (1968) : un des cours programms les mieux construits et les plus efficaces Une conception modulaire de lducation, (1968), Un modle pour la dtermination et la slection des objectifs pdagogiques, (1970), ce modle Concepts de la statistique, 1978 (2 vol.), Les activits dexploration, 1978, o il tudie les styles cognitifs avec B. Noel Des fins aux objectifs , 1983, 491p.o il dploie ses thories sur la rsolution de problme et la prsente taxonomie. L o Bloom parle simplement dAPPLICATION, DHainaut distingue 3 niveaux : Conceptualisation, Application, Rsolution de problmes. Pour ce faire, le sujet doit appliquer des principes, rgles, lois, proprits (ex : possde des feuilles denteles lobes pointus) non rappels dans lnonc DHainaut (1983, 206) donne les exemples suivants (numrots par nous): Q1. K Br O4 Cu Zn3 H2 SO4 Na3 Al F6 Quels sont les sels ?
A condition que llve naie pas associ antrieurement K Br O4 et Na 3 Al F6 sel .

Q2. Une pousse, une traction, une attraction sont des . Q3. Comment peut-on qualifier les sentiments exprims dans ce texte ? Q4. Rose, Bgonia, Pquerette, .. Compltez cette srie en choisissant parmi 1. Annie 2.Poupe 3.Tulipe 4.Branche Le sujet ne doit cependant rien produire si les Q2 et Q3 ont une consigne QCL. . Il sagit dune comprhension dun type particulier : les rapports dinclusion entre concepts gnraux et exemples.

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 23 / 34

D5. Application (selon DHainaut)

Pour DHainaut il y a application quand le sujet fournit une situation spcifique une rponse en utilisant une relation, une opration ou une structure quil a apprise (dont il doit se souvenir) et qui sert d'oprateur (pour construire la rponse) NB : les mots entre parenthses sont de nous. Exemple : Quelle est laire dun triangle dont la base est 2 cm et la hauteur 4cm ? Ce mme exemple devient de la comprhension (car tout est fourni llve) si on ajoute Sachant que S= (B x H)/2 Si la relation (ici la formule mathmatique) na pas t apprise, alors on est en face dune rsolution de problme. Exemple : Quelle est laire dun hexagone de rayon 6 cm ? (Alors que seule laire du triangle a t apprise). DHainaut (1983, 216) distingue - lapplication pure (o ltudiant doit penser seul (mobilisation convergente) la rgle appliquer - - lapplication avec indication de la rgle (ex : Dterminez le sens et la direction du champ magntique par la rgle du Bonhomme dAmpre . Il distingue aussi les applications simples (une seule rgle est en jeu) des complexes (faisant intervenir plusieurs rgles). La rponse demande par la question peut tre OUI ou NON, alors que la rponse mentale est plus prcise. Ex : La surface dun triangle de base 5 cm et de hauteur 4 cm est-elle plus grande que celle dun carr de 3 cm de ct ? Pour pouvoir rpondre (ici OUI), ltudiant a d calculer les 2 surfaces (10 cm2 et 9 cm2).

D6. Rsolution de problme et crativit (selon DHainaut)

Pour DHainaut (1983,230), ce qui caractrise la rsolution de problme, cest la nouveaut, pour le sujet, de la situation, du processus appliquer ou du produit obtenir . Nous dirions absence de mthode connue et perplexit de dpart pour ltudiant . Par l nous voulons dire que si ltudiant ne sait pas demble quelle est laire dun triangle de 5cm de base et 4 cm de hauteur, il nest pas quia ( tre rduit ne pouvoir rpondre ) : il est confiant dans sa capacit identifier le bon algorithme, lappliquer, puis, dans un dlai raisonnable, et avec une fiabilit leve, avancer une rponse. Dans une rsolution de problme, lapprenant ne voit (du moins dans un premier temps) ni la rponse, ni mme comment il y arriverait. Cest pourquoi nous disons quil ny a rsolution de problme que sil y a chec, donc angoisse, dfi relever. DHainaut consacre 100 pages (305-406) de son livre Des fins aux objectifs une typologie de la rsolution de problmes . Pour lui interviennent les processus de: -restructuration -invention Influent sur le rsultat : la quantit de guidance -la complexit de la prsentation (clart ou organisation ou accessibilit des donnes) -la quantit dlments traiter -la proximit avec des situations connues -le niveau dabstraction et la vrifiabilit de la solution

Lapplication se mesure aussi bien par QRO que par QCM

Les QRO, souvent longues, semblent simposer, sinon on sexpose un travail mental rebours : plutt que de chercher des solutions, les tudiants risquent de partir de celles qui existent.

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 24 / 34

eneral

I S M
mplicit

olution

Evaluation

Application =
Being able to apply i s also being able to detect situations where it is impossible to apply.

Synthesis

Example of question What is the capital of Italy? 1. Toulouse 2. Li ge 3. Palermo 4. The Vatican 5. Oslo 6. None

Analysis
All - None - Missing

Application

Comprehension Knowledge (recall )

Knowledge (Recognition)

D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instruments Supporting Evaluation. LabSET, Universit de Lige

23

GIS M
Example of question What is the area of a triangle with a 5 cm base and 4 cm high? 1. 8 cm2 2. 12 cm2 3. 20 cm2 6 = None 7 = All 8 = Missing data

Evaluation

Synthesis

Analysis
All - None - Missing

Application

Comprehension Knowledge (recall )

Knowledge (Recognition) Open ended Q Long Menu Q MCQ + None
25

D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instruments Supporting Evaluation. LabSET, Universit de Lige

Evaluation

Tool ?

Synthesis
Example of question What i s the area of a triangle of which the base is 5 cm? 1. 2. 3. 8 cm2 12 cm2 20 cm2 6 = None 7 = All 8 = Missing data

Analysis
All- None - Missing

Application

Comprehension Knowledge (recall)

Knowledge (Recognition) Open ended Q Long Menu Q MCQ + None
24

D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instrum ents Supporting Evaluation. LabSET, Universit de Lige

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 25 / 34

E. Mesurer lanalyse
E1. Curriculum cach et vigilance cognitive Pour Bloom (1956), lanalyse consiste, fondamentalement, E2. La sduction pdagogique ou lexprience du Dr FOX Dans leur clbre exprience sur la sduction pdagogique, qu'ils ont appele The Dr Fox expriment , NAFTULIN et al. (1975) ont entran un acteur faire un expos devant plusieurs publics, certains comportant du personnel mdical et paramdical, d'autres des psychologues et sociologues. L' acteur donne cours de faon brillante, mais truffe littralement son expos d'inepties, de comparaisons fallacieuses, de digressions sans fondement...non dtectes ! Et lors du questionnaire crit, la majorit des auditeurs se dclare enchants de la leon, ayant le sentiment d'avoir "appris beaucoup". Les auteurs nous mettent ainsi en garde contre le critre "de satisfaction du consommateur" comme seul et unique base de jugement de la qualit d'un enseignement. Nous n'avons pas t entrans nous mfier, vrifier, viter les piges d'un curriculum manifeste, et encore moins de ceux d'un curriculum cach, c--d

claircir la hirarchie relative des ides et / ou les rapports entre les ides exprimes .
Par exemple : distinguer les faits des hypothses (V. et G.de Landsheere, 1978, p. 70). Nous nous intresserons une facette prcise de lanalyse : la vigilance cognitive, cest-dire, selon nous, aller SPONTANEMENT au-del du donn, accder limplicite, dtecter les piges, les incohrences, les lacunes, les contradictions sans tre mis sur la voie (dans ce cas, il sagit de comprhension) . Les enseignants universitaires font maintes fois le constat que bon nombre d tudiants sont peu vigilants, peu enclins dtecter les piges. Cest, selon nous, parce quils ny ont pas t systmatiquement exercs, que lcole est un monde biais , o les exemples sont prototypiques, aseptiss.
Or Il existe des situations o il faut Quand on vous pose refuser de rpondre, soit parce que la une question, question est indiscrte, soit parce il faut rpondre. qu'on n'est pas comptent, soit qu'une autre personne prsente rpondrait plus efficacement, soit parce qu'on a besoin de temps pour rflchir, etc. Quand une question Pour certaines questions, il n'existe est pose, il existe pas de rponse, pour d'autres, il en une rponse (et existe plusieurs UNE SEULE) Une question pose Il arrive que (volontairement ou non), par l'autorit est l'on ne fournisse pas celui qui doit forcment bien rpondre assez d'information pour le pose faire valablement Message implicite

ce que personne n'enseigne, mais que tout le monde apprend

Do lentranement et lvaluation systmatiques de la vigilance cognitive , c--d la tendance analyser une situation (ou une question) pour y dtecter les aspects implicites. Les Solutions Gnrales Implicites y contribuent SYSTEMATIQUEMENT..

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 26 / 34

E3. Les Solutions Gnrales Implicites dans les QCM

Rappelons le type de QCM que nous recommandons. Chaque question comporte une (et une seule) solution correcte. Cependant, certaines solutions (appeles solutions gnrales) font appel la vigilance des tudiants; elles sont proposes sous les numros de code suivant : 6 - 7 - 8 ou 9 et ne sont pas dactylographies dans les QCM, bien qu'elles soient d'application pour toutes. 6 ou REJET =Aucune proposes n'est correcte. des solutions
Quino

Evaluation

Synthesis

Analysis

Issue: measuring error detection or cognitive vigilance and combatting the hidden curriculum

Application

? When you are asked

a question, you have to answer

Comprehension Knowledge (recall)

Knowledge (Recognition)

? There is an answer to
every question

7 ou TOUTES = TOUTES les solutions proposes sont correctes. 8 ou MANQUE = Il est impossible de rpondre parce que de l'information (au moins une donne) MANQUE dans l'nonc de la question (donc pas dans le cours ni dans les connaissances actuelles sur le problme). 9 ou ABSURDITE =Une ABSURDITE dans l'nonc rend toute la question sans objet parce qu'il y a par exemple une CONTRE-VERITE dans l'nonc Exemples : La capitale de la France est La capitale de l'Italie est La Grande Bretagne comprend Quel ge avait Rimbaud ? En quelle anne Jules Csar a-t-il rencontr Napolon ? Il faut rpondre 1. Lille 2. Lyon 3. Paris 1. Berlin 2. Prague 3. Tokyo 1. L'Angleterre 2. L'Ecosse 3. Le Pays de Galle 1. 2 ans 2. 10 ans 3. 20 ans 1. 1850 3. 1945 2. 1915 3 6 7 8 9

the hidden curriculum

? A question asked by
authority is always asked appropriately
26

D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instrum ents Supporting Evaluation. LabSET, Universit de Lige

G I S Absurdity
eneral mplicit

olution

Evaluation

Cognitive vigilance

Synthesis
GIS Absurdity

Example of question

In which year did Napoleon meet Julius Caesar? 1. in 1789 2. in 1815 3. in 1821 4. in 1940 6. None 9. Absurdity

Analysis

Application

Comprehension Knowledge (recall)

Knowledge (Recognition)

D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instruments Supporting Evaluation. LabSET, Universit de Lige

27

G I S Absurdity
eneral mplicit

olution

Evaluation

cognitive vigilance

Synthesis
GIS Absurdity

Example of question What i s the perimeter of a triangle of which the sides measure 2 cm, 3 cm and 6 cm ? 1. 9 cm 2. 11 cm 3. 16 cm 6 = None 7 = All 8 = Missing data 9 = Absurdity

Analysis

En cas de Manque , deux solutions au moins sont correctes (mais pas SIMULTANEMENT, lune excluant lautre), en fonction de prcisions absentes de lnonc. Il y a aussi toujours (au moins) une solution incorrecte, pour exclure la possibilit que la rponse correcte soit TOUTES.

Application

Comprehension Knowledge (recall)

Knowledge (Recognition)

D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instrum ents Supporting Evaluation. LabSET, Universit de Lige

28

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 27 / 34

E4. Enjeu : distinguer Comprhension et Analyse

Pour distinguer rappel, comprhension et application, il faut poser plus dune question. Par exemple : Q1 : Quelle est laire dun triangle dont la base est 5 cm et la hauteur 4 cm ? Si ltudiant choue, il nest pas capable dapplication. Q2 : Quelle est la formule de laire du triangle ? Si ltudiant choue, il nest pas capable de rappel. Q3. Etant donn que S= (B x H ) /2, quelle est laire dun triangle dont la base est 5 cm et la hauteur 4 cm ? Si ltudiant choue, il nest pas capable de comprhension. De mme, pour distinguer comprhension et analyse, il faut concevoir une valuation , qui soit -plus profonde qu'une QCM ou qu'une QROC (Question Rponse Ouverte Courte), qui ont l'avantage de permettre de poser beaucoup de questions -plus interactive qu'une valuation par QROL (Question Rponse Ouverte Longue) qui, comme l'oral , permet de s'exprimer longuement mais qui ne remet pas sur la voie quand on s'tait dirig sur une fausse piste -moins coteuse, moins subjective et plus diagnostique que l'examen oral. En effet, rien ne vaut l'oral pour la profondeur de l'change.....mais celui-ci ne peut se prolonger. En outre, on n'en sort pas avec un diagnostic prcis (crit). Enfin ,on sait, depuis les travaux des docimologues comme PIERON (1963), combien ces valuations sont sujettes des "effets" (strotypie, halo, squence, contraste, svrit, etc.).

E5. Distinguer la comprhension de lanalyse par

les questions Double face

Chaque Double question (ou BI question) prsente deux volets : -la question PRIM ( principale, de poids 2) -la question BIS (sous-question, de poids 1) La question PRIM fonctionne avec les 4 solutions implicites (6 = Aucune, 7 = Toutes, 8 = Manque, 9 = Absurdit). Par contre, la question BIS ne fonctionne qu'avec 2 solutions implicites (6= Aucune, 7= Toutes). Prenons lexemple dune question dont la RC (rponse correcte) la question principale PRIM est 9. Absurdit
et dont la sous-question BIS commence par Il existait une absurdit dans lnonc. En quoi consiste-t-elle ? 1. ....... 2...... 3........ 4...... 5...... .

Voici les 4 situations (a, b, c, d) dans lesquelles divers tudiant(e)s peuvent se trouver et des points (colonne de droite P) quils pourraient recevoir :
A la question PRIM, il (elle) a A bien rpondu (ex : Absurde) b A bien rpondu (ex : Absurde) A la question BIS , il (elle) Diagnostic P

A bien dsign l'absurdit Ne dsigne pas l'absurdit prvue par le professeur, mais une autre ! c N'a pas bien Fait plus rpondu attention et (n'a pas dtect dtecte (enfin) l'absurdit) l'absurdit. d N'a pas bien Ne dtecte rpondu toujours pas (n'a pas dtect l'absurdit l'absurdit)

Vigilance + Comprhension+ Vigilance + Comprhension ?

3 2

Vigilance Comptence

+ -

Vigilance Comptence

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 28 / 34

E6. Une vision plus subtile des comptences Magain (1995) a appliqu la procdure plus de 200 tudiants dagrgation. de lUlg qui ont reu chacun 7 questions doubles (PRIM + BIS). En moyenne, les questions se sont ventiles comme suit : BIS correctes Incor rectes PRIM (correc 50 (a) 15 (b) 65 tes) incorre 20 15 (d) 35 ctes 70 30 100

a = Comprhension et vigilance b = Inexplicable : premire rponse correcte par chance ? c = Comprhension mais manque de vigilance

d = Ni comprhension ni vigilance

Example of question PRIM : What is the perimeter of a triangle of which the sides measure 2 cm, 3 cm and 6cm ? 1. 9 cm 2. 11 cm 3. 16 cm

Evaluation

Issue: distinguishing comprehension and analysis

Synthesis
0

PRIM

Analysis

35%
BIS : There was something absurd about the way the previous question was asked. Can you see what it was? 1. You dont talk about the sides of a triangle 2. A triangle doesnt have 3 sides 3. You dont calculate the perimeter of a triangle

65%
%

Application 20% 15 15
%

50%
11 CA

Comprehension Knowledge (recall)

Knowledge (Recognition)

00

01 10

CA CA CA ?

?
BIS
30

D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instruments Supporting Evaluation. LabSET, Universit de Lige

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 29 / 34

F. Mesurer la SYNTHESE crativit

F1. Mesurer les performances complexes
Selon Bloom, la SYNTHESE est (telle quexpose par V. et G. de Landsheere, 1978, p. 70) est : La runion dlments et de parties aux fins de former un tout. Cette opration consiste disposer et combiner des fragments, parties, lments, etc., de faon former un plan ou une structure que lon ne distinguait pas clairement auparavant. 1. Production dune uvre personnelle Exemple : Conter une exprience personnelle de faon intressante 2. Elaboration dun plan daction Exemple : Proposer des mthodes vrification dhypothses

F2. La crativit Dans les dfinitions que B loom donne de la SYNTHESE ressortent deux concepts : - expression - formulation : production , former , laborer , - cration - invention : que lon ne distinguait pas avant , proposer , dcouvertes Ce dernier concept tait particulirement difficile cerner, jusqu ce que Torrance (1965) suggre de le dcomposer en 4 facettes : La fluidit est dfinie comme le nombre de rponses diffrentes La flexibilit comme le nombre de rponses diffrentes appartenant des catgories diffrentes Loriginalit comme la raret (statistiquement vrifiable en examinant les rponses dun groupe de rfrence). Llaboration (aussi appele sophistication) comme le degr de prcision, de dtails Ces 4 critres de TORRANCE portent sur des QRO Annoncer lequel de ces 4 critres sera pris en compte est crucial pour la production des rponses, et donc pour leur notation, car il est vident que llaboration se fait au dtriment de la fluidit.

de

3. Drivation dun ensemble dobservations abstraites Exemple : Faire des dcouvertes et des gnralisations mathmatiques . C'est le cas des dissertations, rdactions, rapports de recherche, etc. qui sont values habituellement par

. QROL : Questions Rponses Ouvertes Longues

Nous consacrons le chapitre 3 ce problme.

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 30 / 34

Example of question Torrances 4 criteria relate to the Open Ended Q : fluidity flexibility originality elaboration

Evaluation

Measuring creativity : Open-Ended questions

Synthesis

Essays
For complex performances (Essays, projects, ) that include several dimensions :

Analysis

Application

Comprehension Knowledge (recall)

Knowledge (Recognition)
D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instrum ents Supporting Evaluation. LabSET, Universit de Lige

31

Example of grid of criteria (with weights)

Evaluator : Professor Evaluation Criteria THEORETICAL POINT OF VIEW Content 1 Relevance: - adequation with the content of the syllabus (no confusion with other concepts) - exhaustivity of content 2 Creativity : New data, richness of the illustrations 6 20 10 Respected content (Ch. 1, A) a few mistakes in the comprehension of GUBAs experiment (1964) examples from syllabus not much personal research Evaluated : Magali et Pierre Result Out Justification of

Evaluation Synthesis

Analysis

Application

10

Comprehension Knowledge (recall)

Knowledge (Recognition)

D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instrum ents Supporting Evaluation. LabSET, Universit de Lige

32

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 31 / 34

G. Mesurer lEVALUATION -JUGEMENT

: G1. Selon les dfinitions de Bloom : une subjectivit totale Pour Bloom, valuer, cest tre capable de
Critique interne : juger, argumenter, valider, dcider.. sur (ou de) lexactitude, la pertinence, les erreurs, la vracit, les dfauts, les sophismes, la prcision, le degr de justesse. ou de Critique externe : juger, argumenter, comparer, contraster, standardiser. sur des fins, des moyens, lefficience, lconomie, lutilit, les alternatives, les plans daction, les standards, les thories, les gnralisations. Avec V. et G. de Landsheere (1978, p. 87) nous pensons que ces dfinitions de Bloom correspondent plutt une forme danalyse . Ce niveau est celui qui est le plus contest ; ainsi Horn (1972, cit par V. et G. DL 1978, p. 87) ne le traite pas dans son fameux algorithme . Dans ses Reformulations (de la taxonomie de Bloom) , G. de Landsheere (1978, p.89) suggre : Il sagit dune analyse, mais il existe plusieurs rponses au problme parce que les critres ne sont pas des faits ou des rgles univoques, mais des croyances, des valeurs personnelles. Exemples : 1. Lequel de ces 3 dessins trouvez-vous le plus beau ? 2. Voici une courte biographie dun personnage clbre. Dressez la liste de ses comportements que vous trouvez immoraux. Cette dfinition fait du jugement un acte subjectif et non sujet une valuation, qui serait tout autant subjective. G2. Le jugement : une prdiction vrifiable Nous suggrons de rserver le concept de jugement lacte qui consiste apporter une rponse une question pose (ou qui se pose), mais dont lexactitude nest pas encore connue de lvalu et mme parfois de lvaluateur, mais le sera. Cest la confrontation possible avec la ralit qui justifie la tentative de mesurer le jugement. La situation la plus courante est sans doute celle de lestimation dune grandeur, de faon approximative. Par exemple, estimer -en moins de 15 secondes le nombre de personnes sur la photographie dune foule (ce nombre est vrifiable par comptage, mme si cela prendra plusieurs minutes) -la distance (en km) entre le point o lon est et un repre trs visible (chteau) lhorizon (le compteur kilomtrique permettra, larrive de connatre la rponse exacte) -lge dune personne (la consultation de sa carte didentit servira de rponse correcte) -la temprature quil fera demain la mme heure (il suffira dattendre 24h pour le vrifier) Dans tous ces exemples, on constatera quil nexiste pas dalgorithme (mthode de rsolution de problme comportant un nombre fini et connu de pas, menant coup s r la solution). Le sujet doit travailler par heuristiques (stratgies, mthodes, dmarches, qui aident la dcouverte ).

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 32 / 34

G3. Mesurer lapproximation

G4. La notation par proximit ou par fourchette

Imaginons que lon demande un tudiant en menuiserie destimer la longueur dun tronc darbre avant de le mesurer avec un instrument adquat. Ltudiant rpond : 8,5 m. Aprs mesure, il savre que la solution correcte est 8,4 m. La rponse doit-elle tre considre comme correcte ou incorrecte ? Une notation par proximit permet de rsoudre ce problme de faon lgante et quitable. Il suffit de convenir que des points positifs seront attribus dans une fourchette (un empan) dun mtre. On peut appliquer le mme principe que pour les QINT et tre dautant plus gnreux que la rponse est proche de la solution. Les fonctions de cotation par proximit ou

Ce systme, qui nest valable que pour les continuums (longueur, poids, nombre, dure, etc.), consiste inviter l'tudiant fournir deux valeurs, une limite infrieure (LI) et une limite suprieure (LS) entre lesquelles la valeur correcte doit se trouver. Cette procdure peut tre appele

QINT Questions Rponses par Intervalles LI et LS La notation (le scoring) peut se faire en tenant compte (a) de la position de la solution correcte : dans (alors tarifs positifs) ou hors de lintervalle (alors tarifs ngatifs). Cette dernire situation est appele surprise . (b) de l'ampleur de l'intervalle : les points positifs (s'il inclut la RC) sont dautant plus petits si lintervalle est grand et les points ngatifs (s'il n'inclut pas la RC) dautant plus grands. (c) de la centration : les points positifs sont d'autant plus levs que la RC est au centre de l'intervalle; (d) des deux : voir le systme de Leclercq & Toby (1995). Plusieurs modalits de questionnement sont possibles :

QPROX

peuvent prendre plusieurs formes : Avec pic : 100

0 8m Avec plateau : 100 8,5m 9m

0 les QROI = par rponses ouvertes sous forme d'intervalle.

8m 8,25m 8,75m 9m

etc.
Larticle de Leclercq et Poumay (2005) est entirement consacr une technique particulire (les degrs de certitude) adapte, elle, aux contenus qualitatifs et non pas limite aux continuums quantitatifs, sauf la technique de Van Lenthe qui est le chanon entre les deux.

- les QRIC = par rponses sous formes d'intervalles choisir.

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 33 / 34

H. La TOISE pour le seul domaine cognitif

Evaluation

Degrees of Certainty

Synthesis

Essays
GIS Absurdity

Analysis

PRIM-BIS
Application
All- None - Missing

Comprehension Knowledge (recall)

Knowledge (Recognition)

Open ended Q

Long Menu Q MCQ + None

MCQ

D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instrum ents Supporting Evaluation. LabSET, Universit de Lige

59

I. Une taxonomie de taxonomies : BASCIDO

The BASCIDO model of Kohlberg, Frydman, Objectives Law, Axiology, Politics
Krathwohl, Bloom & Masia Rotter-Wiener, Flavell, Brown, L&P

Others
Altruism, citizenship, humanism

D ecision-Involvement
Habits, intentions, adhesion, receptivity, tolerance

Im. of self : Mtacognition

Analysis Regulation - Attributions

Evaluation Synthesis BLOOMs taxonomy of cognitive objectives (1956) Analysis

Application Comprehension
Knowledge (recall) Knowledge (Recognition)

Skills automatisms
Harrow Maslow Mens sana in corpore sano
Recognition, Motor Chains

Affectivity Attitudes, Pleasure, Repulsion

B iology-Body
Health, sport

D. Leclercq (2005, march) TOISE Taxonomy of Objectives & Instrum ents Supporting Evaluation. LabSET, Universit de Lige

36

D. Leclercq (2005) Edumtrie et docimologie pour praticiens chercheurs. Editions de lUniversit de Lige Chapitre 4 Une Taxonomie des Objectifs Instrumente au Service de lEvaluation (TOISE) page 34 / 34