Le misure di Rasch nellanalisi dei

questionari per la valutazione del

servizio didattico universitario
Laura Pagani

Chiara Zanarotti

Dipartimento di Statistica
Universit di Udine

Istituto di Statistica
Universit Cattolica di Milano

Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Sequenza degli argomenti

Introduzione

Metodi
Il data set
Risultati
Osservazioni conclusive
Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Scopo dellanalisi

valutazione dei corsi universitari

(utilizzando i questionari di valutazione compilati dagli studenti)

in particolare lattenzione stata rivolta ai

seguenti aspetti:
Effetti sulla valutazione
dovuti allo strumento
di misurazione
(questionario)

Caratteristiche
(individuali e non)
che influenzano la
soddisfazione

Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Contesto

valutazione di un servizio

Problema

come misurare la qualit di questo servizio

Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Sia la qualit di un servizio che la

soddisfazione dei suoi utenti sono
variabili non osservabili, sono

VARIABILI LATENTI
Per ottenere informazioni sul grado di soddisfazione e
sul livello di qualit spesso si somministra ai fruitori
del servizio un

T
questionario

Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

questionario

Un insieme di items connessi a diversi aspetti del servizio

vengono arbitrariamente selezionati e viene richiesto agli
utenti di esprimere un giudizio sui singoli aspetti considerati.

Le risposte a ciascun item sono generalmente fornite su

scale ordinali (ad esempio: scale di Likert)

Come utilizzare le risposte degli utenti ai vari

items per misurare la qualit del servizio
Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Le informazioni di cui disponiamo sono:

X ijk
soggetto i-mo ha scelto la categoria (ordinale) k-ma al j-mo item

Queste risposte riflettono due aspetti:

Uno oggettivo:
oggettivo qualit del servizio con riferimento
allaspetto specificato dallitem;
Un aspetto soggettivo:
soggettivo qualit percepita (soddisfazione)
dellutente
Come utilizzare queste informazioni?
Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Strumento di analisi utilizzato

MODELLO DI RASCH
(nelle versioni politomiche)

Perch:
Lipotesi cruciale del modello di Rasch proprio lidea che
le risposte agli items dipendano da due parametri:
un parametro relativo allitem (fattore specifico associato
allattributo);
Un parametro relativo allutente (fattore specifico del
soggetto)
Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Grazie al modello di Rasch possiamo ottenere

delle misure associate ai diversi items (aspetti del

servizio)
delle misure associate ai diversi utenti (studenti)

Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Modelli di Rasch utilizzati

Rating scale model (RSM)

exp{i j k , k + 1}
1 + exp{i j k , k + 1}
Partial credit model (PCM)

P(Xij = k) =

P(Xij = k) =

exp{i j k, k + 1( j )}
1+ exp{i j k, k + 1( j )}

Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Commenti
Si tratta di modelli di Rasch di tipo politomico.
Le probabilit che i diversi soggetti scelgano, per
ciascun item, la modalit k-ma (anzich la risposta k-1ma) dipendono dai seguenti parametri:
i parametro associato alli-mo soggetto (person
parameter)
j parametro associato allj-mo item (item parameter)
k (o k(j) ) parametro di soglia (threshold).
Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

La differenza tra i due modelli nelle soglie: nellRSM

le soglie sono supposte le stesse per tutti gli items,
mentre nel PCM le soglie vengono stimate
separatamente per ciascun item.

Applicazione
La Rasch analysis viene ora utilizzata nellesame dei
questionari avendo due obiettivi:
1. Confrontare i risultati ottenuti utilizzando due scale di
misurazione nei questionari (scale di Likert con 4 e con
5 modalit).
2. Indagare se vi sono alcune caratteristiche/variabili che
influenzano la soddisfazione
Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Dati

Data set: 801 questionari per la valutazione della

didattica, somministrati agli studenti della Facolt di
Economia dellUniversit degli studi di Udine,
nellanno accademico 1999-2000.
Questionario diviso in tre parti che riguardano:
i. Item relativi ad alcune caratteristiche dello
studente (voto alle scuole medie inferiori e superiori,
genere, et, numero di esami superati, ecc.);
ii. 18 item sulle caratteristiche del docente e del
corso;
iii. un item sulla soddisfazione globale.
I corsi coinvolti nella valutazione sono 59.
Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Dati
I questionari distribuiti sono stati di due tipi:

1 Quattro modalit di risposta

1=molto insuff.; 2=insuff.; 3=buono; 4=ottimo.

1 Cinque modalit di risposta

1=molto insuff.; 2=insuff.; 3=suff.; 4=buono; 5=ottimo.
441 questionari con la scala a 4 modalit;
360 questionari con la scala a 5 modalit.
Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Prima parte: confronto tra scale

Sono stati stimati i parametri di entrambi i modelli di Rasch
(RSM e PCM) per entrambi i gruppi di questionari
(scala a 4 modalit; scala a 5 modalit) utilizzando il
programma RUMM 2010 (RUMM Laboratory Pty Ltd)

Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Scala con 4 modalit
Code

Item

d13

Indica e richiama chiaramente gli obietttivi del corso

Scala con 5 modalit

0.04

0.17

0.56

0.23

0.02

0.10

0.29

0.42

0.17

d14

D indicazioni su come affrontare lo studio

0.05

0.33

0.48

0.14

0.03

0.20

0.37

0.29

0.11

d15

Sviluppa il corso con sistematicit

0.03

0.16

0.63

0.18

0.04

0.10

0.30

0.39

0.17

d16

Sottolinea gli argomenti principali

0.05

0.18

0.57

0.20

0.04

0.10

0.29

0.39

0.18

d17

Fa collegamenti con altre discipline

0.08

0.43

0.42

0.08

0.05

0.23

0.41

0.27

0.05

d18

Fa esempi, applicazioni ed analisi dei casi

0.03

0.18

0.58

0.21

0.02

0.09

0.30

0.39

0.20

d19

Ha chiarezza ed efficacia espositiva

0.13

0.24

0.40

0.23

0.11

0.18

0.24

0.29

0.17

d20

Suscita interesse e motiva gli studenti

0.08

0.36

0.38

0.18

0.06

0.20

0.31

0.31

0.12

d21

Su richiesta, approfondisce gli argomenti trattati

0.02

0.17

0.59

0.22

0.02

0.09

0.33

0.42

0.15

d22

Rispetta gli orari delle lezioni e assicura la sua presenza regolare 0.06

0.10

0.44

0.40

0.04

0.05

0.19

0.35

0.37

d23

E disponibile al ricevimento e a fornire chiarimenti personali

0.01

0.08

0.53

0.38

0.01

0.03

0.22

0.45

0.28

d24

Ha un atteggiamento corretto verso gli studenti

0.02

0.12

0.46

0.40

0.03

0.03

0.19

0.44

0.31

d25

I libri di testo ed il materiale didattico adeguato

0.05

0.21

0.64

0.10

0.04

0.10

0.42

0.38

0.06

d26

Il docente usa efficacemente i sussidi didattici

0.05

0.27

0.58

0.11

0.03

0.16

0.38

0.37

0.07

d27

Il tempo dedicato alle esercitazioni, alla pratica e al laboratorio

0.04

0.28

0.59

0.09

0.05

0.16

0.37

0.37

0.05

d28

Utilit di esercitazioni, laboratori, .

0.07

0.17

0.57

0.19

0.04

0.12

0.34

0.38

0.12

d29

Il coordinamento tra le lezioni teoriche e le esercitazioni

0.04

0.22

0.61

0.13

0.04

0.15

0.37

0.37

0.08

d30

Il livello di soddisfazione di esercitazioni, laboratori

0.06

0.23

0.58

0.14

0.05

0.15

0.35

0.38

0.07

d31

Il livello di soddisfazione globale

0.03

0.19

0.62

0.15

0.04

0.12

0.30

0.42

0.12

Rasch Analysis - Milano-28/6/2004

Item migliore
Item peggiore

Misure di Rasch e questionari di valutazione della didattica

Box-plot delle percentuali di risposte negative

.6

15

.5

.4

.3

.2

.1

0.0
N=

19

Scala a 4 modalit

19

Scala a 5 modalit

Commento: la scala a 4 modalit comporta un giudizio

pi severo (spostamento verso giudizi negativi e
maggior dispersione dei giudizi espressi)
Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Four-point Scale
Code
d23
d24
d22
d21
d13
d18
d15
d16
d31
d28
d29
d30
d25
d26
d27
d19
d14
d20
d17

Location
-1.208
-1.076
-0.851
-0.338
-0.270
-0.220
-0.209
-0.111
-0.017
0.015
0.167
0.269
0.276
0.415
0.440
0.502
0.546
0.611
1.058

SE
0.098
0.097
0.095
0.091
0.090
0.090
0.090
0.089
0.089
0.089
0.088
0.087
0.087
0.086
0.086
0.086
0.086
0.085
0.084

Five-point Scale

Chi Sq
3.269
16.387
19.230
7.178
8.136
4.230
12.655
9.424
27.379
27.476
9.466
7.420
50.447
9.902
21.137
59.727
14.901
36.497
17.653

Prob
0.953
0.059
0.023
0.619
0.521
0.896
0.179
0.399
0.001
0.001
0.395
0.593
0.000
0.358
0.012
0.000
0.094
0.000
0.039

Code
d24
d22
d23
d18
d13
d21
d16
d15
d31
d28
d25
d29
d26
d30
d14
d19
d27
d20
d17

Location
-1.047
-0.994
-0.984
-0.340
-0.248
-0.215
-0.186
-0.152
-0.002
0.128
0.258
0.333
0.352
0.403
0.442
0.473
0.481
0.492
0.806

SE
0.072
0.072
0.072
0.068
0.067
0.067
0.067
0.067
0.066
0.065
0.065
0.065
0.065
0.065
0.064
0.064
0.064
0.064
0.064

Chi Sq
9.369
13.824
7.090
10.770
7.378
14.906
22.941
12.842
26.115
23.942
84.472
6.969
7.298
16.056
5.086
85.029
28.168
28.160
20.759

Prob
0.404
0.129
0.628
0.292
0.598
0.094
0.006
0.170
0.002
0.004
0.000
0.640
0.606
0.066
0.827
0.000
0.001
0.001
0.014

Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Stime delle soglie

SCALA A 4 MODALITA
12

2-3

-2.125 -0.463

3-4
2.588

SCALA A 5 MODALITA
1-2

2-3

-2.224 -1.047

3-4

3-5

0.692

2.642

Le distanze tra le soglie sono molto diverse!!

5 modalit
4 modalit
0
Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Altri risultati ottenuti

Attraverso il test di adattamento chichi-quadrato abbiamo verificato

ladattamento del modello.
Grazie alla scomposizione del test stato possibile individuare
alcuni items che provocavano valori molto alti del test: alcuni items
probabilmente si riferiscono ad unaltra dimensione del
fenomeno (un altro tratto latente).
Utilizzando il PCM abbiamo stimato le soglie per ciascun item ed
abbiamo studiato il comportamento delle categorie di risposta item
x item per entrambe le scale (individuando situazioni di inversione
delle soglie e situazioni di collassabilit di categorie di risposta
adiacenti (attraverso le Category probability curves:
curves: probabilit di
risposta alle varie categorie in funzione dei Person Location
Parameters).
Parameters).
Rasch Analysis - Milano-28/6/2004

10

Misure di Rasch e questionari di valutazione della didattica

Caratteristiche/variabili che influenzano la

soddisfazione

Lidea quella di vedere quali tra quelle disponibili

variabili influenzano la soddisfazione.
Le informazioni disponibili sono di diverso tipo:
Informazioni riguardanti lo studente
Informazioni riguardanti il docente
Informazioni riguardanti il corso
Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Appare evidente la struttura gerarchica dei dati

MODELLO MULTILIVELLO
In cui la variabile dipendente la soddisfazione dello studente e le
variabili esplicative sono quelle disponibili ai vari livelli.
Si vuole tener conto della soddisfazione globale dello studente,
ottenuta utilizzando tutti gli items del questionario

Abbiamo quindi utilizzato le misure di Rasch per ciascuno

studente (PLP) come variabile dipendente nel modello
multilivello.
Rasch Analysis - Milano-28/6/2004

11

Misure di Rasch e questionari di valutazione della didattica

Modelli multilivello: particolari modelli di regressione

multipla che vengono utilizzati per lanalisi di dati con
struttura gerarchica
Un esempio di dati gerarchici
Unit di 3 livello

Unit di 2 livello
.
Unit di 1 livello
.
le variabili vengono rilevate nei diversi livelli della gerarchia
gerarchia sia
al primo livello (detto anche individuale o micro)
micro) che al secondo
(terzo, ecc.) livello (detto anche di gruppo o macro).
si tiene conto simultaneamente dei diversi livelli gerarchici non si
fanno analisi aggregate e non si elimina la struttura gerarchica.
gerarchica
Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Modello con intercetta casuale a due livelli

H

h =1

k =1

Ynm = 0 + h whnm + k z km + U 0 m + Rnm

Parte di variabilit non

spiegata dovuta alleffetto di
gruppo (residui di gruppo),
aspetto cruciale nei modelli ML

Componente
sistematica

Componente
casuale
Lintercetta 0 + U 0 j varia casualmente da gruppo a gruppo (gli M gruppi sono
considerati un campione estratto da una popolazione di gruppi).

Ipotesi sulla componente casuale del modello

E (U 0 m ) = 0;

V (U 0 m ) = u ;
2

E ( Rinm ) = 0,
V ( Rinm ) = e2 ; Cov (U 0 m , Rinm ) = 0

Rinm ~ N (0, e2 );

U 0 m ~ N (0, u2 )

Rasch Analysis - Milano-28/6/2004

12

Misure di Rasch e questionari di valutazione della didattica

Lanalisi di Rasch
Lanalisi dei questionari stata condotta utilizzando il Partial Credit Model (PCM).

.25

Media 0.914
S.E. 1.627
Person separation
Index 0.937
di Cronbach 0.931
K-S 0.0614 , p-value
0.066

-10

Dens ita'
.15
.05
0

-5

.1

PP
0

.2

10

Alcune statistiche che riguardano i Person Parameters (PP)

-5

0
PP

Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Lanalisi multilivello
La gerarchia dei dati dovrebbe prevedere tre livelli:
studenti entro corsi, corsi entro docenti.
.

Docenti

.
.

Corsi
Studenti

Problema: il modo in cui vengono rilevati i questionari fa s che la gerarchia

nella struttura dei dati preveda i questionari come unit di primo livello e i corsi
come unit di secondo livello anche se di fatto la struttura dei dati pi
complessa.
Rasch Analysis - Milano-28/6/2004

13

Misure di Rasch e questionari di valutazione della didattica

.
.

Docenti (non
sono distinguibili)
Corsi

Questionari
Studenti (compilano
pi questionari in
modo anonimo)

Cross-classificazione tra studenti e

questionari (non pu essere
considerata nel modello)

Si utilizzer pertanto un modello ML classico a due livelli

Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Modello finale: Modello multilivello con intercetta casuale

Variabili esplicative
"Empty model"
Effetti Fissi

Costante
Buono
Studentessa
Anno superiore al secondo
Pi del 60%
Obbligatorio
Docente femmina
Effetti casuali
Varianza tra i questionari
Varianza tra i corsi
Correlazione intra-corso
Devianza

Stima

0.948

Modello ML

S.E.

Stima

0.152

1.378
0.384
-0.374
0.158
-0.427
0.153
-0.364
0.191
0.741
0.252
-0.584
0.291
-0.535
0.303
Stima
S.E.
1.684
0.141
0.722
0.221
0.300
1222.796

Stima
S.E.
1.753 0.142
0.886 0.239
0.360
1295.230

S.E.

Modello ad E.F.
Stima

S.E.

1.456
-0.450
-0.470
-0.194
0.626
-0.334
-1.031
Stima
2.285

0.355
0.176
0.168
0.176
0.279
0.189
0.177
S.E.
0.174

1263.958

Esiste una reale differenza tra

corsi per quanto riguarda il
livello di soddisfazione

a livello individuale:
voto alle scuole medie
inferiori e superiori,
genere, tipo di diploma,
et allimmatricolazione,
numero di esami
superati, percentuale di
lezioni seguite, ecc.;
a livello di corso: tipo
(obbligatorio o meno),
genere del docente del
corso.

Rasch Analysis - Milano-28/6/2004

14

Misure di Rasch e questionari di valutazione della didattica

Intervalli di confidenza simultanei per i residui delle unit di

secondo livello (corsi)
consentono il confronto tra i diversi corsi
esprimono il valore aggiunto dato dal corso alla
soddisfazione degli studenti.

Corsi che sono

poco apprezzati
dagli studenti

-2

r esidui a livello corso

-1
0
1

Corsi che sono

molto apprezzati
dagli studenti

20

corsi

40

60

Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Osservazioni conclusive
Con il modello di Rasch si potuto esaminare gli
effetti dovuti alla scala di misurazione.
E stato possibile ottenere una misura della
soddisfazione degli studenti su una scala
intervallare.
Utilizzando
questa
misura
come
variabile
dipendente in un modello multilivello
si potuto verificare che il corso influenza la
soddisfazione;
si sono individuate delle variabili, sia a livello
individuale che a livello di corso, che influenzano
la soddisfazione degli studenti.
Rasch Analysis - Milano-28/6/2004

15

Misure di Rasch e questionari di valutazione della didattica

Osservazioni conclusive
Con il modello di Rasch si ottenuta una misura della
soddisfazione degli studenti in una scala intervallare;
Utilizzando questa misura come variabile dipendente in un
modello multilivello
si potuto verificare che il corso influenza la soddisfazione;
si sono individuate delle variabili, sia a livello individuale che
a livello di corso, che influenzano la soddisfazione degli
studenti.
Sviluppi futuri della ricerca:
Incorporare nel modello anche un effetto dovuto allitem
Introdurre direttamente nel modello di Rasch leffetto corso.

Rasch Analysis - Milano-28/6/2004

-4

St andardized values of (linres)

-2
0
2

La valutazione di un Servizio - Modello di Rasch & Modello Multilevel

-2

0
Inverse Normal

-2

-4

-1

( mean) postm1
0

St andardized values of (linres)

-2
0
2

-4

.5

1
(mean) p

1.5

-.5

.5

1
linear predictor

1.5

Rasch Analysis - Milano-28/6/2004

16

Misure di Rasch e questionari di valutazione della didattica

Effetti sulla valutazione

dovuti allo strumento
di misurazione
(questionario)
In particolare:
attenzione sugli effetti prodotti
dalluso di due diverse scale
utilizzate per le risposte ai
diversi items del questionario

Caratteristiche
(individuali e non)
che influenzano la
soddisfazione
In particolare:
attenzione sugli effetti prodotti
sulla soddisfazione da
caratteristiche sia individuali
che legate al corso

Rasch Analysis - Milano-28/6/2004

Misure di Rasch e questionari di valutazione della didattica

Un semplice modello multilivello

Modello con intercetta casuale a due livelli
Le unit di primo livello sono raggruppate in M unit di secondo livello (o
gruppi);
Ciascuna unit di secondo livello ha numerosit Nm , m=1,,M;
m lindice che identifica le unit di secondo livello;
n lindice che identifica le unit di primo livello;
relativamente alla n-esima unit di primo livello appartenente alla m-esima
unit di secondo livello si ha che
Ynm la variabile dipendente;
whnm la h-esima variabile esplicativa (a livello individuale), h=1,,H;
h=1,,H;
relativamente alla m-esima unit di secondo livello si ha che
zkm la k-esima variabile esplicativa (a livello di gruppo), k=1,,K.
k=1,,K.

Rasch Analysis - Milano-28/6/2004

17