Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

No contexto da Educao das Profisses de Sade

Verso Preliminar

Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

INSTITUTO INNOVARE Presidente Dra. Slvia Mamede Studart Soares Diretor Administrativo-Financeiro Dr. Jos Batista Cisne Tomaz Diretor Tcnico Dr. Jlio Csar Penaforte Responsvel pela Elaborao deste Guia Dr. Jos Batista Cisne Tomaz MD, MHPE

Este material regido pelas leis nacionais e internacionais de direitos de propriedade intelectual, de uso restrito do Instituto Innovare. Sua reproduo parcial ou total, de qualquer forma ou por qualquer meio s permitida com autorizao. A violao dos direitos autorais (Lei 5.988/73) crime estabelecido pelo Art. 184 do Cdigo Penal.

2006 INSTITUTO INNOVARE. TODOS OS DIREITOS RESERVADOS. http://www.innovare.org.br

Fortaleza, Setembro de 2006

Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

Introduo

Elaborar questes de mltipla escolha (QME) uma cincia emergente. Ainda h poucos estudos cientficos que fundamentam o processo de construo deste tipo de itens. Boa parte das orientaes est baseada num conjunto de regras e normas propostas por alguns educadores especialistas em avaliao, muito mais fruto da experincia do que em investigaes com rigor cientfico. Embora em nmero reduzido, alguns estudos mais recentes tm contribudo para um melhor entendimento do processo de como elaborar e como no elaborar QME.

As normas e recomendaes aqui apresentadas so baseadas principalmente na proposta de Haladyna (1994), com o acrscimo de contribuies de outros autores (Linn & Gronlund,1995; Norman, 1995). O objetivo fornecer uma srie de princpios e procedimentos para orientar os elaboradores de QME, no contexto da Educao das Profisses de Sade. Deve-se ressaltar, portanto, que os elaboradores de QME apliquem tais normas com certa cautela e no de maneira muita rgida.

Apresentamos cada uma das regras agrupadas em sete categorias, seguindo quase a mesma estrutura proposta por Haladyna (1994), por ach-la clara e conveniente para os nossos propsitos. So elas: i) Orientaes gerais; ii) Normas e recomendaes relacionadas ao contedo; iii) Normas e recomendaes relacionadas construo do enunciado; iv) Normas e recomendaes gerais relacionadas ao desenvolvimento das opes; v) Normas e recomendaes relacionadas ao desenvolvimento da opo correta; vi) Normas e recomendaes relacionadas ao desenvolvimento dos distratores; e vii) Normas e recomendaes genricas. Para cada regra fazemos alguns comentrios, explicando o seu uso e, em algumas delas, damos alguns exemplos.

Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

Orientaes gerais

1. Use tanto o formato a resposta correta quanto a melhor resposta No formato a resposta correta o examinando deve distinguir uma resposta correta de algumas respostas erradas (distratores). Exemplo: Dentre os antihipertensivos listados abaixo, qual o que pertence ao grupo de bloqueadores do canal de clcio? a) Furosemide b) Nifedipina c) Propanolol d) Metil-dopa e) Captopril No formato a melhor resposta, todas as opes esto corretas, mas uma delas a melhor resposta dentro do contexto apresentado na questo. Este formato parece mais adequado para medir objetivo cognitivo mais complexo como a capacidade de avaliao do examinando. Exemplo: Um paciente do sexo masculino de 45 anos, fumante, apresenta dor precordial aguda, que tem piorado de maneira progressiva nas ltimas horas, irradiando-se para o brao esquerdo e pescoo e desconforto respiratrio. Qual o diagnstico mais provvel? a) Pericardite b) Embolia pulmonar c) Infarto do miocrdio d) Angina e) Espasmo esofagiano 2. Evite formatos de mltipla-escolha complexos (por exemplo, tipo K) Consistentes estudos mostram que QME neste formato so mais difceis, exigem mais tempo para leitura, tm um ndice de discriminao menor e so menos confiveis. Por isso devem ser evitadas.

Exemplo: Se 10.000 mulheres sem nenhum fator de risco fazem mamografia para checar se tm cncer de mama, cerca de 50 tero cncer de mama confirmado por testes

Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

subseqentes. Das 50, cerca de 15 tero uma mamografia negativa. Das 9.950 mulheres sem cncer, cerca de 700 tero uma mamografia positiva.

1. 2. 3. 4. 5.

A sensibilidade 35/50= 70% A especificidade 9.950/10.000 99,5% O valor preditivo positivo 35/735 = 5% A prevalncia 35/10.000 = 0,35% O valor preditivo negativo 15/50 = 30% Marque: a) se 1) e 3) forem corretas. b) se 2) e 4) forem corretas. c) se 1), 2) e 3) forem corretas. d) se todas forem corretas. e) se nenhuma for correta.

3. Formate o item verticalmente, no horizontalmente recomendado formatar as alternativas verticalmente e no horizontalmente, para facilitar a leitura e dar uma melhor aparncia ao teste. Exemplo: RECOMENDADO Qual dos seguintes antihipertensivos pertence ao grupo dos bloqueadores do canal de clcio? a) Furosemide b) Nifedipina c) Hidroclotiazida d) Metil-dopa e) Propanolol

NO RECOMENDADO Qual dos seguintes antihipertensivos pertence ao grupo dos bloqueadores do canal de clcio? a) Furosemide b) Nifedipina c) Hidroclotiazida d) Metil-dopa e) Propanolol 4. Permita-se tempo para edio e revises do teste Segundo Steve Downing do American Board of Internal Medicine, um experiente construtor de QME, cerca de 40% de novos itens podem falhar quando utilizados pela primeira vez. Por isso, recomendado que todos os itens passem por uma reviso editorial (ortografia, pontuao, gramtica, estilo etc.) e outros tipos de revises,

Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

incluindo uma checagem com as principais normas para elaborao de QME aqui apresentadas, checagem se a opo certa realmente a correta, checagem do contedo para verificar se cada item representa uma amostra relevante do contedo a ser avaliado, reviso de possveis bias estatstico (grau de dificuldade, ndice de discriminao) e bias de julgamento (equidade do teste para diferentes grupos de examinandos). Finalmente fundamental fazer um pr-teste do exame com um pequeno grupo de potenciais examinandos, principalmente em situaes de alto interesse, como processos seletivos, de certificao profissional, de titulao de especialidades etc.

5. Use a melhor gramtica, pontuao e ortografia, de modo consistente. Um teste com freqentes erros de gramtica ou ortografia pode dar a impresso de que foi elaborado sem muito zelo. Esses tipos de erros comprometem a validade do teste e muitas vezes podem confundir os examinandos. Da a importncia da reviso editorial proposta anteriormente. 6. Minimize o tempo de leitura do examinando QME muito extensas requerem mais tempo para leitura, o que diminui a quantidade de itens em um determinado perodo de tempo. Isso diminui a confiabilidade do teste, por isso deve ser evitado. A nica exceo quando se quer medir objetivos de aprendizagem complexos, de alto nvel cognitivo. 7. Evite cascas de banana, aquelas armadilhas em que caem bons e maus alunos. H dois tipos de armadilhas: as intencionais e as acidentais. Ambas devem ser terminantemente evitadas. Elas so prejudiciais, podendo at desenvolver nos examinandos um sentimento de desconfiana e desrespeito pelo processo avaliativo. Exemplos: questes com contedos ultraespecficos, de rodap de livro; questes com contedos no aprendidos ou no includos nas especificaes do teste; questes com alto ndice de dificuldade, que nem os melhores examinandos so capazes de responder corretamente; questes no adequadas para o nvel dos examinandos etc..

Normas e recomendaes relacionadas ao contedo

8. Baseie cada item em um relevante objetivo educacional ou instrucional. No contexto do ensino-aprendizagem, o processo de elaborao de cada QME deve ser baseado nos objetivos de aprendizagem do tipo cognitivo estabelecidos para determinado programa educacional. A lista de objetivos de aprendizagem delimitam o

Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

contedo a ser avaliado o que fundamental para aumentar o grau da validade do teste. No caso de testes para certificao profissional ou relacionados a processos seletivos, o mtodo para elaborar e identificar QME deriva de uma definio clara de tpicos e temas (contedo) a serem avaliados e includos no teste. Tal definio depende de estudos que identificam papis, atribuies e competncias, bem como os conhecimentos, habilidades e atitudes necessrios para o exerccio de determinadas profisses, como a medicina, ou especificamente alguma de suas diversas especialidades. 9. Focalize cada item em um problema nico Cada QME deve ser focalizada em uma nica idia, que pode ser um fato, um conceito, um princpio ou um procedimento. Para se medir diferentes idias, ou processos mentais complexos recomendado que se faa uma bateria de itens, um para cada idia ou tipo de contedo, como feito no conjunto de QME no formato contexto-dependente. Por exemplo, faa QME separadas para tratamento; diagnstico;complicaes, etc. Exemplo: RECOMENDADO Paciente do sexo masculino de 55 anos, fumante, chega ao seu consultrio com queixa de cefalia e tontura h uma semana. PA=170x120mmHg, IMC=30. Qual o diagnstico mais provvel? a) .......... b) .......... c) ......... d) ....... e) ........

Qual seria a conduta mais adequada neste caso? a) ............. b) .............. c) ............. d) ............. e) ............ Que complicaes mais comuns poderiam acontecer neste paciente? a) ............ b) ........... c) ...............

Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

d) .............. e) ............... NO RECOMENDADO Qual das afirmativas abaixo correta em relao hipertenso arterial? a) mais prevalente em homens que em mulheres b) o tratamento inicial inclui betabloqueadores c) sua principal complicao so os acidentes vasculares cerebrais d) O principal recurso diagnstico o ECG e) Cerca de 50% dos indivduos portadores possuem a forma secundria. 10. Mantenha o vocabulrio consistente com o nvel de compreenso dos examinandos O que se quer medir em um teste cognitivo na rea da sade o alcance de diversos objetivos de diferentes graus de complexidade estabelecidos em um programa educacional ou nas especificaes do teste, e no a capacidade de leitura. Dessa maneira, o vocabulrio utilizado na QME deve ser o mais simples possvel, de maneira que o examinando entenda o que se est perguntando. Por exemplo, recomendado que se d tanto nomes comerciais quanto genricos de drogas; evite usar itens com dosagens de drogas. Evite usar abreviaes pouco conhecidas. Isso torna o item desnecessariamente complicado e compromete a validade do teste. 11. Evite dar pistas de uma questo para outra comum que inexperientes elaboradores de QME forneam dicas para responder um item em diferentes questes. Muitos examinandos experientes procuram tais pistas em outras questes. Assim, recomendado que se mantenha os itens independentes uns dos outros, mesmo quando correlacionados a um mesmo problema ou enunciado. 12. Evite conhecimentos ultraespecficos (rodaps de pgina de livro-texto) Como afirmado em normas anteriores, as QME so elaboradas para medir um determinado domnio do conhecimento normalmente expresso em objetivos de aprendizagem ou estabelecido nas especificaes do teste. Na prtica, o que se consegue medir uma amostra deste domnio, e quanto maior for esta amostra, maior a confiabilidade do teste. Portanto, para aumentar a confiabilidade do teste, as QME devem abranger uma maior poro do domnio do conhecimento, ou seja, ter uma certa generalidade e no devem ser muito especficas. 13. Evite citaes de autores (p.ex., Harrison, na pgina 53 do livro Tratado de Clnica Mdica, diz... No recomendado retirar frases inteiras de livros-textos e nem citar o autor ou o livro ao elaborar QME. Isso torna o item muito artificial e, muitas vezes, facilitam a resposta do examinando mais experiente, comprometendo a validade e confiabilidade do teste,

Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

alm de ter um efeito negativo de estimular a memorizao factual, ao invs de promover o desenvolvimento de operaes cognitivas de mais alto nvel, como compreenso, anlise e capacidade para resolver problemas. 14. Evite itens que so baseados em opinies QME baseadas em opinies geralmente so ambguas e passveis de causar confuso. Se utilizadas, a opinio deve ter o suporte de inquestionveis evidncias e, para torn-la mais clara, deve ser qualificada. Exemplo: NO RECOMENDADO Qual o pas que, na atualidade, tem o melhor sistema de sade da Amrica Latina? a) Cuba b) Brasil c) Argentina d) Colmbia e) Chile No est claro o significado de melhor. Melhor em que termos? PODE SER USADO Em termos de melhoria de indicadores da ateno primria sade, qual o pas que tem atualmente o melhor sistema de sade da Amrica Latina? a) Cuba b) Brasil c) Argentina d) Colmbia e) Chile Aqui o significado de melhor est qualificado e torna a questo mais clara. 15. Use itens de mltipla-escolha para mensurar raciocnio, e no somente memorizao O grande desafio dos elaboradores de QME construir itens que meam operaes cognitivas de alto nvel, como o raciocnio crtico e no apenas a memorizao de fatos isolados. Alis, o grande argumento dos crticos de testes que utilizam QME exatamente o fato de que tais testes medem apenas a capacidade de resgate da memria de informaes factuais. Esforo deve ser feito para se elaborar itens que testem a capacidade de interpretao e/ou resoluo de problemas, de anlise, de sntese e de avaliao e julgamento, de acordo com a taxonomia de Bloom, por exemplo. As QME no formato contexto-dependente podem ser adequadas para esse tipo de avaliao.

Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

16. Considere itens que avaliem material/ contedo realmente relevante e significante Esta norma complementa muitas outras apresentadas anteriormente. Uma dvida comum que surge ao elaborar QME que contedo incluir. Parece bvio que os contedos relevantes devem ser priorizados. Contedos triviais devem ser evitados. A relevncia dos contedos geralmente relativa e, muitas vezes, subjetiva. No entanto, pode-se avaliar a relevncia de um contedo tomando-se como base o conjunto de competncias e objetivos de aprendizagem estabelecidos pelo programa educacional ou as especificaes do teste a ser realizado, dando nfase queles relacionados aprendizagem significativa e os referentes aos processos cognitivos de nvel mais elevado.

Normas e recomendaes relacionadas construo do enunciado

17. Elabore seu enunciado sob a forma de uma pergunta ao invs do formato de completar De preferncia, deve-se escrever o enunciado em forma de pergunta. Isso o torna mais direto e mais fcil de entender. Qualquer artifcio que facilite a leitura e o entendimento do enunciado deve ser utilizado. Estudos tm mostrado que o formato de completar requer mais tempo de leitura e provoca mais ansiedade no examinando, o que indesejvel. Em suma, o enunciado no formato de pergunta melhor do que o de completar do ponto de vista de compreenso da leitura, tempo de resposta, grau de ansiedade e qualidade do item. Exemplo: MAIS RECOMENDADO Qual dos seguintes anti-hipertensivos pertence ao grupo dos bloqueadores do canal de clcio? a) Furosemide b) Nifedipina c) Hidroclotiazida d) Metil-dopa e)

Propanolol

MENOS RECOMENDADO Dentre os seguintes anti-hipertensivos, o que pertence ao grupo dos bloqueadores do canal de clcio :

10

Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

a) Furosemide b) Nifedipina c) Hidroclotiazida d) Metil-dopa e) Propanolol

18. Se o formato de completar for usado, evite posicionar a lacuna no incio ou no meio do enunciado O uso de lacunas no incio ou no meio do enunciado deve ser evitado, por dificultar a leitura e requerer mais tempo para responder. Exemplo: NO RECOMENDADO _________________ um antihipertensivo que pertence ao grupo dos bloqueadores do canal de clcio. a) Furosemide b) Nifedipina c) Hidroclotiazida d) Metil-dopa e) Ou Dentre os seguintes antihipertensivos, __________ o que pertence ao grupo dos bloqueadores do canal de clcio. a) Furosemide b) Nifedipina c) Hidroclotiazida d) Metil-dopa e) Propanolol Propanolol

19. Garanta que as orientaes no enunciado sejam claras e que o texto permita que o aluno compreenda exatamente o que se quer perguntar Para que o teste seja vlido, imprescindvel que o examinando entenda exatamente o que a QME pergunta. comum acontecer que o enunciado no apresenta de maneira clara o problema a ser respondido. Isso acontece, por exemplo, quando no h um verbo no enunciado. Veja: Edema a) na maioria das vezes acontece na Insuficincia Cardaca. b) normalmente indica reteno de lquido c) tratado geralmente com diurticos d) pode indicar problema vascular

11

Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

O enunciado est muito vago e no indica claramente o que se quer avaliar com esta QME. Uma melhor forma poderia ser: Em que situaes clnicas comum aparecer edema de membros inferiores? 20. Evite frases ou termos desnecessrios no enunciado Um princpio importante para a elaborao de QME, j apresentado por diversas vezes em normas anteriores, reduzir o tempo de leitura. Frases e termos desnecessrios aumentam o tempo de leitura e, em algumas vezes, tiram o foco da questo. Exceo a essa regra acontece nos casos de QME elaboradas para medir processos cognitivos de alto nvel, como a capacidade de resolver problema. 21. Formule o enunciado positivamente; evite elaborao negativa H um consenso entre os pesquisadores na rea da avaliao que o uso de termos negativos no enunciado (e nos prprios distratores, como veremos adiante) tem um efeito negativo nos examinandos, alm de tornar o item desnecessariamente mais difcil de entender, muitas vezes funcionando como uma armadilha. Assim, evite as palavras NO, INCORRETO, EXCETO etc. H algumas excees a essa regra. Por exemplo, na rea da sade h prticas a serem evitadas por causa de sua natureza altamente prejudicial e perigosa. Nesse caso, interessante avaliar o no uso dessas prticas, incluindo um enunciado negativo. Quando isso for feito, recomenda-se que o termo negativo seja enfatizado: em letras maisculas, em negrito, sublinhado etc. para chamar a ateno do examinando. 22. Cuidado com os duplos negativos no enunciado Assim como na regra anterior, duplos negativos tendem a confundir o examinando, devendo ser evitados. Exemplo: No fumar no critrio para incluso em que grupo de risco? 23. Inclua a idia central e, se possvel, a maior parte do texto no enunciado Enunciados muito curtos tendem a ser confusos e ambguos (veja regra 19). Elabore-o como se o aluno pudesse responder a questo sem ver as opes, utilizando o formato de pergunta. BOM EXEMPLO Um paciente de 45 anos, fumante, tem dor precordial aguda, irradiando-se para o brao esquerdo e pescoo e desconforto respiratrio. Qual a principal hiptese diagnstica?. MAU EXEMPLO Edema a) na maioria das vezes acontece na Insuficincia Cardaca. b) normalmente indica reteno de lquido.

12

Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

c) tratado geralmente com diurticos. d) pode indicar problema vascular.

Normas e recomendaes gerais relacionadas ao desenvolvimento das opes

24. Use o maior nmero de distratores funcionais quanto possvel. Qual o nmero ideal de opes? A resposta a essa questo ainda muito controversa. H autores que recomendam a incluso de, idealmente, 5 opes (uma correta e quatro distratores), argumentando que diminuiria a probabilidade de chute, no caso, 1 em cada cinco, ou 20% de chance. Outros propem 4 ou mesmo 3 alternativas. O argumento destes autores que no adianta incluir distratores que no sejam plausveis, ou sejam, que no sejam selecionados por menos de 20% dos examinandos. Um bom distrator, segundo Haladyna (1994), aquele que selecionado pelos examinandos menos capazes e ignorados pelos mais capazes. O mesmo autor afirma que evidncias mostram que o nmero mdio de distrator funcional por item, em testes padres bem elaborados, um ou dois. Uma maneira de diminuir a probabilidade do chute influenciar o resultado final do teste aumentar o nmero de questes e estabelecer o teto mnimo, para fins de interpretao do escore final, igual ao percentual de probabilidade de chute. Por exemplo, a probabilidade de adivinhar as respostas certas em 10 QME com quatro opes cerca de 0,000000009! Se aumentarmos para 50 QME ou mais, o risco de um examinando alcanar artificialmente um alto escore no teste muito remoto. Alm disso, pode-se estabelecer o teto mnimo para 25% em testes com QME com quatro opes, 33% em testes com QME com trs opes ou mesmo 50% em testes com QME com duas opes. 25. Posicione as opes em ordem numrica ou lgica O objetivo desta norma facilitar a leitura e evitar que o examinando tenha que procurar desnecessariamente a resposta correta, diminuir o estresse e o gasto desnecessrio de tempo. Exemplo: RECOMENDADO O nmero mdio de hemcias por mm3 em um homem adulto : a) 2,5 milhes b) 3,5 milhes c) 4,5 milhes

13

Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

d) 6 milhes e) 9 milhes 26. Mantenha as opes independentes; evite sobreposies Sobreposies entre as opes podem: i) facilitar a resposta, pois as alternativas sobrepostas provavelmente no esto corretas; ou ii) se estiverem corretas, caracterizam uma QME com mltiplas respostas certas, formato que no recomendado. Exemplo: NO RECOMENDADO Qual o nmero de hemcias por mm3 considerado normal para um homem adulto? a) 2,5 a 3,5 milhes b) 3,0 a 4,0 milhes c) 4,5 a 6,0 milhes d) 6,0 a 7,5 milhes Observe que as opes a) e b) esto sobrepostas e esto erradas. RECOMENDADO Qual o nmero de hemcias por mm3 considerado normal para um homem adulto? a) 2,5 a 2,9 milhes b) 3,0 a 4,0 milhes c) 4,5 a 6,0 milhes d) 6,5 a 7,5 milhes 27. Da mesma forma que o item 9, as opes devem ser o mais homogneas possvel em termos de contedo recomendado, para evitar pistas desnecessrias para o examinando experiente em testes, que se mantenha todas as opes homogneas. Quando a QME tem trs opes similares e uma diferente, h uma tendncia de se marcar a opo dissimilar. Se ela for correta, trata-se de uma pista; se uma das opes homogneas for correta, trata-se de uma armadilha. Por isso a homogeneidade entre as opes recomenda. 28. Mantenha as opes com mais ou menos o mesmo tamanho Numa QME, a opo maior tende a ser a correta. Por isso, ao elaborar as opes, tenha o cuidado para mant-las homogneas em relao ao tamanho. Exemplo: NO RECOMENDADO Dentre as orientaes abaixo, qual a que o paciente deve seguir, quando em uso de antibiticos? a) Evitar exercitar-se. b) Esperar um perodo temporrio de remisso.

14

Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

c) Permanecer em estado de quarentena. d) Continuar a medicao mesmo aps os sintomas e desconfortos no estarem mais presentes, porque se houver uma infeco residual, a bactria pode desenvolver tolerncia droga e doses excessivas podem ser necessrias. Claramente a opo d) a correta. 29. Evite, ou use minimamente, opes como todas as acima ou nenhuma das acima O uso da opo todas as acima pode fornecer pistas para o examinando experiente em testes. Se ele tiver certeza que duas de quatro opes esto corretas, ele no precisa saber sobre as outras duas opes, e marca todas as acima. Isso diminui a validade do teste. No h lgica de se utilizar a opo nenhuma das acima, j que, com certeza em toda QME deve haver uma opo correta. Por que ento omiti-la? 30. Elabore as opes na forma positiva; evite o negativo Assim como no enunciado, e pelos mesmos motivos, recomenda-se que se evite o uso de negativos (NO, EXCETO etc.) nas opes. Se por acaso, o uso destes termos for inevitvel, tenha o cuidado de coloc-los em letras maisculas, em negrito e/ou sublinhados para chamar a ateno do examinando. 31. Evite distratores que forneam pistas muito bvias s vezes, sem perceber, os elaboradores de QME fornecem pistas bvias para a resposta correta, como repetio de termos semelhantes no enunciado e na opo, associaes esdrxulas, equvocos de concordncia, etc. Por exemplo: Qual a bactria causadora da febre tifide? a) Salmonella typhi b) Salmonella bordetelli c) Salmonella chagasi d) Salmonella tegumentei e) Salmonella americanus Observe os termos semelhantes: tifide e typhi. Veja um exemplo de uma associao ridcula: Qual o principal vetor do vrus da dengue? a) barata b) mosquito c) besouro (barbeiro) d) pulga

15

Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

Equvoco de concordncia pode fornecer pista bvia para o examinando. Ele pode simplesmente acertar ou descartar uma opo observando a pista gramatical quando se usa QME no formato de completar. Veja: Dentre as alternativas abaixo, as melhores medidas para a preveno da Dengue que devem ser realizadas pela populao so: a) vacinar todos os membros da famlia que tiveram contato com portador de dengue b) ferver todos os utenslios de uso individual, como copos, pratos, talheres etc. c) usar inseticidas para matar os mosquitos domsticos d) manter caixa dgua tampada, colocar areia em jarros e manter o quintal limpo. Observe que, apesar de o enunciado estar no plural, as opes a), b) e c) apresentam s uma medida. S a opo d) pode ser correta, pois apresenta trs medidas. 32. Evite determinantes especficos. Determinantes especficos tais como SEMPRE, NUNCA, COMPLETAMENTE, TOTALMENTE devem ser evitados nas opes (e tambm no enunciado), porque, por serem to extremos, dificilmente esto na resposta correta. Ocasionalmente, determinantes especficos podem estar na opo correta, e nesse caso, todos os distratores devem conter tambm outros determinantes especficos.

Normas e recomendaes relacionadas ao desenvolvimento da opo correta

33. Posicione de maneira equilibrada a opo correta nas QME em um teste A opo correta deve ser posicionada de tal modo que ela aparea aproximadamente o mesmo nmero de ocorrncias em cada possvel opo (a, b, c, etc). Por exemplo, para QME com cinco opes, a resposta correta deve aparecer em cerca de 20% das vezes em cada posio da opo. Isso diminui a probabilidade de chute por parte do examinando. 34. Revise cuidadosamente cada opo para assegurar-se que s haja uma nica opo correta. Assegure que haja s uma opo correta (formato resposta correta) ou s uma mais correta (formato melhor resposta) por meio de uma rigorosa reviso, baseada em evidncias, antes de utilizar o item.

16

Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

Normas e recomendaes relacionadas ao desenvolvimento dos distratores

35. Use distratores plausveis; evite distratores ilgicos. Um distrator funcional aquele que pode ser selecionado pelos examinandos menos capazes e ignorado pelos examinandos mais capazes. Para ser funcional, o distrator deve ser plausvel. De nada adianta inserir um distrator que no cumpra o seu papel e que seja selecionado por poucos examinandos ou no seja selecionado. Quando no h distratores plausveis, prefervel diminuir o nmero de opes. Veja regra 24. 36. Incorpore erros comuns dos estudantes como distratores. Uma maneira adequada de se elaborar distratores funcionais base-los em potenciais erros comuns dos examinandos. H diversos estudos que investigam os erros mais comuns de alunos em diversos nveis, em diferentes temas. O ideal, no entanto, que os elaboradores de QME busquem essa informao no prprio contexto onde o teste utilizado. 37. Use frases tcnicas, apesar de incorretas. Um bom distrator deve ser escrito de maneira que parea tecnicamente correto, apesar de incorreto. Evite distratores ilgicos (Veja norma 35). Isso diminui a probabilidade de adivinhao por parte do examinando e, por conseqncia, aumenta a validade do teste. 38. Use afirmaes corretas, mas que no respondam o item corretamente. Uma outra maneira de elaborar bons distratores usar afirmaes corretas, apesar de no responderem QME proposta.

Normas e recomendaes genricas

39. No use questes de mltipla escolha quando outros tipos so mais apropriados H situaes em que outros tipos de itens devem ser utilizados por serem mais apropriados. Por exemplo: i) Quando h somente dois tipos de respostas, o formato de escolha alternada mais eficaz; ii) Em certos casos de resoluo de problema o formato tipo resposta curta claramente superior. iii) quando se quer medir habilidades psicomotoras ou competncias, avaliao de habilidades ou testes de competncias, respectivamente, devem ser utilizados.

17

Normas e Recomendaes para Elaborao de Questes de Mltipla Escolha

40. Quebre qualquer uma destas normas quando se tiver uma boa razo para faz-lo. O jargo toda regra tem uma exceo pode ser utilizado aqui, pois, com certeza, deve haver situaes nas quais o no cumprimento rgido de algumas dessas regras pode melhorar a qualidade da QME elaborada.

Bibliografia utilizada
Haladyna, TM & Dowing SM (1989). A Taxonomy of multiple-choice item-writing rules. Applied Measurement in Education. 2(1), 40-1. Haladyna TM (1994). Developing and validating multiple-choice test items. Lawrence Erlbaum Associates, Publishers, UK. Linn RL & Gronlund NE (1995). Measurement and assessment in teaching. Merril/Prentice Hall, New Jersey, USA. Norman G (1995). Multiple Choice Questions. In: Evaluation Methods: A resource handbook. McMaster University, Hamilton Canad. Schuwirth LWT & van der Vleuten (2003). ABC of learning and teaching in medicine: Written assessment. BMJ; 326; 643-645.

18