Docentes: Professor Doutor Joo Filipe Matos e Professora Doutora Neuza Pedro Instituto de Educao da Universidade de Lisboa
Lisboa 2010 Anlise crtica 2
ANLISE CRTICA DE UM ARTIGO CIENTFICO
Explicitao das razes que levaram escolha do artigo. No mbito da cadeira de Metodologias de Investigao I, do Mestrado em Educao, rea de especializao em TIC e Educao, foi-nos proposta a realizao de uma anlise crtica de um artigo de investigao que contenha uma componente emprica de recolha de dados. Assim, atendendo a que sou professora de Matemtica do Ensino Secundrio, atenta e preocupada em promover o sucesso dos meus alunos, a escolha do artigo A adopo do quadro interactivo pelos professores de matemtica do 3. CEB: um estudo emprico nas escolas da Guarda de Vicente e Melo (2009), prendeu-se com o facto de, por um lado, corresponder aos critrios exigidos e, por outro lado, vir ao encontro da minha curiosidade, quer sobre a utilizao dos quadros interactivos (QI) na Educao, pois hoje esta ferramenta est presente praticamente em todas as escolas portuguesas, quer sobre como investigar para compreender a utilizao das TIC, em geral, na Educao, com vista a melhorar a qualidade do processo de ensino/aprendizagem. Alm disso, contribuiu tambm para o meu interesse no artigo, o facto de o mesmo abordar uma realidade pouco conhecida e de o estudo ser bastante recente.
Identificao do problema de investigao tratado no artigo, do objectivo da investigao, das questes de investigao e da estratgia geral com que abordado no artigo. O objectivo da investigao, apresentado de forma clara, contribuir para uma reflexo que permita uma utilizao mais profcua do QI, compreendendo e analisando as prticas desenvolvidas pelas escolas e professores de Matemtica na utilizao desta ferramenta tecnolgica, uma vez que tm sido publicados poucos estudos que estudem as experincias de Anlise crtica 3
introduo e utilizao desta tecnologia na sala de aula. Os autores pretenderam ainda com este estudo, apoiar os professores e rgos de gesto das escolas, identificando os factores chave de sucesso que permitam uma integrao mais eficiente do QI. Est, portanto, justificada a pertinncia do estudo. O problema de investigao consistiu em analisar como foi feita a adopo do QI pelos professores no terreno (Vicente e Melo, 2009, p.42). As questes de investigao, apresentadas na introduo do artigo, so claras: 1) Como foi feita a integrao dos QI na escola e na sala de aula pelos professores de Matemtica do 3. CEB? 2) Quais foram os factores que facilitaram e condicionaram a utilizao dos QI na sala de aula? 3) Quais so as expectativas dos professores em relao ao QI no ensino? (Vicente e Melo, 2009, p.42). Estas questes esto bem definidas e so coerentes com o problema e objectivo de investigao. Os autores do artigo em anlise indicam de forma clara o estilo ou abordagem de investigao. O estudo seguiu, segundo os seus autores, uma metodologia qualitativa. De acordo com Bogdan e Biklen (1994, citado por Tuckman, 2005) so cinco as caractersticas fundamentais da investigao qualitativa: o ambiente natural constitui a fonte privilegiada dos dados, essencialmente descritiva, o processo mais importante do que os resultados, os dados so analisados de forma essencialmente indutiva e interessa-se sobretudo pelo significado das coisas. De facto, de acordo com estas caractersticas, penso que o estudo assenta numa abordagem qualitativa. Os autores referem ainda que o estudo foi orientado pelos paradigmas racionalista e naturalista. Atendendo aos instrumentos de recolha de dados utilizados no estudo e forma como o estudo foi efectuado, penso que a classificao est correcta. No entanto, de acordo com a classificao proposta no mbito da cadeira de Metodologias de Investigao I, situo esta Anlise crtica 4
investigao no paradigma construtivista (interpretativo), dado que na anlise do processo de integrao dos QI na sala de aula, considerado o contexto scio-cultural e a anlise interpretativa foi essencial no tratamento dos dados do estudo.
Indicao do estilo ou abordagem de investigao relatada no artigo e da adequao dessa abordagem ao problema formulado, aos objectivos do estudo e s questes de investigao. A estratgia utilizada, de acordo com os autores do artigo, foi o estudo de caso, ou mais especificamente, o estudo de casos mltiplos, nas cinco escolas do 3. CEB, da cidade da Guarda. Considero a estratgia adoptada adequada ao problema, objectivo e questes de investigao, atendendo quer natureza destas ltimas, quer ao pouco conhecimento que existe sobre a utilizao dos QI na sala de aula, em Portugal, e ao baixo grau de controlo sobre a situao em anlise. Segundo os autores do artigo em anlise, o estudo foi repetido cinco vezes como forma de comparar os modos de procedimento dos professores nas vrias escolas, o que permitir descobrir semelhanas entre os casos e assegurar um maior alcance e verosimilhana dos resultados. Na verdade, penso que o facto de se terem utilizado cinco escolas, em vez de uma ou duas, por exemplo, aumenta significativamente a consistncia do estudo.
Indicao da(s) metodologia(s) de recolha, da instrumentao e da anlise de dados usadas na investigao relatada, da amostra e da conduo da investigao no terreno. A recolha de dados, em cada estudo de caso, desenvolveu-se, segundo os autores do artigo, em duas fases. Numa 1. fase realizaram-se questionrios aos professores de Matemtica do 3. Anlise crtica 5
CEB, com vista a obter-se informao sobre a sua utilizao das Tecnologias de Informao e Comunicao (TIC) na sala de aula, bem como a sua opinio/utilizao de QI na disciplina (Vicente e Melo, 2009, p.45). Numa 2. fase realizaram-se entrevistas semi-estruturadas aos coordenadores de Matemtica ou do projecto do Plano de Aco para a Matemtica (PAM), de forma a identificar como que os QI foram introduzidos na escola e na disciplina (Vicente e Melo, 2009, p.46). Os autores justificam a utilizao conjunta dos dois instrumentos de recolha de dados (questionrios e entrevistas) pelo facto desta complementar a ptica dos professores sobre o processo de integrao dos QI na disciplina de Matemtica. Esclarecem tambm que o aspecto quantitativo do estudo possibilitou desvendar e dimensionar as prticas profissionais dos professores e que o aspecto qualitativo permitiu a sua compreenso. Alm disso, os autores justificam a opo relativa escolha dos informantes das entrevistas (coordenadores de Matemtica ou do PAM) pelo facto de estes possurem, provavelmente, mais informao pertinente para o estudo. De acordo com os objectivos do estudo, com as questes de investigao e, atendendo s justificaes apresentadas pelos autores do artigo, a escolha dos instrumentos adequada e a sua utilizao conjunta enriquece o estudo. Percebe-se ainda que foi criado um guio de entrevista, o que se adequa entrevista semi-estruturada. No entanto, no referido no artigo, se o questionrio foi validado e como, o que pode ser considerado um ponto fraco. A amostra seleccionada para o estudo, claramente definida, constituda por 23 professores de Matemtica das cinco escolas com 3. CEB da cidade da Guarda. Para Stake (1995, citado por Coutinho e Chaves, 2002) o estudo de caso no uma investigao baseada em amostragem. No se estuda um caso para compreender outros casos, mas para compreender o caso. Desta Anlise crtica 6
forma, a escolha da amostra num estudo de caso, no se rege por regras probabilsticas, mas seleccionada de forma intencional. Podemos assim classificar a amostragem, como amostragem no probabilstica, propositada, visto, no estudo em causa, a amostra representar-se a si prpria e no uma determinada populao e, no se pretender generalizar concluses. Penso que, no entanto, os autores poderiam ter referido o porqu de s terem escolhido professores do 3. CEB e no, por exemplo, professores do nvel secundrio e porque escolheram apenas escolas de uma cidade, pois considero que o estudo seria mais rico se as cinco escolas no pertencessem todas mesma cidade. Relativamente anlise e discusso dos resultados, os autores do artigo comeam por referir que o estudo foi efectuado no ano lectivo 2007/2008, caracterizam os professores quanto idade e sexo e, tal como se deve, identificam as escolas e os respectivos professores informantes por letras do abecedrio, com vista a garantir o anonimato e a confidencialidade dos dados recolhidos. Os autores efectuam a anlise dos dados, recorrendo quantificao e categorizao dos dados e apresentao de grficos, facilitando assim a leitura e discusso dos mesmos. No entanto, a metodologia de anlise de dados omissa em certos aspectos. O facto de no termos, por exemplo, acesso a todos os resultados do estudo, aos guies das entrevistas e aos questionrios, dificulta-nos a percepo sobre se a anlise dos dados foi efectuada de forma adequada. Tal pode ser considerado como um ponto fraco do artigo. Ao efectuarem a discusso dos resultados, apresentam, de acordo com as questes de investigao apresentadas na introduo do artigo, as concluses a que os dados permitem chegar e fazem ainda, tal como se deve, o confronto entre as concluses obtidas neste estudo e a reviso da literatura.
Anlise crtica 7
Identificao e preocupao demonstrada com questes ticas, bem como, com os parmetros e indicadores de qualidade (validade e fidedignidade), nomeadamente com a coerncia revelada no design de investigao, adequao entre objectivos/questes, dados recolhidos, inferncias, resultados e concluses apresentadas. Relativamente s questes ticas, no h informao no artigo que permita concluir se foram ou no tidas em conta, por exemplo, as orientaes constantes dos pontos 10 e 11 do documento Revised Ethical Guidelines for Educational Research da British Educational Research Association (2004), relativas ao consentimento informado por parte dos participantes. Alm disso, tambm no dispomos de informao sobre se foi solicitada ou no, s escolas participantes do estudo, autorizao aos respectivos Conselhos Executivos, para a realizao do estudo. Por outro lado, com vista a garantir o total anonimato dos participantes (ponto 23 do Revised Ethical Guidelines for Educational Research), parece-me que se poderia ter evitado revelar a cidade onde se escolheram as cinco escolas em que o estudo decorreu. No que concerne aos indicadores de qualidade, validade e fidedignidade, os autores revelam claramente a preocupao que tiveram com os mesmos. Segundo Punch (1998, citado por Coutinho e Chaves , 2002), a validade interna de um estudo refere o rigor ou preciso dos resultados obtidos, ou seja, o quanto as concluses obtidas representam e/ou explicam a realidade estudada. Para que o investigador aumente a credibilidade das interpretaes que faz, dever, segundo Stake (1995, citado por Coutinho e Chaves, 2002), recorrer a um (ou vrios) protocolos de triangulao que existem para o efeito: triangulao das fontes de dados . . . . triangulao do investigador . . . . triangulao da teoria . . . . triangulao metodolgica. Pode referir-se que o estudo tem em considerao todos estes protocolos, excepto o da triangulao do Anlise crtica 8
investigador, sobre o qual no temos informao no artigo. Assim sendo, apesar de no sabermos se os questionrios foram validados, penso que foi assegurada a validade interna do estudo. No que diz respeito questo da fiabilidade de um estudo cientfico, segundo Mertens, Schofield e Yin, (1998, 1993, 1994, citados por Coutinho e Chaves, 2002), a mesma est relacionada com a possibilidade de diferentes investigadores, utilizando os mesmos instrumentos poderem chegar a resultados idnticos sobre o mesmo fenmeno. Assim sendo, apesar de os autores do artigo em anlise referirem que o estudo fidedigno por terem seguido o protocolo de estudo de caso e do desenvolvimento da base de dados do estudo de caso (Vicente e Melo, 2009, p.46), na verdade no temos acesso a essa base de dados e penso que no so apresentados no artigo em anlise, alguns dos elementos que nos permitam replicar os resultados, na medida em que, tal como j referi anteriormente, no temos, por exemplo, acesso a todos os resultados do estudo, aos guies das entrevistas e aos questionrios. Finalmente, na concluso, refere-se detalhadamente as concluses relativas a cada uma das questes de investigao, fundamentadas nos resultados obtidos. Relativamente primeira questo de investigao, concluiu-se que a integrao dos quadros nas escolas foi realizada de forma deficiente, no que diz respeito coordenao, planificao ou orientao pedaggica (Vicente e Melo, 2009, p.53) e que a formao dos professores foi efectuada entre os colegas da escola. Quanto segunda questo de investigao, concluiu-se que os factores facilitadores da utilizao dos QI so: possibilidade de utilizao de vrios recursos em simultneo, o aumento da motivao dos alunos e a sua utilidade na explicao de contedos complexos (Vicente e Melo, 2009, p.53). Concluiu-se tambm que os obstculos utilizao dos QI se prenderam com: a falta de equipamento, a dificuldade de acesso aos mesmos, a falta de formao e a necessidade de tempo de preparao dos materiais (Vicente e Melo, 2009, p.53). No que Anlise crtica 9
concerne terceira questo de investigao, concluiu-se que a utilizao do QI no aumenta directamente o sucesso dos alunos, mas um dos factores que pode contribuir para tal. (Vicente e Melo, 2009, p.53). Os autores do estudo em anlise no cederam tentao de inferir as concluses do estudo para outros locais do pas: Os autores acreditam, todavia, que a realidade estudada nestas escolas poder ser semelhante realidade encontrada em vrios outros locais do pas. (Vicente e Melo, 2009, p.53). Tal era evitvel e em nada enriquece o estudo. Os autores referem ainda que o estudo por eles efectuado pode ser importante para ajudar, por um lado, os gestores escolares a tomarem decises, nas escolas, relativas implementao e utilizao, na sala de aula, das TIC e, por outro lado, a definir melhor os programas de formao de professores. Alm disso, sugerem, tal como se deve fazer num estudo desta natureza, a realizao de outros estudos.
Uma avaliao crtica do artigo na sua globalidade com indicao de questes crticas que o artigo levante em termos metodolgicos. O ttulo claro e informativo, embora longo. Penso tambm que se poderia ter evitado incluir o nome da cidade onde o estudo foi efectuado, de forma a garantir total anonimato dos informantes. Esto mencionados os endereos electrnicos dos autores do artigo de forma a possibilitar o contacto com os mesmos. O artigo, em termos de estrutura, apresenta: um resumo onde refere o interesse do tema em estudo, o objectivo do estudo e os resultados do mesmo, as palavras-chave, uma introduo onde refere claramente o problema de investigao e as questes de investigao, uma seco Anlise crtica 10
destinada reviso da literatura com interesse para a temtica em estudo, a metodologia de investigao, a anlise e discusso dos resultados, as reflexes finais e as referncias bibliogrficas. De acordo com Tuckman (2005), a estrutura do artigo adequada. A linguagem utilizada ao longo do artigo clara e permite uma leitura fcil e agradvel. Os autores do artigo enunciam de forma clara e coerente, o objectivo, o problema e as questes de investigao e, justificam o interesse do estudo. No efectuada a formulao de quaisquer hipteses. A reviso de literatura actual e adequada ao problema em estudo. No que respeita metodologia de investigao, penso que, tal como j referi anteriormente, adequada ao problema e est devidamente fundamentada. No entanto, na minha perspectiva, faltou descrever alguns pontos importantes de uma investigao deste tipo, nomeadamente: porque a amostra incluiu apenas professores do 3. CEB, porque foram escolhidas apenas escolas da cidade da Guarda, como foi validado o questionrio aplicado e como foi obtido o consentimento dos professores informantes e das escolas envolvidas no estudo. Deveriam ainda constar em anexo, o questionrio e o guio da entrevista, com vista a aumentar a fiabilidade do estudo. De facto, segundo Yin (1994, citado por Coutinho e Chaves, 2002), o investigador deve fazer uma descrio de um estudo de caso, de modo to pormenorizado quanto possvel, para permitir a sua replicao. A seco destinada anlise dos resultados perde por serem omissos alguns dados e por no conhecermos o questionrio e o guio da entrevista. No entanto, so apresentados nesta seco, grficos que facilitam a leitura e interpretao dos dados. A discusso dos resultados tem uma sequncia adequada, responde s questes levantadas na introduo e, tal como se deve, faz o confronto das principais concluses da investigao em anlise, com a literatura. Anlise crtica 11
Os autores terminam o artigo, com as reflexes finais, onde apresentam as concluses do estudo e as contribuies e implicaes. As concluses so apresentadas de forma clara e em funo das questes de investigao. Os autores, tal como se deve, sugerem ainda, como j referi no ponto anterior, a realizao futura de outros estudos complementares e de aprofundamento da temtica em anlise. No entanto, no so referidas quaisquer limitaes ao estudo realizado, o que pode ser encarado como um ponto fraco deste estudo. As referncias bibliogrficas contm toda a bibliografia citada no texto, esto apresentadas de forma correcta, incluem autores actuais e de referncia na rea de estudo do artigo em anlise. Em termos globais e por tudo o que j referi, considero o artigo em anlise, um artigo cientfico de qualidade, que revela coerncia entre o todo e a metodologia de investigao. Alm disso, considero-o tambm uma contribuio muito interessante e importante no actual panorama educativo portugus, uma vez que, por um lado, os QI esto praticamente presentes em todas as escolas de Portugal, como resultado do PAM e do Plano Tecnolgico e, por outro lado, so praticamente inexistentes, em Portugal, estudos sobre a implementao e utilizao dos QI na Educao.
Anlise crtica 12
Referncias
British Educational Research Association. (2004). Revised Ethical Guidelines for Educational Research. Acedido a 29 de Dezembro de 2009 em http://www.bera.ac.uk/files/2008/09/ethica1.pdf
Coutinho, Clara Pereira e Chaves, Jos Henrique (2002). O estudo de caso na investigao em tecnologia educativa em Portugal. Revista Portuguesa de Educao, 15(1), 221-243.
Tuckman, B. (2005). Manual de Investigao em Educao. (3 ed.). Lisboa: Fundao Calouste Gulbenkian.
VICENTE, C. e MELO, N. (2009, Novembro). A adopo do quadro interactivo pelos professores de matemtica do 3. CEB: um estudo emprico nas escolas da Guarda. Educao, Formao & Tecnologias, vol.2 (2), 41-57. Acedido a 17 de Dezembro de 2009 em http://eft.educom.pt/index.php/eft/article/viewFile/93/67