ARTIGO ARTICLE

1649

Consistncia interna e confiabilidade da verso em portugus do Instrumento de Avaliao da Ateno Primria (PCATool-Brasil) para servios de sade infantil Internal consistency and reliability of Primary Care Assessment Tool (PCATool-Brasil) for child health services

Erno Harzheim 1 Barbara Starfield 2 Luis Rajmil 3 Carlos lvarez-Dardet Airton T. Stein 5,6

Abstract
1 Faculdade de Medicina, Universidade Federal do Rio Grande do Sul, Porto Alegre, Brasil. 2 Primary Care Policy Center for Underserved Populations, Johns Hopkins School of Public Health, Baltimore, USA. 3 Agncia dAvaluaci de Tecnologia i Recerca Mdiques, Barcelona, Espaa. 4 Departamento de Salud Pblica, Universidad de Alicante, Alicante, Espaa. 5 Departamento de Medicina Preventiva, Fundao Faculdade Federal de Cincias Mdicas de Porto Alegre, Porto Alegre, Brasil. 6 Universidade Luterana do Brasil, Canoas, Brasil. Correspondncia E. Harzheim Faculdade de Medicina, Universidade Federal do Rio Grande do Sul. Rua Ramiro Barcelos 2600, 4 o andar, sala 419 Porto Alegre, RS 90035-003, Brasil. ernoharz@terra.com.br

Introduo
Desde a Conferncia de Alma-Ata em 1978, diversos autores vm propondo definies sobre a ateno primria sade 1,2. Nos ltimos anos, principalmente no Brasil, a definio da ateno primria sade defendida por Starfield 3 vem sendo muito utilizada, inclusive pelo Ministrio da Sade 4,5. Esta define a ateno primria sade como o primeiro nvel de assistncia dentro do sistema de sade, caracterizando-se, principalmente, pela continuidade e integralidade da ateno, alm da coordenao da assistncia dentro do prprio sistema, da ateno centrada na famlia, da orientao e participao comunitria e da competncia cultural dos profissionais. Desta forma, podemos definir os quatro atributos essenciais da ateno primria sade: o acesso de primeiro contato do indivduo com o sistema de sade, a continuidade e a integralidade da ateno, e a coordenao da ateno dentro do sistema. Ademais, a presena de outras trs caractersticas, chamadas atributos derivados, qualificam as aes em ateno primria sade: a ateno sade centrada na famlia (orientao familiar), a orientao comunitria e a competncia cultural. Esses atributos podem ser avaliados separadamente, apesar de se apresentarem intimamente inter-relacionados na prtica clnica. Assim, um servio de ateno bsica dirigido populao geral pode ser considerado

Health strategies based on primary health care have been expanding in Brazil. An instrument applied to users, the Primary Care Assessment Tool (the PCATool), which measures the extent of primary care, has been validated in the United States. We sought to adapt the PCATool to Brazil and analyze its validation and reliability through a cross-sectional validation study of the Child PCATool. Validation included: translation, back-translation, adaptation, debriefing, content and construct validate, internal consistency, and reliability analysis. The questionnaire was applied to 468 parents or guardians of children registered with 18 primary health services in Porto Alegre, representing the services normal pediatric population. Using factor analysis, 8 domains were identified, with Cronbachs ranging from 0.74 to 0.88. Validation resulted in a 45-item scale, divided into 8 attributes (Access to First Contact, Continuity, Coordination, 3 attributes of Comprehensiveness, Community Orientation, and Family Orientation). These results showed that the PCATool-Brasil has adequate validity and reliability and could be used as a national instrument to evaluate primary health care after its application to other population settings in the country. Primary Health Care; Health Services; Services Evaluation

Cad. Sade Pblica, Rio de Janeiro, 22(8):1649-1659, ago, 2006

1650

Harzheim E et al.

provedor de ateno primria quando apresenta os quatro atributos essenciais, aumentando seu poder de interao com os indivduos e com a comunidade ao apresentar tambm os atributos derivados. Essa definio da ateno primria sade pode guiar as estratgias de avaliao e investigao dos servios e sistemas de sade baseados na ateno primria. A identificao rigorosa dos atributos citados importante para definir um servio como realmente embasado em ateno primria sade. Os pacotes de ateno bsica com incapacidade estrutural de responsabilizar-se por algo mais que a demanda espontnea, incompletos no que se refere amplitude de servios oferecidos e sem complementao adequada dos outros nveis de ateno no so estratgias de ateno primria sade. fundamental, portanto, o esforo metodolgico em diferenciar a ateno primria sade da ateno mnima sade. A identificao emprica dos atributos da ateno primria sade permite, tambm, verificar a associao entre estes atributos e os resultados a efetividade da ateno sobre a sade da populao. Paralelamente ao aumento de cobertura dos servios de ateno bsica no Brasil, evidencia-se internacionalmente crescente associao entre melhores desfechos de sade e a presena dos atributos da ateno primria sade 6,7,8,9,10,11,12,13. Neste sentido, Starfield et al. 14 desenvolveram um instrumento, j validado nos Estados Unidos, que permite mensurar a presena e a extenso dos atributos essenciais e derivados da ateno primria sade em servios de ateno sade infantil, chamado Primary Care Assessment Tool (PCATool) Instrumento de Avaliao da Ateno Primria. O PCATool permite, por meio da experincia dos cuidadores das crianas, identificar aspectos de estrutura e processo dos servios que exigem reafirmao ou reformulao na busca da qualidade no planejamento e execuo das aes. De outra maneira, a ausncia de preciso em identificar e diferenciar os distintos modelos de ateno ambulatorial pode comprometer o esforo cientfico na busca de evidncias sobre a real efetividade da ateno primria sade 15, com conseqncias importantes sobre a definio das polticas pblicas. O PCATool, em sua verso validada para crianas ou para adultos, j foi utilizado em diferentes contextos nos Estados Unidos, possibilitando uma forma consistente de avaliar e investigar a relao entre os atributos da ateno primria sade, a utilizao dos servios e os resultados em sade 16,17. No Brasil, estratgias de reorganizao de servios de sade embasadas na ateno pri-

mria sade, como o Programa Sade da Famlia (PSF), vm aumentando desde a ltima dcada do sculo passado. Mediante o documento que define os princpios 18 do PSF possvel caracteriz-lo como uma estratgia de implantao de equipes de ateno primria sade. Entretanto, a definio do marco legal de uma poltica pblica em sade no garante necessariamente a sua real aplicao. Alm da importncia do uso do PCATool para a avaliao e pesquisa do PSF no Brasil, estratgias pblicas e/ou privadas de reforma de sistemas de servios de sade tm se utilizado, dentro e fora de nosso pas, da ateno primria sade em busca de maior efetividade e eficincia na ateno sade. A avaliao rigorosa dessas iniciativas fundamental para a definio de polticas pblicas/privadas relacionadas prtica de ateno primria sade. Assim, a disponibilidade de um instrumento que mensure a extenso da ateno primria sade permitiria a realizao de pesquisas sobre ateno primria no Brasil com maior rigor e qualidade. Torna-se importante, portanto, a validao desse instrumento, o PCATool, que pretende mensurar a incorporao de atributos essenciais e derivados de ateno primria sade nos servios de sade nacionais. Assim, objetivamos adaptar o PCATool-Brasil dirigido populao infantil e analisar sua validade e confiabilidade.

Metodologia
Delineamento Foi realizado estudo seccional de validao da verso infantil do instrumento PCATool-Brasil entre maio e novembro de 2002 no Municpio de Porto Alegre, Rio Grande do Sul, Brasil. Clculo e seleo da amostra O questionrio foi aplicado aos cuidadores de crianas menores de dois anos, registradas em dois tipos de servios pblicos de ateno bsica sade da regio sul de Porto Alegre, Unidades Bsicas de Sade (UBS) e equipes do PSF. Foram selecionadas todas as unidades/equipes da regio sul da cidade que estavam em funcionamento pelo menos desde 1997 (7 equipes do PSF e 11 UBS). As crianas foram selecionadas por meio de amostragem sistemtica com base no cadastro das unidades, sendo includas todas as usurias dos servios cujo cuidador concordava em participar da pesquisa. A amostra foi calculada em 500 crianas, usando-se o pa-

Cad. Sade Pblica, Rio de Janeiro, 22(8):1649-1659, ago, 2006

CONSISTNCIA INTERNA E CONFIABILIDADE DA VERSO EM PORTUGUS DO PCATooL-BRASIL

1651

cote estatstico Epi Info 6.0 (Centers for Disease Control and Prevention, Atlanta, Estados Unidos), para um nvel de confiana de 95% e um poder de 80%, com o intuito de comparar os dois tipos de servio citados quanto s caractersticas de ateno (proporo de crianas com acesso adequado nas UBSs = 66% e no PSF = 79%) e quanto adequao do acesso para novos problemas de sade (72% das crianas no geral, com preciso de 4%) 19, alm disso, este tamanho de amostra era suficiente para a validao da escala devido a necessidade de ter, em mdia, cinco respondentes para cada item (77 itens na verso original) 20. Os entrevistadores foram estudantes de enfermagem e medicina treinados em trs sesses terico-prticas, alm da participao no estudo piloto. O estudo piloto foi realizado em populao de crianas de 0-2 anos de um servio de ateno bsica sade na zona norte da capital, com perfil scio-econmico semelhante s crianas estudadas. Caractersticas da amostra A idade mdia da amostra final foi de 12,8 meses (desvio padro DP = 6,7 meses). Aproximadamente 65% das crianas eram brancas e 53% do total eram do sexo masculino. O cuidador principal em 94% dos casos era a me. A idade mdia destas mes foi de 26,6 anos (DP = 6,8 anos), sendo 10% delas com menos de 18 anos de idade. O nmero mdio de anos estudados com aprovao pelas mes era de 7,4 anos (DP = 3 anos). A renda per capita mdia das famlias era de R$ 153,00 por ms (DP = R$ 144,00), prximo a US$ 50,00. Sendo que 38% das famlias estudadas tinham uma renda per capita inferior a US$ 1,00 por dia. Conforme a classificao de classe econmica da ABIPEME (Associao Brasileira de Institutos de Pesquisa de Mercado), 6,6% das famlias estudadas representavam a classe E, 42,6% a classe D e 37,8% a C. Descrio do PCATool Desenvolvido pela equipe de trabalho de um dos autores (B. S.) no The Johns Hopkins Populations Care Policy Center for the Underserved Populations, esse instrumento, embasado no marco terico da ateno primria sade 3,21, mede a presena e a extenso dos quatro atributos essenciais e dos trs atributos derivados da ateno primria e o grau de afiliao do usurio ao servio de sade. Esse instrumento, originalmente formado por 77 perguntas (itens) sobre os sete atributos da ateno primria sade, possibilita, por meio de respostas tipo

Likert, construir escores de ateno primria sade com intervalo de 1-4 para cada atributo. O escore final de cada um destes atributos dado pela mdia das respostas de seus itens, que tambm variam de 1-4. Alguns atributos so formados por subdimenses, como acesso (primeiro contato e utilizao), integralidade (servios recebidos e servios disponveis) e coordenao (sistema de informao e fluxo de usurios). Esta escala de domnio pblico e sua verso em portugus est disponvel junto aos autores deste artigo. Originalmente, a soma das mdias dos valores dos quatro atributos essenciais e de suas subdimenses com a mdia do escore do grau de afiliao do usurio ao servio de sade produz o Escore Essencial da Ateno Primria Sade. A soma da mdia destes escores essenciais com as mdias dos 3 escores derivados produz o Escore Geral da Ateno Primria Sade. Tanto a verso infantil do PCATool, utilizada neste estudo, como a verso para adultos, foram validadas nos Estados Unidos da Amrica 14,15. A verso infantil validada nos Estados Unidos contm 34 dos 77 itens originais. Etapas da validao do PCATool O processo de validao envolveu os seguintes passos: traduo, traduo reversa, adaptao, pr-teste, validade de contedo e construto, anlise de consistncia interna e confiabilidade, alm dos requerimentos de escala tipo Likert 14,22. Optou-se por utilizar a verso original completa (77 itens) do instrumento, a fim de possibilitar a validao no Brasil de itens no validados nos Estados Unidos que pudessem proporcionar maior detalhamento da avaliao da ateno primria sade. Traduo

Foi realizada em duas etapas: do ingls para o portugus e deste para o ingls. A verso original foi comparada com a verso em ingls resultante da traduo reversa, sendo corrigidas as falhas. A traduo reversa, do portugus ao ingls, foi realizada por uma tradutora nativa da lngua inglesa. Adaptao

O instrumento original foi desenvolvido para auto-aplicao, sua adaptao consistiu na converso para um questionrio de aplicao por meio de entrevistadores. Foi necessrio, tambm, adapt-lo s caractersticas culturais e etrias da populao e dos servios de sade

Cad. Sade Pblica, Rio de Janeiro, 22(8):1649-1659, ago, 2006

1652

Harzheim E et al.

nacionais. Aps, procedemos a realizao do pr-teste, isto , a aplicao do instrumento a cinco indivduos semelhantes populao em estudo, quando se avaliou o grau de entendimento para cada umas das perguntas at o esgotamento das dvidas. Esses cinco indivduos eram cuidadores (mes) de crianas de 0-2 anos de idade, usurias de servio de ateno bsica sade da zona norte da capital. Nesta etapa, algumas perguntas foram excludas e outras modificadas. Anlise de validade e confiabilidade

trabalho criador do instrumento original foi fundamental. c) Confiabilidade Para definir preciso, estabilidade no tempo, 10% das entrevistas foram repetidas em um intervalo mdio de 24 dias (DP = 8,8 dias) aps a 1a entrevista (teste-reteste). Calculamos os escores de cada atributo obtidos nos dois momentos distintos e os comparamos por meio do teste de Wilcoxon, utilizado por ser o mtodo estatstico preferencial para comparar a magnitude das diferenas de uma varivel quantitativa entre dois grupos apareados, e da correlao intraclassse, que permite avaliar tambm a confiabilidade interentrevistadores. Para avaliao da consistncia interna, cada atributo deveria apresentar de Cronbach > 0,70 23. Aps a construo dos atributos finais, cinco critrios foram utilizados para verificar a existncia das suposies da escala de Likert: validade item-convergente, atravs da correlao item-total > 0,30; validade item-discriminante, atravs da Razo de xito da Escala, isto , a correlao de cada item com sua dimenso original deveria ser maior do que a correlao deste item com as dimenses secundrias; correlao intraclasse de cada dimenso; intervalo das correlaes dos itens de cada dimenso; e confiabilidade dos escores ( de Cronbach). Aspectos ticos Esta pesquisa foi aprovada pelo Comit de tica em Pesquisa do Hospital Nossa Senhora da Conceio (n. 52/2001) e pelo Comit de tica da Secretaria Municipal de Sade de Porto Alegre. As informaes coletas foram mantidas confidenciais, no sendo divulgados os nomes dos entrevistados. Os dados foram apresentados agrupados, mantendo-se a confidencialidade sobre as respostas de cada indivduo. Todos os entrevistados receberam uma explicao clara sobre os objetivos do estudo. Somente foram entrevistados os sujeitos que aceitaram participar e assinaram o Termo de Consentimento Livre e Esclarecido. Os princpios ticos fundamentais (autonomia, beneficncia, no-maleficncia, justia, eqidade) foram respeitados em todas as etapas da investigao.

a) Validao de contedos O instrumento original j havia sido validado nos Estados Unidos e sua validade de contedos definida valendo-se da opinio de nove experts (trs gestores de agncias federais norteamericanas, dois coordenadores de servios comunitrios de ateno infantil de grande porte, dois professores de medicina de famlia, um mdico generalista especialista em ateno primria e um coordenador de pesquisa de uma grande prestadora de servios de ateno primria sade dos Estados Unidos) 14. Esses experts, por meio da tcnica de alocao de cartes (card sorting technique), determinaram o grau de concordncia entre cada item e seu atributo. Os itens foram criados usando-se a aplicao do marco terico j citado 3. Assim, no processo de validao para o Brasil foi importante avaliar sua validade de contedo, isto , a adequao com a qual uma medida afere o domnio de interesse. Esta foi realizada por dois dos investigadores envolvidos (A. T. S. e E. H.) e pela autora original do instrumento (B. S.), por meio da avaliao conceitual dos fatores. b) Validao de construto Para a redefinio de cada atributo realizamos anlise fatorial, sendo selecionados os fatores com trs ou mais itens com carga fatorial superior a 0,35, que no apresentassem cargas fatoriais secundrias superiores carga fatorial inicial. Realizamos a anlise fatorial por meio do modelo de extrao de componentes principais, com o mtodo de extrao VARIMAX. Realizamos cinco modelos distintos de anlise fatorial com predefinio do nmero de fatores variando de 8-12, j que a escala, conceitualmente, poderia identificar de 7-10 atributos. Posteriormente anlise fatorial, avaliamos conceitualmente cada fator para relacion-los aos atributos originais validados na verso norte-americana. Nesta etapa, a participao do grupo de

Resultados
Foram entrevistados 468 cuidadores de crianas de 0-2 anos de idade, com perda de 32 crian-

Cad. Sade Pblica, Rio de Janeiro, 22(8):1649-1659, ago, 2006

CONSISTNCIA INTERNA E CONFIABILIDADE DA VERSO EM PORTUGUS DO PCATooL-BRASIL

1653

as (6,4%), das quais nove deveram-se recusa em participar e 23 impossibilidade de encontrar os sujeitos aps trs visitas em horrios e dias distintos. Traduo Ao compararmos a verso original com a verso resultante da traduo inversa no encontramos diferenas de contedo ou de significado, apenas a presena de palavras diferentes entre as duas verses, mas com significados equivalentes (sinnimas). Adaptao e pr-teste No processo de adaptao, nove perguntas foram excludas por representarem itens referentes a servios no disponveis nas unidades estudadas ou no adequados ao intervalo de idade estudado. Ao realizarmos o pr-teste, 21 perguntas foram modificadas a fim de facilitar o entendimento dos entrevistados, optando-se por palavras sinnimas que se adaptavam melhor linguagem dos mesmos. Validao de contedo, construto e anlise de confiabilidade Ao final da avaliao conceitual dos cinco modelos de anlise fatorial, o modelo com oito fatores fixos foi selecionado por melhor representar conceitualmente os atributos da ateno primria sade. Nesta etapa de eleio do melhor modelo de anlise fatorial 23 perguntas foram excludas. A verso validada do PCATool ficou com 45 perguntas (6 para acesso de primeiro contato, 10 para continuidade, 5 para coordenao, 14 para integralidade, 6 para orientao familiar e 4 para orientao comunitria). O atributo de competncia cultural foi excludo, j que na anlise fatorial no se consolidou uma dimenso com trs ou mais perguntas representativas deste atributo. Na Tabela 1, apresentamos os valores das correlaes item-total e das cargas fatoriais para cada item de cada atributo. Na Tabela 2, apresentamos os resultados da consistncia interna, confiabilidade e dos demais critrios das suposies de Likert para os oito atributos da escala PCATool-Brasil. Os resultados do de Cronbach demonstram a consistncia interna da escala. Assim como a consistncia interna, os resultados das suposies de Likert, principalmente os valores da razo de xito da escala e da correlao intraclasse, permitem aceitar as suposies de Likert para a escala PCATool-Brasil.

Ao observarmos as tabelas j apresentadas, identificamos que o processo de validao do PCATool-Brasil resultou numa escala com 45 itens, divididos em oito atributos. Seis destes representam os atributos essenciais da ateno primria sade: acesso de primeiro contato (mdia = 2,75, mediana = 2,83 e DP = 0,86), continuidade (mdia = 3,48, mediana = 3,70 e DP = 0,58), coordenao (mdia = 2,90, mediana = 3,40 e DP = 1,10), integralidade-servios bsicos (mdia = 3,19, mediana = 3,25 e DP = 0,79), integralidade-servios complementares (mdia = 2,79, mediana =2,80 e DP = 0,98), integralidade-orientaes de promoo (mdia = 2,65, mediana = 2,80 e DP = 1,06) e dois representam os atributos derivados orientao familiar (mdia = 2,30, mediana = 2,17 e DP = 0,90) e orientao comunitria (mdia = 2,33, mediana = 2,25 e DP = 1,19). Os valores das mdias, medianas e dos desvios-padro de cada um dos atributos possibilitaram assumir a normalidade da distribuio da escala. Para a construo do Escore Essencial da Ateno Primria Sade, portanto, necessrio somar as mdias das respostas dos seis atributos essenciais com a mdia do grau de afiliao do usurio ao servio de sade. Para calcular o Escore Geral da Ateno Primria Sade necessrio somar as mdias das respostas de todos os oito atributos validados com a mdia do grau de afiliao do usurio ao servio de sade. Na Tabela 3, apresentamos a comparao das verses finais validadas do PCATool verso infantil nos Estados Unidos e no Brasil.

Discusso
Os resultados obtidos no processo de validao do PCATool-Brasil mostraram que os itens referentes aos oito atributos da ateno primria sade possuem validade e confiabilidade suficientes para sua aplicao em outros estudos sobre a sade infantil no Brasil 24. Todos esses 45 itens possuem carga fatorial e correlao item-total de acordo com os critrios previamente estabelecidos. O PCATool-Brasil validado cumpriu com as suposies de Likert, com valores muito adequados do de Cronbach, confirmando a consistncia interna da escala. Os resultados da Razo de xito da Escala demonstraram tambm que os itens de cada atributo possuem a maior correlao item-total possvel dentro de sua prpria dimenso conceitual, fortalecendo a consistncia do PCATool-Brasil validado. Contribui, desta forma, para a mensurao da extenso dos atributos da ateno primria sade: acesso, continui-

Cad. Sade Pblica, Rio de Janeiro, 22(8):1649-1659, ago, 2006

1654

Harzheim E et al.

Tabela 1 Resultados da validao de construto e da anlise fatorial para cada item de cada atributo da ateno primria sade. Porto Alegre, Rio Grande do Sul, Brasil, 2002. Atributos da ateno primria sade Correlao item-total Carga fatorial

Acesso de primeiro contato Quando o servio de sade est aberto e sua criana fica doente, algum deste servio a atende no mesmo dia? Voc tem de esperar muito tempo ou falar com muitas pessoas para conseguir uma consulta no servio de sade? fcil conseguir uma consulta de reviso da criana no servio de sade? Quando voc chega ao servio de sade, voc tem de esperar mais de 30 minutos antes que sua criana seja vista pelo mdico ou pela enfermeira dentro do consultrio? difcil para voc conseguir atendimento mdico para sua criana no servio de sade quando voc acha que necessrio? Quando o servio de sade est aberto, voc consegue conselho mdico pelo telefone de maneira rpida, caso voc precise? Continuidade Voc acha que o/a (mdico/enfermeira) entende o que voc diz ou pergunta? O/a (mdico/enfermeira) responde suas perguntas de maneira que voc entenda? Se voc tem alguma dvida sobre a sade de sua criana, pode conversar com o mdico ou enfermeira que mais conhece sua criana? No servio de sade sua criana conhecida e atendida com ateno? O/a (mdico/enfermeira) lhe d tempo suficiente para voc falar sobre suas preocupaes ou problemas? Voc se sente vontade para falar com o/a (mdico/enfermeira) sobre suas preocupaes ou problemas? O/a (mdico/enfermeira) conhece a histria mdica completa de sua criana? O/a (mdico/enfermeira) conhece todas as medicaes que sua criana est tomando? O/a (mdico/enfermeira) conversaria com seus familiares se voc achasse que isto importante? Voc trocaria o servio de sade por outro local se isto fosse fcil de fazer? Integralidade servios bsicos disponveis Agora vamos falar sobre uma lista de servios que sua criana ou toda sua famlia pode precisar em algum momento. Diga se o servio de sade tem estes servios Vacinas Avaliao para incluir sua famlia em programas sociais ou benefcios do governo Anticoncepcionais Programa de suplementao alimentar (Ex.: programa do leite) Integralidade servios complementares disponveis Agora vamos falar sobre uma lista de servios que sua criana ou toda sua famlia pode precisar em algum momento. Diga se o servio de sade tem estes servios Aconselhamento ou tratamento para alcoolismo ou uso de drogas Aconselhamento para problemas dos nervos, do comportamento ou de sade mental Pontos para cortes profundos Aconselhamento e exames para HIV/AIDS Avaliao da necessidade do uso de culos Integralidade aes de promoo e preveno recebidas Vamos falar sobre vrios assuntos importantes para a sade da sua criana. Quero que voc me diga se nas consultas ao seu/sua (mdico/enfermeira) algum destes assuntos foram conversados com voc Orientaes para manter sua criana saudvel, como alimentao saudvel, boa higiene ou sono adequado Maneiras para manter sua criana segura, como evitar tombos de altura ou manter as crianas afastadas do fogo Segurana domstica: como guardar remdios com segurana Maneiras de lidar com os problemas de comportamento de sua criana Mudanas do crescimento e desenvolvimento da criana, isto , que coisas voc deve esperar de cada idade. Por exemplo, quando que a criana vai caminhar, controlar o xixi... (continua) 0,53 0,70 0,61 0,60 0,61 0,60 0,69 0,66 0,71 0,65 0,53 0,57 0,31 0,37 0,63 0,60 0,64 0,44 0,44 0,54 0,57 0,36 0,63 0,67 0,49 0,47 0,60 0,70 0,57 0,49 0,51 0,54 0,59 0,57 0,56 0,58 0,55 0,44 0,65 0,65 0,54 0,53 0,64 0,65 0,48 0,50 0,54 0,40 0,47 0,61 0,51 0,54 0,61 0,49 0,55 0,63 0,57 0,61 0,67 0,41

Cad. Sade Pblica, Rio de Janeiro, 22(8):1649-1659, ago, 2006

CONSISTNCIA INTERNA E CONFIABILIDADE DA VERSO EM PORTUGUS DO PCATooL-BRASIL

1655

Tabela 1 (continuao) Atributos da ateno primria sade Correlao item-total Carga fatorial

Coordenao integrao de cuidados O/a (mdico/enfermeira) da sua criana tinha encaminhado sua criana para este especialista? O/a (mdico/enfermeira) da sua criana soube que ela consultou com este especialista? O/a (mdico/enfermeira) da sua criana ficou sabendo como foi o resultado desta consulta? Depois desta consulta com o especialista, o seu/sua (mdico/enfermeira) conversou com voc sobre o que aconteceu na consulta? O seu/sua (mdico/enfermeira) demonstrou interesse em saber sobre a qualidade do atendimento que sua criana recebeu do especialista? Orientao familiar Voc acha que o/a (mdico/enfermeira) conhece a sua famlia bastante bem? O/a (mdico/enfermeira) sabe quais so os problemas mais importantes para voc e sua famlia? O/a (mdico/enfermeira) sabe sobre o trabalho ou o emprego dos familiares de sua criana? O/a (mdico/enfermeira) pergunta se sua famlia tem problemas em conseguir ou comprar os medicamentos que sua criana precisa? O seu/sua (mdico/enfermeira) lhe pergunta sobre suas idias e opinies sobre o tratamento e cuidado de sua criana? O seu/sua (mdico/enfermeira) lhe perguntou sobre doenas ou problemas que existam na sua famlia? Orientao comunitria Algum do seu servio de sade faz visitas domiciliares? O seu servio de sade conhece os problemas de sade importantes de sua vizinhana? Como o seu servio de sade conhece as opinies e idias das pessoas para ajudar a melhorar o atendimento? Faz levantamento de problemas de sade da comunidade nas casas? Como o seu servio de sade conhece as opinies e idias das pessoas para ajudar a melhorar o atendimento? Convida membros das famlias a participar do conselho de sade? 0,78 0,75 0,82 0,60 0,78 0,77 0,78 0,60 0,62 0,64 0,60 0,52 0,46 0,49 0,48 0,47 0,54 0,48 0,58 0,49 0,38 0,72 0,80 0,79 0,72 0,49 0,80 0,87 0,86 0,83

Tabela 2 Suposies de Likert, confiabilidade e consistncia interna para os oito atributos do PCATool-Brasil. Porto Alegre, Rio Grande do Sul, Brasil, 2002. Atributos da ateno primria sade n Varincia explicada do fatorial (%) Varincia explicada acumulada do fatorial (%) Cronbach Razo de xito da escala Confiabilidade: comparao teste-reteste (valor de p)* 0,01 Confiabilidade: correlao intraclasse teste-reteste 0,56

Integralidade aes de promoo e preveno recebidas Orientao familiar Orientao comunitria Integralidade servios bsicos disponveis Continuidade relao interpessoal Acesso primeiro contato Coordenao integrao de cuidados Integralidade servios complementares disponveis

435

15,2

0,82

30/30 (100,0%)

407 273 323 369 360 131 160

15,2 8,8 8,8 4,8 4,1 3,4 3,0

15,2 24,1 24,1 28,9 33,0 36,4 39,4

0,80 0,88 0,74 0,83 0,79 0,86 0,76

35/36 (97,2%) 24/24 (100,0%) 23/24 (95,8%) 60/60 (100,0%) 48/48 (100,0%) 30/30 (100,0%) 36/36 (100,0%)

0,59 0,11 0,46 0,14 0,62 ** 0,09

0,84 0,84 0,30 0,42 0,46 ** 0,77

* Teste de Wilcoxon. ** No foi realizada a comparao teste-reteste para o atributo Coordenao devido ao pequeno nmero de crianas que haviam consultado com especialista dentro da subamostra do reteste.

Cad. Sade Pblica, Rio de Janeiro, 22(8):1649-1659, ago, 2006

1656

Harzheim E et al.

Tabela 3 Comparao da consistncia interna entre os processos de validao do instrumento original (PCATool) e do PCATool-Brasil. Porto Alegre, Rio Grande do Sul, Brasil, 2002. Atributos da ateno primria sade PCATool original (n = 450) Acesso primeiro contato Utilizao primeiro contato Nmero de itens mantidos ps-validao 4 Cronbach PCATool-original Atributos da ateno primria sade PCATool Brasil (n = 468) Acesso primeiro contato Utilizao primeiro contato Nmero de itens mantidos ps-validao 6 Cronbach PCATool-Brasil

0,68

0,79 No formou um atributo na anlise fatorial 0,83 0,82 0,74 0,86 0,76 0,80 0,88

Continuidade relao interpessoal Integralidade aes de promoo e preveno recebidas Integralidade servios disponveis Coordenao integrao de cuidados Integralidade servios complementares disponveis Orientao familiar Orientao comunitria Total

4 5 12 6 34

0,40 0,81 0,79 0,86

Continuidade relao interpessoal Integralidade aes de promoo e preveno recebidas Integralidade servios bsicos disponveis Coordenao integrao de cuidados Integralidade servios complementares disponveis Orientao familiar Orientao comunitria Total

10 5 4 5 5 6 4 45

dade, coordenao, integralidade, orientao familiar e comunitria. Por outro lado, como limitao do processo, a validao do PCATool-Brasil resultou na excluso de um considervel nmero de itens (n = 32) da escala original. Dos nove itens excludos no processo de adaptao, dois se referiam a aspectos de idade do grupo estudado e um a uma questo idiomtica. Os outros seis itens se referiam a aes em sade ausentes nos servios estudados. Este fato j indica uma menor disponibilidade de aes e, portanto, uma menor integralidade dos servios, principalmente referente sade bucal. Entretanto, ao avaliar servios com maior disponibilidade de aes, poder-se-ia incluir estes itens no atributo integralidade servios complementares disponveis e refazer-se a anlise da validao. O modelo da anlise fatorial com oito fatores fixos foi escolhido por representar mais adequadamente o conceito dos atributos da ateno primria sade, permitindo a avaliao dos quatro atributos essenciais (acesso, continuidade, coordenao e integralidade) e de dois dos trs atributos derivados (orientao familiar e comunitria). Desta maneira, estes resultados reafirmaram a definio conceitual dos atributos da escala original. Entretanto, quando realizamos a anlise fatorial e a avaliao conceitual dos oito fatores exclumos ainda 23 itens do instrumento original. A maior parte dos itens excludos representava originalmente

o atributo de acesso (nove) e de coordenao (oito), referindo-se principalmente aos aspectos de organizao geral dos servios, como horrio de funcionamento das unidades e fluxo de pacientes entre os distintos nveis da ateno. Esses aspectos, no sistema de servios pblicos de sade de Porto Alegre, so definidos pela administrao central, apresentando-se homogneos em todos os servios de ateno bsica. As unidades bsicas no funcionam nos fins de semana, nem durante a noite. A marcao de consultas de referncia a outros nveis de ateno se realiza por meio da Central de Marcao de Consultas, o que tambm iguala as dificuldades e facilidades de acesso entre os usurios dos distintos servios. Assim, obtivemos respostas homogeneamente muito abaixo da mdia geral de cada fator nos itens referentes aos horrios de funcionamento e ao acesso aos nveis secundrio e tercirio de ateno, com conseqente baixa carga fatorial. Doze desses 17 itens foram excludos por baixa carga fatorial, enquanto o restante foi excludo por falta de relao conceitual com os outros itens do fator. Nossa escolha deste modelo de 8 fatores fixos resultou numa explicao da varincia de aproximadamente 40%, semelhante a outros processos de validao de instrumentos de avaliao da qualidade de servios de sade 22, inclusive ao processo de validao do PCATool original 14. Esta proporo se explica pelo nmero de itens excludos, principalmente pela

Cad. Sade Pblica, Rio de Janeiro, 22(8):1649-1659, ago, 2006

CONSISTNCIA INTERNA E CONFIABILIDADE DA VERSO EM PORTUGUS DO PCATooL-BRASIL

1657

excluso total dos ltimos dois fatores criados por meio da anlise fatorial. Do mesmo modo, uma varincia acumulada prxima de 40% de um evento to complexo como a interface usurio-servio de sade, possibilita ao PCAToolBrasil ser utilizado como uma das formas de avaliao de servios de ateno primria sade no pas. Alm disso, ao compararmos a confiabilidade ( de Cronbach) entre a escala original e a validada identificamos um padro muito semelhante, confirmando a confiabilidade do processo de validao. Os resultados da comparao do teste com o reteste nos permitiram assumir a estabilidade da escala no tempo. Todavia, o atributo integralidade aes de promoo e preveno apresentou baixa concordncia no reteste, possivelmente devido a novas experincias dos usurios nos servios de sade. Crianas de idade inferior a dois anos tm uma alta freqncia de consultas nos servios de sade (42% das crianas com 11 ou mais consultas) e recebem orientaes de preveno e promoo de acordo com sua idade, possibilitando grande diferena de orientaes em curto perodo de tempo (1-2 meses entre o teste e o reteste). O coeficiente de correlao intraclasse tambm apresentou valores baixos no atributo integralidade-servios bsicos e continuidade, podendo ser reflexo das mudanas que ocorrem nos servios, principalmente quanto troca de profissionais mdicos. Outras possveis limitaes desse processo de adaptao e validao da escala PCAToolBrasil so relacionadas ao no mascaramento da comparao entre as verses em ingls e portugus, e ao fato dos autores do artigo e da escala serem os responsveis pela validao de contedo no Brasil. Entretanto, amplo processo de validao de contedo j havia sido realizado na validao da escala original nos Estados Unidos. Assumimos, desta maneira, a validade de contedo definida no processo de validao da escala original, por este ter sido conduzido pelo grupo da The Johns Hopkins Populations Care Policy Center for the Underserved Populations, cuja produo cientfica no campo da ateno primria sade mundialmente reconhecida. Alm disso, o Ministrio da Sade utiliza a tipologia da ateno primria sade definida pela autora do instrumento original no embasamento terico da estratgia do PSF, por meio da distribuio de seu livro Atencin Primaria: Equilibrio entre Necesidades de Salud, Servicios y Tecnologa 21 a todas as equipes do PSF do pas. Consideramos, apesar da representatividade relativa faixa etria estudada (0-2 anos),

que a validao do instrumento nessa populao permite extrapolar seu uso para comunidades usurias de servios pblicos de ateno bsica de periferias urbanas do pas. No entanto, a comparao entre nossos resultados e de futuras replicaes deste instrumento em outros contextos nacionais pode fortalecer seu processo de validao em escala nacional. Apesar das limitaes comentadas, a validao deste instrumento possibilita uma estratgia de avaliao e comparao dos servios de ateno primria sade brasileiros dirigidos populao infantil de fcil realizao. As entrevistas com os cuidadores das crianas sobre a qualidade do cuidado que estas recebem proporcionam condies de reafirmao ou reformulao de aspectos de estrutura e processo do cuidado em direo ateno primria sade de alta qualidade. O fato de valorizar as experincias e no a satisfao dos usurios sobre vrios aspectos do cuidado em ateno primria sade permite identificar que caractersticas devem ser modificadas ou reforadas 25. Alm disso, a avaliao da opinio dos usurios sobre suas experincias junto aos servios de sade imprescindvel, j que ao descrever-se somente a viso dos profissionais ou gestores, alguns aspectos importantes da qualidade do cuidado no sero avaliados 26. Por meio da aplicao futura do PCAToolBrasil no nosso pas, a continuidade, o acesso, a coordenao, a integralidade e a orientao familiar e comunitria dos servios de sade podero ser definidos e comparados de forma consistente, reforando a possvel utilidade desta escala. Nacionalmente, a aplicao do PCATool-Brasil em outros contextos oportunizar a disseminao de um instrumento de avaliao comparativa do grau de orientao ateno primria sade dos servios de ateno bsica no Brasil. Os escores do PCAToolBrasil podero, a partir de ento, ser utilizados como indicadores da qualidade da ateno, contribuindo como um instrumento para a investigao de servios de sade brasileiros 27. Assim, o PCATool-Brasil poder constituir-se em uma estratgia de avaliao e acreditao dos servios em direo ateno primria sade de qualidade. Internacionalmente, o processo de validao empregado nesta pesquisa pode, tambm, ser reaplicado em outros pases, possibilitando o uso do PCATool em outros contextos sanitrios, avanando na busca da eqidade em sade por meio da ateno primria sade.

Cad. Sade Pblica, Rio de Janeiro, 22(8):1649-1659, ago, 2006

1658

Harzheim E et al.

Resumo
Estratgias em sade baseadas na ateno primria sade vm aumentando no Brasil. Existe um instrumento aplicado a usurios, o Primary Care Assessment Tool (PCATool), que mede a extenso dos atributos da ateno primria sade, j validado nos Estados Unidos. Objetivamos adaptar o PCATool ao Brasil e analisar sua validade e confiabilidade, por meio de estudo seccional de validao da sua verso infantil. A validao constou de: traduo e traduo reversa, adaptao, pr-teste, validade de construto, consistncia interna e anlise de confiabilidade. O questionrio foi aplicado a 468 cuidadores de crianas cadastradas em 18 servios de ateno bsica de Porto Alegre, Rio Grande do Sul, Brasil, representativos deste universo de usurios. Na anlise fatorial foram identificadas oito dimenses, com o de Cronbach variando de 0,74 a 0,88. O instrumento final ficou com 45 itens, divididos em oito atributos (acesso de primeiro contato, continuidade, coordenao, trs atributos de integralidade, orientao familiar e comunitria). Estes resultados indicaram que o PCATool-Brasil possui adequada validade e confiabilidade, podendo constituir-se em instrumento nacional de avaliao da ateno primria sade aps sua aplicao em outros contextos populacionais. Cuidados Primrios de Sade; Servios de Sade; Avaliao dos Servios

Referncias
1. World Health Organization. Primary health care. Report of the International Conference on Primary Health Care. Geneva: World Health Organization; 1978. Institute of Medicine. A manpower policy for primary health care: a report of a study. Washington DC: National Academy of Sciences; 1978. (IOM Publication, 78-02). Starfield B. Primary care: concept, evaluation and policy. New York: Oxford University Press; 1992. Ministrio da Sade. Programa Sade da Famlia. Braslia: Departamento de Ateno Bsica, Ministrio da Sade; 2004. Ministrio da Sade. A implantao da unidade de sade da famlia. Braslia: Secretaria de Polticas de Sade, Departamento de Ateno Bsica, Ministrio da Sade; 2004. (Cadernos de Ateno Bsica, 1). Shi L, Starfield B. Primary care, income inequality, and self-rated health in the United States: a mixedlevel analysis. Int J Health Serv 2000; 30: 541-55. Starfield B. Primary care and health a cross-national comparison. JAMA 1991; 66:2268-71. Rajmil L, Starfield B, Plasencia A, Segura A. The consequences of universalizing health services: childrens use of health services in Catalonia. Int J Health Serv 1998; 28:777-91. Casanova C, Starfield B. Hospitalizations of children and access to primary care: a cross nationalcomparison. Int J Health Serv 1995; 25:3283-94. Parchman ML, Culler S. Primary care physicians and avoidable hospitalizations. J Fam Pract 1994; 39:123-8. Hojrdthal P, Laerum E. Continuity of care in general practice: effect on patient satisfaction. BMJ 1992; 304:1287-90. Stein AT, Harzheim E, Costa M, Busnello E, Rodrigues LC. The relevance of continuity of care to the chaos in the emergency services in Brazil. Fam Pract 2002; 19:207-10. Greenfield S, Rogers W, Mangotich M, Carney MF, Tarlov AR. Outcomes of patients with hypertension and non-insulin-dependent diabetes mellitus treated by different systems and specialties. JAMA 1995; 274:1436-44. Cassady CE, Starfield B, Hurtado MP, Berk RA, Nanda JP, Friedenbergh LA. Measuring consumer experiences with primary care. Pediatrics 2000; 105:998-1003. Shi L, Starfield B, Jiahong X. Validating the Adult Primary Care Assessment Tool. J Fam Pract 2001; 50:161-75. Stevens G, Shi L. Racial and ethnic disparities in the quality of primary care for children. J Fam Pract 2002; 51:573. Shi L, Starfield B, Xu J, Politzer R, Regan J. Primary care quality: community health center and health maintenance organization. South Med J 2003; 96:787-95. Ministrio da Sade. Programa Sade da Famlia. Braslia: Secretaria Executiva, Ministrio da Sade; 2000. Harzheim E. Evaluacin de la atencin a la salud infantil del Programa Sade da Familia en la re-

2.

3. 4.

5.

6.

7. 8.

9.

10.

Colaboradores
A. T. Stein e C. lvarez-Dardet orientaram a pesquisa, a anlise dos dados e a redao do artigo. B. Starfield e L. Rajmil orientaram a anlise dos dados e revisaram o artigo. E. Harzheim coordenou a pesquisa, realizou a proposta do artigo, a reviso de literatura, a anlise dos dados e a redao do artigo. 11.

12.

13.

Agradecimentos
Fundao de Amparo Pesquisa do Estado do Rio Grande do Sul e Escola de Sade Pblica do Rio Grande do Sul pelo financiamento desta pesquisa. Secretaria Municipal de Sade de Porto Alegre e ao Departamento de Medicina Social, Faculdade de Medicina, Universidade Federal do Rio Grande do Sul pelo apoio logstico na sua realizao. Ao Banco Santander, Espanha, pela bolsa de Doutorado de um dos autores (E. Harzheim) e Agncia Espanhola de Cooperao Internacional por proporcionar reunies de trabalho entre os investigadores. 14.

15.

16.

17.

18.

19.

Cad. Sade Pblica, Rio de Janeiro, 22(8):1649-1659, ago, 2006

CONSISTNCIA INTERNA E CONFIABILIDADE DA VERSO EM PORTUGUS DO PCATooL-BRASIL

1659

20.

21.

22. 23. 24.

gin sur de Porto Alegre, Brasil [Tese de Doutorado]. Alicante: Departamento de Salud Pblica, Universidad de Alicante; 2004. Geisinger KF. Cross-cultural normative assessment: translation and adaptation issues influencing the normative interpretation of assessment instruments. Psychol Assess 1994; 6:304-12. Starfield B. Atencin primaria: equilibrio entre necesidades de salud, servicios y tecnologa. Barcelona: Masson; 2001. DeVellis RF. Scale development: theory and applications. Newbury Park: Sage Publications; 1991. Nunnally JC, Bernstein IR. Psychometric theory. 3rd Ed. New York: McCraw-Hill; 1994. Wensing M,Elwyn G. Methods for incorporating patients views in health care. BMJ 2003; 326:877-9.

25. Starfield B, Cassady C, Nanda J, Forrest CB, Berk R. Consumer experiences and provider perceptions of the quality of primary care: implications for managed care. J Fam Pract 1998; 46:216-26. 26. Hernn-Garca M, Gutirrez-Cuadra JL, LinerosGonzalez C, Ruiz-Barbosa C, Rabadn-Asensio A. Patients and quality of primary care services. Survey of practitioners at the Baha de Cdiz and La Janda health centres. Aten Primaria 2002; 30:42534. 27. Starfield B. A framework for primary care research. J Fam Pract 1996; 42:181-5. Recebido em 07/Jun/2005 Verso final reapresentada em 11/Nov/2005 Aprovado em 24/Nov/2005

Cad. Sade Pblica, Rio de Janeiro, 22(8):1649-1659, ago, 2006