REFLEXIONES Y ENSAYOS

 

Reflexões acerca de Sistemas de Informação em Saúde, Pesquisa Avaliativa e Enfermagem

Reflexiones acerca de Sistemas de Información Sanitaria, Investigación evaluativa y Enfermería

Reflections on Information Systems in Health, Evaluative Search and Nursing

 

 

Chaves, Lucieli Dias Pedreschi*; Ferreira, Janise Braga Barros*; Camelo, Sílvia Helena Henriques*; Balderrama, Priscila**; Tanaka, Oswaldo Yoshimi***

*Doutor pela Escola de Enfermagem de Ribeirão Preto E-mail: dpchaves@eerp.usp.br
**Doutoranda pelo Programa de Pós Graduação em Enfermagem Fundamental da Escola de Enfermagem de Ribeirão Preto
***Doutor pela Faculdade de Saúde Pública. Universidade de São Paulo, Brasil.

(Texto extraído de parte dos resultados de projeto intitulado "Avaliação de resultados da atenção aos agravos cardiovasculares como traçador do princípio de integralidade" desenvolvido em programa de pós-doutorado. Apoio financeiro do Conselho Nacional de Desenvolvimento Científico e Tecnológico e da Fundação de Amparo à Pesquisa do Estado de São Paulo.)

 

 

---

RESUMO

O presente estudo teve como objetivo refletir teoricamente, na perspectiva da enfermagem, o uso de sistemas de informação em saúde como fonte de dados quantitativos para a pesquisa avaliativa. Em uma concepção analítica, a pesquisa avaliativa estabelece relações de influência entre ação/intervenção avaliada, efeitos e contexto. Os sistemas de informação em saúde disponibilizam dados quantitativos que permitem conhecer o objeto de estudo subsidiando a realização de pesquisas avaliativas. O uso desses sistemas requer projetos que contemplem a especificidade do objeto de estudo, apresentem os passos metodológicos para obtenção e a análise dos dados de interesse, para atingir os objetivos propostos e responder a pergunta avaliativa. Para o enfermeiro a articulação entre pesquisa avaliativa e sistemas de informação tem potencial para desenvolver conhecimentos científicos que favoreçam a tomada de decisão na gestão em saúde bem como o desenvolvimento de novas investigações.

Palavras-chave: sistemas de informação; Sistema Único de Saúde; avaliação em saúde; uso da informação científica na tomada de decisões em saúde; enfermagem.

---

RESUMEN

El presente estudio tiene por objetivo reflexionar teóricamente sobre la perspectiva de enfermería, el uso de sistemas de información de salud como fuente de datos cuantitativos para la investigación evaluativa. En una concepción analítica, la investigación evaluativa establece relaciones de influencia entre acción/intervención evaluada, propósito y contexto. Los sistemas de información en salud proporcionan datos cuantitativos que permiten conocer el objeto de estúdio subvencionando la realización de estudios de evaluación. El uso de estos sistemas requiere proyectos que contemplen la especificidad del objeto de estudio, presenten los pasos metodológicos para la obtención y el análisis de datos de interés, para alcanzar los objetivos propuestos y responder a la pregunata de evaluación.. Para la enfermera, la combinación entre envestigación evaluativa y sistemas de información tiene potencial para desarrollar conocimientos científicos que favorezcan la toma de decisiones en la gestión sanitaria así como el desarrollo de nuevas investigaciones.

Palabras clave: sistemas de información; Sistema Único de Salud; evaluación en salud; uso de la información científica en la toma de decisiones en salud; enfermería.

---

ABSTRACT

This study is aimed at reflecting theoretically on the nursing perspective, the use of health information systems as a source of quantitative data for evaluation research. From an analytical perspective, evaluative research establishes relations of influence between action / evaluated intervention, the effect and context. The health information systems provide quantitative data that allow to know the object of study subsidizing conducting evaluation studies. The use of information systems requires projects that contemplate the specific object of study, present the methodological steps for obtaining and analyzing the data of interest, in view of achieving the proposed objectives and answer evaluative question. For the nurse, the combination of evaluative research and information systems has the potential to develop scientific knowledge that support decision making in healthcare management and the development of new investigations.

Keywords: information systems; unified health system; health evaluation; use of scientific information for health decision making; nursing.

---

 

Contextualizando a temática

A avaliação constitui-se em uma atividade bastante antiga, processo essencialmente humano e realizado cotidianamente. Entretanto, conceituar avaliação é uma atividade complexa, pois trata-se de uma palavra que possui grande riqueza semântica, além de ser aplicável a diversas áreas do saber. Em sua raiz latina, "avaliar" significa medir, a partir de padrões quantificáveis e, em grego, o radical axiós refere-se à produção de juízo de valor, ligada a medidas qualitativas, uma etimologia que evidencia a contribuição de várias ciências para o campo da avaliação⁽¹⁾.

Avaliar consiste fundamentalmente em fazer um julgamento de valor a respeito de uma intervenção ou sobre qualquer um de seus componentes, com o objetivo de ajudar na tomada de decisões⁽²⁾.

A avaliação não é uma ciência ou área da ciência, mas sim campo de aplicação de conhecimentos de várias áreas, que utiliza múltiplos conceitos e enfoques metodológicos que favorecem uma visão mais abrangente do objeto avaliado⁽³⁾.

A avaliação em saúde expandiu-se no final do século XX, principalmente no tocante à produção científica, mas a sua institucionalização nos campos da pesquisa e dos serviços de saúde carece de avanços concretos; porém, ambos os aspectos ainda requerem investimentos que favoreçam a sua consolidação enquanto parte integrante do processo de trabalho gerencial, que possibilita qualificar o processo de gestão em saúde.

Reconhecida como um componente da gestão em saúde a avaliação pode contribuir para a tomada de decisão mais objetiva, confirmando e/ou redirecionando as intervenções e práticas de saúde, dentro de um contexto político, econômico, social, cultural e profissional. É definida como um "processo técnico-administrativo destinado à tomada de decisão" envolvendo momentos de medição, comparação e emissão de juízo de valor, a partir do julgamento realizado com base em critérios previamente definidos, tendo em vista favorecer a tomada de decisão⁽⁴⁾.

Assim, a avaliação em saúde tem potencial para qualificar a tomada de decisão em diferentes esferas, à medida que, baseada em evidências pode reduzir o grau de incertezas que perpassa os processos decisórios.

Muitos autores conceituam avaliação em saúde, cada qual com enfoque diferenciado, no entanto, a idéia de conhecer determinado objeto para estabelecer juízo de valor e favorecer a tomada de decisão permeia boa parte dos conceitos. Cabe realçar que o julgamento sobre o valor do objeto pressupõe a visão de mundo do avaliador, a posição do objeto avaliado e o contexto em que avaliação ocorre, ou seja, a avaliação tem um viés de subjetividade ainda que este seja controlado e/ou minimizado. Nesse sentido, torna-se ainda mais relevante, nas avaliações, adotar uma proposta metodológica criteriosa que garanta o rigor necessário desde a concepção do projeto até a aplicação de técnicas de análise e disseminação de resultados.

Embora existam diferentes definições e atribuições para a avaliação em saúde, entende-se que ela possa contribuir para a tomada de decisão, tendo como compromisso a melhoria das intervenções em saúde, que em última análise, repercute positivamente na condição de saúde dos cidadãos.

Nesse sentido, a avaliação em saúde pode ser considerada parte do trabalho gerencial subsidiando o enfermeiro no processo de tomada de decisão, tanto nos aspectos relativos à produção de conhecimentos e evidências que qualifiquem a prática, quanto no aspecto de qualificar a gestão de serviços e sistemas de saúde.

A avaliação em saúde se constitui em uma área em fase de construção conceitual e metodológica. Para agrupar as principais modalidades, é possível adotar uma tipologia⁽⁵⁾ que considere os seguintes aspectos: objetivo, posição do avaliador, enfoque priorizado, metodologia predominante, forma de utilização da informação produzida, contexto da avaliação, temporalidade e tipo de juízo formulado. Segundo esta proposta, a avaliação em saúde pode ser classificada em: investigação avaliatória, avaliação para decisão e avaliação para gestão.

A investigação avaliatória tem como objetivo principal "a produção de conhecimento que seja reconhecido como tal pela comunidade científica."⁽⁵⁾. Diz respeito a pesquisas desenvolvidas no âmbito acadêmico, por iniciativa própria de pesquisadores ou atendendo demandas de instâncias públicas. O enfoque dessas pesquisas é prioritariamente a identificação do impacto decorrente da ação avaliada, ou seja, o estabelecimento de relações de "causalidade".

Outra forma de classificação, considera dois tipos: a avaliação normativa e a pesquisa avaliativa⁽²⁾.

A pesquisa avaliativa avança em uma perspectiva analítica, estabelecendo relações entre o problema, a intervenção, os objetivos da intervenção, os recursos, os efeitos, as ações e o contexto no qual a intervenção se insere⁽²⁾.

Sem desconsiderar a importância da avaliação em saúde para a decisão, a avaliação para gestão e a avaliação normativa, este estudo focou a pesquisa avaliativa, entendida, nesse contexto, como sinônimo de investigação avaliatória.

A pesquisa avaliativa acontece em diferentes contextos, justificando a adoção de propostas de ação que, considerando aspectos teóricos, técnicos e estratégicos, favoreçam a operacionalização da investigação.

No desenvolvimento da pesquisa avaliativa destacam-se os sistemas de informação em saúde (SIS) que disponibilizam dados que podem resultar em informações que permitem conhecer e caracterizar o objeto de estudo.

Segundo o Escritório Regional da Organização Mundial da Saúde para a Europa, os SIS podem ser definidos como um mecanismo de coleta, processamento, análise e transmissão de informações necessárias para organizar e operar serviços de saúde. São úteis também para a investigação e o planejamento com vistas ao controle de doenças. Eles tem o propósito de selecionar dados pertinentes aos serviços, transformando-os em informações necessárias para o processo decisório, próprio das organizações e indivíduos que planejam, administram e avaliam os serviços de saúde⁽⁶⁾. Deste modo, dentre as principais funções dos SIS destacam-se aquelas pertinentes ao desenvolvimento do monitoramento e da avaliação em saúde.

Sistemas de saúde de diferentes países abordam a questão dos SIS com diversos enfoques. Embora ainda em consolidação, experiências exitosas do sistema de saúde brasileiro nos SIS podem trazer subsídios para o contexto de sistema de saúde de outros países que adotam sistemas universalistas como o brasileiro.

No Brasil, o Ministério da Saúde (MS), por meio do Departamento de Informática do Sistema Único de Saúde (DATASUS), disponibiliza sistemas de informação em saúde, de abrangência nacional, com repercussão direta nos processos de assistência, de gestão, de ensino e pesquisa. Cabe destacar que, embora a maioria dos SIS seja disponibilizada pelo DATASUS, muitos estados e municípios implantam outros sistemas e programas que atendam às suas especificidades e aos seus contextos. Tendo em vista estes diferentes SIS é possível identificar a disponibilidade de dados oficiais que podem subsidiar, entre outras ações, o desenvolvimento de pesquisas.

Em muitos serviços de saúde, de modo rotineiro, o enfermeiro é responsável por alimentar e atualizar bancos de dados de diferentes SIS. Entende-se que este é um papel relevante uma vez que favorece a manutenção atualizada dos sistemas. Entretanto, o enfermeiro é um profissional formado e qualificado para atuação mais dinâmica nesses processos, na gestão das informações produzidas, transformando-as em instrumentos úteis ao processo decisório, estabelecendo interface entre aspectos sócio-demográfico-epidemiológico-gerenciais de modo a fornecer novos conhecimentos e subsídios que qualifiquem a gestão, gerência e a assistência.

Assim, a relevância da temática, a potencialidade do profissional enfermeiro na produção de novos conhecimentos que favoreçam o cuidado e a gestão, a importância da informação no desenvolvimento da pesquisa avaliativa, a articulação entre o uso de SIS e a pesquisa avaliativa, a abrangência dos sistemas de informação presentes no Sistema Único de Saúde (SUS) e a experiência acadêmica no desenvolvimento de pesquisas utilizando dados secundários disponibilizados por órgãos oficiais, justificaram o desenvolvimento deste estudo que teve como objetivo refletir teoricamente, na perspectiva enfermagem, o uso de SIS como fonte de dados quantitativos para a pesquisa avaliativa.

Embora a literatura aborde questões relativas à pesquisa avaliativa e sistemas de informação há carência de artigos que abordem a interface entre os dois temas e sua potencialidade para a enfermagem. Cabe destacar que, articulando conhecimentos teóricos e a experiência acadêmica dos autores pretende-se suscitar a reflexão dos enfermeiros acerca da relevância dos sistemas de informação em saúde para o desenvolvimento da pesquisa avaliativa, extrapolando a concepção vigente no senso comum acerca do uso de dados secundários.

 

A pesquisa avaliativa e os sistemas de informação em saúde

O desenvolvimento da pesquisa avaliativa emerge a partir da identificação de perguntas chaves (perguntas avaliativas) e requer a estruturação de um projeto que contemple as etapas metodológicas para operacionalizar a investigação. Há que se refletir e propor a forma de recortar o problema, definir o referencial teórico-metodológico a ser adotado, os participantes, o cenário da pesquisa, os recursos necessários e a forma de obtê-los, bem como os procedimentos de coleta e análise de dados, além dos aspectos éticos implicados. Um aspecto interessante da pesquisa avaliativa, diz respeito à possibilidade de formação de equipes multidisciplinares de pesquisadores, comportando a especificidade de diferentes áreas de conhecimento que, articuladas, podem favorecer uma abordagem ampliada e em profundidade do objeto de estudo.

Na atualidade, no mundo, é crescente a representatividade da enfermagem no desenvolvimento de pesquisas que produzem evidencias para a prática assistencial e gerencial. A pesquisa avaliativa tem potencial para qualificar parte das pesquisas realizadas em enfermagem, em uma perspectiva de apropriação de novos enfoques e referenciais teórico-metodológicos.

A abordagem metodológica mais frequentemente usada na pesquisa avaliativa é a quantitativa, com crescente participação das formas de natureza qualitativa, combinação que favorece a apreensão de objetos complexos⁽⁵⁾.

A abordagem quantitativa utiliza dados que transformados em formas numéricas podem expressar a medida do objeto e utiliza a análise estatística para a interpretação dos resultados fundamentando as conclusões. Por sua vez, a abordagem qualitativa procura compreender as situações relativas ao objeto, considerando os significados atribuídos ao objeto/fato/relações ou práticas dos sujeitos dentro de um contexto⁽⁷⁾.

É freqüente na pesquisa avaliativa a utilização de estudos de caso. Uma premissa desse tipo de estudo diz respeito à relevância e representatividade do caso, de modo que, embora os resultados não sejam generalizáveis, permitam a ampliação da discussão para além do caso em si. Nesse sentido, diferentes técnicas de pesquisa relativas à abordagem quantitativa e qualitativa têm sido utilizadas, tais como a pesquisa documental, a análise de séries temporais, os inquéritos populacionais, os questionários autoaplicados, a observação participante, o grupo focal, as entrevistas, dentre outros.

Os SIS são particularmente úteis para subsidiar a abordagem quantitativa na pesquisa avaliativa e, a partir da análise crítica e contextualizada dos dados é possível eleger questões e sujeitos chaves que farão parte da abordagem qualitativa, caso a opção seja por desenvolver uma pesquisa com abordagem mista, que articule dados quantitativos e qualitativos⁽⁸⁾.

A definição dos participantes do estudo ou da população a ser estudada é importante para indicar a fonte e forma de coleta de dados. Por exemplo, nas abordagens quantitativas, a depender do objeto da pesquisa avaliativa, é possível acessar diferentes fontes de dados nos sistemas de informação em saúde que enfocam aspectos demográficos, epidemiológicos, de morbidade, de assistência e de gestão^(9-)

Esses SIS têm como pontos positivos a abrangência nacional e, na maioria das vezes, a atualização contínua, constituindo importante fonte de dados em um país de dimensão continental.

A utilização do enfoque sistêmico no desenvolvimento da pesquisa avaliativa mostrase adequada porque permite uma melhor sistematização e abordagem do objeto, considerando os componentes de estrutura, processo e resultado segundo o referencial de Donabedian. Cabe destacar que, por entender que o componente processo constitui-se em etapa essencial na qual a interação com o usuário concretiza as ações de saúde, propõe-se a organização dos dados quantitativos a partir desse componente⁽¹²⁾.

Assim, a partir dos dados disponibilizados por diferentes sistemas de informação é possível construir indicadores para avaliação da assistência ambulatorial e hospitalar (número de consultas por estabelecimento, número de consultas por habitante/ano, número de exame por especialidade, número de procedimentos por estabelecimento de saúde, valor da internação, coeficientes de morbidade e mortalidade hospitalar, tempo de permanência no hospital) e obter dados acerca da estrutura de serviços de saúde (localização, área física, recursos humanos, equipamentos). Também é possível monitorar a atenção a determinados agravos (assistência materna e neonatal, controle de determinadas doenças), bem como subsidiar a logística para a aquisição, dispensação e distribuição de medicamentos; dentre outros.

Como pontos frágeis dos sistemas de informação disponibilizados destacam-se a impossibilidade de integração de dados, ou seja, a pequena interoperabilidade entre os sistemas que culmina em duplicidade da coleta de dados, problemas com a atualização e qualidade dos dados além da diversidade de capacitação de recursos humanos e equipamentos que operam esses sistemas, condições que impactam a qualidade da informação.

No que se refere aos recursos humanos, toda a complexidade envolvida no processo de gestão da informação para a avaliação em saúde requer o desenvolvimento da competência informacional dos indivíduos.

É importante que exista a possibilidade de estabelecer integração e interface de dados entre sistemas de informação em saúde uma vez que a complementaridade dos dados é importante para a análise da assistência ao usuário e para se conhecer a efetividade dos serviços de saúde. Quando analisamos os diferentes sistemas de informação em saúde do SUS percebemos esta dificuldade de integração de dados, bem como a diversidade de unidade de registro nos diferentes sistemas de informação que em alguns momentos diz respeito ao usuário, ao procedimento realizado ou ao serviço.

A integração, comparação e análise de dados de diferentes sistemas de informação em saúde permitem minimizar a fragilidade da qualidade dos registros, permitindo trabalhar relações e tendências mais que a fidedignidade do valor absoluto.

Sistemas de informação em saúde implantados por longos períodos de tempo favorecem o desenvolvimento de investigações que façam análise de séries temporais permitindo caracterizar o evento a longo prazo, as flutuações sazonais, a implantação de estratégias de atenção à saúde e as variações decorrentes de mudanças na gestão. Por outro lado, é freqüente a ocorrência de mudanças na nomenclatura de determinados procedimentos ou na forma de agrupamento desses ao longo do tempo. Para análise de séries históricas é preciso a clara identificação dos procedimentos, as modificações na nomenclatura e no agrupamento de procedimentos no decorrer do tempo para possibilitar uma adequada interpretação dos dados coletados.

A depender do objetivo e do objeto de estudo há que se fazer a adequação do recorte temporal quando se pretende usar dados oriundos de sistemas de informação em saúde. Para determinação do período de estudo, é desejável uma análise prévia de contexto para eleger um recorte temporal que favoreça a apreensão dos acontecimentos em relação ao objeto de estudo. Um período de estudo longo não significa necessariamente que o objeto esteja melhor representado.

No tocante ao uso de sistemas de informação em saúde são apontadas como limitações: a baixa qualificação, vínculos precários e rotatividade de pessoal; falta de integração dos SIS; dificuldades de alimentação e atualização dos SIS, além de infraestrutura de informática insuficiente.Quanto as facilidades destacam-se: acesso as informações, possibilidade de monitoramento das ações, existência de profissionais qualificados⁽¹³⁾.

Em relação aos procedimentos de análise dos dados quantitativos, o uso de dados secundários requer a construção de possibilidades que favoreçam interpretar os possíveis significados de um número, porcentagem ou razão na perspectiva de sistema de saúde. É preciso selecionar condições de contexto para análise, quais sejam, a variação da base populacional, padrão de morbi-mortalidade, ocorrência de catástrofes/acidentes, modificações no padrão de oferta de serviços de saúde, dentre outros. Assim, a análise das tendências na produção dos procedimentos permite comparar o nível de variação da oferta de serviços e a consequente resposta institucional para as demandas que emergem.

Entende-se que a diversidade metodológica, por meio da combinação de abordagens é importante para favorecer a apreensão ampliada do objeto de estudo; contudo, não basta somar desenhos quantitativos e qualitativos, faz-se necessário planejar as abordagens de modo a favorecer a integração e complementaridade dos dados, de modo a responder a pergunta avaliativa inicial.

Nesse sentido, a experiência acadêmica tem mostrado ser bastante positivo iniciar a coleta de dados da pesquisa avaliativa a partir de dados quantitativos, secundários, disponíveis em sistemas de informação em saúde e/ou documentos oficiais, de modo que seja possível fazer uma análise crítica inicial que indique aspectos relevantes que precisam ser melhor explorados em uma coleta de dados primários, em uma abordagem qualitativa. Esta combinação de abordagem quantitativa e qualitativa permite buscar a representatividade da assistência realizada pelos serviços de saúde, entender o significado dos fenômenos e avaliar suas relações⁽⁴⁾.

Enfim, cabe ainda destacar que o grande volume de dados disponibilizados acerca da assistência à saúde serve de fonte de dados para a realização de pesquisas, requer o desenho de projetos que contemplem a especificidade do objeto de estudo, apresentem claramente os passos metodológicos para obtenção dos dados de interesse, muitas vezes dispersos em diferentes SIS, os quais recuperados e analisados de forma integrada auxiliam a responder a pergunta avaliativa. Essas considerações constituem-se em elementos a serem contemplados pelos enfermeiros na elaboração e execução de projetos de pesquisa.

A tomada de decisão em saúde tem alta relevância social e responsabilidade, nesse sentido a pesquisa avaliativa e o uso de sistemas de informação podem diminuir o grau de incerteza sobre determinada situação, favorecendo o processo decisão-ação⁽¹⁴⁾.

 

Considerações para refletir

Na vivência profissional acadêmica observa-se que há subutilização dos recursos disponibilizados pelos SIS, tal situação parece decorrer de fragilidades da competência informacional e da dificuldade da incorporação da informação que propriamente pelas limitações dos SIS.

Embora existam críticas, a diversidade de SIS disponibilizados nos sistemas de saúde se constitui em importante fonte de dados acerca do sistema de saúde, abrangendo dados que analisados isolada ou articuladamente, possibilitam a caracterização demográfica, epidemiológica e assistencial, favorecendo o desenvolvimento de pesquisas avaliativas que favorecem o aprimoramento do sistema de saúde.

Em que pesem as discussões acerca da qualidade dos dados disponibilizados pelos SIS, decorrente de vários fatores, entre eles as deficiências da capacitação de recursos humanos e desigualdades estruturais, alguns desses sistemas tem o potencial de paulatinamente permitir a desagregação do dado ao nível individual do usuário do sistema de saúde, que possibilita em situações específicas a análise da assistência individual e de cobertura populacional, favorecendo a definição de grandes amostras com um baixo custo operacional.

Este estudo teve como objeto os SIS e seu potencial na pesquisa avaliativa na perspectiva da enfermagem sem, contudo, desconsiderar que eles se inserem, em uma perspectiva ampliada à gestão da informação em saúde.

Acredita-se que a pesquisa avaliativa tem potencial para desenvolver conhecimentos científicos que favoreçam o processo de gestão em saúde, explicitando as particularidades do sistema de saúde e, nesse sentido tem potencial para produzir conhecimentos que favoreceram o empoderamento do enfermeiro no processo de gestão, em uma perspectiva multiprofissional, respeitando as singularidades e especificidades dos saberes e práticas da enfermagem.

A pesquisa avaliativa reflete concepções, valores, pressupostos, intenções, ou seja, está sujeita à visão de mundo do pesquisador para um conjunto dados e informações, sujeita a leitura que se fizer deles, cabendo lembrar que esta deve estar respaldada do caráter ético que permeia toda investigação científica. Para finalizar, entende-se que a pesquisa avaliativa utilizando SIS favorece o cuidado, que entendemos ser, em última análise, a centralidade do trabalho do enfermeiro.

 

Referências

1. Almeida PF. O desafio da produção de indicadores para avaliação de serviços em saúde mental: um estudo de caso do Centro de Atenção Psicossocial Rubens Correa/RJ (Internet). Rio de Janeiro: Escola Nacional de Saúde Pública; 2002. (cited 2012 dec 21). Available from: http://teses.icict.fiocruz.br/pdf/almeidapfm.pdf.         [ Links ]

2. Contandriopoulos AP, Champagne F, Denis JL, Pineault R. A avaliação na área da saúde: conceitos e métodos. In: Hartz ZAM. (Org.). Avaliação em saúde: dos modelos conceituais à prática na implantação de programas. 3. ed. Rio de Janeiro: Fiocruz; 2002. p. 29-46.         [ Links ]

3. Tanaka OU, Melo C. Avaliação de programas de saúde do adolescente: um modo de fazer. São Paulo: Edusp; 2004.         [ Links ]

4. Tanaka OY, Melo CMM. Avaliação de Serviços e Programas de Saúde para a Tomada de Decisão. In: Rocha AA, Chester LGC. (Orgs.). Saúde Pública: Bases Conceituais. São Paulo: Atheneu; 2008. p. 119-31.         [ Links ]

5. Novaes HMD. Avaliação de programas, serviços e tecnologias em saúde. Rev Saude Publica. 2000;34(5):547-59.         [ Links ]

6. World Health Organization. Health statistics and health information systems. Country health information systems. Acesso em 19 set. 2011. Disponível em: http://www.who.int/healthinfo/systems/en/index.html.         [ Links ]

7. World Health Organization (Internet). Geneva: WHO, ©2013. Health statistics and health information systems. Country measurement and evaluation; (cited 2011 sep 19); (about 2 screens). Available from: http://www.who.int/healthinfo/systems/en/index.html.         [ Links ]

8. Samico I, Felisberto E, Figueiró AC, Frias PG. (Orgs.). Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010.         [ Links ]

9. Creswell JW. Projeto de pesquisa: métodos qualitativo, quantitativo e misto. 2. ed. Porto Alegre: Artmed; 2007.         [ Links ]

10. Branco MAF. Uso da informação em saúde na gestão municipal: para além da norma. In: Freese E. (Org.). Municípios a gestão da mudança em saúde. Recife: Universitária; 2004. p.77-89.         [ Links ]

11. Ministério da Saúde (Br). A experiência brasileira em sistemas de informação em saúde: produção e disseminação de informações sobre saúde no Brasil (Internet). Brasília: MS; 2009 (cited 2012 jan 12). 148 p. v.1, Série B. Textos Básicos de Saúde. Available from http://bvsms.saude.gov.br/bvs/publicacoes/experiencia_brasileira_sistemas_saude_volume1.pdf.         [ Links ]

12. Trocolli FT. Sistemas de informação. In: Ibañez N, Elias PEM, Seixas PHD (Orgs). Política e gestão pública em saúde. São Paulo: Hucitec, Cealag; 2011. p . 407-45.         [ Links ]

13. Tanaka OY. Avaliação da atenção básica em saúde: uma nova proposta. Saúde soc. (Internet). 2011 (cited 2011 dec 21);20(4):927-34. Available from http://www.scielo.br/scielo.php?pid=S0104-12902011000400010&script=sci arttext.         [ Links ]

14. Melo CF, Leite MJVF, Carvalho JBL, Aquino GML, Silva ER, Macedo CPC, et al. As gestões municipais e o uso das informações no pacto pela saúde no estado do rio grande do norte. HOLOS 2012; 28(6):220-36.         [ Links ]

15. Santos SR , Araújo JO. Sistema de informação hospitalar: concepção de gestores de um hospital de ensino. Rev enferm UFPE on line. 2013; 7(4):1174-81.         [ Links ]