REFLEXIONES Y ENSAYOS

 

Reflexiones acerca de Sistemas de Información Sanitaria, Investigación evaluativa y Enfermería

Reflexões acerca de Sistemas de Informação em Saúde, Pesquisa Avaliativa e Enfermagem

Reflections on Information Systems in Health, Evaluative Search and Nursing

 

 

Chaves, Lucieli Dias Pedreschi*; Ferreira, Janise Braga Barros*; Camelo, Sílvia Helena Henriques*; Balderrama, Priscila**; Tanaka, Oswaldo Yoshimi***

*Doctor por la Escuela de Enfermería de Ribeirão Preto E-mail: dpchaves@eerp.usp.br
**Doctoranda del Programa de Posgraduación en Enfermería Fundamental de la Escuela de Enfermería de Ribeirão Preto
***Doctor por la Facultad de Salud Pública. Universidad de São Paulo, Brasil.

(Texto extraído de parte de los resultados del proyecto "Evaluación de resultados de la atención a las lesiones cardiovasculares como trazador del principio de integralidad" desarrollado en el programa de postdoctorado. Apoyo financiero del Consejo Nacional de Desarrollo Científico y Tecnológico y de la Fundación de Apoyo a la Investigación del Estado de São Paulo.)

 

 

---

RESUMEN

El presente estudio tiene por objetivo reflexionar teóricamente, desde la perspectiva de enfermería, el uso de sistemas de información de salud como fuente de datos cuantitativos para la investigación evaluativa. En una concepción analítica, la investigación evaluativa establece relaciones de influencia entre acción/intervención evaluada, propósito y contexto. Los sistemas de información en salud proporcionan datos cuantitativos que permiten conocer el objeto de estudio subvencionando la realización de estudios de evaluación. El uso de estos sistemas requiere proyectos que contemplen la especificidad del objeto de estudio, presenten los pasos metodológicos para la obtención y el análisis de datos de interés, para alcanzar los objetivos propuestos y responder a la pregunta de evaluación.
Para la enfermera, la combinación entre investigación evaluativa y sistemas de información tiene potencial para desarrollar conocimientos científicos que favorezcan la toma de decisiones en la gestión sanitaria así como el desarrollo de nuevas investigaciones.

Palabras clave: sistemas de información; Sistema Único de Salud; evaluación en salud; uso de la información científica en la toma de decisiones en salud; enfermería.

---

RESUMO

O presente estudo teve como objetivo refletir teoricamente, na perspectiva da enfermagem, o uso de sistemas de informação em saúde como fonte de dados quantitativos para a pesquisa avaliativa. Em uma concepção analítica, a pesquisa avaliativa estabelece relações de influência entre ação/intervenção avaliada, efeitos e contexto. Os sistemas de informação em saúde disponibilizam dados quantitativos que permitem conhecer o objeto de estudo subsidiando a realização de pesquisas avaliativas. O uso desses sistemas requer projetos que contemplem a especificidade do objeto de estudo, apresentem os passos metodológicos para obtenção e a análise dos dados de interesse, para atingir os objetivos propostos e responder a pergunta avaliativa.
Para o enfermeiro a articulação entre pesquisa avaliativa e sistemas de informação tem potencial para desenvolver conhecimentos científicos que favoreçam a tomada de decisão na gestão em saúde bem como o desenvolvimento de novas investigações.

Palavras-chave: sistemas de informação; Sistema Único de Saúde; avaliação em saúde; uso da informação científica na tomada de decisões em saúde; enfermagem.

---

ABSTRACT

This study is aimed at reflecting theoretically on the nursing perspective, the use of health information systems as a source of quantitative data for evaluation research. From an analytical perspective, evaluative research establishes relations of influence between action / evaluated intervention, the effect and context. The health information systems provide quantitative data that allow to know the object of study subsidizing conducting evaluation studies. The use of information systems requires projects that contemplate the specific object of study, present the methodological steps for obtaining and analyzing the data of interest, in view of achieving the proposed objectives and answer evaluative question.
For the nurse, the combination of evaluative research and information systems has the potential to develop scientific knowledge that support decision making in healthcare management and the development of new investigations.

Keywords: information systems; unified health system; health evaluation; use of scientific information for health decision making; nursing.

---

 

Contextualizando la temática

La evaluación es una actividad bastante antigua, proceso esencialmente humano y realizado cotidianamente. Sin embargo, definir la evaluación es una actividad compleja, pues se trata de una palabra que posee una gran riqueza semántica, además de ser aplicable a diversas áreas del saber. En su raíz latina, "evaluar", significa medir a partir de normas cuantificables, y en griego, el radical axiós se refiere a la producción de juicio de valor, ligada a medidas cualitativas, una etimología que evidencia la contribución de diversas ciencias en el campo de la evaluación⁽¹⁾.

Evaluar consiste fundamentalmente en hacer un juicio de valor respecto de una intervención o sobre cualquiera de sus componentes, con el objetivo de ayudar en la toma de decisiones⁽²⁾.

La evaluación no es una ciencia o área de la ciencia, sino un campo de aplicación de conocimientos de varias áreas, que utiliza múltiples conceptos y enfoques metodológicos que favorecen una visión más abarcadora del objeto evaluado⁽³⁾.

La evaluación de la salud se extendió al final del siglo XX, principalmente en lo tocante a la producción científica, pero su institucionalización en los campos de la investigación y de los servicios sanitarios carece de avances concretos; por ello, ambos aspectos requieren todavía inversiones que favorezcan su consolidación en cuanto parte integrante del proceso de trabajo gerencial, que posibilita calificar el proceso de gestión en salud.

Reconocida como um componente de la gestión sanitaria, la evaluación puede contribuir a la toma de decisión más objetiva, confirmando y/o redireccionando las intervenciones y prácticas sanitarias, dentro de un contexto político, económico, social, cultural y profesional. Se define como un "proceso técnico-administrativo destinado a la toma de decisión" incluyendo momentos de medicación, comparación y emisión de juicio de valor, a partir del juicio realizado basado en criterios previamente definidos, para favorecer la toma de decisión⁽⁴⁾.

Así, la evaluación de la salud tiene potencial para calificar la toma de decisión en diferentes esferas, en la medida en que, basada en evidencias, puede reducir el nivel de dudas que sobrepasa los procesos decisorios.

Muchos autores definen evaluación de la salud, cada cual con enfoque diferenciado; sin embargo, la idea de conocer determinado objeto para establecer jucio de valor y favorecer la toma de decisión está en gran parte de los conceptos. Cabe destacar que el juicio sobre el valor del objeto presupone en la visión del mundo del evaluador, la posición del objeto evaluado y el contexto en que la evaluación tiene lugar, o sea, la evaluación tiene un sesgo de subjetividad aunque este esté controlado y/o minimizado. En este sentido, se hace aún más relevante, en las evaluaciones, adoptar una propuesta metodológica juiciosa que garantice el rigor necesario desde la concepción del proyecto hasta la aplicación de técnicas de análisis y difusión de resultados.

Aunque existan diferentes definiciones y atribuciones para la evaluación de la salud, se entiende que ella contribuye a la toma de decisión, teniendo como compromiso la mejora de las intervenciones sanitarias, que, en último análisis, repercute positivamente en la condición de salud de los ciudadanos.

En este sentido, la evaluación de la salud puede considerarse parte del trabajo gerencial ayudando al enfermero en el proceso de la toma de decisión, tanto en los aspectos relativos a la producción de conocimientos y evidencias que cualifiquen la práctica, como en el aspecto de cualificar la gestión de servicios y sistemas de salud.

La evaluación de la salud se constituye en un área en fase de construcción conceptual y metodológica. Para agrupar las principales modalidades, es posible adoptar una tipología⁽⁵⁾ que considere los siguientes aspectos: objetivo, posición del evaluador, enfoque priorizado, metodología predominante, forma de utilización de la información producida, contexto de la evaluación, temporalidad y tipo de juicio formulado. Según esta propuesta, la evaluación de la salud puede clasificarse en: investigación evaluativa, evaluación de la decisión y evaluación de la gestión.

La investigación evaluativa tiene como objetivo principal "la producción de conocimiento que sea reconocida como tal por la comunidad científica."⁽⁵⁾. Se refiere a investigaciones desarrolladas en el ámbito académico, por iniciativa propia de investigadores o atendiendo demandas de instancias públicas. El enfoque de estas investigaciones es prioritariamente la identificación del impacto derivado de la acción evaluada, o sea, el establecimiento de relaciones de "causalidad".

Otra forma de clasificación, considera dos tipos: la evaluación normativa y la investigación evaluativa⁽²⁾.

La investigación evaluativa avanza desde una perspectiva analítica, estableciendo relaciones entre el problema, la intervención, los objetivos de la intervención, los recursos, los efectos, las acciones y el contexto en el cual la intervención se inserta⁽²⁾.

Sin dejar de lado la importancia de la evaluación de la salud para la decisión, la evaluación de la gestión y la evaluación normativa, este estudio se centró en la investigación evaluativa, entendida, en este contexto, como sinónimo de investigación evaluadora.

La investigación evaluativa acontece en diferentes contextos, justificando la adopción de propuestas de acción que, considerando aspectos teóricos, técnicos y estratégicos, promuevan la puesta en práctica de la investigación.

En el desarrollo de la investigación evaluativa destacan los sistemas de información para la salud (SIS) que disponibilizan datos que pueden resultar en informaciones que permiten conocer y caracterizar al objeto de estudio.

Según la Oficina Regional de la Organización Mundial de la Salud para Europa, los SIS pueden ser definidos como un mecanismo de colecta, procesamiento, análisis y transmisión de informaciones necesarias para organizar y operar servicios de salud. Son útiles también para la investigación y la planificación con miras al control de enfermedades. Tienen el propósito de seleccionar datos pertinentes a los servicios, transformándolos en informaciones necesarias para el proceso decisorio, propio de las organizaciones e individuos que planifican, administran y evaluan los servicios de salud⁽⁶⁾. De este modo, entre las principaes funciones de los SIS destacan aquellas pertinentes al desarrollo del seguimiento y evaluación de la salud.

Sistemas de salud de diferentes países abordan la cuestión de los SIS con diversos enfoques. Aunque todavía en consolidación, experiencias exitosas del sistema de salud brasileño en los SIS pueden aportarr beneficios para el contexto del sistema de salud de otros países que adoptan sistemas universales como el brasileño.

En Brasil, el Ministerio de Salud (MS), por medio del Departamento de Informática del Sistema Único de Salud (DATASUS), disponibiliza sistemas de información sanitaria, a escala nacional, con repercusión directa en los procesos de asistencia, de gestión, de enseñanza e investigación. Cabe destacar que, aunque la mayoría de los SIS esté disponibilizada por el DATASUS, muichos estados y municipios implantan otros sistemas y programas que atiendan a sus especificidades y a sus contextos. Teniendo en cuenta estos diferentes SIS es posible identificar la disponibilidad de datos oficiales que pueden ayudar, entre otras acciones, al desarrollo de investigaciones.

En muchos servicios sanitarios, de modo rutinario, el enfermero es responsble de alimentar y actualizar bancos de datos de diferentes SIS. Se entiende que este es un papel relevante ya que favorece el mantenimiento actualizado de los sistemas. Sin embargo, el enfermero es un profesional formado y cualificado para una actuación más dinámica en estos procesos, en la gestión de las informaciones producidas, transformándolas en instrumentos útiles al proceso decisorio, estableciendo interface entre aspectos socio-demográfico-epidemiológico-gerenciales de modo a proporcionarr nuevos conocimientos y ayudas que cualifiquen la gestión, gerencia y asistencial.

Así, la relevancia de la temática, la potencialidad del profesional enfermero en la producción de nuevos conocimientos que favorezcan el cuidado y la gestión, la importancia de la información en el desarrollo de la investigación evaluativa, la articulación entre el uso de SIS y la investigación evaluativa, el alcance de los sistemas de información presentes en el Sistema Único de Salud (SUS) y la experiencia académica en el desarrollo de investigaciones, utilizando datos secundarios disponibilizados por órganos oficiales, justificaron el desarrollo de este estudio que tuvo como objetivo reflexionar teóricamente, desde la perspectiva enfermera, sobre el uso de SIS como fuente de datos cuantitativos para la investigación evaluativa.

Aunque la literatura aborde cuestiones relativas a la investigación evaluativa y sistemas de información hay carencia de artículos que aborden el interface entre los dos temas y su potencialidad para la enfermería. Cabe destacar que, articulando conocimeintos teóricos y la experiencia académica de los autores, se pretende suscitar la reflexión de los enfermeros acerca de la relevancia de los sistemas de información para la salud para el desarrollo de la investigación evaluativa, extrapolando la concepción vigente en el sentido común acerca del uso de datos secundarios.

 

La investigación evaluativa y los sistemas de información para la salud

El desarrollo de la investigación evaluativa emerge a partir de la identificación de preguntas claves (preguntas evaluativas) y requiere la estructuración de un proyecto que contemple las etapas metodológicas para llevar a cabo la investigación. Hay que reflexionar y proponer la forma de recortar el problema, definir el referencial teórico-metodológico a ser adoptado, los participantes, el escenario de la investigación, los recursos necesarios y la forma de obtenerlos, así como los procedimientos de colecta y análisis de datos, además de los aspectos éticos implicados. Un aspecto interesante de la investigación evaluativa se refiere a la posibilidad de formación de equipos multidisciplinares de investigadores, comportando la especificidad de diferentes áreas de conocimiento que, articuladas, favorezcan un enfoque ampliado y en profundidad del objeto de estudio.

En la actualidad, en el mundo, es creciente la representatividad de la enfermería en el desarrollo de investigaciones que producen evidencias para la práctica asistencial y gerencial. La investigación evaluativa tiene potencial para cualificar parte de las investigaciones realizadas en enfermería, desde una perspectiva de apropiación de nuevos enfoques y referenciales teórico-metodológicos.

El abordaje metodológico más frecuentemente usado en la investigación evaluativa es el cuantitativo, con creciente participación de las formas de naturaleza cualitativa, combinación que favorece la incautación de objetos complejos⁽⁵⁾.

El abordaje cunatitativo utiliza datos que, transformados en formas numéricas, pueden expresar la medida del objeto y utiliza el análisis estadístico para la interpretación de los resultados fundamentando las conclusiones. A su vez, el abordaje cualitativo procura comprender las situaciones relativas al objeto, considerando los significados atribuídos al objeto/hecho/relaciones o prácticas de los sujetos dentro de un contexto⁽⁷⁾.

Es frecuente en la investigación evaluativa la utilización de estudios de caso. Una premisa de este tipo de estudio se refiere a la relevancia y representatividad del caso, de modo que, aunque los resultados no sean generalizables, permitan la ampliación de la discusión además del propio caso en sí. En este sentido, diferentes técnicas de investigación relativas al abordaje cuantitativo y cualitativo han sido utilizadas, tales como la investigación documental, el análisis de series temporales, las encuestas de población, los cuestionarios autoaplicados, la observación participante, el grupo focal, las entrevistas, entre otros.

Los SIS son particularmente útiles para ayudar al abordaje cuantitativo en la investigación evaluativa y a partir del análisis crítico y contextualizado de los datos, es posible elegir cuestiones y temas claves, que serán parte del abordaje cualitativo, caso de que la opción sea desarrollar una investigación con abordaje mixto, que articule datos cuantitativos y cualitativos⁽⁸⁾.

La definición de los participantes del estudio o de la población a ser estudiada es importante para indicar la fuente y forma de colecta de datos. Por ejemplo, en los abordajes cuantitativos, al depender del objeto de la investigación evaluativa, es posible acceder a diferentes fuentes de datos en los sistemas de información de salud que enfocan aspectos demográficos, epidemiológicos, de morbidad, asistencia y de gestión^(9-11).

Estos SIS tienen como puntos positivos la cobertura nacional y, en la mayoría de las veces, la actualización continua, constituyendo importante fuente de datos en un país de dimensión continental.

La utilización del enfoque sistémico en el desarrollo de la investigación evaluativa se muestra adecuada porque permite una mejor sistematización y abordaje del objeto, considerando los componentes de estructura, proceso y resultado según el referencial de Donabedian. Cabe destacar que, por entender que el componente proceso se constituye en etapa esencial en la cual la interacción con el usuario concretiza las acciones de salud, se propone la organización de los datos cuantitativos a partir de este componente^²

Así, a partir de los datos disponibilizados por diferentes sistemas de información es posible construir indicadores para la evaluación de la asistencia ambulatorial y hospitalaria (número de consultas por establecimiento, número de consultas por habitante/año, número de examen por especialidad, número de procedimentos por establecimento de salud, costes de hospitalización, coeficientes de morbidad y mortalidad hospitalaria, tiempo de permanencia en el hospital) y obtener datos acerca de la estructura de servicios de salud (localización, área física, recursos humanos, equipamientos). También es posible medir la atención a determinadas lesiones (asistencia materna y neonatal, control de determinadas enfermedades), así como ayudar a logística para la adquisición, dispensación y distribución de medicamentos; entre otros.

Como puntos frágiles de los sistemas de información disponibilizados destacan la imposibilidad de integración de datos, o sea, la poca interoperabilidad entre los sistemas que culmina en duplicidad de la colecta de datos, problemas con la actualización y calidad de los datos, además de la diversidad de capacitación de recursos humanos y equipamientos que operan estos sistemas, condiciones que impactan en la calidad de la información.

En lo que se refiere a los recursos humanos, toda la complejidad incluida en el proceso de gestión de la información para la evaluación de la salud requiere el desarrollo de la competencia informativa de los individuos.

Es importante que exista la posibilidad de establecer integración e interface de datos entre sistemas de información de salud ya que la complementariedad de los datos es importante para el análisis de la asistencia al usuario y para conocer la efectividad de los servicios sanitarios. Cuando analizamos los diferentes sistemas de información de salud del SUS percibimos esta dificultad de integración de datos, así como la diversidad de unidad de registro en los diferentes sistemas de información que en algunos momentos se produce respecto al usuario, al procedimiento realizado o al servicio.

La integración, comparación y análisis de datos de diferentes sistemas de información de salud permiten minimizar la fragilidad de la calidad de los registros, permitiendo trabajar relaciones y tendencias más que la veracidad del valor absoluto.

Sistemas de información de salud implantados por largos períodos de tiempo favorecen el desarrollo de investigaciones que realicen análisis de series temporales permitiendo caracterizar el evento a largo plazo, las fluctuaciones estacionales, la implantación de estrategias de atención sanitaria y las variaciones derivadas de cambios en la gestión . Por otro lado, es frecuente, la ocurrencia de cambios en la nomenclatura de determinados procedimientos o en la forma de agrupación de estos a lo largo del tiempo. Para el análisis de series históricas es preciso la clara identificación de los procedimientos, las modificaciones en la nomenclatura y en la agrupación de procedimientos en el tiempo para posibilitar una adecuada interpretacióno de los datos colectados.

Dependiendo de la finalidad y del objeto de estudio se hará la adecuación del recorte temporal cuando se pretende usar datos oriundos de sistemas de información de salud. Para determinar el periodo de estudio, es deseable un análisis previo del contexto para elegir un recorte temporal que favorezca la toma de los acontecimientos en relación al objeto de estudio. Un periodo de estudio largo no significa necesariamente que el objeto esté mejor representado.

En cuanto al uso de sistemas de información de salud se señalan como limitaciones: la baja cualificación, vínculos precarios y rotatividad de personal; falta de integración de los SIS; dificultades de alimentación y actualización de los SIS, además de infraestructura de informática insuficiente. En cuanto a las facilidades se destacan: acceso a las informaciones, posibilidad de medición de las acciones, existencia de profesionales cualificados⁽¹³⁾.

En relación a los procedimientos de análisis de los datos cuantitativos, el uso de datos secundarios requiere la construcción de posibilidades que favorezcan interpretar los posibles significados de un número, porcentaje o razón en la perspectiva del sistema de salud. Es preciso seleccionar condiciones de contexto para análisis como la variación de la base poblacional, patrón de morbi-mortalidad, ocurrencia de catástrofes/accidentes, modificaciones en el patrón de oferta de servicios sanitarios, entre otros. Así, el análisis de las tendencias en la producción de los procedimientos permite comparar el nivel de variación de la oferta de servicios y la consecuente respuesta institucional para las demandas que emergen.

Se entiende que la diversidad metodológica, por medio de la combinación de enfoques, es importante para favorecer la aprehensión ampliada del objeto de estudio; con todo, no basta sumar diseños cuantitativos y cualitativos, es necesario planificar los enfoques de modo a favorecer la integración y complementariedad de los datos, para así responder a la pregunta evaluativa inicial.

En este sentido, la experiencia académica ha mostrado que es bastante positivo iniciar la colecta de datos de la investigación evaluativa a partir de datos cuantitativos, secundarios, disponibles en sistemas de información de salud y/o documentos oficiales, de modo que sea posible hacer un análisis crítico inicial que indique aspectos relevantes que precisen ser mejor explorados en una colecta de datos primarios, en un enfoque cualitativo. Esta combinación de enfoque cuantitativo y cualitativo permite buscar la representatividad de la asistencia realizada por los servicios de salud, entender el significado de los fenómenos y evaluar sus relaciones⁽⁴⁾.

En fin, cabe también destacar que el gran volumen de datos disponibilizados acerca de la asistencia sanitaria sirve de fuente de datos para la realización de investigaciones, requiere del diseño de proyectos que contemplen la especificidad del objeto de estudio, presenten claramente los pasos metodológicos para la obtención de los datos de interés, muchas veces dispersos en diferentes SIS, que recuperados y analizados de forma integrada ayuden a responder a la pregunta evaluativa. Estas consideraciones constituyen elementos de futuro que se incluirán por los enfermeros en la elaboración y ejecución de proyectos de investigación.

La toma de decisión en salud tiene alta relevancia social y responsabilidad, en este sentido, la investigación evaluativa y el uso de sistemas de información pueden disminuir el grado de incertidumbre sobre determinada situación, favoreciendo el proceso decisión-acción⁽¹⁴⁾.

 

Consideraciones para reflexionar

En la experiencia profesional académica se observa que hay infrautilización de los recursos disponibilizados por los SIS, tal situación parece derivar de fragilidades de la competencia informativa y de la dificultad de la incorporación de la información más que propiamente de las limitaciones de los SIS.

Aunque existen críticas, la diversidad de SIS disponibilizados en los sistemas de salud se constituye en importante fuente de datos acerca del sistema sanitario, incluyendo datos que analizados aislada o articuladamente, posibilitan la caracterización demográfica, epidemiológica y asistencial, favoreciendo el desarrollo de investigaciones evaluativas que favorecen la mejora del sistema de salud.

A pesar de las discusiones acerca de la calidad de los datos disponibilizados por los SIS, derivado de varios factores, entre ellos las deficiencias de la capacitación de recursos humanos y desigualdades estructurales, algunos de estos sistemas tienen el potencial de permitir paulatinamente la desintegración del dato a nivel individual del usuario del sistema de salud, lo que posibilita en situaciones específicas el análisis de la asistencia individual y de cobertura poblacional, favoreciendo la definición de grandes muestras con un bajo costo operacional.

Este estudio tuvo como objeto los SIS y su potencial en la investigación evaluativa, en la perspectiva de la enfermería, sin tener en cuenta que ellos se insertan en una perspectiva ampliada de la gestión de la información sanitaria.

Se cree que la investigación evaluativa tiene potencial para desarrollar conocimientos científicos que favorezcan el proceso de gestión en salud, explicitando las particularidades del sistema de salud y, en este sentido tiene potencial para producir conocimientos que favorezcan la potenciación del enfermero en el proceso de gestión, en una perspectiva multiproesional, respetando las singularidades y especificidades de los saberes y prácticas de la enfermería.

La investigación evaluativa refleja concepciones, valores, presupuestos, intenciones, o sea, está sujeta a la visión del mundo del investigador para un conjunto de datos e informaciones, sujeta a la lectura que se hizo de ellos, por lo que cabe pensar que esta debe estar respaldada por el carácter ético que impregna toda investigación científica. Para finalizar, es claro que la investigación evaluativa utilizando SIS favorece el cuidado, que entendemos es, en última instancia, el centro del trabajo del enfermero.

 

Referencias

1. Almeida PF. O desafio da produção de indicadores para avaliação de serviços em saúde mental: um estudo de caso do Centro de Atenção Psicossocial Rubens Correa/RJ (Internet). Rio de Janeiro: Escola Nacional de Saúde Pública; 2002. (cited 2012 dec 21). Available from: http://teses.icict.fiocruz.br/pdf/almeidapfm.pdf.         [ Links ]

2. Contandriopoulos AP, Champagne F, Denis JL, Pineault R. A avaliação na área da saúde: conceitos e métodos. In: Hartz ZAM. (Org.). Avaliação em saúde: dos modelos conceituais à prática na implantação de programas. 3. ed. Rio de Janeiro: Fiocruz; 2002. p. 29-46.         [ Links ]

3. Tanaka OU, Melo C. Avaliação de programas de saúde do adolescente: um modo de fazer. São Paulo: Edusp; 2004.         [ Links ]

4. Tanaka OY, Melo CMM. Avaliação de Serviços e Programas de Saúde para a Tomada de Decisão. In: Rocha AA, Chester LGC. (Orgs.). Saúde Pública: Bases Conceituais. São Paulo: Atheneu; 2008. p. 119-31.         [ Links ]

5. Novaes HMD. Avaliação de programas, serviços e tecnologias em saúde. Rev Saude Publica. 2000;34(5):547-59.         [ Links ]

6. World Health Organization. Health statistics and health information systems. Country health information systems. Acesso em 19 set. 2011. Disponível em: http://www.who.int/healthinfo/systems/en/index.html.         [ Links ]

7. World Health Organization (Internet). Geneva: WHO, ©2013. Health statistics and health information systems. Country measurement and evaluation; (cited 2011 sep 19); (about 2 screens). Available from: http://www.who.int/healthinfo/systems/en/index.html.         [ Links ]

8. Samico I, Felisberto E, Figueiró AC, Frias PG. (Orgs.). Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010.         [ Links ]

9. Creswell JW. Projeto de pesquisa: métodos qualitativo, quantitativo e misto. 2. ed. Porto Alegre: Artmed; 2007.         [ Links ]

10. Branco MAF. Uso da informação em saúde na gestão municipal: para além da norma. In: Freese E. (Org.). Municípios a gestão da mudança em saúde. Recife: Universitária; 2004. p.77-89.         [ Links ]

11. Ministério da Saúde (Br). A experiência brasileira em sistemas de informação em saúde: produção e disseminação de informações sobre saúde no Brasil (Internet). Brasília: MS; 2009 (cited 2012 jan 12). 148 p. v.1, Série B. Textos Básicos de Saúde. Available from http://bvsms.saude.gov.br/bvs/publicacoes/experiencia_brasileira_sistemas_saude_volume1.pdf.         [ Links ]

12. Trocolli FT. Sistemas de informação. In: Ibañez N, Elias PEM, Seixas PHD (Orgs). Política e gestão pública em saúde. São Paulo: Hucitec, Cealag; 2011. p . 407-45.         [ Links ]

13. Tanaka OY. Avaliação da atenção básica em saúde: uma nova proposta. Saúde soc. (Internet). 2011 (cited 2011 dec 21);20(4):927-34. Available from http://www.scielo.br/scielo.php?pid=S0104-12902011000400010&script=sci arttext.         [ Links ]

14. Melo CF, Leite MJVF, Carvalho JBL, Aquino GML, Silva ER, Macedo CPC, et al. As gestões municipais e o uso das informações no pacto pela saúde no estado do rio grande do norte. HOLOS 2012; 28(6):220-36.         [ Links ]

15. Santos SR , Araújo JO. Sistema de informação hospitalar: concepção de gestores de um hospital de ensino. Rev enferm UFPE on line. 2013; 7(4):1174-81.         [ Links ]