ARTÍCULOS

 

Utilidad y tipos de revisión de literatura

Usefulness and types of literature review

 

 

Silamani J. Adolf Guirao Goris

Escuela de Enfermería La Fe. Universitat de València

 

 

---

RESUMEN

La rápida progresión del conocimiento científico mediado por la aparición creciente de publicaciones en un medio como la internet requiere la realización de revisiones de la literatura científica que nos permitan tener un conocimiento actualizado sobre un tema de interés. El progreso que se ha producido tras la aparición del movimiento de la práctica basada en la evidencia ha supuesto la aparición de nuevos tipos de revisiones de la literatura. El objetivo de este artículo es proporcionar un conocimiento global de lo que es una revisión de la literatura. Se explora su propósito y relevancia y las diferencias entre la revisión de la literatura y otras formas de escritura académica así como una categorización de los tipos de revisiones.

Palabras clave: Revisión; Revisión bibliográfica; Literatura de revisión como asunto.

---

ABSTRACT

Rapid progression of scientific knowledge with the increasing number of electronic publications in the Internet requires a literature review to have an updated knowledge on a topic of interest. The evidence based practice progress have produced an increase of new types of literature reviews. The aim of this article is to provide a comprehensive understanding of what a literature review is, its purpose and relevance and differences between literature review and other forms of academic writing. A categorization of the types of reviews is explored.

Key words: Review; Literature review; Literature review as topic.

---

 

Introducción

Una de las propiedades del conocimiento científico es su carácter acumulativo. El avance en el conocimiento se produce porque el saber acumulado es la base sobre la que se desarrollan las nuevas investigaciones mediante un proceso de refutación, confirmación o la exploración de nuevas formulaciones que contribuyan a la explicación de los fenómenos de estudio. Es de esta forma como el conocimiento progresa, se desarrollan teorías y se explican los fenómenos del mundo físico y social (1). En la actualidad, la creciente sofisticación de la tecnología de Internet y la llegada de las bases de datos en línea ha conllevado una explosión de la literatura que se encuentra a nuestra disposición. Esta situación es muy beneficiosa en comparación con los días pre electrónicos en que se pasaban muchas horas buscando en las bibliotecas, catálogos, revistas y realizando búsquedas a mano y realizando fotocopias (2). Sin embargo, esta facilidad de acceso a la información puede convertirse en una dificultad si deseamos tener un conocimiento profundo del saber acumulado. En la actualidad podemos perdernos en un océano de información en la que encontramos desde información irrelevante a información esencial. Este gran volumen de literatura disponible requiere por una parte conocer y discernir la información relevante de la que no lo es, y posteriormente evaluar, juzgar y localizar la documentación. Es por tanto necesario conocer los métodos para discernir el conocimiento esencial del que no lo es y la forma de acceder al mismo. Si analizamos la producción la producción científica indizada bajo el descriptor salud en la base de datos MEDLINE observamos que el número de artículos publicados se ha duplicado en los últimos diez años. Según datos publicados en 2004 en dicho año el número de revistas de enfermería se había incrementado en más de un 575% desde 1961, situación que en la actualidad ha aumentado con la nueva aparición de publicaciones científicas de enfermería en línea disponibles a través de la internet (3).

Revisar según el diccionario de la Real Academia es ver con atención y cuidado o someter algo a nuevo examen para corregirlo, enmendarlo o repararlo (4). Si miramos atentamente lo que significa el término revisión literalmente aplicado a la bibliografía, re visión supone volver a mirar lo que se ha escrito ya sobre un determinado tema.

El proceso de llevar a cabo una revisión bibliográfica es una parte integral de la investigación. Si bien esta puede ser considerada como su función principal, la revisión de la literatura es también una importante herramienta que sirve para informar y desarrollar la práctica e invitar a la discusión en el trabajo académico. Para muchas enfermeras y estudiantes de enfermería situarse frente a la realización de una revisión bibliográfica puede ser una tarea desalentadora. Es muy frecuente que al enfrentarnos a la tarea de revisar la literatura surjan preguntas como por dónde empezar, cómo seleccionar un tema, y cuantos artículos a incluir en la revisión bibliográfica (5). El objetivo de este artículo es proporcionar un conocimiento global de lo que es una revisión de la literatura. Se explora su propósito y relevancia y las diferencias entre la revisión de la literatura y otras formas de escritura académica así como una categorización de los tipos de revisiones.

 

Métodos

La revisión realizada es de tipo narrativo. Para elaborarla se consultaron las bases de datos IBECS, MEDLINE y CUIDEN con una estrategia de búsqueda diseñada para obtener resultados relacionados con la metodología de elaboración de una revisión de la literatura. Se utilizó el descriptor MESH [literature review as topic] y su correspondiente denominación en castellano para realizar la búsqueda en MEDLINE e IBECS. Se seleccionaron 53 documentos que abordaban en sus contenidos los métodos de síntesis del conocimiento científico, y se completó la búsqueda con la lectura y rastreo de bibliografía referenciada en los documentos seleccionados.

 

Definición y objetivo de la revisión bibliográfica

Ya sea con finalidad clínica o académica, es necesario entender que la revisión bibliográfica es un paso previo que se da antes de comenzar a realizar una investigación. Con la revisión bibliográfica nos aproximamos al conocimiento de un tema y es en sí la primera etapa del proceso de investigación porque nos ayuda a identificar qué se sabe y qué se desconoce de un tema de nuestro interés. La revisión bibliográfica es una sinopsis que sumariza diferentes investigaciones y artículos que nos da una idea sobre cuál es el estado actual de la cuestión a investigar. En la revisión se realiza una valoración crítica de otras investigaciones sobre un tema determinado, proceso que nos ayuda a poner el tema en su contexto (6). Si deseamos realizar una verdadera revisión integral de la literatura, el trabajo que realicemos debe ofrecer al lector un resumen conciso, objetivo y lógico del conocimiento actual sobre un tema en particular.

Dentro del proceso de investigación la revisión de la bibliografía se encuentra inicialmente en el proceso de justificación de la investigación para mostrar cuales son las metas, los objetivos, el alcance, y la exposición de motivos que fundamentan la investigación. Del mismo modo, la revisión también incluye una exploración de la metodología utilizada para poder contestar la pregunta de investigación, y aporta una fundamentación que muestra la idoneidad de los enfoques metodológicos y diseños de investigación utilizados, así como de las técnicas y procedimientos que se utilizan para recopilar datos. En la revisión se evalúan las diferentes metodologías y diseños identificando ventajas, inconvenientes y dificultades que presenta cada orientación metodológica. Del mismo modo también se aportan referencias relevantes que muestran la selección de una técnica de recolección de datos frente a otras técnicas alternativas (7). La revisión, por tanto, no es un ensayo de los propios puntos de vista y opiniones personales. Tampoco es una serie de citas o largas descripciones de trabajo de otras personas. El propósito de la revisión de la literatura es hacer uso de la crítica y los estudios anteriores de una manera ordenada, precisa y analítica. En pocas palabras, la revisión de la literatura se presenta como un análisis crítico del tema de interés al tiempo que señala las similitudes y las inconsistencias en la literatura analizada.

La revisión bibliográfica se ha definido como "la operación documental de recuperar un conjunto de documentos o referencias bibliográficas que se publican en el mundo sobre un tema, un autor, una publicación o un trabajo específico. Es una actividad de carácter retrospectivo que nos aporta información acotada a un periodo determinado de tiempo (8). Hart,(7) define la revisión bibliográfica como "la selección de los documentos disponibles sobre el tema, que contienen información, ideas, datos y evidencias por escrito sobre un punto de vista en particular para cumplir ciertos objetivos o expresar determinadas opiniones sobre la naturaleza del tema y la forma en que se va a investigar, así como la evaluación eficaz de estos documentos en relación con la investigación que se propone".

La importancia de la revisión de la literatura se relaciona directamente con sus objetivos y propósitos. En la disciplina enfermera existe una creciente y gran cantidad de literatura e investigación relevante para la práctica. La revisión de la literatura desempeña una labor fundamental en la recopilación y síntesis de la información. Por ejemplo, si uno se propone llevar a cabo un proyecto de investigación en cuidados, el propósito de la revisión bibliográfica es situar este proyecto en su contexto o antecedentes relevantes, basándose en trabajos anteriores, sus ideas y la información disponible. Además, una buena revisión extraerá y evaluará críticamente los resultados pertinentes y las cuestiones que han surgido de los trabajos previos (7). De este modo, se proporciona una justificación para la investigación que se propone y demuestra un profundo conocimiento de la base conceptual del tema (5).

La revisión bibliográfica es considerada como un estudio detallado, selectivo y crítico que integra la información esencial en una perspectiva unitaria y de conjunto (9). En sí la revisión tiene como finalidad examinar la bibliografía publicada y situarla en cierta perspectiva (10). El término búsqueda bibliográfica en el contexto de la revisión comienza a entenderse en si como un estudio en sí mismo, en el cual el revisor tiene un interrogante, recoge datos (en la forma de artículos previos), los analiza y extrae una conclusión. La diferencia fundamental entre una revisión y un trabajo original o estudio primario, es la unidad de análisis, no los principios científicos que se aplican (8,11).

Diferentes autores apuntan las múltiples utilidades de la revisión bibliográfica (1,8,9,12,13) pero podemos agrupar los objetivos que persigue la revisión de la bibliografía en función de tres finalidades esenciales: el proceso de investigación, la aplicación de la evidencia científica a la práctica del cuidado, y la actualización académica (Tabla 1).

 

 

Las revisiones no se llevan a cabo únicamente con la finalidad de hacer investigación. La importancia de la revisión de la literatura se considera una herramienta básica para avanzar en la práctica. Puede ayudar a inspirar y generar nuevas ideas, poniendo de relieve las incoherencias en los conocimientos actuales (14). Tienen una función importante en la evaluación de las prácticas actuales y formular recomendaciones para la elaboración de políticas y el cambio de la práctica asistencial. Por otra parte, también son útiles para el estudio de los marcos teóricos o conceptuales existentes sobre un tema determinado o para facilitar el desarrollo de marcos teóricos o conceptuales a través de la exploración y la evaluación crítica de los conocimientos existentes (2).

 

Características de la revisión bibliográfica

La revisión de la literatura debería tener unas características que nos permitan acercarnos al tema de forma que podamos tener un conocimiento profundo y preciso sobre el estado de la cuestión. Hart (7) propone toda una serie de preguntas a las que deberíamos poder responder tras realizar la revisión bibliográfica. Estas preguntas se detallan en la tabla 2.

 

 

Se considera que una buena revisión cumple una serie de características (8):

• Debería ser sintética, utilizando sólo aquellos documentos que realmente supongan una aportación determinante y evitando las referencias de irrelevantes.

• Resaltar los documentos consultados que más ayudan a comprender el problema de investigación.

• Presentar los conocimientos de forma crítica, indicando las limitaciones de sus conclusiones y mostrando las lagunas metodológicas.

• Los trabajos deberían ser actuales (entre 5 y 10 años antes de la publicación del informe de investigación). No habrá que desdeñar los estudios emblemáticos cuya mención constituye un homenaje continuo a las aportaciones que abrieron el camino en su especialidad y han influido en el desarrollo disciplinar.

• Diferenciar entre aquellos trabajos que se han consultado directamente y los que no, teniendo en cuenta que hay normas de estilo de redacción que facilitan en mayor medida la facilitación de esta información.

• En caso de carencia de estudios previos, se debe aportar las gestiones realizadas para obtener la información.

Otro aspecto resaltable es que la revisión bibliográfica tiene una especial relevancia en el ámbito académico, y en ocasiones se delinea como herramienta para la evaluación de la adquisición de las competencias en los distintos grados académicos. Hart (7) realiza un análisis y propone cuales son los aspectos que se deberían abordar en una revisión que tenga como finalidad una valoración competencial en función de los grados académicos (tabla 3).

 

 

Tipos de revisión bibliográfica

Los artículos de revisión clásicamente consistían en revisiones "narrativas o cualitativas», en las que tras seleccionar un número determinado de artículos, se agrupaban generalmente por el sentido de sus resultados y se discutían a la luz de las características metodológicas de cada estudio, para derivar una conclusión más o menos general tras su examen. Esta revisión narrativa en muchos casos incluía una cuantificación simple (y simplista) de los resultados, limitándose a contabilizar el número de estudios con resultados positivos y negativos. Este sistema de revisión "por votos» a favor y en contra ha sido criticado, pues ofrece realmente poca información al lector, que se interrogará sobre la comparabilidad de los estudios, sobre su diseño, sobre su validez interna y externa (12, 15).

La aparición del movimiento la Práctica Basada en la Evidencia (PBE) en los años 90 supuso un importante avance en desarrollo de las revisiones (16). Los artículos de revisión previos a esta época seguía una metodología poco sistemática, de escasa calidad, y en muchos casos con conclusiones erróneas (8, 16). En este contexto es cuando comienza a surgir una nueva manera de revisar la bibliografía con un método más refinado y sistemático que utiliza el meta análisis para buscar la evidencia científica y que se constituirá en una investigación secundaria que se denomina revisión sistemática.

Las revisiones se han clasificado de diversas modos. Una forma tradicional es la realizada por Squires (9) que clasifica las revisiones en cuatro tipos: la revisión descriptiva, la revisión exhaustiva, la revisión evaluativa y los casos clínicos combinados con una revisión bibliográfica (tabla 4).

 

 

Con la aparición del movimiento de la PBE se produjo un rápido crecimiento de las revisiones apareciendo diferentes tipos de revisiones que contenían aspectos similares aunque la denominación ha sido muy variada y en algunos casos sigue siendo vigente como: revisión sistemática, meta análisis, revisión tradicional, revisión narrativa, revisión sistematizada o revisión estructurada (17).

Diferentes autores han abordado la clasificación de los tipos de revisiones desde un punto de vista tradicional (tabla 4) a recientes clasificaciones que incluyen las nuevas tipologías de revisión que el movimiento de la PBE ha propiciado (2, 16, 18). En la tabla 5 atendiendo a la definición que dan los distintitos autores para los diferentes tipos de revisión, se pueden observar las diferentes clasificaciones y la denominación que reciben las revisiones (tabla 5).

 

Tabla 5. Clasificaciones de las revisiones bibliográficas

 

En este artículo se clasifican en ocho tipos y pasaremos a ir analizando los aspectos que identifican y caracterizan a cada una de ellas (Tabla 6)

 

 

Este tipo de revisión ha sido denominada de diferentes modos: estándar, descriptiva, tradicional o narrativa.

De acuerdo con el Medical Subject Headings (MeSH), en una revisión de la literatura se describen los materiales publicados que proporcionan un examen de la literatura reciente o actual (19).

Los artículos de revisión narrativa pueden cubrir una amplia gama de temas con diversos niveles de exhaustividad. Esta categoría de revisiones es tan amplia que es difícil identificar un gran número de características comunes. Sin embargo, la característica común en la revisión narrativa es que se revisa la literatura publicada, y ello implica que los materiales incluidos poseen cierto grado de permanencia. Ocasionalmente este proceso puede haber sido realizado por pares (dos autores de forma independiente realizan la revisión, y después ponen en común sus conclusiones, realizando un proceso de contrastación), aunque no siempre es una condición imprescindible (16).

Antes de que surgiesen las revisiones sistemáticas de evidencias, el significado principal de revisión narrativa era una recopilación de la bibliografía sobre un tema determinado. Sin embargo este tipo de revisiones carecían de un método riguroso de búsqueda y localización de la bibliografía.

Actualmente se considera que una revisión narrativa metodológicamente tendría al menos que contener un proceso claramente descrito que describa cómo se ha realizado la búsqueda y se han localizado los documentos.

Las revisiones narrativas son una parte esencial para la ciencia y cualquier disciplina. Su objetivo es identificar, analizar, valorar e interpretar el cuerpo de conocimientos sobre un tema específico. El enfoque y profundidad de la revisión está en función del contexto para el que se realice. Si la revisión forma parte de una tesis doctoral, la revisión será profunda, analítica y de síntesis, cubriendo toda la literatura conocida sobre el problema incluyendo la producción científica en otras lenguas de modo que permita fundamentar la selección del campo de estudio, el problema de investigación y la justificación. Si nuestra revisión forma parte de un protocolo para pedir recursos económicos deberá centrarse en las lagunas de conocimiento que existen en el tema. Si la revisión forma parte de un libro o manual el objetivo será presentar ampliamente el conocimiento que hay de un tema (2). Como vimos en la tabla 3, la revisión narrativa es la base de muchos trabajos académicos en que se evalúan los resultados de aprendizaje de los estudiantes mediante la exploración de un tema específico.

En general en la revisión narrativa se utilizan diversas fuentes y muy amplias (libros, enciclopedias, manuales, artículos conceptuales, de revisión o de investigación...). Existe un consenso común en el que se debe plantear cuáles fueron las bases de datos utilizadas, qué términos y descriptores se utilizaron, la fecha en que se lleva a cabo la búsqueda, y la estrategia exacta de búsqueda en que se explica cómo se combinaron los términos empleados, y el número de artículos que se hallaron (12). Un ejemplo de este tipo de revisiones sería el realizado por Kannisto (20).

 

Revisión integradora

Una revisión integradora, en cierta medida, presenta un enfoque más sistemático y riguroso que la revisión bibliográfica narrativa. Este tipo de revisión fundamentalmente se centra en sintetizar el conocimiento sobre metodología, conocimientos teóricos o sobre la investigación realizada esbozando una conclusión sobre un tema específico (2, 18).

En este tipo de revisión la síntesis del conocimiento incluye una aproximación amplia al campo de estudio que puede incluir tanto literatura empírica como teórica para alcanzar los objetivos de la revisión (18). En este caso, se entiende por investigación tanto la primaria (investigación clínica) como secundaria (revisiones sistemáticas) incluyendo artículos conceptuales o teorizadores. Para algunos lectores esta propuesta puede ser confusa porque en cierto modo es parecida a la revisión narrativa, sin embargo el propósito de la revisión integradora puede ser aportar una comprensión más profunda o incluso crear una nueva conceptualización del tema (2).

Este tipo de revisión, también denominada revisión crítica, tiene como objetivo demostrar que el autor ha investigado ampliamente la literatura y evaluado críticamente su calidad. Va más allá de la mera descripción de los artículos identificados e incluye un grado de análisis e innovación conceptual. Una revisión integradora presenta un análisis y sintetiza materiales de diversas fuentes. Este tipo de revisión identifica más una hipótesis o un modelo conceptual que una respuesta. El modelo resultante puede constituir una síntesis de modelos o escuelas de pensamiento existentes o puede ser una nueva interpretación de los datos existentes (16).

Este tipo de revisiones son las que en muchas ocasiones ayudan a reconceptualizar la visión de un problema y contribuyen al avance de la disciplina.

Los pasos que sigue una revisión integradora comienzan con la identificación del concepto de interés. Del mismo modo que ocurre en la revisión narrativa se especifican las estrategias de búsqueda, aunque en este caso se incluyen los criterios de inclusión y exclusión de los artículos a revisar y se ofrece el número de registros final que integra la revisión.

Otro aspecto que caracteriza la revisión integradora es que se establecen de una forma transparente una serie de criterios que aseguran la calidad de los resultados de la revisión.

Para evaluar si una revisión integradora es de calidad se han propuesto una serie de preguntas que nos pueden ayudar a evaluarla (tabla 5).

 

 

Para realizar este tipo de revisiones se han propuesto directrices metodológicas (21); sin embargo evaluar la calidad es todavía un reto, sobre todo con la inclusión de fuentes teóricas y empíricas. La evaluación de la calidad de las fuentes primarias debe ser considerado y un posible método sería utilizar el enfoque de la investigación histórica, el examen de autenticidad, la calidad metodológica, valor informativo, y la representatividad de las fuentes primarias. (22)

Ejemplos de revisión integradora son los realizados por Stamp y Mesquita. (23, 24)

 

Revisión panorámica

Aunque este tipo de revisión has sido utilizado en una amplia variedad de disciplinas académicas, son un tipo relativamente novedoso de revisión en ciencias de la salud. Algunos autores indican que este tipo de revisión está pobremente definida en cuanto a sus objetivos, el proceso de revisión y el rigor metodológico. Las revisiones panorámicas han sido propuestas como un método de síntesis de conocimientos para sintetizar la evidencia con el fin de entender en términos generales lo que se conoce acerca de un fenómeno (26).

Las revisiones panorámicas, también denominadas por algunos como exploratorias (27), "tienen por objeto identificar rápidamente los conceptos clave que sustentan un área de investigación y las principales fuentes y tipos de evidencias disponibles, y pueden llevarse a cabo como proyectos aislados por propio derecho, especialmente cuando un área de conocimiento compleja o no se ha revisado exhaustivamente antes (18). Las revisiones panorámicas se diferencian de las revisiones sistemáticas por su amplio enfoque al abordar un tema, un amplio marco al recuperar estudio, y la identificación de lagunas en la literatura.

Una de sus características es que no son una revisión sistemática que sea llevada a cabo con un protocolo preestablecido por la amplia variedad de estudios que se incluyen. Otro elemento que caracteriza a este tipo de revisión es que se utiliza la técnica de mapeo conceptual, de mapeo de la bibliografía y la opinión de los usuarios (2, 16). Esta metodología contribuye a identificar vacíos y carencias en el conocimiento sobre un tema.

Este tipo de revisión realiza una evaluación preliminar de la magnitud y el alcance de la investigación publicada disponible. Su objetivo es identificar la naturaleza y el alcance de la evidencia en investigación (e incluye generalmente la investigación en curso)(16, 27).

Como principal fortaleza esta revisión nos ayuda a identificar si se necesita realizar una revisión sistemática completa. En cierto modo comparte algunas características de la revisión sistemática en el intento de ser sistemático, transparente y replicable. Sin embargo su principal debilidad es que no incluyen un proceso exacto de evaluación de la calidad de los documentos, y por tanto existe la posibilidad de que se incluyan estudios sin calidad suficiente que puedan ser utilizados como base para elaboración de las conclusiones. En consecuencia, sus resultados no pueden ser utilizados para elaboración de políticas o recomendaciones para la práctica.

Una revisión panorámica pretende identificar los conceptos clave que sustentan un área de investigación, las principales fuentes y tipos de evidencias disponibles sobre todo cuando un área es compleja o no ha sido revisado exhaustivamente antes (16). Las razones que pueden llevar a realizar una revisión panorámica son (2):

• Mapear la extensión, amplitud y naturaleza de la investigación en un área de estudio. Si se realiza la revisión con esta finalidad no se describe en detalle la investigación realizada pero se suelen mapear conceptos, políticas, evidencias o puntos de vista de los usuarios.

• Determinar la factibilidad o la necesidad de realizar una revisión sistemática identificando si existe suficiente bibliografía para poder emprenderla.

• Sumarizar y diseminar los hallazgos de investigación para los gestores políticos, profesionales de la salud o consumidores.

• Identificar lagunas en la investigación realizada.

• Desarrollar nuevas aproximaciones metodológicas o conceptuales en un tema para realizar futuras investigaciones.

• Clarificar la comprensión conceptual en un tema donde existe una definición poco clara de conocimientos o existe una falta de acuerdo.

La metodología que se propone para elaborar una revisión panorámica comprende (16): la identificación de la pregunta de investigación, la identificación de los estudios relevantes y su selección, la extracción de los datos y la elaboración de un informe sobre la revisión realizada que suele incluir la opinión de los consumidores y pacientes.

Un ejemplo de revisión panorámica es la realizada por Griffiths para identificar el papel de las enfermeras especialistas en demencia (28).

 

Análisis conceptual

En la última década a nivel internacional un tipo de revisión emergente en ciencias de la salud y especialmente en las ciencias enfermeras es el análisis conceptual. Los conceptos son imágenes mentales de un fenómeno, y es a través del lenguaje con el que etiquetamos este fenómeno y cuál es el uso del concepto cuando nos comunicamos unos con otros. El lenguaje es complejo y contextual y el significado de las palabras va cambiando de forma continua en función del contexto o de los grupos profesionales que lo utilizan.

Muchos de los conceptos que se usan en las ciencias de la salud son conceptos conductuales que se encuentran imbuidos de la forma en que se comprende el proceso de salud y enfermedad. Conceptos como autocuidado, afrontamiento, confort, sufrimiento, esperanza, impotencia, adherencia o cumplimiento forman parte de la forma en que las enfermeras nombran y se relacionan con la realidad. Un contexto en el que el análisis conceptual tiene especial relevancia son las taxonomías enfermeras (29, 30) y en la investigación bibliográfica preliminar (31) que identifica un concepto diagnóstico, una intervención (NIC) o un resultado (NOC).

El análisis conceptual es un método por el cual los conceptos que son de interés para una disciplina se examinan con el fin de aclarar sus características y conseguir una mejor comprensión del significado de ese concepto (2).

Cuando se inicia un análisis conceptual se debe tener en cuenta que el concepto que se analiza debe ser relevante para la práctica y la disciplina. Un ejemplo que nos puede ser útil, puede ser la utilización y el significado que tiene el concepto de fatiga y las diferentes acepciones que toma en diferentes contextos de práctica o incluso modos lingüísticos (la fatiga puede ser entendida como dificultad para respirar o como cansancio).

Para emprender un análisis conceptual, como en el resto de revisiones, se debe abordar un proceso detallado y una estrategia de búsqueda que nos permita localizar diferentes documentos en el concepto identificado es usado en diferentes modos y dimensiones (física, biológica, psicológica, social, cultural, espiritual...). Este proceso supone la localización de diferentes documentos que comprenden diccionarios, enciclopedias, tesauros, medios de comunicación, literatura popular y todo tipo de publicaciones de dentro y fuera de la disciplina.

Una de las diferencias fundamentales con otros tipo de revisiones es que se suelen utilizar casos que se toman como ejemplos (casos extremos en que el fenómeno está presente o ausente) que nos pueden ayudar a definir el concepto. Hay tres cualidades que debería de tener el análisis conceptual (32): claridad conceptual, claridad sobre el fenómeno de estudio y claridad en la definición del fenómeno, y proponen un proceso que comprende las siguientes etapas:

1. Seleccionar el concepto.

2. Determinar el propósito del análisis conceptual

3. Identificar todos los usos del concepto que se puedan descubrir. Sentimientos, sensaciones, controversias.

4. Determinar sus atributos o características.

5. Encontrar un caso modelo.

6. Encontrar casos contrarios, casos relacionados, casos límite, casos inventados y casos ilegítimos.

7. Identificar antecedentes y consecuentes

8. Definir los referentes empíricos que muestran que el concepto existe

Para emprender un análisis conceptual no se puede tener un carácter pusilánime puesto que se trata de un proceso que en ocasiones puede ser frustrante por la vasta tarea que supone revisar y analizar una cantidad abrumadora de documentos.

Los resultados obtenidos en un análisis conceptual son siempre una tentativa de aproximación al mismo dado que los conceptos evolucionan del mismo modo que la práctica en que se aplican.

Un ejemplo de análisis conceptual es el realizado por Weathers, McCarthy y Coffey sobre el concepto de espiritualidad (33).

 

Revisión sistemática

Una revisión sistemática es definida como un resumen de evidencias, habitualmente realizada por un experto o panel de expertos en un tema determinado, que utiliza un riguroso proceso (para minimizar los sesgos) que identifica, evalúa y sintetiza estudios para contestar a un pregunta clínica específica y extraer conclusiones sobre los datos recopilados (34%). De forma tradicional se considera que una revisión sistemática analiza de forma sistematizada la efectividad de las intervenciones de modo que responde fundamentalmente a preguntas sobre qué es lo que funciona (2,37). Este tipo de revisiones se clasifica como investigación de la investigación, o investigación secundaria.

La diferencia más importante entre las revisión sistemática y otro tipo de revisiones es que fundamentalmente la metodología utilizada es explícita y precisa, y además se sigue un protocolo claramente delineado, estandarizado y replicable que asegura la calidad, consistencia y transparencia del proceso de revisión. También incluye el proceso de decisión que determina qué artículos son elegibles para su inclusión en el estudio (2).

Las diferencias en relación a los artículos de revisión clínica estriba en que en las revisiones sistemáticas además de buscar los estudios más relevantes de forma sistematizada y exhaustiva se emplean en ocasiones métodos estadísticos avanzados como el meta análisis (18).

Desde la aparición del meta análisis como técnica analítica, existe cierta confusión, principalmente, entre los términos "revisión sistemática» y "meta análisis». El meta análisis es la combinación cuantitativa, mediante las técnicas estadísticas adecuadas, de los resultados de investigaciones anteriores (por lo general publicadas como artículos originales). El meta análisis es un tipo de diseño metodológico en sí mismo, por lo que podría considerarse investigación original, en el que las unidades de análisis son estudios originales publicados previamente sobre el tema de interés (15). últimamente el meta análisis por la magnitud que está adquiriendo es considerada en sí como un tipo de revisión (18).

Para mejorar la normalización de los informes de las revisiones sistemáticas, se ha propuesto la valoración PRISMA para mejorar la transparencia de la presentación de informes de revisiones sistemáticas y mejorar su coherencia (38). La valoración PRISMA es una evolución de la valoración QUOROM (39) que valora los informes de meta análisis, y proporciona un enfoque explícito y sistemático que los investigadores pueden utilizar para llevar a cabo una revisión y elaborar un resumen de las conclusiones. La valoración PRISMA comprende una lista de 27 ítems y un diagrama de flujo de cuatro fases. El informe hace hincapié en la necesidad de evaluar el riesgo de sesgo en los estudios individuales y el riesgo de sesgo en los estudios que pueden afectar a la evidencia acumulada (40).

Como se comentaba anteriormente las revisiones sistemáticas se orientaban fundamentalmente a evaluar la efectividad de las intervenciones ensayos clínicos, pero en la actualidad se ha ampliado la perspectiva para incluir otros enfoques metodológicos cuantitativos, cualitativos o de orientación mixta (16, 41).

Un nuevo tipo de revisión sistemática emergente son las revisiones de síntesis cualitativa. Estas revisiones sistemáticas tienen como objetivos principales: desarrollar una comprensión más profunda del fenómeno bajo investigación y descubrir patrones previamente ocultos, generar teoría, explorar fenómenos desde la perspectiva de los participantes de las barreras, facilitadores, percepciones y actitudes ante un fenómeno de estudio, identificar áreas emergentes de la práctica y la investigación, y revelar razones para la variación en las intervenciones complejas y ensayos clínicos (18).

El número revisiones sistemáticas de estudios cualitativos sigue aumentando y existe una gran diversidad y desacuerdo en cuanto al enfoque metodológico de una síntesis cualitativa. (42, 43) Se han identificado múltiples aproximaciones metodológicas en este tipo de revisión (44 46). En última instancia, la elección del método a emplear varía en función de varios factores, entre ellos la cuestión y el propósito de la síntesis (41), el número de estudios publicados, y el conocimiento y la experiencia del equipo que realiza la síntesis, así como postura epistemológica del investigador, la metodología de los estudios cualitativos primarios, y si uno trata de describir o sintetizar resultados (42).

Son ejemplos de revisión sistemática el estudio realizado por Li y Shun sobre los estilos de afrontamiento y autocuidado en enfermos cardiacos (47), de meta análisis el realizado por Oh, Jeon y Koh sobre el efecto de usar casos estandarizados de pacientes para la simulación clínica con estudiantes de enfermería (48) y de síntesis cualitativa el realizado por Bonell y colaboradores que analizaron los efectos que tenían las intervenciones en salud sobre el entorno escolar (49).

 

Revisión realista

Las revisiones realistas han sido catalogadas como un tipo de revisión sistemática. Este tipo de revisiones han surgido como respuesta a la complejidad que tiene el diseño de políticas de intervención en salud. Las políticas de salud tienen un componente de complejidad que hace que la efectividad de las mismas no dependa tanto de la intervención en sí misma como en la forma que se implementa y el contexto en el que se realiza (50).

Los métodos tradicionales de análisis de las políticas de salud se centran en la medición y presentación de informes sobre la efectividad del programa. Muy frecuentemente estos informes encuentran que la evidencia es confusa, y ofrecen poca o ninguna idea de por qué la intervención funcionó o no funcionó cuando se aplica en diferentes contextos o circunstancias. La revisión realista está diseñada para trabajar con las intervenciones o programas sociales complejos, de modo que en el enfoque emerge una evaluación "realista". Este tipo de revisiones proporciona un análisis explicativo dirigido a discernir lo que funciona, en quién, en qué circunstancias, y en qué aspectos y cómo funciona.

Sintéticamente la revisión realista se ha desarrollado para examinar de qué manera en una intervención social el contexto influye en el resultado (51).

Una diferencia importante entre la revisión realista y otros tipos de revisiones el papel que desempeña la teoría en la intervención. Al realizar este tipo de revisión en primer lugar se debe hacer explícita la teoría del programa (o teorías); los supuestos subyacentes que hacen funcionar una intervención y el impacto que se espera que tenga. A continuación, se busca evidencia empírica que confirme o refute el marco teórico, es decir que evidencias apoyan o contradicen la teoría a medida que el programa avanza. Los resultados de la revisión al final combinan conocimientos teóricos y evidencia empírica, y se centran en explicar la relación que se da entre el contexto en que se aplica la intervención, los mecanismos que la hacen funcionar y los resultados que se producen.

El objetivo final de esta revisión es permitir a los gestores obtener una comprensión más profunda de la intervención y en qué medida puede funcionar más eficazmente. La revisión realista no aporta respuestas simples a preguntas complejas. No le dirá los responsables políticos o administradores si algo funciona o no, pero proporcionará un entendimiento más profundo y detallado de cómo funcionan las políticas de salud en una distintas comunidades, de modo que podrá orientar a los gestores cómo implementar, planificar y ejecutar una política de salud a nivel nacional, regional o local (2). Lam, Dawson y Fowler (52) realizaron una revisión realista sobre las intervenciones de promoción de la salud para prevenir la gripe en la primera infancia y poder transponerlo en un programa de salud de Hong Kong.

 

Revisión sistematizada

Las revisiones sistematizadas o revisiones estructuradas intentan incluir uno o más elementos del proceso de revisión sistemática, sin llegar a afirmar que la producto resultante es una revisión sistemática. Podrían catalogarse como una "revisión sistemática" pero en muchas ocasiones carecen de algún elemento que no permite etiquetarlas como tales. Un ejemplo puede ser los trabajos de revisión que pueden realizar los estudiantes de postgrado que aun siguiendo toda la metodología de una revisión sistemática, carecen de recursos suficientes para realizarla (por ejemplo disponer de dos revisores que evalúen los documentos sometidos a análisis).

La fortaleza de este tipo de revisiones radica fundamentalmente en que posee un alto grado de sistematización de la búsqueda, aunque el autor no realice una búsqueda en todas las bases de datos disponibles. El proceso de revisión sistematizada permite al autor demostrar el conocimiento de todo el proceso y la competencia técnica en las etapas que lo componen. Sin embargo, esta revisión carece de la amplitud para ser identificada como una revisión sistemática. Esta es quizás la mayor debilidad de la revisión sistematizada: la amplitud y la profundidad del análisis de la bibliografía (16).

Un ejemplo de revisión sistematizada es el realizado por Guirao Goris y cols para evaluar los diferentes tipos de escalas de valoración de la actividad física en personas mayores (53)

 

Revisión paraguas o revisión de revisiones

Las revisiones paraguas o revisión de revisiones son un nuevo tipo de revisiones que están ganando un creciente interés, de manera que el número de reseñas publicadas es cada vez mayor (54 56)

El rápido incremento en el número de revisiones sistemáticas y la necesidad de la traducir esta evidencia en la práctica ha hecho necesario que surja este tipo de revisiones paraguas. Las revisiones paraguas se conocen también como metarevisiones. Estas revisiones se centran fundamentalmente en resumir la evidencia disponible. Pueden ser utilizadas para evaluar las similitudes y diferencias en las revisiones publicadas, para resumir lo que se sabe sobre un tema y normalmente implican un amplio número de diferentes tipos de revisiones. Se han establecido directrices para realizar este tipo de revisiones tanto parte del Instituto Joana Briggs (57) como Cochrane (58).

Algunos autores han identificado sin embargo que este tipo de revisiones tienen limitaciones por la calidad metodológica utilizada al realizar este tipo de revisiones y que deberían establecerse normas metodológicas y directrices para mejorar la calidad de este nuevo tipo de publicación (59).

Un ejemplo de revisión paraguas es el realizado por Mbeba (60) que tenía por objetivo sintetizar la evidencia disponible sobre la efectividad de las intervenciones para promover la retención de la enfermera en las zonas rurales remotas, y presentar una batería de posibles estrategias para mejorar la retención de la enfermera en esas regiones.

 

Conclusión

Tras realizar un análisis narrativo de la bibliografía consultada, se puede observar que tras la aparición del movimiento de la práctica basada en la evidencia han surgido múltiples tipos de revisiones. Las denominaciones que se da a cada tipo de revisión es diferente según los autores. En la presente revisión se ha propuesto una clasificación que intenta ajustarse a la tipología más consensuada en un momento en que la diversidad de denominaciones para los diferentes tipos de revisión es múltiple.

 

Bibliografía

1. Richart Martínez, M; Cabrero García, J; Tosal Herrero, B; Romá Ferri, M. y Vizcaya Morneo, M. (2001). Búsqueda bibliográfica en enfermería y otras ciencias de la salud. Alacant: Publicaciones Universidad de Alicante.         [ Links ]

2. Coughlan, M; Cronin, P y Ryan, F. (2013) Doing a literature review in Nursing, Health and Social Care. London: Sage.         [ Links ]

3. Burns, N. y Grove, S. (2004). Investigación en enfermería. 3^a ed. Barcelona: Elsevier.         [ Links ]

4. Real Academia Española. (2007). Diccionario de la lengua española. 22^a ed. Madrid: Espasa Libros.         [ Links ]

5. Cronin, P; Ryan, F. y Coughlan, M. (2008). Undertaking a literature: a step by step approach. British Journal of Nursing. 17,1, 38-43.         [ Links ]

6. Machi, L. y McEvoy, B. (2009) The literature review: six steps to success. Thousand Oaks, Ca: Sage.         [ Links ]

7. Hart, C. (1998). Doing a literature review. London: Sage Publications.         [ Links ]

8. Gálvez Toro, A. (2001). Enfermería Basada en la Evidencia. Cómo incorporar la investigación a la práctica de los cuidados. Granada: Fundación Index.         [ Links ]

9. Icart Isern, M.T. y Canela Soler, J. (1994). El artículo de revisión. Enfermería Clínica. 4,4,180.4.         [ Links ]

10. Ramos, M.H; Ramos, M.F. y Romero, E. (2003). Cómo escribir un artículo de revisión. Revista de postgrado de la VIa Catedra de Medicina. Consulta 8 enero, 2014, de la Wold Wide Web: http://med.unne.edu.ar/revista/revista126/como_esc_articulo.htm.         [ Links ]

11. Day, R. (2005). Cómo escribir y publicar trabajos científicos. 3^a ed. Washington: OPS.         [ Links ]

12. Guirao Goris, J.A; Ferrer Ferrandis, E. y Olmedo Salas, A.(2008). El artículo de revisión. Revista Iberoamericana de Enfermería Comunitaria. 1,1,6. Consulta 8 enero, 2014, de la Wold Wide Web: http://www.uv.es/joguigo/valencia/Recerca_files/el_articulo_de_revision.pdf.         [ Links ]

13. Craig, J. (2002). The evidence based practice manual for nurses. 2^a ed. Edimburgh: Elsevier.         [ Links ]

14. Aveyard, H. (2010). Doing literature review in health and social care: a practical guide. 2^a ed. Maidenhead: Open University Press.         [ Links ]

15. Fernández, E; Borrell, C. y Plasència, A.(2001). El valor de las revisiones y el valor de Revisiones. Gaceta Sanitaria. 15, Sup 4,1-2.         [ Links ]

16. Grant, M. y Brooth, A. (2009). A typology of reviews: an analysis of 14 review types and associated methodologies. Health Information and Libraries Journal. 26, 91-108.         [ Links ]

17. Arksey, H. y O'Malley, L.(2005). Scoping studies: towards a methodological framework. International Journal of Social Research Methodology. 8,1,19 32. Consulta 8 enero, 2014, de la Wold Wide Web: http://www.journalsonline.tandf.co.uk/openurl.asp?genre=article&eissn=14645300&volume=8&issue=1&spage=19.         [ Links ]

18. Whittemore, R; Chao, A; Jang, M; Minges, K.E. y Park, C. (2014). Methods for knowledge synthesis: an overview. Heart Lung. 43,5,453-61. doi: 10.1016/j.hrtlng.2014.05.014.         [ Links ]

19. MeSH (Medical Subject Headings) Review (2008). NCBI. Consulta 8 enero, 2014, de la Wold Wide Web: http://www.ncbi.nlm.nih.gov/mesh/68016454.         [ Links ]

20. Kannisto, K; Koivunen, M.H. y Välimäki MA. (2014). Use of mobile phone text message reminders in health care services: a narrative literature review. J Med Internet Res. 16,10, e222. doi: 10.2196/jmir.3442.         [ Links ]

21. Whittemore, R. y Knafl, K. (2005). The integrative review: updated methodology. J Adv Nurs. 52,5,546-553.         [ Links ]

22. Whittemore, R. (2005). Combining evidence in nursing research: methods and implications. Nurs Res. 54,1,56-62.         [ Links ]

23. Stamp, K.D; Machado, M.A. y Allen, N.A. (2014). Transitional care programs improve outcomes for heart failure patients: an integrative review. J Cardiovasc Nurs. 29,2,140-154.         [ Links ]

24. Mesquita, A.C. y Carvalho, E.C. (2014). Therapeutic Listening as a health intervention strategy: an integrative review. Rev Esc Enferm USP. 48,6,1127 36. doi: 10.1590/S0080 623420140000700022.         [ Links ]

25. Levac, D; Colquhoun, H. y O'Brien, K.K. (2010). Scoping studies: advancing the methodology. Implement Sci. 5,69. doi: 10.1186/1748 5908 5 69.         [ Links ]

26. Melnyk, B.M. y Fineout Overholt, E. (2005). Evidence Based Practice in Nursing & Healthcare. A Guide to Best Practice. Philadelphia: Lippincott, Williams & Wilkins.         [ Links ]

27. Manchado Garabito, R; Tamames Gómez. S; López González, M; Mohedano Macías, M; D'Agostino, M. y Veiga de Cabo J. (2009). Revisiones Sistemáticas Exploratorias Scoping review. Med. segur. Trab.55, 216. Consulta 8 enero, 2014, de la Wold Wide Web: http://dx.doi.org/10.4321/S0465546X2009000300002.         [ Links ]

28. Griffiths, P; Bridges, J; Sheldon, H. y Thompson, R. (2014). The role of the dementia specialist nurse in acute care: a scoping review. J Clin Nurs. doi: 10.1111/jocn.12717.         [ Links ]

29. Whitley, G. (1995). Concept analysis as foundational to nursing diagnosis research. Nursing Diagnosis.6,2,91-2.         [ Links ]

30. Whitley, G. (1999). Processes and methodologies for research validation of nursing diagnoses. Nursing Diagnosis. Nursing Diagnosis. 10,1, 5-13.         [ Links ]

31. Guirao Goris J. (2006). Investigación enfermera en atención primaria (III): cómo investigar en diagnósticos enfermeros. En: Martínez Riera J, Del Pino Casado R, editors. Enfermería en Atención Primaria (II). Madrid: DAE.         [ Links ]

32. Walker, L. y Avant, K. (2011). Strategies for theory construction in nursing. 5^a ed. Norwalk: Appleton & Lange.         [ Links ]

33 Weathers, E; McCarthy, G. y Coffey, A. (2015). Concept Analysis of Spirituality: An Evolutionary Approach. Nurs Forum. doi: 10.1111/nuf.12128.         [ Links ]

34. Melnyk, B.M. y Fineout Overholt, E. (2005). Evidence Based Practice in Nursing & Healthcare. A Guide to Best Practice. Philadelphia: Lippincott, Williams & Wilkins.         [ Links ]

35. Crowther, M; Lim, W. y Crowther, M.A. (2010). Systematic review and meta analysis methodology. Blood. 116,17,3140-3146.         [ Links ]

36. Smith, V; Devane, D; Begley, C.M. y Clarke, M. (2011) Methodology in conducting a systematic review of systematic reviews of healthcare interventions. BMC Med Res Methodol. 11,1-6.         [ Links ]

37. Cook, D.J; Mulrow, C.D. y Haynes, R.B. (1997). Systematic reviews: synthesis of best evidence for clinical decisions. Ann Intern Med. 126,5,376-380.         [ Links ]

38. Moher, D; Liberati, A y Tetzlaff J (2009). Preferred reporting items for systematic reviews and meta analyses: the PRISMA statement. PLoS Med. 6,7,e1000097.         [ Links ]

39. Moher, D; Cook, D.J; Eastwood, S; Olkin, I; Rennie, D. y Stroup, D.F. (1999) Improving the quality of reports of meta analyses of randomised controlled trials: the QUOROM statement. Lancet. 354,9193,1896-1900.         [ Links ]

40. Liberati, A; Altman, D.G. y Tetzlaff, J.(2009). The PRISMA statement for reporting systematic reviews and meta analyses of studies that evaluate health care interventions: explanation and elaboration. Ann Intern Med. 151,4,W 65 W 94.         [ Links ]

41. Urrutia, G. y Bonfill, X. (2014). Revisiones sistemáticas, una herramienta clave para la toma de decisiones clínicas y sanitarias. Rev. Esp. Salud Publica. 88, 1. doi: 10.4321/S1135-57272014000100001        [ Links ]

42. Jones, M.L. (2004). Application of systematic review methods to qualitative research: practical issues. J Adv Nurs. 48,3,271-78.         [ Links ]

43. Mays, N. y Pope, C. (2000). Qualitative research in health care: assessing quality in qualitative research. BMJ. 320,7226, 50-52.         [ Links ]

44. Barnett Page, E. y Thomas, J. (2009). Methods for the synthesis of qualitative research: a critical review. BMC Med Res Methodol. 9,1,1-11.         [ Links ]

45. Centre for Reviews and Dissemination. (2009). Systematic Reviews: CRD's Guidance for Undertaking Reviews in Health Care. York, UK: University of York.         [ Links ]

46. Finlayson, K.W. y Dixon, A. (2008). Qualitative meta synthesis: a guide for the novice. Nurse Res. 15,2,59-71.         [ Links ]

47. Li, C.C. y Shun, S.C. (2015). Understanding self care coping styles in patients with chronic heart failure: A systematic review. Eur J Cardiovasc Nurs. doi: 1474515115572046.         [ Links ]

48. Oh, P.J; Jeon, K.D. y Koh, M.S. (2015). The effects of simulation based learning using standardized patients in nursing students: A meta analysis. Nurse Educ Today. doi: 10.1016/j.nedt.2015.01.019.         [ Links ]

49. Bonell, C; Jamal, F; Harden, A; Wells, H; Parry, W; Fletcher, A, et al. (2013). Systematic review of the effects of schools and school environment interventions on health: evidence mapping and synthesis. Public Health Research. Southampton (UK): NIHR Journals Library.         [ Links ]

50. Pawson, R; Greenhalgh, T; Harvey, G. y Walshe,K. (2005). Realist review: a new method of systematic review designed for complex policy interventions. J Health Serv Res Policy. 10,Suppl 1,21-34.         [ Links ]

51. Greenhalgh, T; Wong, G; Westhorp, G. y Pawson, R.(2011). Protocol realist and meta narrative evidence synthesis: Evolving Standards (RAMESES). BMC Medical Research Methodology. 11,115. Consulta 23 de octubre de 2014, de la Wold Wide Web: http://www.biomedcentral.com/1471-2288/11/115.         [ Links ]

52. Lam, W; Dawson, A. y Fowler, C. (2014). Health promotion interventions to prevent early childhood human influenza at the household level: a realist review to identify implications for programmes in Hong Kong. J Clin Nurs. doi: 10.1111/jocn.12646.         [ Links ]

53. Guirao Goris, J.A; Cabrero García, J; Moreno Pina, J.P. y Muñoz Mendoza C.L. (2009). Revisión estructurada de los cuestionarios y escalas que miden la actividad física en los adultos mayores y ancianos. Gaceta Sanitaria 23(4): 334.e51-334.e67. Consulta 8 enero, 2015, de la Wold Wide Web: http://scielo.isciii.es/scielo.php?sscript=sci_arttext&pid=S021391112009000400015&lng=es.         [ Links ]

54. Hartling, L; Chisholm, A; Thomson, D. y Dryden, D.M. (2012). A descriptive analysis of overviews of reviews published between 2000 and 2011. PLoS One 7,11, e49667. doi: 10.1371/journal.pone.0049667.         [ Links ]

55. Pieper, D; Antoine, S.L; Mathes, T; Neugebauer, E.A. y Eikermann, M. (2014). Systematic review finds overlapping reviews were not mentioned in every other overview. J Clin Epidemiol. 67,4,368-75. doi: 10.1016/j.jclinepi.2013.11.007.         [ Links ]

56. Silva, V; Grande, A.J; Martimbianco, A.L; Riera, R. y Carvalho, A.P. (2012). Overview of systematic reviews. A new type of study: part I: why and for whom? Sao Paulo Med J. 130,6,398-404.         [ Links ]

57. The Joanna Briggs Institute. (2014). Joanna Briggs Institute Reviewers' Manual: 2014 Edition/Supplement. Australia: The Joanna Briggs Institute.         [ Links ]

58. Higgins, J.P.T. y Green, S. eds.(2011). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0. Consulta 8 enero, 2015, de la Wold Wide Web: http://www.cochrane.handbook.org.         [ Links ]

59. Pieper, D; Buechter, R; Jerinic, P. y Eikermann, M. (2012). Overviews of reviews often have limited rigor: a systematic review. J Clin Epidemiol. 65,12,1267-73. doi: 10.1016/j.jclinepi.2012.06.015.         [ Links ]

60. Mbemba, G; Gagnon, M.P; Paré, G. y Côté J. (2013). Interventions for supporting nurse retention in rural and remote areas: an umbrella review. Hum Resour Health. 11,44. doi: 10.1186/1478.         [ Links ]