SciELO - Scientific Electronic Library Online

 
vol.32 número2Valoración de la capacidad preoperatoria al ejercicio como factor predictivo de supervivencia en enfermos sometidos a trasplante pulmonarAntibióticos y pancreatitis aguda grave en Medicina Intensiva. Estado actual: Recomendaciones de la 7.ª Conferencia de Consenso de la SEMICYUC índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Em processo de indexaçãoCitado por Google
  • Não possue artigos similaresSimilares em SciELO
  • Em processo de indexaçãoSimilares em Google

Compartilhar


Medicina Intensiva

versão impressa ISSN 0210-5691

Med. Intensiva vol.32 no.2  Mar. 2008

 

ORIGINALES

 

La disminución de las radiografías de tórax innecesarias en la Unidad de Cuidados Intensivos: aplicación de un ciclo conjunto de mejora de la calidad

Decrease of unnecessary chest x-rays in Intensive Care Unit: application of a combined cycle of quality improvement

 

 

F. García-Córdobaa, J.M. García-Santosb, G. González Díaza, A. García-Gerónimob, F. Muñoz Zambudiob, F. Peñalver Hernándeza, L. del Baño Aledoa

aUnidad de Cuidados Intensivos.
bServicio de Radiodiagnóstico. Hospital General Universitario José María Morales Meseguer. Servicio Murciano de Salud. Murcia. España.

Dirección para correspondencia

 

 


RESUMEN

Objetivo. Demostrar que el consenso interdisciplinar mejora la calidad del trabajo en la Unidad de Cuidados Intensivos (UCI), evitando exploraciones radiológicas rutinarias innecesarias, planteándose una monitorización de los resultados para mantener este bajo porcentaje de peticiones.
Diseño. Ciclo de mejora de calidad asistencial.
Ámbito. UCI de 18 camas de carácter polivalente.
Pacientes. Pacientes ingresados en la UCI en el periodo de un mes, durante el cual se hizo un muestreo aleatorio sistemático.
Intervenciones. Establecimiento de un protocolo consensuado de petición de radiografías de tórax portátiles (RTP) rutinarias. Tras comprobar el exceso de RTP siguiendo estos criterios, se acordó con todos los intensivistas su aplicación. Cinco años después se volvió a valorar el grado de incumplimiento y se incluyó un calendario de monitorizaciones para evitar la vuelta al exceso de solicitudes no justificadas. Además se introdujo un sistema de petición consensuado entre dos intensivistas, de manera que todas las RTP programadas para cada día se solicitaban por parte de dos intensivistas, atendiendo a los mencionados criterios.
Variable. Peticiones que incumplen el protocolo de RTP programada.
Resultados. En 1997, el grado global de incumplimiento era del 16,9%. Tras reducirlo al 6,1%, la falta de control posterior llevó a que en 2003 fuese del 27,6%. Los pacientes estables con cardiopatía isquémica (44,4% y 53,8% de todos los incumplimientos en esos dos años) constituyen el grueso de las indicaciones inadecuadas. El uso de un modelo de solicitud que requiere del consenso de dos intensivistas consiguió una reducción del incumplimiento al 2,5% en 2003. El calendario de monitorización ha permitido seguir en el tiempo el grado de cumplimiento y detectar la relajación en la prescripción.
Conclusiones. Las RTP innecesarias pueden reducirse fácilmente incidiendo sobre los pacientes clínicamente estables. La obligación de justificar una petición rutinaria (consenso entre intensivistas) permite disminuir el número de peticiones de RTP. La monitorización periódica es la herramienta final para el éxito del ciclo de mejora.

Palabras clave: ciclo de mejora de la calidad, radiografía portátil, Unidad de Cuidados Intensivos.


ABSTRACT

Purpose. To demonstrate that interdisciplinary consensus improves the quality of work in the daily Intensive Care Unit (ICU), thus avoiding unnecessary routine x-ray examinations. We propose to monitor the results to maintain this low percentage of requests for x-rays.
Design. Cycle of improvement in care quality.
Setting. An 18-bed polyvalent ICU.
Patients. A random sample of patients admitted in ICU during one month.
Interventions. Establishment of basic agreed on protocol for routine chest portable x-ray (CPR) indications. After assessing the excessive amount of CPR according to those criteria, all intensivists accepted their application. Five years later, a second assessment of the degree of non-compliance was carried out and a monitoring schedule was established in order to avoid making unnecessary CPR again. Furthermore, a consensus between two intensivists was considered obligatory before a CPR request. Accordingly, all non-urgent CPR forms were signed by two intensivists, following the mentioned clinical criteria.
Variable. Unsuitable portable chest x-ray indications.
Results. In 1997, the overall non-compliance rate (ONCR) was 16.9%. After reducing it to 6.1%, lack of follow-up led to a non-compliance rate of 27.6% in 2003. Stable patients with uncomplicated ischemic heart disease (44.4% in 1997 and 53.8% in 2003) accounted for most of the inadequate ONCR indications. By using the consensus system for requesting routine portable x-rays that required the agreement of two intensivists achieved a reduction of non-compliance to 2.5% in 2003. The monitoring schedule designed has made it possible to follow the time of compliance degree and detect relaxation in the prescriptions.
Conclusions. Unnecessary CPR can be easily reduced stressing our control in clinically stable patients. The requirement to justify a routine request (agreement between intensivists) makes it possible to decrease the number of CPRs. Periodic monitoring is the definitive tool for a successful improvement cycle.

Keywords: improvement cycle, chest portable x-ray, Intensive Care Unit.


 

Introducción

En las Unidades de Cuidados Intensivos (UCI) se realizan muchas radiografías de tórax rutinarias como complemento al examen del enfermo crítico1,2. La justificación de su realización estará en la alta prevalencia de hallazgos en el enfermo de UCI3. Sin embargo, la interpretación de los estudios es dudosa, ya que hay grandes diferencias en la metodología4, y trabajos recientes demuestran su poca utilidad como medio que permita realizar cambios en la terapéutica5. Eso implica que exista probablemente un exceso de exploraciones que podrían evitarse, sobre todo teniendo en cuenta el no siempre valorado «exceso de radiación» evitable, el tiempo perdido en exploraciones innecesarias y el gasto hospitalario.

Por este motivo, y auspiciados por el Programa EMCA de Gestión de la Calidad, en el que participan la Comunidad Autónoma de la Región de Murcia, el Servicio Murciano de Salud y la Universidad de Murcia, nos implicamos en el año 1997 en la aplicación de un ciclo de mejora de la calidad para conseguir un control de la actividad radiológica rutinaria en la UCI, así como reducir la dosis radiante en pacientes que son sometidos a continuas exploraciones radiológicas, buscar un ahorro de recursos y aumentar la disponibilidad de los técnicos de radiología para otras actividades.

 

Pacientes y métodos

El trabajo se realizó en una UCI polivalente de 18 camas. Dos médicos especialistas de la UCI y dos del Servicio de Radiología (SR) plantearon conjuntamente situaciones susceptibles de mejora. Se acordó que un problema sobre el que se podía incidir, con una inversión económica nula y un consumo escaso de tiempo, era el del uso indiscriminado de las radiografías de tórax portátiles (RTP) en los pacientes ingresados en UCI. La aportación de ideas fue esquematizada en un diagrama de Isikawa y se llegó a la conclusión de que para poder ejercer un control sobre esta actividad sería indispensable el establecimiento de unos criterios clínicos en que basar la solicitud de una RTP. Estos criterios fueron discutidos en reuniones sucesivas hasta llegar a establecer un esquema de uso sencillo. Los criterios se detallan en la tabla 1.

Tras la determinación consensuada, se procedió a un análisis de la situación en cuanto al cumplimiento o incumplimiento de dichos criterios. Para ello utilizamos: a) la hoja estadística de ocupación de las camas de la UCI, proporcionada por el Servicio de Admisión, para determinar qué pacientes serían incluidos en la evaluación, y b) la historia clínica de cada paciente, para determinar el motivo que había llevado a su ingreso en la UCI y la evolución clínica posterior. Con estas herramientas se decidió que el marco de la muestra para la evaluación fueran todos los pacientes ingresados en la UCI en el periodo de un mes, durante el cual se hizo un muestreo aleatorio sistemático, sorteando el día de comienzo del estudio, a partir del cual se efectuaron evaluaciones cada cuatro días, hasta completar un total de seis días. Después de la obtención de esta información, los datos fueron agrupados en gráficos de incumplimiento porcentual, de valores absolutos y un diagrama de Pareto. Estos gráficos nos permitieron determinar sobre qué criterios cabía incidir más para conseguir una reducción de los incumplimientos. Posteriormente fueron puestos en común con todos los especialistas de la UCI, con los que se llegó a un compromiso para el cumplimiento de las indicaciones de las RTP. Dos meses después, y sin el conocimiento de los médicos de la UCI, hicimos un nuevo análisis de la situación de la misma forma como había sido hecho el primero. Los resultados de este segundo análisis nos permitieron determinar el impacto de estas normas de solicitud de una RTP. Durante los años sucesivos, los intensivistas tomaron como referencia los criterios establecidos, pero no se programó el control de su grado de cumplimiento. Así, en el año 2002, aunque los criterios permanecían vigentes, no habían vuelto a ser evaluados. Ante la certeza de que la falta de una monitorización periódica de la situación había llevado a un abandono progresivo del rigor en la solicitud de las RTP, decidimos volver a analizar los datos y a establecer un calendario de monitorizaciones periódicas, en las cuales estarían implicados los coordinadores de calidad de ambos servicios. Las monitorizaciones tendrían la misión de detectar cuándo el porcentaje de incumplimientos sobrepasa el estándar de calidad establecido tras los dos análisis llevados a cabo en 1997 y 2003 (un 5% máximo de incumplimientos). Además, se introdujo un cambio en la forma de solicitar la RTP, de modo que se pasó de la hoja individual de petición rutinaria de control a una hoja para todos los pacientes en la que la justificación de la solicitud era previamente consensuada por dos intensivistas, tratando así de evitar las solicitudes no razonadas o excesivamente «automáticas».

 

Resultados

La evaluación de la situación en el año 1997 fue efectuada en un total de 53 pacientes, en los que se hicieron 38 RTP. En general, las indicaciones correctas de las RTP fueron el 82%, con un porcentaje de incumplimiento del 16,9%. En cuanto a los criterios en particular (fig. 1), el criterio 2 era el que presentaba un mayor índice de incumplimiento relativo (25% de los pacientes incluidos en él), y el criterio 3 el de menor índice relativo (10% de los pacientes encuadrados en él). Sin embargo, en términos absolutos, el criterio 1 era el más incumplido (4 de 9 incumplimientos), de modo que constituía el 44,4% de todas las indicaciones incorrectas de una RTP. El índice relativo de incumplimiento del criterio 1 era del 19% en este momento. La evaluación dos meses después fue llevada a cabo en 60 pacientes a los que se hicieron 47 RTP. En esta ocasión se determinó que el índice de incumplimiento se había rebajado al 6,1%, lo cual suponía una reducción de las indicaciones incorrectas en un 69,3%. En este momento (fig.2), tanto el criterio 1 como el criterio 3 persistían con un índice relativo de incumplimiento elevado (11% y 7,6% respectivamente), lo cual suponía una variación muy poco llamativa respecto a la situación inicial.



A principios del año 2003 se llevó a cabo una segunda evaluación en 50 pacientes, que puso de manifiesto que las indicaciones correctas estaban en el 72,3%, quedando el índice de incumplimiento en el 27,6%, mayor que el detectado cuando se comenzó con el ciclo de mejora de la calidad en el año 1997. En cuanto a los criterios en particular (fig. 3), fue en este momento el criterio 3 el que mayor grado relativo de incumplimiento presentaba (el 42,8% de los pacientes incluidos en este grupo clínico), también con un alto índice de indicaciones incorrectas en el criterio 1 (35%). Pero era de nuevo el criterio 1 el que mayor grado de incumplimiento absoluto presentaba (7 de 13 casos de indicación incorrecta, el 53,8% de todos los incumplimientos). La nueva puesta en común consiguió una vuelta a un alto grado de cumplimiento, demostrado por la evaluación posterior, que nos informó de un índice de indicaciones incorrectas del 2,5%, lo cual suponía un descenso de los incumplimientos del 90,7% (fig. 4). En esta segunda evaluación sólo se produjo un caso de incumplimiento que correspondía al criterio 3.



A partir de este momento, la implantación de un programa de monitorización periódica trimestral ha mostrado un índice de incumplimientos que persiste en el estándar del año 2003 en las monitorizaciones que han sido llevadas a cabo.

 

Discusión

En años relativamente recientes ha surgido en el campo sanitario el concepto de «calidad asistencial». En la actividad industrial en la segunda mitad del siglo xx ya se incidió en la necesidad de analizar el proceso productivo, detectando «oportunidades de mejora» y tratando de aplicar medidas correctoras. En el caso de la actividad sanitaria, nos encontramos con un escenario donde los profesionales tenemos cada vez mayor conciencia de nuestro papel como gestores de recursos, de manera que no sólo tenemos que ocuparnos de la calidad científico-técnica de lo que hacemos, sino que estamos en continua obligación de analizar nuestro trabajo y racionalizar el proceso allá donde detectemos los problemas. En nuestro grupo decidimos abordar el tema de la radiología rutinaria en UCI, al percibir cierta inercia en la prescripción de estos estudios radiológicos de tórax. Ello significaba una dosis de radiación evitable, una actividad poco útil por parte del personal con el coste de oportunidad que ello conlleva, y un gasto sanitario no justificado.

Los nuevos escenarios en los que se mueven los especialistas hospitalarios, escenarios en los que es indispensable el trabajo multidisciplinar y la comunicación estrecha con el resto de servicios del hospital6,7, permiten por un lado, pero obligan por otro, a emprender actividades de colaboración, con la intención de aprovechar al máximo los recursos técnicos y humanos, reducir los riesgos para los trabajadores y los pacientes y, finalmente, contribuir a crear una «cultura de la calidad». En el proceso técnico y clínico de los estudios radiológicos torácicos en la UCI con los sistemas portátiles existen momentos críticos en los que actuar con el ánimo de reducir el número de RTP efectuadas diariamente. Estos puntos críticos (fig. 5) están en el momento en el que se hace la radiografía, en la manipulación de la imagen digital en el SR y en el informe radiológico. En los dos primeros casos, la responsabilidad recae en el técnico especialista en radiodiagnóstico (TER), aunque la calidad de su trabajo es luego controlada durante el acto clínico del radiólogo al emitir su informe. Esos dos puntos críticos son parte de los planes de calidad del SR, en los que la interacción TER-radiólogo llevó a conseguir estándares técnicos de calidad elevados en pacientes como los de la UCI, cuyas condiciones físicas reducen en general las posibilidades de obtener radiografías adecuadas para el diagnóstico. En el último de los casos, la actividad clínica del radiólogo permite por un lado la detección de complicaciones añadidas a los procesos propios de los pacientes ingresados en la UCI, y por otro facilita la comunicación con los especialistas de la UCI, lo cual lleva a plantear círculos de calidad. Uno de ellos es el del establecimiento de criterios clínicos que nos permitan controlar la adecuación o no de la solicitud de una RTP rutinaria (fig. 5).


Existe una falta de consenso sobre la utilización de las RTP en la UCI. Algunos grupos defienden la radiografía diaria de forma rutinaria para todos los pacientes ingresados3,8,9, mientras que otros creen que esto no es necesario10-16. Estas opiniones contrapuestas están motivadas por la heterogeneidad de los pacientes y lo variable de lo que en cada Unidad, o incluso cada intensivista, puede entender por «hallazgo clínicamente significativo» que indique cualquier tipo de actuación urgente15. Pero los datos de nuestras evaluaciones sucesivas indican que la rutina lleva a exagerar el número de exploraciones en quienes claramente no lo requieren. Así, los pacientes estables sin ventilación asistida, sobre todo los casos de cardiopatía isquémica y los pacientes, quirúrgicos o no quirúrgicos, sin signos clínicos de complicación, han constituido el grueso del grupo de los incumplimientos. Es muy simple actuar sobre ellos para reducir las RTP, independientemente de lo que ocurra con el resto de los criterios clínicos. Para los demás casos, la cuestión de si «hacer o no hacer» es, desde luego, compleja cuando se trata de valorar pacientes en los que se introducen dispositivos del tipo que sean, han sido tratados invasivamente en la misma UCI, o el estado clínico es inestable15. Para ello sería necesario acometer investigaciones más profundas. Pero de lo que se desprende de los resultados de Krinsley15 parece estar claro que la simple imposición de justificar clínicamente la solicitud de una RTP, sin necesidad siquiera de introducir criterios de petición, produce una disminución significativa de las radiografías. Esto refuerza el hecho de que, independientemente de las particularidades de cada lugar, los pacientes ingresados en la misma Unidad son heterogéneos. El modo de individualizarlos es justificar la exploración solicitada. Nuestra experiencia en los años 1997 y 2003 apoya esta conclusión. En esos dos años, después de introducir los criterios para la RTP, los incumplimientos fueron menores en 2003 que en 1997. Como vimos en la presentación de los resultados, pese a la disminución drástica de los incumplimientos en el año 1997, en el control posterior persistía un porcentaje de incumplimiento alto en algunos de los criterios (fig. 2). Esta situación se solventó en el año 2003, en el que disminuyó radicalmente el número total de incumplimientos, y también el índice de indicaciones inadecuadas en cada uno de los criterios (fig. 4). La variación ha estado motivada por el cambio en la forma de pedir las RTP. En el año 1997, esta solicitud era individual, como cualquiera de las peticiones enviadas al SR. En 2003 cambiamos el formato por uno común para todos los pacientes para los que se solicitaba una RTP en la UCI, y todas estas peticiones son discutidas la noche anterior por los dos intensivistas de guardia. Aunque las reticencias puedan venir del temor que puede suscitar manejar radiológicamente a los pacientes de la UCI según pautas diferentes a las tradicionales, seguir en el camino de justificar sistemáticamente para pedir, en vez de pedir sistemáticamente para justificar, está avalado por la evidencia de que la reducción de las RTP rutinarias no altera significativamente los resultados clínicos15,16.

Por lo tanto, más que la búsqueda de pautas universales para todos, es la obligación de justif icar, tomando como base el consenso entre especialistas de un mismo centro, lo que lleva a la reducción de las RTP innecesarias en cada hospital. Sin embargo, el consenso no es suficiente para mantener la reducción de RPT necesarias. Nuestra experiencia entre los años 1997 y 2004 demuestra que no basta con plantear el círculo de calidad, sino que es imprescindible la implantación de la monitorización periódica. En nuestros Servicios, estas monitorizaciones periódicas están coordinadas por los respectivos responsables de calidad. Las monitorizaciones permiten detectar cuándo el estándar de calidad no se cumple. En nuestro caso, el estándar establecido fue el del 5% de RTP solicitadas inadecuadamente. Si en una de las monitorizaciones periódicas se detecta un porcentaje superior, los responsables de calidad son los encargados de ponerlo en conocimiento de los médicos especialistas, con el fin de determinar las causas que pudieran haber motivado la alteración del estándar, y tomar las medidas necesarias en el caso de que no hubiese una causa justificable.

Otro factor añadido al control de las solicitudes es el de reducción de costes con el uso racional de las RTP16. En nuestro caso, estableciendo el estándar de calidad en el 5% de incumplimientos, y considerando la unidad de valor relativo (UVR) en 4,2 euros (una RTP supone unas 2 UVR), pasamos en el año 2003 de un gasto motivado por las indicaciones incorrectas de las RTP situado en torno a los 1.192 euros por cada 100 pacientes, a un coste por el mismo motivo de unos 215,5 euros por cada 100 pacientes. La aplicación de un ciclo de calidad y su monitorización reglada permite por tanto gestionar de una forma más adecuada nuestros recursos. Sin embargo, no es esta la única ventaja. Puesto que los pacientes ingresados en nuestra UCI son estudiados con unas RTP en más de 5 ocasiones como media, el acotar las razones para solicitar el estudio, o incluso inducir simplemente a pensar por qué se pide, implica también una disminución de la dosis de radiación ionizante que, como media, recibirán estos pacientes. Finalmente, el tiempo que los TER emplean en la UCI, y en la manipulación e impresión de la imagen radiológica, disminuiría, igual que lo haría el tiempo dedicado por el radiólogo para el análisis e informe de las RTP rutinarias. Dada la escasez de nuestras plantillas, este es otro importante aspecto de la gestión de nuestros recursos humanos que no podemos olvidar.

Nuestro trabajo presenta sin embargo unas limitaciones. En primer lugar, el número de pacientes incluidos no permite realizar un análisis estadístico para una mejor valoración de los resultados. Por otra parte, el hecho de que la valoración de la necesidad de realización de una radiografía, aunque consensuada entre profesionales con experiencia, se base en criterios subjetivos, hace difícil la extrapolación de los resultados, y lo mismo ocurre con los diferentes grados de gravedad y la heterogeneidad de nuestros enfermos. Otra de las limitaciones estaría en la no cuantificación de las radiografías «a demanda» que podrían haber aumentado al descender el número de radiografías rutinarias.


Declaración de conflicto de intereses

Los autores han declarado no tener ningún conflicto de intereses.

 

Bibliografía

1. Trotman-Dickenson B. Radiology in the intensive care unit (Part I). J Intensive Care Med. 2003;18:198-210.        [ Links ]

2. Graat ME, Spronk PE, Schultz MJ. Current practice of chest radiography in critically ill patients in the Netherlands: a postal survey. Chest. 2005;128:S296.        [ Links ]

3. Hall JB, White SR, Karrison T. Efficacy of daily routine chest radiographs in intubated, mechanically ventilated patients. Crit Care Med. 1991;19: 689-93.        [ Links ]

4. Graat ME, Stoker J, Vroom MB, Schultz MJ. Can we abandon daily routine chest radiography in intensive care patients? J Intensive Care Med. 2005;20:238-46.        [ Links ]

5. Graat M, Wolthuis E, Choi G, Korevaar JC, Spronk J, Vroom M, et al. The clinical value of daily-routine chest radiographs in a mixed medical-surgical intensive care units is low. Crit Care. 2005;10:1-7.        [ Links ]

6. Donoso i Bach L. Ética, estética y conflictos: el radiólogo. MONOGRAFÍA SERAM: formación, futuro y código de conducta en radiología, 2004;113-17.        [ Links ]

7. Muñoz Zambudio F, García Santos JM, Madrid García G. La comunicación y las relaciones en el entorno de la radiología. MONOGRAFÍA SERAM: formación, futuro y código de conducta en radiología, 2004;83-9.        [ Links ]

8. Marik PE, Janower ML. The impact of routine chest radiography on ICU management decisions: an observational study. Am J Resp Crit Care Med. 1997;6:95-8.        [ Links ]

9. Bekemeyer WB, Crapo RO, Calhoon S, Cannon CY, Clayton PD. Efficacy of chest radiography in a respiratory intensive care unit. A prospective study. Chest. 1985;88:691-6.        [ Links ]

10. Bhagwanjee S, Muckart DJ. Routine daily chest radiography is not indicated for ventilated patients in a surgical ICU. Intensive Care Med. 1996;22:1335-8.        [ Links ]

11. Silverstein DS, Livingston DH, Elcavage J, Kovar L, Kelly KM. The utility of routine daily chest radiography in the surgical intensive care unit. J Trauma. 1993;35:643-6.        [ Links ]

12. Geijer M, Jensen C, Schlossman D. Chest radiography in the intensive care unit. Indications for radiography and effects of selective archiving of films. Acta Radiol. 1990;31:321-3.        [ Links ]

13. Fong Y, Whalen GF, Hariri RJ, Barie PS. Utility of routine chest radiographs in the surgical intensive care unit. A prospective study. Arch Surg. 1995;130:764-8.        [ Links ]

14. Chaine-Malus N, Stewart T, Lapinsky SE, Marras T, Dancey D, Leung R, et al. Utility of routine chest radiographs in a medical-surgical intensive care unit: a quality assurance survey. Crit Care. 2001;5:271-5.        [ Links ]

15. Krinsley JS. Test-ordering strategy in the Intensive Care Unit. J Intensive Care Med. 2003;18:330-9.        [ Links ]

16. Kripoval M, Shlobin OA, Schwartzstein RM. Utility of daily routine portable chest radiographs in mechanically ventilated patients in the medical ICU. Chest. 2003;123:1607-14.        [ Links ]

 

 

Dirección para correspondencia:
Dr. F. García Córdoba.
Unidad de Cuidados Intensivos.
Hospital General Universitario Morales Meseguer.
C/ Marqués de los Vélez, s/n.
30008 Murcia. España.
Correo electrónico:
pagc@ono.com

Manuscrito aceptado el 8-VI-2007.

Creative Commons License Todo o conteúdo deste periódico, exceto onde está identificado, está licenciado sob uma Licença Creative Commons