SciELO - Scientific Electronic Library Online

 
vol.83 issue5Mathematical Models Used in the Study of Infectious DiseasesEpidemiology of Varicella in Spain Pre-and Post-vaccination Periods author indexsubject indexarticles search
Home Pagealphabetic serial listing  

My SciELO

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Revista Española de Salud Pública

On-line version ISSN 2173-9110Print version ISSN 1135-5727

Rev. Esp. Salud Publica vol.83 n.5 Madrid Sep./Oct. 2009

 

ORIGINAL

 

Evaluación del impacto de los programas de vacunación masiva: la experiencia de la hepatitis A en Cataluña

Evaluation of Mass Vaccination Programmes: The experience of Hepatitis A in Catalonia

 

 

Manuel Oviedo (1, 2, 3, 4), Pilar Muñoz (1, 4), Ángela Domínguez (1, 5), Gloria Carmona (2), Joan Batalla (1, 2), Eva Borras (1), Josep Maria Jansà (1, 2).

(1) CIBER Epidemiología y Salud Pública (CIBERESP).
(2) Departamento de Salud. Generalitat de Cataluña.
(3) Departamento de Estadística e Investigación Operativa. Universidad de Santiago de Compostela.
(4) Departamento de Investigación Operativa. Universidad Politécnica de Cataluña.
(5) Departamento de Salud Pública. Universidad de Barcelona.

Dirección para correspondencia

 

 


RESUMEN

Fundamento: El programa de vacunación de la hepatitis A + B en preadolescentes se introdujo en 1998 en Cataluña. Durante los siguientes años uno de los objetivos principales ha sido cuantificar la reducción en la incidencia de hepatitis A producida por el programa de vacunación.
Métodos: Se realizó un análisis retrospectivo mediante el estadístico scan espacio-temporal para la tasa de incidencia notificada por hepatitis A en las comarcas de Cataluña desde 1992 hasta 2007. Se calcularon los riesgos relativos (RR) y la autocorrelación espacial se estimó mediante el estadístico I de Moran.
Resultados: Seis de los 7 clústers espacio-temporales identificados por la metodología scan se produjeron en el período prevacunal (1992-1998) y sólo uno en el periodo postvacunal (1999-2007). En las 10 primeras cuadrisemanas del periodo postvacunal (1999-2005) hubo un descenso significativo en de incidencia de hepatitis A en Cataluña respecto al periodo prevacunal (1992-1998) (p<0,01).
Conclusiones. El estadístico I de Moran no mostró ningún patrón de dependencia espacial global, y sí fue útil para detectar los clústers a nivel local. Estos resultados corroboran resultados previos que atribuían la mayor parte del descenso en la incidencia de hepatitis A en Cataluña debido al efecto de la vacunación.

Palabras clave: Hepatitis A. Incidencia. Vacunación. Clúster. Agrupamiento especio temporal.


ABSTRACT

Background: The hepatitis A + B vaccination programme of preadolescents was introduced in 1998 in Catalonia. During the following years, one of the main objectives has been to quantify the reduction in the incidence of hepatitis A caused by the vaccination programme.
Methods: A retrospective analysis applying the space-time scan statistic to reported incidence rates of hepatitis A was carried out in the counties of Catalonia from 1992 to 2007. The relative risk (RR) was calculated and the spatial autocorrelation was estimated using Moran's I statistic.
Results: Six of the 7 space-time clusters identified by the scan statistic occurred in the pre-vaccine era (1992-1998) and only one in the post-vaccine era (1992-2007). In the first 10 four-weekly periods of the post-vaccine era (1999-2005) there was a significant reduction in the incidence of hepatitis A in Catalonia with respect to the pre-vaccine era (1992-1998) (p<0,01).
Conclusions. Moran's I statistic showed no pattern of global spatial dependence and was useful in detecting local clusters. These results corroborate previous studies that attributed most of the reduction in the incidence of hepatitis A in Catalonia to the effect of vaccination.

Key words: Hepatitis A. Incidence. Vaccination. Cluster. Scan. Space-Time Clustering.


 

Introducción

El programa de vacunación de la hepatitis A + B en preadolescentes se introdujo en 1998 en Cataluña. Durante los siguientes años uno de los objetivos principales fue cuantificar la reducción en la incidencia de hepatitis A antes y después de la vacunación1. Domínguez et al (2008)2, describe que la tasa de incidencia de hepatitis A en la población catalana descendió un 46% en los siguientes siete años después de la introducción de la vacunación comparándolos con los siete años previos (1992-1998). Por grupo de edad, la mayor disminución en la incidencia de hepatitis A (73%) ocurrió en los el grupo de 10-19 años, concluyendo que la reducción en la incidencia en los grupos de no vacunados apoya los efectos indirectos del programa de vacunación sugerido por otros autores.

El objetivo del estudio de Oviedo et al. (2008)3 fue estimar la reducción de la incidencia de la hepatitis A debido al programa de vacunación universal en Cataluña, teniendo en cuenta los cambios en la población y para hacer un modelo de previsión de futuros casos. En dicho trabajo se estimó que la incidencia en el grupo de 12 a 18 años descendió un 84% entre el periodo prevacunal y postvacunal logrando de diferenciar la reducción natural de la incidencia de hepatitis A de la producida por el programa de vacunación.

En Cataluña se llevan más de dos décadas realizando estudios de seroprevalencia4. Estos estudios posibilitaron la estimación de la subnotificación de hepatitis A en Cataluña por grupos de edad. La subnotificación de las infecciones clínicas de hepatitis A en Cataluña5 fue de 4,1, resultado muy similar a la estimada en los EEUU6, que fue de 4,3. Mientras el total infecciones de hepatitis A la subnotificación en Cataluña fue menor que la de los EEUU, 6,3 y 10,4 respectivamente.

En la actualidad, creemos necesario una evaluación del impacto del programa de vacunación teniendo en cuenta la distribución territorial de los casos y su evolución a lo largo del tiempo.

El objetivo del este trabajo ha sido conocer la distribución de los casos antes y después del programa de vacunación y detectar y comparar los clústers geográficos asociados a la incidencia de hepatitis A en Cataluña.

La distribución espacio-temporal de las enfermedades y, en particular, el análisis de clusters es un tema de interés actual en epidemiología, dada la importancia de identificar áreas de alto riesgo o de detectar precozmente la existencia de brotes emergentes.

En este trabajo se discuten algunas de las metodologías estadísticas utilizadas para la detección rápida de brotes dentro de un sistema de la vigilancia espacio-temporal, cuando la incidencia de la enfermedad se recoge períodicamente de forma agregada para cada unidad espacial o región. Un conjunto de datos agregados de esta forma va a garantizar la confidencialidad de los mismos y va a permitir una fácil comparación, tanto a nivel temporal, entre los diferentes años, como espacial, entre las diferentes regiones consideradas.

Se pueden diferenciar dos tipos de enfoques para detectar un brote:

1. Dectección retrospectiva del brote (o clúster): Muchos autores7,8 utilizan análisis retrospectivos para identificacar la heterogeneidad espacial del riesgo de una enfermedad o búsqueda de clusters. Se llevan a cabo los análisis retrospectivos para el conjunto total de los datos que intentan decidir la presencia o ausencia de un brote basándose en casos pasados.

2. Detección prospectiva del brote9: los nuevos casos aumentan regularmente los registros de los servicios de Salud Pública, y es importante reanalizarlos para ver si un riesgo espacial puede aparecer de forma repentina y si es el caso, activar la señal de alarma.

Son muchos los métodos de análisis de datos espaciales utilizados para predecir un posible brote, que dependen mucho del tipo del conjunto de datos, no existiendo en la literatura en la actualidad un método estándar que los aglutine. En este trabajo se realiza una deteccion retrospectiva de clústers para estudiar la distribución anual de los casos de hepatitis A en las comarcas de Cataluña.

Para analizar el impacto de una enfermedad sobre la población de una determinada región a lo largo de tiempo, es recomendable empezar realizando un análisis exploratorio de los datos, que permitirá conocer la distribución espacial de la enfermedad, es decir, si hay más riesgo en unas zonas que en otras.

Existen varios estadísticos que permiten medir la asociación espacial entre diferentes regiones: I de Moran, C de Geary, G de Mantel o G(d) de Getis y Ord (Chasco, 2003)10. Anselin (1995)11 propone un conjunto de indicadores locales de asociación espacial (LISA) capaces de detectar agrupamientos espaciales locales significativos y la presencia de valores atípicos. El más extendido en la literatura, como medida global de autocorrelación espacial, es el estadístico I de Moran ya que puede ser utilizado como test de significación espacial, aunque tal como sugiere Banerjee et al. (2004)12 usaremos el estadístico l de Moran únicamenete como medida exploratoria de asociación espacial.

En la literatura científica uno de los métodos más aplicados en epidemiología para detectar clústers es la metodología scan. Los métodos scan se pueden agrupar en dos tipos diferenciados de enfoques: scan espacio-temporal frecuentista9, y scan espacio-temporal bayesiano13. El estadístico scan se define a partir del número de casos observados en un cilindro de tamaño variable que escanea la región del estudio; la base del cilindro representa el espacio y la altura el tiempo. Esta metodología persigue detectar rápidamente clusters y permite realizarlo de manera espacio-temporal y ha sido ampliamente utilizada en la literatiura para detectar clusters de forma espacial o espacio-temporal, tanto por su uso retrospectivo como prospectivo.

Existen diferentes programas de libre distribución que permiten y facilitan el uso de estos métodos: CLUSTER 3.1, desarrollado por el CDC (Centres for Disease Control), StatScan14 (http://www.satscan.org), FlexScan15, o Autolab (http://www.autonlab.org).

En 1998 se propusieron los métodos retrospectivos scan espacio-temporales8, diseñados para probar si una enfermedad se distribuye aleatoriamente durante espacio y tiempo en una región geográfica predefinida durante un período de tiempo predeterminado. No es hasta el año 20019 cuando se ponen las bases para la detección precoz de brotes mediante el estadístico Scan espacio-temporal.

El estadístico Scan espacio-tiempo permutado16 se utiliza cuando sólo se dispone del contage de los datos, es decir, cuando no se dispone de información de los casos esperados o población en riesgo.

 

Material y métodos

Se compararon las tasas de incidencia notificadas de hepatitis A por cuadrisemanas en Cataluña entre el periodo prevacunal (1992-1998) y postvacunal (1999-2005) mediante la comparación de proporciones.

Se realizó un análisis espacial retrospectivo mediante el estadístico I de Moran para la tasa de incidencia notificada de hepatitis A en las comarcas de Cataluña en el 1992.

El estadístico de autocorrelación I de Moran se define como:

 

 

ci: incidencia de hepatitis A en la comarca i.

es la media de la variable ci; incidencia media en Cataluña.

n: número de observaciones; 41 comarcas.

wij: matriz de pesos espaciales, puede estar definida en función de la distáncia o por vecindad.

Un ejemplo de la matriz de pesos definida por vecindad es:

 

 

Existen cuatro posibilidades de autocorrelación espacial, 1) alto-alto, cuando una región y sus vecindades presentan elevadas tasas, 2) bajo-bajo, cuando una region y sus vecindades presentan bajas tasas 3) alto-bajo, una región presenta una tasa mucho mayor que sus vecindades, podría tratarse de un dato atípico y 4) bajo-alto, una región presenta una tasa mucho menor que sus vecindades.

Método Scan espacio temporal. Se realizó un análisis retrospectivo mediante el estadístico scan espacio-temporal para la tasa de incidencia notificada de hepatitis A en las comarcas de Cataluña desde 1992 hasta 2007 (n=4314) y se calcularon los riesgos relativos (RR).

El método Scan puede detectar clústers espaciales sin tener en cuenta algunos límites geográficos predefinidos. Los métodos implementados por Kulldorff pueden ser utilizados mediante el programa StaTScan de libre distribución (www.statscan.org)

La región de estudio está compuesta por un conjunto de localizaciones si. Sea Cst número de casos en la localización s al tiempo t y C y B número total de casos observados y esperados respectivamente. El número de casos observados y esperados dentro del cilindro z serán:

 

 

El riesgo relativo se define como:

 

 

donde bi es el número esperados de casos en la unidad i y popi es la población en la unidad i.

Si asumimos que el número de casos en la región i se distribuye según una distribución de Poisson:

 

 

El test de hipótesis es:

 

 

El estudio incluyó la incidencia de la enfermedad por comarca y año de notificación de la enfermedad y la población de Cataluña, que se obtuvo de IdesCat17.

El análisis estadístico se ha realizado usando el paquete estadístico R, versión 2.9.1 (http://cran.r-project.org). La significación estadística fue establecida asumiendo un error a = 0.05.

 

Resultados

En la figura 1 se muestra la distribución temporal de la incidencia de hepatitis A por cuadrisemana en Cataluña. Durante el periodo prevacunal (1992-1998) la incidencia fue elevada de la cuadrisemana 2 hasta la 5 (tasa>7 x100.000 pers-año), después la incidencia descendió hasta la cuadrisemana 9 (tasa<2). En las cuadrisemanas 10 y 11 se observó otro pico de incidencia, aunque de menor magnitud que el primero (tasa ~ 5 x 10-5 pers-año).

 

 

En el periodo postvacunal (1999-2005) la incidencia fue menor de 5 x100 x10-5 pers-año, y descendió significativamente en las 10 primeras cuadrisemanas respecto al período prevacunal (tabla 1). La incidencia más elevada se observó en las cuadrisemanas 11 y 12 (tasa ~ 4,5 x 10-5 pers-año).

 

 

Se estudió la distribución espacial de la incidencia de hepatitis A en las comarcas de Cataluña durante el año 1992 mediante el método I de Moran. El estadístico espacial detectó 2 clústers activos (figura 2) indicando que las tasas de incidencia de hepatitis A en dichas comarcas fueron elevadas entre sí y mayores respecto al resto de comarcas; clúster 1: comarcas del Baix Ebre, Montsià y Terra Alta y clúster 2: Alt Camp y la Conca de Barbarà.

 

 

En el periodo 1992-1998 se observaron 6 comarcas con tasas elevadas (tasa>10 x10-5 pers-año), y sólo una comarca en 1999-2005. En 32 (de 41) comarcas ha descendido la incidencia de hepatitis A, y en 13 el descenso fue mayor a 5 unidades. La incidencia en el periodo postvacunal aumentó respecto al periodo prevacunal en 7 comarcas, pero sólo en 1 comarca subió en más de 5 unidades, tabla 2.

 

 

El estadístico scan espacio-temporal aplicado al periodo 1992-2007 detectó 7 clústers. En el periodo 1992-1998 se observó 6 clústers que se localizaron en 18 de las 41 comarcas, y sólo un clúster en el periodo 1999-2007 que se localizó en una única comarca durante un único año.

 

 

 

 

El primer clúster correspondió a la comarca del Baix Ebre, Montsià y Terra Alta y estuvo activo desde el inicio del estudio, 1992 hasta 1998 con una tasa anual de 19,5x10-5 pers-año (RR: 4,8, p-valor < 0,001). En el 1993 hasta 1998 se detectó otro clúster en el Alt Empordà, el Baix Empordà y el Pla de l'Estany con una tasa de 10,1x10-5 pers-año (RR=2,5; p-valor<0,001). El tercer clúster corresponde al Barcelonès y fue activo también desde 1992-1998 con una tasa de 6,1x10-5 pers-año (RR=1,6; p-valor<0,001). Otros 4 clústers fueron activos tal como se muestra en la tabla 3.

 

 

Discusión

El estadístico I de moran identificó las zonas con tasas elevadas, pero no el clúster de la comarca del Barcelonès donde la incidencia fue ligeramente superior a lo largo de todo el periodo prevacunal (1992-1998) a la incidencia media notificada en Cataluña. Por ello, el uso del estadístico I de moran es apropiado sólo para describir procesos espaciales, mientras para el análisis estadístico de procesos espacio-temporales se recomienda usar el método scan.

Durante el periodo prevacunal 1992-1998 hubieron 6 clústers, mientras durante un periodo igual de años después del incidió de la vacunación: 1999-2005 no hubo ningún clúster activo. No fue hasta el 2006, dónde el estadístico scan detectó un clúster en el Alt Urgell asociado a un brote en una guardería18 y en 2007 no hubo ningún clúster activo.

La distribución comarcal de los casos de hepatitis A fue muy heterogénea durante el periodo prevacunal. Después del inicio del programa de vacunación, la reducción de la incidencia fue especialmente notable en las comarcas con mayor incidencia, similar a lo que pasó en los Estados Unidos, dónde la incidencia bajo especialmente en los estados en los que se recomendó la vacunación y con tasas elevadas.19

Los modelos jerárquicos espacio-temporales descritos por Vidal Rodeiro et al., (2006)20 se presentan como alternativa al método scan para analizar si la incidencia de la enfermedad con covariables. Estos modelos son apropiados para analizar observaciones que muestran una señal contaminada por el ruido tal que permiten aislar la señal del ruido y detectar la posible autocorrelación espacio-temporal, para ello asumen que hay un proceso autocorrelacionado para el número esperado de casos.

La estimación temporal de los casos puede mejorarse aplicando los modelos de cambio de nivel20, utilizados en Alemania para conocer la evolución temporal de la incidencia de hepatitis A. Los modelos de cambio de nivel son utilizados para la detección de brotes en la vigilancia de Salud Pública, debido a su habilidad de diferenciar entre el componente endémico y epidémico de una enfermedad, es decir, presentan un modelo que permite predecir cuando un patrón deja de ser regular y aparecen las irregularidades y/o clusters que puedan indicar la aparición de un nuevo brote. Estos modelos ajustan el componente endémico de una enfermedad mediante modelos que incluyen la estimación de componentes espaciales, de tendencia y/o estacionales. El componente epidémico se estima mediante modelos autoregresivos a partir de observaciones pasadas.

En Oviedo et al. (2008)3 se ajustaron modelos lineales generalizados (GLM) con distribución de Poisson o Binomial Negativa. Estos modelos pueden llegar a producir problemas en la estimación de los coeficientes si la incidencia de casos en algunos grupos es baja o nula. Esta es una posible limitación también aparece en los estudios espacio-temporales y puede solucionarse, agregando niveles de algunas variable, a costa de perder poder de explicación en los modelos.

Otra alternativa para el análisis de series de de conteos (count data) espacio-temporales con incidencia baja o nula sería redefinir el estadístico Scan espacio-temporal para que permita la estimación de exceso de ceros. Es decir, asociar al estadístico Scan espacio-temporal a modelos con exceso de ceros: modelo ZIP21 con distribución de Poisson o el modelo ZIBN con distribución Binomial Negativa.

Otro posible uso del estadístico scan espacio-temporal, sería adaptarlo a los modelos aditivos generalizados (modelos GAM). El modelo GAM es una alternativa a los modelos GLM como se ha visto en Oviedo et al.(2008) ya que permite la estimación de tendencias no lineales de variables continúas. Permite ver, si ocurriese, el cambio no lineal en las estimaciones de los coeficientes de las covariables ajustadas.

Cada vez, se hace más importante la elección del modelo estadístico a utilizar en función de la información disponible. Por ejemplo, los modelos dinámicos de enfermedes incecciosas; modelo SEIR22 (Susceptible-expuesto-infectivo-recuperado) requieren observar todo el proceso de infección, incluido el tiempo de infección, su duración y el número de personas susceptibles, y esta información sólo está disponible en casos muy especiales.

Los modelos SEIR hacen uso de ecuaciones diferenciales para modelar el mecanismo de infección de la enfermedad, asumiendo que una persona puede estar en uno de estos estados: susceptible (S), expuesto (E), infeccioso durante un tiempo o infectado(I) y recuperado (R). Si además le añadimos información relevante de otras covariables como: edad, género, estado vacunal, localización del caso, país de origen, etc.,los modelos aumentan enórmemente de complejidad complicando la estimación o impidiendo el análisis.

El descenso generalizado durante el periodo postvacunal de la incidencia en las comarcas con tasas más elevadas muestra que en el 20007 existe un patrón espacial mucho más homogéneo, con tasas más parecidas en todas las comarcas de Cataluña. Esto permite la detección de clústers asociados a brotes, como ha ocurrido en el 2006 y también permite corroborar desde el punto de vista espacio-temporal resultados previos en los que se atribuían la mayor parte del descenso en la incidencia de hepatitis A en Cataluña al efecto de la vacunación iniciada a finales de 1998.

 

Bibliografía

1. Domínguez A, Salleras L, Carmona G, Batalla J. Effectiveness of a mass hepatitis A vaccination program in preadolescents. Vaccine 2003; 21: 698-701.        [ Links ]

2. Domínguez A, Oviedo M, Carmona G, Batalla J, Salleras L, Plasència A. Impact and effectiveness of a hepatitis A vaccination programme of preadolescents seven years after introduction. Vaccine 2008; 26: 1737-41.        [ Links ]

3. Oviedo M, Munoz MP, Dominguez A,Borras E, Carmona G. A statistical model to estimate the impact of a hepatitis A vaccination programme. Vaccine 26 (2008) 6157-6164.        [ Links ]

4. Bruguera M, Salleras L, Plans P, Vidal J, Navas E, Domínguez A, et al. Cambios en la seroepidemiologia de la infección por el virus de la hepatitis A en Cataluña en el periodo 1989-1996. Implicaciones para una nueva estrategia vacunal. Med Clin (Barc). 1999; 112: 406-408.        [ Links ]

5. Oviedo M, Munoz MP, Dominguez A, Carmona G. Estimated incidence of hepatitis A virus infection in Catalonia. Ann Epidemiol 2006; 16: 812-9.        [ Links ]

6. Armstrong GL, Bell BP. Hepatitis A virus infection in the United States: Model-based estimates and implications for childhood mmunization. Pediatrics. 2002; 109: 839-845.        [ Links ]

7. Vidal Rodeiro CL y Lawson AB. Monitoring changes in Spatio-temporal maps of Disease. Biometrical Journal 48 (2006) 3, 463-480.        [ Links ]

8. Kulldorff M, Athas W, Feuer E, Miller B, Key C. Evaluating cluster alarms: A space-time scan statistic and brain cancer in Los Alamos. American Journal of Public Health, 88: 1377-1380, 1998.        [ Links ]

9. Kulldorff M. Prospective time-periodic geographical disease surveillance using a scan statistic. Journal of the Royal Statistical Society, A164: 61-72, 2001.        [ Links ]

10. Chasco MC. Econometría espacial aplicada a la predicción-extrapolación de datos microterritoriales. Tesis doctoral. 2003.        [ Links ]

11. Anselin L. Local Indicators of Spatial Association-LISA. Geographical Analysis, vol. 27(2), pp. 93-115, 1995.        [ Links ]

12. Banerjee S, Carlin B y Gelfanc A. Herarchical Modeling and Analysis for Spatial Data. Monographs on Statistics and Applied Probability 101 Chapman & Hall/CRC, 2004.        [ Links ]

13. Neill D.B, Moore A, and Cooper G.F. A Bayesian spatial scan statistic. In Advances in Neural Information Processing Systems 18, pages 1003-1010, 2006.        [ Links ]

14. Kulldorff M. A spatial scan statistic. Communications in Statistics: Theory and Methods, 26:1481-1496, 1997.        [ Links ]

15. Tango T y Takahashi K. A flexibly shaped spatial scan statistic for detecting clusters. International Journal of Health Geographics, 4: 11, 2005.        [ Links ]

16. Kulldorff M, Heffernan R, Hartman J, Assunção RM, Mostashari F. A space-time permutation scan statistic for the early detection of disease outbreaks. PLoS Medicine, 2: 216-224, 2005.        [ Links ]

17. Institut d'Estadística de Catalunya (IDESCAT). Informació territorial: Banc d'estadístiques de municipis i comarques. Idescat 2007. http://www.idescat.net/cat/poblacio/poblestructura.html).        [ Links ]

18. BEC Volum XXVIII, Octubre 2007. Número extraordinari. Brots epidèmics declarats a Catalunya.        [ Links ]

19. CDC. Prevention of hepatitis A through active or passive immunization. MMWR 2006; 55(RR-7): 1-23.        [ Links ]

20. Held L, HofmannM, HöhleM, Schmid V (2006) A two component model for counts of infectious diseases. Biostatistics 7: 422-437.        [ Links ]

21. Agarwal D, Gelfand A and Citron-Pousty S. Zero-inflated models with application to spatial count data. Environmental and Ecological Statistical 9, 341-55, 2002.        [ Links ]

22. Juan Z, Jzanquan L, Zhien M. Global dynamics of an seir epidemic model with immigration of different compartments. Acta Mathematica Scientia 2006,26B(3): 551-567.        [ Links ]

 

 

Dirección para correspondencia:
Manuel Oviedo de la Fuente
Facultade de Matemáticas
Dpto. de Estadística e Investigación Operativa
15782 Santiago de Compostela
Correo electrónico: manuel.oviedo@usc.es

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License