ARTÍCULO ESPECIAL

 

Análisis de la producción científica de la revista ENE en los años 2009-2013

 

 

José Manuel Martínez Casas, Enrique Castro-Sánchez y Jessica Medina García

 

 

---

RESUMEN

El auge de la investigación enfermera en nuestro entorno crea la necesidad de realizar estudios bibliométricos que la visibilicen. El objetivo principal de este estudio consiste en analizar la producción científica en la revista ENE durante el periodo 2009-2013. Se trata de un diseño bibliométrico donde se incluyeron 75 artículos con resultados de investigación, los cuales fueron analizados por pares. Los resultados más relevantes son que gran parte de la producción son resultados de investigaciones de ambos abordajes metodológicos (cuantitativos/cualitativos), predominantemente de origen español, en su mayoría de Canarias, y con una participación internacional de ámbito iberoamericano. Existe escasa colaboración entre instituciones, CCAA y países. Hay un cambio de tendencias en las áreas temáticas donde los Cuidados Básicos y Fundamentos de Enfermería han pasado a encabezar la lista.

Palabras clave: Bibliometría, Investigación en Enfermería, Metodología.

---

ABSTRACT

The growth of nursing research in our setting demands bibliometric studies to highlight its impact. This study analyzed research papers published in ENE during the period 2009-2013, using a bibliometric approach. 75 research articles were analysed and results compared with a previous publication. Main results include an equal proportion of quantitative and qualitative designs; a majority of projects carried out in Spain, and the Canary Islands. International projects were developed in Latin America. There was limited institutional, regional and country collaboration. Finally, there was a shift in the topics published, now headed by basic care and fundamentals of nursing projects.

Key words: Bibliometrics, Nursing research, research methodology.

---

 

Introducción

La generación de conocimiento en enfermería ha incrementado considerablemente en los últimos años. A pesar de que la práctica basada en la evidencia mejora los resultados en salud, sigue habiendo una brecha importante entre la investigación y la aplicación de la misma por parte de las enfermeras asistenciales (1). Una de las dificultades en el consumo de investigación es el acceso mediante pago, sin embargo la revista ENE es una publicación online periódica cuatrimestral de acceso libre que facilita la difusión de la misma.

El auge de la investigación enfermera crea la necesidad de realizar estudios bibliométricos que visibilicen y pongan de manifiesto las características e impacto que los estudios de enfermería tienen en su entorno. Tras diversos estudios realizados sobre producción científica en este campo (1), se considera conveniente realizar un análisis de la revista de enfermería ENE, que proporcione información concreta de la contribución de esta revista a la consolidación de la Enfermería como disciplina científica.

Esta investigación se presenta como la continuación del Análisis de la producción científica de la revista de enfermería ENE en los años 2007-2009 (4). Ambos trabajos están englobados a su vez en un proyecto común cuya finalidad es hacer visible la evolución de la misma a lo largo del tiempo en cuanto a su producción y peculiaridades. En este caso, los datos mostrados corresponden a los años 2009 - 013, incorporando además mapas de producción y nuevos indicadores.

El objetivo principal consiste en analizar la producción científica publicada en la revista ENE de enfermería durante el periodo 2009-2013, considerando diversos indicadores bibliométricos. (5)

 

Metodología

Material y métodos

Se lleva a cabo un análisis de los artículos originales publicados en la revista ENE en el periodo Enero 2009-Diciembre 2013, ambos inclusive. En general, se evaluaron los artículos que aportaron algún tipo de resultados de investigación o que habían recibido algún tipo de evaluación por revisores pares. Se excluyeron los editoriales, entrevistas y recomendaciones literarias, secciones de noticias ("Notas ENE"), entrevistas informativas, posts invitados y relatos biográficos

Se procedió a la descarga de los ficheros correspondientes a cada trabajo desde la página web de ENE (http://ene-enfermeria.org/ojs/index.php/ENE). El conjunto de artículos fue agrupado en 3 bloques (A, B, C). Cada bloque fue revisado por dos revisores de manera ciega e independiente. El tercer revisor de cada bloque actuó como árbitro en caso de discrepancia en los hallazgos o clasificaciones. Así por ejemplo, el bloque A fue revisado por revisores 1 y 2, con revisor 3 como árbitro. El bloque B fue revisado por revisores 2 y 3, con revisor 1 como árbitro, etc. Mediante un formulario electrónico estandarizado, el equipo de 3 investigadores (todos enfermeras con experiencia de investigación) procedió a la extracción de datos relevantes de cada artículo. Dichos datos incluyeron: título, nombre y apellidos de los autores, número de autores, profesión de los autores, ámbito laboral de los mismos, centro de trabajo, comunidad autónoma de los autores así como país, palabras clave, año de publicación, volumen (numero), colaboración entre autores, instituciones, comunidades autónomas (CCAA) y países.

Asimismo, se procedió a catalogar las referencias bibliográficas de los artículos publicados, recogiendo el número total de referencias presentes en cada artículo e información suficiente para calcular otras 3 métricas: la tasa de obsolescencia (mediana de la distribución del conjunto de referencias objeto de estudio por año de procedencia), el índice de Price (porcentaje de referencias con menos de 5 años de antigüedad) y por último el índice de aislamiento (tanto por ciento de referencias bibliográficas procedentes del mismo país que la revista a estudio).

Cada artículo fue clasificado en base al ámbito profesional de referencia (especializada, primaria, gestión, docencia, investigador, mixto u otros); el área temática (historia de la Enfermería; fundamentos de Enfermería; ética y legislación; Enfermería psicosocial; salud mental; Enfermería comunitaria; cuidados básicos; Enfermería médico-quirúrgica; Enfermería materno-infantil; y Enfermería geriátrica), el tipo de abordaje metodológico (cualitativo, cuantitativo o mixto) y la tipología documental (artículo de investigación, artículo de revisión, técnicas y procedimientos, programas y protocolos, casos clínicos y planes de cuidados).

Análisis

Una vez todos los datos fueron extraídos e introducidos en el formulario electrónico, se procedió al volcado de la base de datos en el paquete estadístico SPSS (IBM SPSS Statistics 20). Se efectuó un análisis descriptivo univariado calculando frecuencias y porcentajes. Además, se exploró la relación entre algunos parámetros (p. ej., producción científica y país, producción científica y CCAA) mediante tablas de contingencia. Se consideró significativo un valor p <0.05.

 

Resultados

Como resultado de los criterios de inclusión descritos se obtuvieron 75 artículos a revisar (75/112, 66,96%), distribuidos entre los volúmenes 3, 4, 5, 6 y 7. El volumen 3 aportó el mayor número de artículos (23/75, 30,67%), seguido del volumen 6 con 16/75 (21,33%) artículos. En general, el número de artículos publicados por número fue de 5 (75 artículos en 15 números).

Autor principal

Proporcionalmente, seis autores principales fueron los más prolíficos y publicaron 14/75 (18,67%) manuscritos. Estos autores fueron Alfonso Miguel García Hernández, Doctor en Antropología (ULL), Director académico del Máster Universitario en Cuidados al Final de la Vida (ULL) y Profesor titular de la Universidad de La Laguna, y Pedro Ruyman Brito Brito, Enfermero de Atención Primaria del área de Salud de Tenerife, con 3/75 artículos (4%) cada uno encabezan dicha lista de autores. Enrique Ramón Arbués, Enfermero especialista en Ginecología y Obstetricia en el HCU Lozano; Isabel María Fernández Medina, Diplomada en Fisioterapia y Enfermería; Lucía Pérez-Vico Díaz de Rada, Enfermería Familiar y Comunitaria, Unidad Docente Multiprofesional Sur de Atención Familiar y Comunitaria, Gerencia de Atención Primaria de Tenerife, Servicio Canario de la Salud, Santa Cruz de Tenerife, España; e Ian Coahtepetzin Zavala Pérez, Maestro en Enfermería de la Unidad Académica de Enfermería, Universidad Autónoma de Nayarit de México, contribuyeron con 2/75 (2,67%) artículos cada uno.

Ubicación geográfica del autor principal

Quizás de manera natural, el 68% de los autores indicaron pertenecer a instituciones u organismos españoles como lugar de trabajo (p <0.0002, España vs resto). México (16%) en segundo lugar, Brasil (2,7%), y Cuba y Venezuela con un 1,33% de los artículos respectivamente completaron el listado de países. En un 10,67% (8/75) de artículos no fue posible identificar la procedencia del autor principal.

 

Gráfico 1. Ubicación geográfica del autor principal, por país.

 

Seguidamente y en referencia a los artículos producidos en España, un 43,13% de los autores estaban vinculados a instituciones u organismos de las islas Canarias (p 0.2301, Canarias vs resto), seguidos de cerca por autores andaluces (25,50%). Otro grupo más reducido de manuscritos provenían de Castilla-León y Extremadura (5,88% cada una), Aragón y Catalunya (3,92%). Cinco CCAA proporcionaron 1 artículo cada una. En el periodo estudiado 2009-2013, 6 comunidades autónomas aún no habían conseguido publicar ningún artículo en ENE. Por último, en 11 (21,57%) de los artículos no fue posible identificar la CCAA del autor principal.

 

Gráfico 2. Ubicación geográfica del autor principal, por comunidad autónoma.

 

Finalmente, en relación a las instituciones o centros de trabajo mencionados por los autores principales, el Hospital Universitario de Canarias resultó ser el centro más productivo con 7/75 artículos (9,33%), seguido de la Universidad Autónoma de Nyarit (México) con 4/75 (5,33%) publicaciones, y finalmente el Centro Universitario de Mérida, el Hospital General de la Palma y la Universidad Autónoma de Chihuahua (México) con 2/75 (2,66%) artículos cada una. Por otro lado, 47 instituciones contribuyeron 1 artículo solamente.

índice de colaboración

Para los 75 artículos analizados, se observó una media de 2,39 autores por artículo (rango 1-6, desviación estándar 1,43). El 36% de publicaciones se efectuaron por un solo autor. Además, otro 24% de artículos se completó entre autores de al menos 2 instituciones, no siendo posible identificar dicha relación en 9/75 (12%) de escritos. Algo más de un 1% de artículos (1/75, 1,3%) reflejaban colaboraciones entre autores de diferentes CCAA, mientras que solo 1/75 (1,3%) de los trabajos se culminaron como resultado de colaboraciones internacionales (proyectos con instituciones de al menos dos países). Es necesario considerar que este análisis sólo examina las características del autor principal del artículo, en lugar de la procedencia de todos los integrantes del equipo de investigación.

Ámbito profesional

Asimismo, el ámbito profesional de los autores con mayor número de artículos fueron la atención especializada (35/75, 46,7%), seguidos de docencia (15/75, 20%) y atención primaria (13/75, 17,3%), y ya más descolgados investigación (5/75, 6,66%) y artículos de categoría mixta (4/75, 5,33%).

Áreas temáticas

Dentro de dichas áreas temáticas, no resulta quizás muy sorprendente el peso específico de las investigaciones centradas en los cuidados básicos y fundamentos de enfermería (11 y 6 artículos respectivamente, 17/75 en conjunto, 23%). El bloque compuesto por enfermería psicosocial y salud mental (9 artículos cada una, 18/75, 24%), así como la enfermería comunitaria (14/75, 18,7%), representaban el trío central de temáticas seleccionadas por los autores para desarrollar sus trabajos. Enfermería maternoinfantil y Enfermería medico-quirúrgica aportaron 9/75 (12%) artículos cada una, siendo ética e historia de la enfermería (con 5/75 y 3/75 artículos respectivamente) las áreas menos exploradas.

Tipo de artículo

Se analizó asimismo la tipología de los artículos enviados a la revista según las categorías descritas en la Tabla 1. Más de la mitad de los artículos revisados (40/75, 53,3%) describieron proyectos o resultados de investigación, acompañados de artículos de revisión (14/75, 18,7%). Un grupo más o menos heterogéneo de reflexiones sobre casos clínicos, planes de cuidados, y protocolos componían el tercio restante de artículos (20/75, 26,7%).

 

 

Abordaje metodológico

El desglose de los artículos de investigación refleja una proporción bastante equilibrada entre estudios cualitativos (17/75, 22,67%) y cuantitativos (23/75, 29,33%). Los diseños y metodologías empleadas por parte de los autores fueron amplias, aunque con un dominio claro de los estudios descriptivos transversales (14/40, 35% de todos los diseños utilizados) en el apartado cuantitativo. No aparecieron estudios de casos y controles, o estudios de cohortes. En el enfoque cualitativo destacó la falta de una metodología claramente preferida, aunque sí apareció una ligera predilección por los abordajes etnográficos (6/17 artículos, 35,29%).

 

 

Palabras clave

Se efectuó un análisis de frecuencias de las palabras clave incluidas en los manuscritos (Gráfico 3), ya que tal abordaje permitiría una visión rápida aunque lógicamente poco específica sobre las temáticas descritas en los artículos publicados, de ese modo reflejando los intereses de los autores. Evaluamos un total de 253 palabras, algo más de 3 palabras por artículo (253/75, 3,37). El término "enfermería" apareció 11/253 veces (3,74%), seguido de "atención primaria" (4/253, 1,70%). La nube de palabras en el Gráfico 3 ilustra el peso relativo de cada término.

 

Gráfico 3. Nube de palabras clave incluidas en manuscritos

 

Estudio de referencias bibliográficas

Los 75 artículos analizados presentaron un total de 1318 referencias (media 17,57 citas por artículo, mínimo 4 - máximo 78), aunque la mediana de 12 sería quizás un estadístico más exacto debido al peso de las 78 referencias presentes en una de las revisiones sistemáticas. Casi un 10% de referencias (123/1318, 9,33%) no incluían el año de publicación, y 530/1318 de ellas tenían menos de 5 años con respecto al año de publicación del manuscrito que las mencionaba (índice de Price= 40,21%). En el análisis de referencias, hallamos un rápido envejecimiento de la literatura científica ya que la tasa de obsolescencia en la citación de los artículos correspondientes a cada año desde 2009 a 2013 es de 3, 4, 5, 6 y 7 años respectivamente. Por ende, si nos centramos en la media del periodo estudiado (2009 - 013) observamos que la tasa de obsolescencia para todo tipo de citaciones (artículos, libros, etc.) es de 5 años. Por último, el índice de aislamiento fue del 45,52%, indicando la proporción de referencias procedentes del mismo país que la revista citadora, España.

 

Discusión

Se lleva a cabo una actualización del artículo bibliométrico de la revista ENE de los años 2007 - 009 realizado por Rodríguez Álvaro y Rosell (4). Es por ello por lo que se utiliza como marco para la comparación de las características de las referencias bibliográficas presentes en esta publicación, dicho artículo y datos bibliométricos de otras revistas nacionales.

El análisis de la producción científica publicada en la revista Enfermería Clínica (5), segunda revista española más citada en Iberoamérica según el Ranking Cuiden Citation 2012, nos dibuja una tasa de colaboración de 3,7 autores por trabajo. Para los 75 artículos analizados en este estudio bibliométrico se observa que la media de autores por artículo aumenta de los 2,12 en la revisión de Rodríguez Álvaro y cols. en 2012 a 2,39 con respecto a los años 2007 - 009. Este número de autores, sin embargo, resulta inferior al ofrecido por la Revista Enfermería Clínica (5).

Resulta interesante comprobar la producción científica de autores en solitario, con un 36% de publicaciones en una revista con disciplina centrada en Enfermería, la cual se caracteriza por su inherente habilidad cooperativa y colaboradora con otros miembros del equipo sociosanitario. Dicha producción individual puede reflejar el interés o necesidad de las enfermeras de llevar a cabo y publicar sus investigaciones, aun fuera de marcos formales de apoyo institucional a tal proceso investigador.

La limitada colaboración internacional entre los autores que han publicado en la revista ENE (solamente un 1,3%) puede reflejar diferentes realidades. Es posible que aquellos autores que participan en proyectos colaborativos internacionales prefieran publicar sus resultados en otras revistas de quizás más tradición o impacto; por otro lado, puede ser consecuencia de las temáticas de investigación escogidas por los autores, y que no se prestan a ser exploradas en entornos de práctica o culturas sociosanitarias diferentes.

Para la media de artículos por número publicado se pasa de los 9,17 artículos en la revisión anterior a los 5 artículos/número publicado en nuestro trabajo. Este descenso es bastante pronunciado, aunque puede ser debido a la realización de los monográficos especiales publicados (Vol 5, No 2 (2011): Monográfico Enfermería 2.0 y Vol 6, No 1 (2012): Monográfico de Enfermería y Bioética).

En relación a la procedencia del investigador principal, la ubicación geográfica predominante fue la Comunidad Canaria con un 43,13% de los artículos producidos en España. Sin embargo, tal producción ha sufrido un descenso del 39,17% desde el periodo 2007 - 009, pasando de un 70,91% en tal periodo a un 43,13% de la producción en nuestro estudio. A pesar de ello, no se obtuvieron diferencias estadísticamente significativas entre la producción científica canaria y la del resto de España. En cualquier caso, las razones que podrían explicar dicho desequilibrio son múltiples, y pudieran deberse tanto a factores de cercanía con respecto a los editores de la revista (de la propia comunidad canaria), como a la existencia de otras redes informales de conocimiento acerca de la revista. Sería enriquecedor quizás explorar de manera cualitativa las decisiones que animan a investigadores peninsulares e insulares a publicar en la revista ENE, a fin de identificar posibles diferencias. Finalmente, Andalucía pasa a situarse en segundo lugar, incrementando su producción científica publicada en la revista del 9,09% al 25,50%.

La aportación extranjera aumentó de un 7,27% en 2007 - 009 a un 21,33% de los artículos analizado en nuestro estudio. A pesar de dicho aumento, tal aportación es completamente iberoamericana, y solamente unos pocos países dentro del continente contribuyen a dicha producción. Por ello, parece apropiado considerar la oportunidad de aumentar el interés o el conocimiento de investigadores de otro gran número de países para publicar en ENE.

Respecto a las áreas temáticas, el tema principal centrado en Cuidados Básicos y Fundamentos de Enfermería ha aumentado del 21,82% al 23% con respecto a 2007 - 009. El bloque formado por Enfermería Psicosocial y Salud Mental se convierte en el segundo ámbito temático más investigado, pasando del 20% al 24%. Esta tendencia al alza en las publicaciones en Salud Mental también se refleja en el artículo de Serrano-Gallardo y cols de 2005 (6). Por otro lado, Enfermería Comunitaria se coloca como tercer tema principal, aumentando un 71,40% hasta el 18,71%. Finalmente, los artículos de áreas temáticas como Enfermería Médico-Quirúrgica disminuyeron un 45%, pasando del primer puesto en 2007 - 009 al cuarto puesto actual. El área temática más utilizada en el artículo de Rodríguez-Gázquez y cols de 2013 (7) también fue los Cuidados Básicos.

Con respecto a la tipología de artículos, se ha encontrado que los artículos de investigación han aumentado, de manera notable, en un 125,46%, situándose como primera elección por delante de los artículos de revisión, que han disminuido un 45%, pasando de un 34% en los años 2007 - 009 a un 18,7%. Nuestros resultados replican de este modo los hallazgos de Rodríguez-Gázquez y cols (7). Sorprende la falta de algunos diseños de investigación, que pueden reflejar, una vez más, la falta de apoyo institucional para llevar a cabo proyectos financiados o complejos, a pesar del más que probable incremento de investigaciones lideradas por investigadores principales enfermeros en los últimos años.

Al evaluar los autores más productivos, nos encontramos con dos miembros del equipo editorial. En total, la endogamia editorial (artículos que fueron publicados por la dirección y/o secretaría de la revista, comité editorial y/o comité asesor) a lo largo de los 5 años analizados ocupa un 17,33% (13/75). Por ello, se concluye que la revista ENE queda bastante alejada de ese 25% anual que sugiere una conducta editorial inapropiada (8).

Para terminar, también se han comparado diversas medidas de referencias bibliográficas con la revisión bibliométrica de la revista ENE 2007 - 009. Por un lado, encontramos que la comparación de las medias de referencias por artículo en 2007 - 009 (4) y en 2009 - 013 no es sustancial. Tampoco hay diferencias con respecto a la tasa de obsolescencia, de 5 años en ambos estudios. Sin embargo, sí que se encuentran diferencias respecto al porcentaje de referencias con antigüedad menor a 5 años, el cual disminuye de un 47,48% a un 40%. Este dato debería investigarse en más detalle, ya que podría sugerir un uso de bibliografía no actualizada por parte de los investigadores o sugerir una falta de dinamismo en el campo de investigación en cuanto a producción científica, empujando a utilizar artículos con una relativa antigüedad, mayor a 5 años.

También se ha comprobado que el porcentaje de referencias del mismo país de la revista que se analiza o índice de aislamiento disminuye de un 58,33% a un 45,66%. Se ha pasado de referenciar más artículos nacionales a utilizar, con una ligera diferencia, referencias internacionales.

 

Conclusiones

En base a los datos obtenidos, la revista ENE presenta características bibliométricas semejantes a otras publicaciones comparables de nuestro contexto enfermero, quizás meritorio considerando las características del medio, online y no de pago.

Se concluye que existe una limitada colaboración internacional y que un grueso considerable de los autores realiza sus investigaciones sin colaborar con ningún otro compañero. Otro de los datos a tener en cuenta, es que existe un cambio de tendencias en las áreas temáticas estudiadas, en los que Cuidados Básicos y Fundamentos de Enfermería y Enfermería Psicosocial y Salud Mental han pasado a ser las áreas más estudiadas. Estos datos ofrecen un posible potencial de expansión tanto en colaboraciones como en temáticas no estudiadas.

Estudios exhaustivos sobre producción científica en Enfermería están limitados por la cumplimentación que las revistas o bases de datos hacen de los datos necesarios, como es la ausencia del dato «país de origen de las instituciones», información sólo de la primera institución o falta de información sobre las mismas. Este tema debe ser considerado por los agentes implicados (autores de los trabajos, editores de las revistas y productores de bases de datos) debido a que es fundamental que la disciplina enfermera disponga de datos que evalúen su actividad científica.

Como futura línea de investigación, los autores consideran adecuado la realización de análisis bibliométricos sucesivos cada 5 años a fin de determinar la evolución histórica de la producción científica en la revista de enfermería ENE, así como profundizar en una mayor medida incorporando nuevos indicadores bibliométricos.

 

Bibliografía

1. Scott, S. D., Profetto-McGrath, J., Estabrooks, C. A., Winther, C., Wallin, L., y Lavis, J. N. (2010): Mapping the knowledge utilization field in nursing from 1945 to 2004: a bibliometric analysis en Worldviews Worldviews on Evidence-Based Nursing, 7(4), 226-37. Disponible en: http://onlinelibrary.wiley.com/doi/10.1111/j.1741-6787.2010.00197.x/abstract;jsessionid=3D30F55F13730B6A1C771786419CB630.f02t04 (Consultado el 20 de Agosto de 2014).         [ Links ]

2. Amezcua, M., Gálvez Toro, A., Cuesta de la Rosa, R., Heierle Valero, C., Poyatos Huertas, E. (2006): La pequeña ciencia. Producción, repercusión y transferencia del conocimiento. La enfermería del área lingïística del español y del portugués. PI 03/0945 en Biblioteca Lascasas, 2(2). Disponible en http://www.index-f.com/lascasas/documentos/lc0139.php (Consultado el 1 de Septiembre de 2014).         [ Links ]

3. Merino Santos, T., Cabrera Rodríguez, J. M. (2012): Mapa bibliométrico de Iberoamérica: Distribución de la producción científica de enfermería en el entorno CUIDEN en Revista Paraninfo Digital, 16. Disponible en: http://www.index-f.com/para/n16/213o.php (Consultado el 5 de Septiembre de 2014).         [ Links ]

4. Rodríguez Álvaro, M., Toledo Rosell, C. (2009): Análisis de la producción científica de la revista de enfermería ENE en los años 2007-009 en ENE Revista de Enfermería, 3(2), 12-4. Disponible en: http://ene-enfermeria.org/ojs/index.php/ENE/article/view/139 (Consultado el 10 de Septiembre de 2014).         [ Links ]

5. Almero-Canet, A., López-Ferrer, M., y Sales-Orts, R. (2013): La colaboración interinstitucional en la producción científica española en Enfermería: análisis de redes sociales en Enfermería Clínica, 23(3), 118-27. doi:10.1016/j.enfcli.2013.03.006.         [ Links ]

6. Serrano Gallardo, P., Giménez Maroto, A. M., y Arroyo Gordo, M. del P. (2005). Análisis de la producción científica publicada en la revista Metas de Enfermería en Index de Enfermería, 14(48-49), 78-82. doi:10.4321/S1132-12962005000100021.         [ Links ]

7. Rodríguez-Gázquez, M. A., Chaparro-Hernández, S. J., y Rojas-Minota, W. M. (2013): Producción científica de la revista Investigación y Educación en Enfermería en sus 30 años de edición en Investigación y Educación en Enfermería, 31(3), 341-353. Retrieved from http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0120-53072013000300002&lng=en&tlng=es.         [ Links ]

8. Alcaraz, R. C. (2008): Acerca de la calidad científica de la revista y el control de la endogamia en RICYDE, Revista Internacional de Ciencias Del Deporte. doi:10.5232/ricyde. Retrieved from http://www.cafyd.com/REVISTA/ojs/index.php/ricyde/article/view/1001.         [ Links ]