Servicios personalizados
Español (pdf)
Articulo en XML
Referencias del artículo
Traducción automática
Enviar articulo por email
Citado por SciELO 
Citado por Google 
Similares en
SciELO 
Similares en Google 
Permalink
Introducción
El Índice JCR Como Marco de Referencia de la Calidad de las Publicaciones
La publicación en 1976 del primer Informe de Citas de Revistas (Journal Citation Reports o, como es generalmente conocido, JCR) supuso toda una revolución en el ámbito del mundo editorial y del análisis bibliométrico de las publicaciones científicas (McVeigh, 2018). El JCR se desarrolló con la intención de proporcionar una medida objetiva del impacto de las citaciones de las revistas, lo que ayudaría a bibliotecarios/as, editores/as e investigadores/as a evaluar la calidad e impacto de las publicaciones científicas (Clarivate, s.f.). Este índice surgió como evolución del Índice de Citaciones Científicas (el Science Citation Index o SCI), que se publicó por primera vez en 1964, basado en la novedosa idea desarrollada por Eugene Garfield de registrar y enlazar las referencias que los/as autores/as indicaban en sus trabajos científicos, lo que proporcionaría un “índice de asociación de ideas” (Clarivate, s.f.).
Este 2025 ha supuesto el 50 aniversario del JCR (Heaney, 2025), que, en la actualidad, cuenta con un total de 254 categorías agrupadas en 21 áreas temáticas de ciencias y ciencias sociales (p.ej., psiquiatría/psicología, física matemáticas, ciencias de las plantas y animales o historia y arqueología, entre otras), evaluando un total de 22.249 revistas pertenecientes a 5.056 editoriales (Clarivate, 2025). Dentro de este informe anual, las revistas pueden estar recogidas dentro de tres índices principales: el Índice de Citaciones de Revistas Emergentes (Emerging Sources Citation Index o ESCI), el Índice de Citaciones Científicas (Science Citation Index o SCI) y el Índice de Citaciones en Ciencias Sociales (Social Sciences Citation Index o SSCI). En la actualidad, independientemente de en qué índice se encuentre indexada la revista, el informe JCR proporciona dos datos fundamentales (Clarivate, 2025):
-
El Factor de Impacto de la Revista (Journal Impact Factor - JIF), que se calcula a partir de la división entre el número de citas que los trabajos publicados en los dos años anteriores han recibido en el último año, y el número de trabajos totales que se publicaron en esos dos años anteriores. Por ejemplo, para el JIF de 2024:
El Indicador de Citas de la Revista (Journal Citation Indicator - JCI), que representa la media del Impacto de Citas Normalizado por Categoría (Category Normalised Citation Impact - CNCI) de los ítems citables (artículos y revisiones) publicadas por una revista en los tres últimos años.
De estos dos elementos, el que en las últimas décadas ha resultado fundamental y que ha constituido uno de los motivos principales que ha llevado a muchos investigadores/as a elegir en qué revista publicar sus trabajos es el JIF. Es a partir de este índice que las revistas son clasificadas en el famoso sistema de cuartiles que, en la práctica, se ha convertido en el marco de referencia ciega para valorar si una revista (y, por extensión, los trabajos en ella publicados) tiene o no calidad científica. Este sistema de cuartiles se calcula de la siguiente manera:
Se hace el cálculo del JIF para cada revista siguiendo la fórmula indicada anteriormente.
Se agrupan las revistas por categoría - por ejemplo, en el área de psiquiatría/psicología, hay un total de 16, agrupando a 1.580 revistas (Clarivate, 2025).
Las revistas dentro de una misma categoría se ordenan de acuerdo a su JIF, separándose en cuatro cuartiles - basados en los percentiles 25, 50 y 75 - lo que da lugar a la clasificación en Q1, Q2, Q3 y Q4.
De este modo, cuando coloquialmente un investigador/a dice que ha publicado su trabajo en una revista “en Q2”, lo que indica este valor es que dicha revista ha obtenido un índice de citaciones relativas al total de trabajos publicados que se encuentra dentro del percentil 50-75 (es decir, que la revista está por encima con respecto del JIF de al menos el 50% de revistas dentro de su categoría, pero por debajo del 25% superior). Estos indicadores obtenidos de manera aparentemente aséptica y puramente matemática pueden parecer la mejor opción para proporcionar una medida “objetiva”, interdisciplinar e internacional de la calidad científica de una revista (Pérez-Hornero et al., 2013).
Es por ello que, desde hace muchos años, gran parte de los organismos gubernamentales, instituciones y/o centros universitarios recurren al JCR para “valorar” la calidad científica de las publicaciones de los/as investigadores, aduciendo criterios puramente cuantitativos a la hora de tomar decisiones que repercuten en cuestiones trascendentales como el acceso a financiación, contratos o promociones (Mason y Singh, 2022). Por otro lado, en las universidades españolas (Gómez-Sancho y Mancebón-Torrubia, 2010) - y de otros países (Anderson et al., 2022) -, es generalizada la práctica de los tribunales evaluadores para las plazas de profesorado, basar la puntuación que se otorga dentro del baremo general a la producción científica del candidato/a en el “número de Q1 que tiene”, realidad que ha despertado críticas en los últimos tiempos (Docampo et al. 2022). Así, en estos casos, lo que sucede es que se está valorando la calidad de las publicaciones de un autor/a mediante un índice que no se relaciona con el artículo en sí, sino con la revista. Esta estimación indirecta de la importancia científica de una aportación es discutible, ya que puede estar sujeta a sesgos tanto de una hiper como de una hipovaloración.
Así, pese a algunas de las aparentes ventajas de este sistema puramente cuantitativo y matemático, desde hace años son muchas las voces a nivel internacional que han ido planteando sus dudas y reticencias a la infalibilidad de este sistema (Torres-Salinas et al., 2022; Yang y Zhang, 2013). Algunas de estas críticas ponen de relieve las limitaciones de este índice, incapaz de distinguir diferentes tendencias en las distribuciones de las citaciones, lo que lleva a evaluaciones injustas (positiva o negativamente) en algunos casos (Yang y Zhang, 2013). Tomemos como ejemplo la Figura 1. En ella se ha representado gráficamente la distribución del número de citaciones que reciben cuatro revistas que han publicado 10 artículos cada una de ellas, y que han recibido en todos los casos un total de 30 citas. En este caso, las cuatro revistas tendrían el mismo índice JIF o SJR y, en caso de pertenecer a la misma categoría, tendrían la misma posición en un cuartil. No obstante, en el caso de la revista “A”, el 66,7% (20 de 30) de sus citas proceden de un solo artículo, habiendo 5 que no reciben ninguna cita, mientras que, en el caso de la revista “D”, todos los artículos publicados contribuyen de igual manera al total de citaciones que la revista recibe. Esto ejemplifica de manera clara el problema de valorar la calidad de una revista en base a una métrica global para todas sus publicaciones, que no discrimina de manera individual el aporte de cada artículo. Además, imaginemos a un/a autor/a que ha publicado el artículo “G” en la revista “A”. Esta persona puede indicar que su trabajo ha sido publicado en una revista con un alto índice de impacto (imaginemos en las revistas del ejemplo de la Figura 1, que están todas en Q1), a pesar de que su trabajo no ha recibido ninguna cita, algo que, sin duda, sería injusto, puesto que el impacto de su trabajo se estaría poniendo al mismo nivel que el del artículo “A” de esa misma revista, que recibe 20 citas. Esto comienza a darnos cuenta de la necesidad de introducir nuevos indicadores y/o métricas a nivel individualizado, cuestión que se desarrollará más adelante.
Figura 1 Representación de Distribución de Citaciones - Basadas en un Mismo Número de Artículos y Citas Totales
Otras críticas a este sistema se centran en el hecho de que mayor citación no tiene por qué necesariamente indicar mayor calidad - un trabajo puede ser muchas veces citado por ser ampliamente criticado - existiendo informes que señalan además una tendencia a citar más trabajos con claras limitaciones metodológicas y conclusiones genéricas (Sample, 2021). En este sentido, sucede en ocasiones que hay trabajos que reciben un alto número de citaciones en una revista debido a que suministra un marco que es exigido por la revista y que, por tanto, no puede entenderse sino como un “peaje” necesario para poder publicar en ella (p.ej., un trabajo sobre las consideraciones éticas en investigación psicológica que incluye el marco de referencia en este sentido que es exigido por la revista para cualquier investigación empírica que se quiera publicar en ella).
No sólo eso, trabajos que han recibido cientos - incluso miles - de citas, en algunas ocasiones acaban siendo retirados por retractación (Retraction Watch, 2025), lo cual no impide que sigan siendo citados, dándose así la paradoja de los conocidos como artículos zombies (Bucci, 2019). Además, otra cuestión importante que afecta a los resultados en el JIF tiene que ver con un aspecto totalmente independiente de cuestiones científicas: el márketing de las revistas (o de los grupos editoriales). Como ha sucedido en muchos otros ámbitos, el mundo de las publicaciones científicas ha experimentado en las últimas décadas un proceso de agrupación cada vez más concentrado en torno a unas pocas grandes editoriales internacionales con grandes recursos económicos (p.ej., Elsevier, Springer, Taylor & Francis o Wiley), que permiten un mejor posicionamiento de sus publicaciones, algo especialmente relevante en la era digital (Marland, 2017). Las publicaciones científicas son, indudablemente, un negocio (y muy rentable - en torno a diez mil millones de dólares anuales según algunas estimaciones; Kim y Park, 2020) lo cual, unido a la presión por el “publica o muere” (publish or perish), genera un marco en el que el número de publicaciones no deja de crecer exponencialmente (Hanson et al., 2024). Ahora bien, ¿significa esto que cada vez se produce más ciencia de calidad con un mayor impacto real a nivel social? ¿O se trata quizás de un fenómeno con una mayor carga económica y menor científica? Son cada vez más los/as investigadores/as que señalan como este creciente número de publicaciones parece convivir con una cierta crisis de la ciencia (Altbach y De Wit, 2018), especialmente en lo relativo a la crisis en replicación (Oberauer y Lewandowsky, 2019) - es decir, un gran aumento en el número de publicaciones sin un avance sustantivo en los aportes de lo publicado, cuestión que, cabe destacar, se lleva poniendo de manifiesto desde hace más de 30 años (Hamilton, 1990).
Así pues, como puede observarse, más citas globales recibidas por una no siempre necesariamente significa mayor calidad. Esto ha llevado a que en los últimos años se esté abriendo camino la inclusión de criterios cuantitativos, centrados de manera individual en los artículos, así como criterios cualitativos en la valoración de la calidad científica, como propuesta que pueda (al menos parcialmente) paliar las dudas sobre un sistema puramente basado en cuestiones de métricas globales a nivel de revistas.
Los Nuevos Indicadores Cuantitativos Centrados en el Artículo
Como se señalaba, una de las principales críticas a los indicadores cuantitativos existentes, centrados en el impacto que tienen las publicaciones de revistas científicas, tomadas en su conjunto, es que esto no da cuenta del comportamiento específico de los trabajos que lo componen. A modo de ejemplo práctico ilustrativo: supongamos que una revista publicó 30 trabajos entre 2022 y 2023. De estos, en 2024, 3 recibieron 30 citas cada uno, mientras que los 27 restantes, no recibieron ninguna cita. De acuerdo con la ecuación empleada para el cálculo del JIF (p.2), esta revista tendría un índice de 3 (que, para la mayoría de las categorías en psicología, seguramente representaría un cuartil Q1). Con estos datos “objetivos” y matemáticos en la mano, esta revista bien podría decir que tiene una gran calidad e impacto, como demostraría su índice JIF y su posicionamiento en el primer cuartil. No obstante, ¿esto es una descripción realista si se tiene en cuenta la trastienda tras los datos?
Recientemente Scopus, a través de su herramienta SciVal, ha comenzado a incluir en su sistema un nuevo indicador que ofrece métricas con respecto del impacto normalizado de los trabajos publicados, a nivel individual, independiente de las métricas de la revista: el Field-Weighted Citation Impact (FWCI; Elsevier, 2024). Este indicador representa la “ratio entre el total de citaciones realmente recibidas por el denominador y el total de citaciones esperadas basadas en la media de su categoría, tipo y año de publicación” (Elsevier, 2024). Así, un FWCI = 1 indicaría que el trabajo ha recibido el número de citas esperadas en base a esta media global. Los valores por debajo de 1 indicarían que el trabajo ha sido menos citado de lo esperable dentro de su categoría, y por encima de uno, más citado. Es decir, el FWCI sería una adaptación directa del JIF, a nivel de artículo, lo que proporcionaría una imagen más objetiva del impacto real (dentro del ámbito de la producción científica) de un trabajo con respecto del resto en su misma área. No obstante, aunque más preciso, este indicador seguiría teniendo el problema de equiparar impacto/calidad con número de citaciones recibidas, obviando otros posibles criterios.
En este sentido, una fuente alternativa de información basada en métricas de citaciones a nivel individual es la proporcionada por APIs como PlumX, también perteneciente a Elsevier (s.f.) o Altmetric (s.f.). Estas herramientas proporcionan métricas a nivel de artículo, agrupadas en diferentes categorías, como citaciones (extraídas de las bases de indexación como WoS, Scopus, PubMed…), uso (lecturas y descargas), capturas, menciones en sitios web o menciones en redes sociales. Se trata de herramientas que las revistas pueden incorporar a sus páginas webs, y que, a través de bots automatizados programados para realizar minería de datos online, obtienen información actualizada en estas áreas. La gran ventaja de estas APIs es que, además de facilitar información relativa a citaciones, proporcionan otros indicadores adicionales, que permitirían dibujar un mapa más completo y amplio sobre el impacto de cada artículo - más allá del ámbito exclusivo de la publicación científica. Esto da cuenta de la relevancia - y necesidad - de contar con nuevos criterios más allá de las citas, que permitan conocer con mayor detalle cuál es el impacto de las publicaciones científicas, basándose en criterios con un carácter más cualitativo.
La Inclusión de Criterios Cualitativos en la Valoración de la Calidad Científica
Vamos a tomar como ejemplo el caso de España y las transformaciones que se están produciendo en los últimos años, principalmente como consecuencia de los nuevos criterios que la Fundación Española para la Ciencia y Tecnología (FECyT) y la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) - dependientes del Ministerio de Ciencia e Innovación - están introduciendo en sus diferentes convocatorias
En este sentido, la FECyT ha incorporado desde el año 2024 en sus convocatorias para las diferentes iniciativas de fomento de la cultura científica y difusión de ciencia criterios cualitativos dentro de los baremos específicos de evaluación de las propuestas, que responden a cuestiones relacionadas más con una justificación narrativa del impacto de las propuestas, en conjunción con los tradicionales criterios objetivos (número de citas de los trabajos científicos resultantes, índice de impacto de las revistas donde se publican…) (FECyT, 2025a). De igual modo, desde hace ya varias convocatorias, la FECyT, en otro de sus pilares centrales - el Sello de Calidad Editorial y Científica de las Revistas Académicas Españolas -, incluye también diferentes criterios de valoración para la obtención de este reconocimiento que se basan en cuestiones cualitativas (FECyT, 2025b)
Por su parte, en su edición de 2023, la ANECA incluyó por primera vez criterios cualitativos dentro de los baremos específicos para la evaluación de las solicitudes de tramos de investigación o transferencia (conocidos comúnmente como sexenios), que permitían la valoración narrativa de la calidad e impacto de los trabajos publicados, además de criterios puramente cuantitativos:
En segundo lugar, se realiza un reajuste en la combinación de los métodos cualitativos y los indicadores cuantitativos utilizados para la valoración de las aportaciones presentadas, de nuevo, para garantizar la coherencia de los criterios valorativos utilizados en los diversos procedimientos de evaluación. Ello aconseja integrar ya en esta convocatoria, de manera flexible, las orientaciones del movimiento internacional de reforma de la evaluación de la investigación, al que se ha incorporado ANECA en este año 2023 a través de su adhesión a la San Francisco Declaration on Research Assessment (DORA) y a los acuerdos y principios de la Coalition for Advancing Research Assessment (CoARA). En los diversos campos y subcampos de evaluación esto se concreta, conforme a las reglas aplicables a cada disciplina científica, en la solicitud de una narración justificativa de los indicios de relevancia e impacto de cada aportación, apoyados por un uso responsable de indicadores cuantitativos (ANECA, 2023, p. 166273).
En esta misma modificación de los criterios específicos de evaluación, dentro del Apéndice, se especifican los criterios que han de seguirse para la justificación de la bibliometría narrativa, la cual, según la agencia, “cumple una función instrumental en la redacción, presentación, justificación y contextualización rigurosa de evidencias e indicios relacionados con la visibilidad, diseminación e influencia de los resultados de la investigación científica” (ANECA, 2023, p. 166289). En este apartado, dentro de la taxonomía de métricas recomendadas, la ANECA reconoce cuatro tipos de métricas (tres de las cuales trascienden el criterio tradicional de “número de citas”): (1) métricas de citación; (2) métricas de uso y lectura; (3) métricas de influencia o adopción social; (4) métricas de visibilidad social.
Pese a los avances que se están produciendo en nuestro país, impulsados desde el Ministerio de Ciencia e Innovación, que busca adecuarse a los actuales estándares internacionales, estos cambios parece que aún no se han trasladado con igual ímpetu al ámbito de la universidad pública. Aquí, en la gran mayoría de casos, en las baremaciones para los procesos de selección de profesores/as en las distintas categorías, dentro del apartado dedicado a la valoración de las publicaciones científicas derivadas de la actividad investigadora, los criterios específicos que rigen dicha evaluación siguen siendo, cuanto menos, opacos (suele indicarse que se tendrán en cuenta el número de publicaciones, atendiendo a su relevancia y calidad en el ámbito de conocimiento - ¿cuáles son esos criterios?). No obstante, parece que algunas universidades están avanzando en una mayor transparencia en cuanto a estos criterios, adecuándose al camino de la FECyT y la ANECA. A modo de ejemplo, la Universidad Autónoma de Madrid (UAM), actualmente especifica en este sentido que “se valorarán índices de calidad como cuartil de la revista, posición del candidato en la relación de autores y número de citas de cada una de las aportaciones seleccionadas” (UAM, 2025), lo cual deja entrever una inclusión de aspectos cualitativos (posición del candidato/a en la relación de autores) dentro de los criterios.
Como se ha expuesto brevemente, las críticas y dudas que se han ido manifestando en los últimos años sobre la idoneidad de basar la valoración de la calidad de las publicaciones científicas tan sólo en valores numéricos cuantitativos está llevando a un cambio - lento, pero, esperemos, firme - que incluya aspectos también cualitativos. En este sentido, la idea no sería obviar lo cuantitativo, sino que esto sea el punto de partida para, argumentalmente (cualitativamente), justificar el impacto y calidad de las publicaciones. Es decir, utilizar las métricas cuantitativas, no como el final de la argumentación (cuantas más, mejor es la calidad), sino como fundamentación basada en datos de una lógica argumental que debe ir más allá de los datos en bruto y que, sin un contexto (sin una narrativa), dan una visión muy sesgada y parcial de la realidad.
En este sentido, ¿cuál es el estado actual de las revistas científicas españolas en el área de psicología? A modo ilustrativo, presentaremos a continuación un análisis de cuatro revistas de psicología pertenecientes al Grupo Editorial Psicofundación (GEP), donde se mostrará con datos del pasado 2024, la relevancia de atender a cuestiones más allá del mero número de citas para considerar la calidad e impacto de estas publicaciones.
Las Publicaciones Científicas en Psicología en España - el Ejemplo del GEP
El Grupo Editorial Psicofundación (GEP) fue fundado a comienzos del 2023 con la finalidad de contribuir al desarrollo de publicaciones de calidad del ámbito de la psicología, en cualquier formato, en colaboración con organizaciones científicas o profesionales españolas (INFOCOP, 2023). En un contexto marcado por una clara tendencia a la agrupación (o, quizás de manera más precisa, absorción) de las revistas científicas en grandes conglomerados editoriales, la independencia de estas muchas veces acaba quedando supeditada a los intereses empresariales de las grandes editoriales donde quedan englobadas (Näre, 2022; Näre y Bendixsen, 2017). Es por ello que el objetivo central del GEP es garantizar el que las revistas científicas en psicología españolas puedan mantener su independencia, facilitándoles la producción editorial de sus trabajos dentro de un marco que no está orientado al beneficio económico, sino a mantener la calidad científica y la transferencia de conocimiento a la sociedad.
En los dos años y medio que lleva en funcionamiento, el GEP ha agrupado a las revistas Psicothema, Revista Iberoamericana de Psicología y Salud (RIPS), Papeles del Psicólogo, Revista de Psicoterapia, Revista de Psicología y Educación (RPYE), Apuntes de Psicología, Informaçió Psicológica y el Anuario Internacional de Revisiones en Psicología. Cuatro de estas revistas están actualmente indexadas en el SSCI o ESCI de la WoS y en el SJR, ocupando desde el primer hasta el cuarto cuartil. Las cuatro restantes, están también indexadas en prestigiosas bases internacionales como PsycInfo, SciELO, Redalyc, PubMed o Medline. Ante todo, esta realidad avala que, pese a los retos y limitaciones que presenta la producción científica en España, el incansable trabajo de quienes componen los consejos editoriales de las revistas hace posible que nuestro país se sitúe a la cabeza en número de revistas científicas indexadas, ocupando un más que meritorio quinto lugar, tan sólo por detrás de Estados Unidos, Inglaterra, Países Bajos y Alemania (Clarivate, 2025).
Dado que el objetivo del presente trabajo es mostrar un análisis del impacto de las revistas científicas en psicología más allá de indicadores puramente cuantitativos basados en el índice de impacto en el JCR o el SJR, vamos a proceder a mostrar una comparativa del rendimiento de cuatro de las revistas citadas anteriormente. Esta comparativa tiene una doble intención: por un lado, mostrar la importancia de atender a cuantas más fuentes y más diversas para tener la imagen más precisa posible, a nivel cuantitativo, del impacto de un trabajo y, por otro, generar ese punto de partida para una contextualización narrativa del significado de dichos datos.
Comparando el Impacto Según los Criterios de Referencia
Tómense los siguientes datos que se van a aportar como una muestra dentro de una compleja y extensa realidad. Aunque parcial por la limitación del número de revistas que se analizan, consideramos que los datos mostrados son ilustrativos para lo que se pretende mostrar: atender tan sólo a criterios de números de citas y de posición en cuartiles es una visión reduccionista, limitada y, porque no decirlo, quizás injusta, del impacto y relevancia de las revistas científicas. Así, para este análisis, se tomarán como referencia los datos procedentes de las revistas Psicothema, RIPS, Papeles del Psicólogo y RPYE para el 2024. De estas revistas, las tres primeras se encuentran indexadas dentro de la WoS, dentro de los cuartiles 1 (Psicothema y RIPS) y 3 (Papeles del Psicólogo). Se ha incluido la RPYE, que no está indexada en esta base de datos, a modo de comparativa adicional.
En la Tabla 1 se muestra un resumen del número de citas que estas revistas obtuvieron en el JCR2024 (Clarivate, 2025), junto con otras métricas alternativas. Como puede verse, de entrada, si tan sólo se atendiera al criterio “cuartil de indexación en WoS”, parecería que revistas como Papeles del Psicólogo o la RPYE (que no está indexada) no son revistas de “tanta calidad científica” ni que tengan un impacto tan relevante. Sin embargo, esa es una valoración sesgada si solo se atiende al JIF.
Tabla 1 Resumen de Indicadores de Impacto de las Revistas Seleccionadas
| Revista | Cuartil en WoS | nº de citas JCR2024 | nº citas totales (histórico) JCR2024 | nº citas bases alternativas | nº lecturas Mendely | nº de citas en legislación | Menciones en RR.SS. |
|---|---|---|---|---|---|---|---|
| Psicothema | Q1 | 346 | 4.079 | 932 | 4.891 | 8 | 669 |
| RIPS | Q1 | 55 | 188 | 129 | 787 | 4 | 4 |
| Papeles del Psicólogo | Q3 | 42 | 598 | 124 | 1.409 | 3 | 109 |
| RPYE | - | - | - | 30 | 823 | 3 | 1 |
Posición en Cuartiles y en JCR - WoS
Lo primero que hay que destacar es la confusión que puede generarse entre posición en un cuartil y número de citas. Como se mostraba en la introducción, para el cálculo del JIF (que es la base para la posición en un cuartil), se tienen en cuenta el número de citas en los dos años anteriores con respecto del total de trabajos publicados en esos dos años. Así, puede suceder (y, de hecho, pasa en muchas ocasiones), que una revista con un menor número de citas totales ocupe un cuartil superior que otra con más citas recibidas (un mayor número de citas totales no lleva a estar en un mejor cuartil, ya que esas citas deben dividirse por el número de artículos publicados). Es por ello por lo que atender tan sólo al número de citas totales es, cuanto menos, una atención sesgada y parcial de la realidad total.
Métricas de Citación Alternativas
En un análisis más detallado de las citas, para las tres primeras revistas (Tabla 1), vemos cómo el número de estas se triplica cuando se toman como referencia los datos procedentes de bases de indexación alternativas a la WoS (Scoups, PubMed y Crossref). Además, usando como ejemplo la RPYE, si atendiésemos a los datos de la WoS, esta revista no tendría aparentemente “calidad” suficiente (pues no está incluida en esta base). No obstante, como puede verse en la Tabla 1, la RPYE obtuvo en 2024 un total de 30 citaciones. Es cierto que son datos modestos si los comparamos con las otras tres revistas, pero quizás una visión dicotómica de “todo o nada” (un sesgo que en psicología sabemos que es tan prevalente como “tramposo”) simplifica una realidad compleja, desmereciendo el impacto que muchos de estos trabajos consiguen. En ese sentido, la propuesta hacia la valoración cualitativa (donde la dimensionalidad tendría cabida) proporciona una imagen más certera de una realidad siempre compleja y llena de matices.
Con estos datos no queremos decir que las revistas sean “mejores o peores” (puesto que es justamente lo opuesto al punto central de debate que planteamos), sino poner de manifiesto lo relativo del significado de esas cifras, según a dónde se atienda. Así, como puede observarse, si para estas revistas sólo se atendiese al número de citas que reciben en los dos últimos años de acuerdo con el JCR, su impacto real quedaría significativamente reducido. No sólo eso, la WoS en su JCR ofrece otro dato importante, que es el número de citas totales que los trabajos publicados en una revista (en su histórico global) han recibido durante el año de referencia de ese JCR (cuarta columna de la Tabla 1). Por ejemplo, para los datos que se aportan en la Tabla 1, los valores de esta cuarta columna señalarían que todos los trabajos que se han publicado a lo largo de la historia de Psicothema fueron citados un total de 4.079 veces, tan sólo en 2024. Este es un dato que suele ignorarse a la hora de valorar el impacto y relevancia de una revista, pero, ¿acaso son valores que no tienen significado sobre la calidad de la misma? ¿No tiene importancia que en la actualidad se sigan citando trabajos que fueron publicados en una revista hace más de dos años? En nuestra opinión, creemos que este es un dato que pone de manifiesto precisamente la calidad de lo que las revistas publican - ya que la ciencia se construye a partir de la evidencia acumulada en el pasado; que se sigan citando trabajos “antiguos”, no hace sino afirmar el impacto y vigencia en el presente de lo publicado en el pasado. En este sentido, puede verse que los trabajos de las revistas del GEP tomadas a modo de ejemplo son considerados como base para la producción de trabajos científicos en la actualidad, lo que es también un indicador relevante de su impacto (indicador adicional al JIF/JCR y al cuartil en WoS).
Indicadores Individuales. El Impacto más Allá de las Citas: Lecturas, Citación en Legislación y Difusión en RR.SS.
Como se indicaba en la introducción, una de las principales críticas actuales a los indicadores de calidad basados en métricas de citación es que están proporcionan información a nivel global de las revistas, pero no a nivel específico de cada trabajo. Que un trabajo esté publicado en una revista con un alto índice de impacto no es garante de que este tenga el mismo impacto o relevancia. Por ello, se considera necesaria una mayor atención a métricas individualizadas, independientes estas de la revista donde está el trabajo publicado, que permitan dar cuenta de cuál es el impacto que está teniendo, tanto a nivel de citas en trabajos científicos, como a través de otros indicadores.
En relación con el impacto individual que un trabajo tiene a nivel de citas, como ya se señalaba, en la actualidad se puede acudir al índice FWCI (para aquellas revistas que están indexadas en Scopus) o a herramientas como PlumX. En el caso de las revistas del GEP mostradas en el presente trabajo, todas ellas cuentan con PlumX en sus páginas web, lo que permite a cualquier persona consultar el impacto individualizado de todos los trabajos publicados en ellas, en todo su histórico. Además, Psicothema, RIPS y Papeles del Psicólogo se encuentran también indexadas en Scopus, por lo que puede consultarse el FWCI de todos sus trabajos. Tomando como referencia los datos individualizados que proporciona PlumX, vamos a profundizar en el impacto de métricas adicionales a las citas en los trabajos de estas revistas.
Así, en primer lugar, un indicador significativo del interés e impacto de un trabajo es el número de veces que este es leído/guardado. El aplicativo con mayor implementación a este respecto es Mendeley (un gestor de citas perteneciente a Elsevier - de nuevo, un ejemplo de la tendencia a la unificación en grandes conglomerados empresariales de los recursos relacionados con las publicaciones científicas). Así, cuando una persona con cuenta en este sistema lee/guarda un trabajo, esto queda registrado en su sistema (siendo estas las métricas aportadas en la Tabla 1). Así pues, el impacto y relevancia de los trabajos publicados en una revista debería evaluarse no sólo por cuántas veces ha sido citado por otros trabajos científicos (indicador que, como se ha señalado, es útil, pero no el único), sino por cuántas veces es consultado - referencia de transferencia de conocimiento, tanto en el ámbito académico, como en el social más general.
En relación con esta transferencia de conocimiento, otro punto de referencia es el impacto que las publicaciones científicas tienen en la elaboración y desarrollo de nueva legislación. Este punto tiene quizás una especial relevancia a nivel social, puesto que las leyes son el marco que define las normas y reglas de convivencia de cualquier grupo, en sus diferentes niveles (Vago y Barkan, 2021). Que estas tomen de referencia trabajos científicos son una noticia de gran relevancia, puesto que simboliza cómo el conocimiento científico trasciende las fronteras del ámbito puramente académico (donde, desgraciadamente, muchas veces queda enclaustrado), y se traslada como marco de referencia para esas normas comunes. Este es un indicador que, hasta la mencionada inclusión de criterios narrativos por parte de la FECyT (2025a, 2025b) y la ANECA (2023), quedaba totalmente al margen de cualquier valoración - cuando, en realidad, constituye uno de los más tangibles ejemplos de impacto y relevancia. En este sentido, puede apreciarse como los ejemplos provistos en la Tabla 1 dan cuenta de cómo las publicaciones científicas seleccionadas son una referencia también en el ámbito legislativo.
Por último, mencionar el impacto que los trabajos publicados en revistas científicas pueden tener en las redes sociales (RR.SS.). En un mundo digital (Marland, 2017), las RR.SS. se han convertido en una de las principales fuentes de referencia para la búsqueda de información para millones de personas en el mundo (Aïmeur et al., 2023). Es por ello que atender al impacto que las publicaciones científicas tienen en este contexto se convierte en una cuestión fundamental si queremos tener una visión holística y más precisa de su impacto. Los resultados en este sentido de los trabajos de las revistas tomadas como ejemplo del GEP reflejan quizás a la perfección la realidad actual en este sentido, donde existe un desigual desarrollo y presencia en estos nuevos canales de difusión. Esto muestra cómo la transición del ámbito académico a un entorno digital y de redes sociales es una cuestión aún en desarrollo, pero que debe ser puesta en valor por el impacto que tiene (aunque es una observación correlativa, es significativo que las revistas que mayor número de menciones tienen en RR.SS. son las que más lecturas reciben).
Discusión
La motivación del presente trabajo ha sido, a través de una breve revisión histórica, mostrar cuál ha sido el desarrollo del análisis del impacto de las revistas científicas, más concretamente, las del área de psicología en España. Desde su aparición en 1976, el uso del JCR como marco de referencia para la evaluación de la calidad e impacto de las revistas científicas se ha ido consolidando, hasta haberse convertido en el principal indicador general a nivel internacional (Anderson et al., 2022, Gómez-Sancho y Mancebón-Torrubia, 2010; Mason y Singh, 2022). Pese a las ventajas que este sistema cuantitativo ha proporcionado, la simplificación que hace de una compleja realidad ha suscitado en los últimos años cada vez más críticas (Sample, 2021; Torres-Salinas et al., 2022), que han terminado por materializarse, en el caso de España, en la apertura a criterios cualitativos (junto con los cuantitativos) para la evaluación del impacto y calidad de las publicaciones científicas (ANECA, 2023; FECyT, 2025a, 2025b).
Así, reducir la evaluación de la calidad e impacto de las publicaciones científicas a un único criterio, aunque tentador (y, porque no decirlo, a veces conveniente) por su simplicidad y “objetividad”, sesga de manera inevitable una realidad compleja. Conviene quizás en este punto recordar lo que se atribuye a uno de los máximos exponentes de la psicología de comienzos del siglo XX, Alfred Binet sobre la inteligencia (aunque, en realidad, esto es un mito): “la inteligencia es lo que el test de inteligencia mide”. Así pues, cuando hablemos de calidad e impacto, no olvidemos que esto siempre será una realidad subjetiva (por mucho que quiera objetivarse) definida por unos criterios particulares - que, además, cambian con el tiempo. Indudablemente, necesitamos operativizar nuestra realidad - es inevitable para que nuestro mundo funcione. No obstante, que no olvidemos nunca que “ese número”, “ese cuartil”, es una cifra carente de significado en sí misma; somos nosotros quienes proporcionamos ese significado; tratemos pues de ser lo más justos (y conscientes) al hacerlo.
Además, como se ha ido mostrando a lo largo del trabajo, debemos ser cautos en equiparar el impacto y relevancia de una revista científica, con el de cada uno de los trabajos en ella publicados. Son muchos los casos en los que un pequeño puñado de artículos dentro de una revista tienen un elevado impacto - tanto a nivel cuantitativo de citas, como cualitativo de indicadores adicionales - siendo estos los buques insignia que empujan a las primeras posiciones en el JIF, cuartiles, SJR y similares, a la revista en su conjunto. Y al revés; numerosos trabajos que, de manera individual, tienen un más que relevante impacto, pero cuya significación queda ensombrecida por estar publicados en revistas en posiciones más modestas.
Así pues, el futuro de la valoración de las publicaciones científicas debería ir orientado a una combinación de criterios individuales, específicos para cada artículo, junto con aspectos globales de las revistas donde son publicados. En este sentido, destacar el ejemplo del GEP, como muestra de este trabajo para aunar ambos criterios, proporcionando en sus revistas información relativa a su impacto en conjunto (índice JCR, JIF, SJR) como a nivel individualizado para cada uno de sus trabajos (número de citas individuales, lecturas, menciones en legislación, menciones en redes sociales…).
Por último, señalar la importancia de que los datos cuantitativos - las métricas basadas en valores de citación, lectura, menciones en legislación o redes sociales... - deben comenzar a ser utilizados, no como el punto final que muestra la calidad de un trabajo (o de una revista, cuando se toman estos en su conjunto), sino como el punto de partida para poder ofrecer una narrativa cualitativa que contextualice, con el apoyo de la evidencia basada en datos, el porqué de dicha calidad.
