Base de datos. Muestra poblacional

Las bases de datos que se utilizaron en este estudio corresponden a las respuestas a las preguntas, que los propios examinados de cada una de las convocatorias de la prueba MIR 2009-2017 introdujeron en una aplicación web desarrollada para este propósito por el Curso Intensivo MIR Asturias. Tras la realización del ejercicio de examen, todos los examinados participantes que quisieron pudieron introducir en la aplicación sus respuestas a las 235 preguntas del examen y su baremo académico, con objeto de acceder al servicio de corrección del examen y de estimación del número de orden que obtendrían en su convocatoria. La base de datos obtenida, una vez eliminados los considerados espurios, es la que se ha empleado para este estudio.

El número de ejercicios corregidos disponible en cada convocatoria para su análisis ha sido diferente, con un mínimo de 1.698 en la convocatoria de 2011 y un máximo de 4.190 en la de 2017. La media de ejercicios registrados en la aplicación para las convocatorias analizadas fue de 2.684. El número exacto de examinados que introdujeron los resultados en cada una de las convocatorias se recoge en la figura 1. Como se observa, el porcentaje de médicos de los que se dispone de información relativa a sus respuestas a las preguntas, en las últimas convocatorias, supera el 30% del total de presentados al examen.

Figura 1 Número total de presentados a la prueba MIR y número de examinados que introdujeron los resultados de su prueba en la aplicación web de corrección del examen. 

A la hora de analizar los resultados para cada una de las convocatorias se han considerado únicamente las 225 preguntas que se han empleado para el cálculo de la puntuación en cada una de ellas. Es decir, no se han tenido en cuenta las preguntas anuladas ni las preguntas de reserva que no fueron activadas por la comisión calificadora de la prueba en la plantilla de respuestas definitivas del examen.

Clasificación de las preguntas

Cada pregunta de cada convocatoria se ha clasificado atendiendo a su área temática o asignatura, y al tipo de pregunta. Respecto al área temática se han clasificado en: bioestadística y medicina preventiva, microbiología y enfermedades infecciosas, aparato digestivo y cirugía digestiva, neumología y cirugía torácica, cardiología y cirugía cardiaca, nefrología y urología, ginecología y obstetricia, neurología y neurocirugía, endocrinología y cirugía endocrina, hematología, reumatología, pediatría, psiquiatría, cirugía ortopédica y traumatología, dermatología, farmacología clínica, otorrinolaringología, inmunología, oftalmología, anatomía patológica, fisiología, genética, gestión clínica, anatomía, geriatría, oncología, habilidades comunicativas, cuidados paliativos, cirugía vascular, urgencias, cirugía maxilofacial, cirugía plástica y reparadora, medicina legal y bioética, bioquímica y radiología.

En lo que respecta al tipo de pregunta, se han agrupado en cuatro categorías: casos clínicos con imagen, casos clínicos sin imagen, preguntas negativas y preguntas de test. Bajo la categoría de casos clínicos, se agruparon todas aquellas preguntas de la prueba en las que el enunciado contiene numerosos datos descriptivos del cuadro patológico de un paciente o de un problema bioestadístico, diferenciándose entre las que van asociadas a una imagen y las que no. Se denominan preguntas negativas aquellas en donde en su enunciado se pregunta por la opción incorrecta. Es decir, el enunciado incluye palabras tales como ‘falso’, ‘excepto’, ‘incorrecta’, ‘no incluye’, etc. Finalmente, bajo la denominación genérica de preguntas de test, se incluyen todas las que no se han clasificado dentro de ninguna de las categorías anteriores, siendo habitualmente preguntas directas con enunciados y opciones de respuesta cortas.

Índice de dificultad

El primer indicador que utilizaremos es el índice de dificultad. Se define como tal el cociente que se obtiene de dividir el número de examinados que aciertan la pregunta (A) entre el número total de examinados que se presentaron al examen (N); su fórmula sería: D = A / N.

Tal y como está definido este índice, un valor más alto del índice de dificultad significa que se trata de una pregunta más fácil, con un mayor porcentaje de examinados que la aciertan.

Índice de dificultad con corrección de los efectos del azar

Como se hizo en las publicaciones previas [⁸,⁹], con el fin de calcular el índice de dificultad de cada una de las preguntas corrigiendo los posibles efectos de acertar por azar, se aplicó la fórmula:

En esta ecuación, A representa el número de examinados que responden de forma correcta a la pregunta; E, el número de examinados que la fallan, incluyendo en esta categoría a todos aquellos que dejaron la pregunta sin contestar, y N, el número total de presentados a la prueba. Finalmente, K es el número de opciones que presentaba la pregunta.

Como se ha señalado, hasta la convocatoria 2014, cada pregunta tenía cinco posibles opciones de respuesta, pero a partir de la convocatoria 2015, el número de opciones se redujo a cuatro.

En la bibliografía, existen puntos de corte que permiten clasificar las preguntas en función del valor de su índice de dificultad corregido. Para la consulta de los puntos de corte, véase un trabajo previo de los autores en el que se analiza la prueba MIR de 2015 [⁸]. Finalmente cabe destacar que, al igual que en el índice de dificultad, un valor más alto del índice de dificultad con corrección de los efectos del azar significa que se trata de una pregunta más fácil.

Índice de discriminación

La discriminación de una pregunta es la capacidad que ésta tiene de distinguir entre los examinados que obtienen puntuaciones altas y bajas en la prueba. Así, se dice que una pregunta es discriminativa si los que la aciertan son, mayoritariamente, los que obtienen las puntuaciones más altas en el test. En el presente trabajo, se define el índice de discriminación por medio de la fórmula:

siendo F el número de respuestas correctas en el grupo fuerte; D, el número de respuestas correctas en el grupo débil; N₁, el número total de examinados que respondió a la pregunta en el grupo fuerte, y N₂, el número total de examinados que respondió a la pregunta en el grupo débil. Se definen como grupo débil y grupo fuerte los grupos formados, respectivamente, por el 27% de examinados que obtuvieron las peores calificaciones y el 27% de los examinados que obtuvieron las mejores calificaciones en el ejercicio de examen de la prueba MIR.

El índice de discriminación representado según esta fórmula puede tomar valores entre –1 y 1. Cuanto más alto sea el valor del índice, más discriminativa resulta la pregunta. En el caso de este índice, al igual que en el caso del índice de dificultad con corrección de los efectos del azar, existe una clasificación de los valores en diferentes categorías con puntos de corte que, aunque no se utilizan en el presente trabajo, pueden también consultarse en un trabajo previo que analiza el ejercicio de examen de la convocatoria 2015 [⁸].

Índice de correlación biserial puntual

A través del índice de correlación biserial puntual se mide de forma genérica la fuerza de asociación entre dos variables. En el caso del presente estudio, lo que se mide es la asociación entre el resultado obtenido por el examinado en el ejercicio de examen y si éste acertó o falló la pregunta. El índice de correlación biserial puntual se expresa por medio de la siguiente fórmula:

siendo µ_p la puntuación media en el test de los examinados que aciertan el ítem; µ_q, la puntuación media en el test de los examinados que fallan el ítem; σ_x, la desviación típica de la puntuación total del test, e ID, el índice de dificultad del ítem. Este índice representa la proporción de examinados que aciertan el ítem (D = A / N).

Los resultados de este coeficiente permiten clasificar las preguntas en las siguientes categorías: excelente, si el valor que se obtiene es igual o superior a 0,40; buena, cuando el valor del índice es igual o superior a 0,30 pero inferior 0,40; regular, si el valor del índice es igual o superior a 0,20 pero no llega a 0,30; pobre, si el valor está comprendido entre 0 y 0,20, y pésimo, si el valor es inferior a 0.

De la propia definición del índice se deduce que cuanto mayor sea su valor, mayor será la relación entre la obtención de una puntuación alta en el test y el haber contestado correctamente la pregunta.

Índices de dificultad y discriminación según la teoría de respuesta al ítem

Como ya se explicó en un artículo previo sobre la evaluación psicométrica de la prueba MIR [¹⁰], la teoría de respuesta al ítem (TRI) propone una serie de modelos explicativos de la forma en la que los individuos responden a las preguntas. Es decir, a través de la TRI es posible conocer la probabilidad que cada uno de ellos tiene de acertar las distintas preguntas que se le presentan en el ejercicio de examen de la prueba MIR. Así, los modelos matemáticos de la TRI son capaces de calcular los dos parámetros fundamentales de cada pregunta, como son la dificultad y la discriminación.

Para el estudio del ejercicio de examen, y teniendo en cuenta los resultados obtenidos por los autores en estudios previos [¹⁰], se ha optado por utilizar el modelo denominado de dos parámetros. En este modelo, de respuesta dicotómica, si el examinando acierta una pregunta, ésta se codifica como 1, mientras que si la pregunta se falla o no se contesta, la respuesta se codifica como 0.

Representando el nivel de conocimiento de cierto examinado por la variable θ, el modelo de dos parámetros que representa la probabilidad de que el i-ésimo examinado responda de manera correcta a la pregunta j-ésima se puede expresar por la ecuación:

donde θ_i es el nivel de conocimiento del i-ésimo examinado, a_j es el valor de discriminación de la j-ésima pregunta y b_j es el nivel de dificultad de esa misma pregunta. Así, cuanto mayores sean los valores de a_j y b_j, mayor será la capacidad de discriminación y dificultad de la pregunta. El cálculo de los valores de dificultad y discriminación para cada una de las preguntas propuestas se realiza a través de la metodología del estimador de máxima verosimilitud, estando disponible su explicación detallada en la bibliografía clásica de TRI [¹¹].

Estudios estadísticos

Se estudió la normalidad de las variables continuas a través del test de Anderson-Darling [¹²], resultando que ninguna de las variables presentaba normalidad. A continuación, se aplicó el test no paramétrico de Kruskal-Wallis [¹³] con el fin de encontrar diferencias estadísticamente significativas en las medianas de los grupos considerados. En aquellos casos donde se rechazó la hipótesis nula de igualdad de todas las medianas de los grupos, se aplicó el test post-hoc de Dunn [¹⁴,¹⁵]. En general, el nivel de significación alfa empleado en el presente trabajo ha sido del 5%, considerándose un nivel alfa equivalente del 0,7% en caso del test post-hoc de Dunn con el fin de tener en cuenta el número de comparaciones múltiples realizado.

Número de preguntas por asignatura

La tabla I muestra la distribución por asignaturas de las preguntas en todos los exámenes de las convocatorias MIR entre 2009 y 2017. La mitad de las asignaturas son responsables de más del 80% de las preguntas del examen MIR. El 81,14% de las preguntas utilizadas para la determinación de la puntuación de los examinados correspondieron a las asignaturas de bioestadística y medicina preventiva, aparato digestivo y cirugía digestiva, neumología y cirugía torácica, microbiología y enfermedades infecciosas, cardiología y cirugía cardiaca, nefrología y urología, obstetricia y ginecología, neuro­logía y neurocirugía, endocrinología y cirugía endocrina, hematología, reumatología, pediatría, psiquiatría, cirugía ortopédica y traumatología, dermatología y farmacología.

Se observa un ligero aumento en el número de asignaturas preguntadas, pasando de un total de 30 asignaturas en el examen de la convocatoria 2009 a 36 en el examen de la convocatoria 2017.

Algunas asignaturas han aumentado sus preguntas en el último examen analizado. Si se compara el número medio de preguntas por asignatura en el examen de las convocatorias 2009 a 2016 con el de la convocatoria 2017, se aprecia que se ha incrementado en dos el número de preguntas de urgencias y genética. En las asignaturas de oncología, cirugía maxilofacial, anatomía, bioética, cardiología y cirugía cardíaca, inmunología y medicina legal, se ha producido un aumento del número de preguntas en la última convocatoria superior a una e inferior a dos, cuando se compara con el promedio de los exámenes de las convocatorias 2009 a 2016. Además, también cabe destacar que en la prueba MIR de 2017 por primera vez aparece una pregunta directamente relacionada con la asignatura de radiología y dos con la de bioquímica.

Como el número de preguntas se mantiene, al haber asignaturas que aumentan su peso en la prueba, otras deben reducir el suyo. Por ello, en el último examen analizado, otras asignaturas han experimentado una disminución de su número de preguntas. Así, se observa una reducción de 4,1 preguntas de reumatología en el examen de la convocatoria 2017 (6 preguntas), comparando éstas con el promedio de las convocatorias 2009 a 2016 (10,1 preguntas). En la asignatura de aparato digestivo y cirugía digestiva, se ha producido una reducción de 3,6 preguntas, y en neumología y cirugía torácica, de 2,5 preguntas. En el caso de hematología, la reducción fue de 2,3 preguntas, y en el de neurología y neurocirugía, de 2,1; no existía ninguna otra asignatura en la que la reducción hubiera sido superior a una pregunta.

Número de preguntas por tipo

La tabla II muestra la distribución de las preguntas en función de su tipo. El promedio de casos clínicos, con y sin imágenes, en el examen de las convocatorias 2009 a 2016 fue de 137,3 frente a 125 en el examen de la convocatoria 2017.

En relación con las preguntas negativas, su número medio en las convocatorias comprendidas entre 2009 y 2016 fue de 29,5, y en la de 2017, de 42.

Por último, el promedio de preguntas de test de las convocatorias comprendidas entre 2009 y 2016 fue de 58,25, y en la convocatoria 2017, de 58.

Índice de dificultad

La tabla III muestra los valores medios y desviaciones estándares de las variables dificultad, índice de dificultad con corrección de los efectos del azar (dificultad corregida), índice de discriminación, coeficiente de correlación punto biserial, e índice de dificultad y discriminación según la TRI.

Cuando se analiza el promedio del índice de dificultad corregida por los efectos del azar de las preguntas de los diferentes exámenes, se observa una tendencia al descenso progresivo de la dificultad de los exámenes a lo largo de la serie temporal analizada. El examen de la convocatoria 2016 resultó el más fácil de los años estudiados, con un valor de 0,6909 frente a 0,6750 para el examen de la convocatoria 2017 y un promedio de 0,6252 en los exámenes de las convocatorias 2009 a 2015.

Índice de dificultad con corrección de los efectos del azar

Cuando se analiza el índice de dificultad corregida por los efectos del azar, se observa un comportamiento equivalente, siendo el examen de la convocatoria 2016 el más fácil de toda la serie temporal analizada, con un valor de 0,5971, frente a 0,5740 del examen de la convocatoria 2017 y un promedio de 0,5462 en los exámenes de las convocatorias 2009 a 2015.

Índice de discriminación

En lo referente al promedio de la discriminación, el examen de la convocatoria 2017 fue también el menos discriminativo de toda la serie temporal analizada, con una diferencia de 0,0910 con respecto al promedio de los exámenes de las convocatorias anteriores.

Índice de correlación biserial puntual

Lo mismo ocurre en relación a la discriminación medida mediante el coeficiente de correlación biserial puntual, donde el valor promedio obtenido para el examen de la convocatoria 2017 es el más bajo de toda la serie temporal analizada y junto con el de 2016 los únicos que, redondeado a dos decimales, entrarían en la categoría de discriminación ‘regular’ en lugar de en la categoría ‘buena’ de los exámenes 2009 a 2015.

La tabla IV muestra la capacidad discriminativa de las preguntas del examen de las convocatorias MIR entre 2009 y 2017. Hay una reducción en el número de preguntas de alta calidad discriminativa en los dos últimos exámenes analizados respecto al promedio de los de convocatorias anteriores. El promedio de preguntas con una discriminación buena o excelente en el examen de las convocatorias 2009 a 2015 fue de 127,86, que supone más de 37 preguntas por encima de las que presentaron de media las pruebas de las convocatorias 2016 y 2017.

Si se realiza la comparación únicamente con el examen de la convocatoria 2015, la reducción en el de la convocatoria 2016 del número de preguntas con discriminación buena o excelente fue de 26, mientras que si se compara con el de 2017, la reducción fue de 29. También es muy destacable el aumento en el examen de 2016 de las preguntas con discriminación regular, que ha pasado de 49 preguntas en la convocatoria 2015 a 81 en dicha convocatoria, un aumento de 35 preguntas, mientras que en la de 2017 se reducen hasta 65. Nótese que el examen de la convocatoria de 2016 es el que mayor número de preguntas tiene en esta categoría de los ocho años analizados.

Los exámenes con mayor número de preguntas con discriminación ‘pésima’ de las consideradas pa­ra el cálculo de las puntuaciones de los examinados fueron los de las convocatorias 2013, 2015 y 2017, los dos primeros con un total de 10 preguntas en esta categoría y el último con un total de 11.

Índices de dificultad y discriminación según la TRI

En lo referente a los coeficientes de dificultad y discriminación obtenidos por medio de la TRI, también se observa que el examen de la convocatoria 2016 arroja el valor promedio más bajo de toda la serie temporal analizada, coincidiendo este hecho con el resultado de los valores psicométricos descritos anteriormente utilizando parámetros de la teoría clásica de los tests (Tabla III).

Análisis de dificultad y discriminación por número de repeticiones del concepto preguntado

Otra posible forma de clasificar las preguntas del ejercicio de examen de la prueba MIR es a partir del número de veces que el concepto preguntado lo ha sido en los exámenes de convocatorias anteriores de la prueba. Así, se completa el apartado de resultados con un análisis de dificultad y discriminación de las preguntas de los ejercicios de examen de las pruebas MIR comprendidas entre las convocatorias 2009 y 2017, teniendo en cuenta el número de veces que el concepto del ítem se ha preguntado en exámenes de convocatorias anteriores de la prueba. Pa­ra ello, se revisaron todas las preguntas correspondientes a los exámenes de las convocatorias comprendidas entre 1980 y 2017. Los resultados se muestran en la tabla V. En esta tabla se observa que el promedio de la dificultad de cada convocatoria siempre es menor cuando se trata de conceptos que se han preguntado tres veces o más, en relación con los ítems que presentan conceptos que se han preguntado dos veces, o bien conceptos preguntados únicamente en una convocatoria. Este mismo comportamiento se observa también para el caso del índice de dificultad corregido. En el caso del índice de discriminación, el resultado convocatoria por convocatoria no es concluyente porque a veces el valor medio del índice de discriminación resulta inferior en los ítems con conceptos nunca repetidos que en aquellos en los que el concepto se había preguntado con anterioridad, mientras que en otros años ocurre lo contrario. En lo relativo al coeficiente de correlación puntual biserial, salvo en el caso del ejercicio de examen de la convocatoria 2016, siempre se observa que el valor de la discriminación medida de dicho coeficiente es superior en las preguntas relativas a conceptos que se preguntaron tres veces o más, seguidos por los conceptos preguntados dos veces, respecto a los valores de las preguntas que versan sobre conceptos nunca repetidos. Finalmente, el análisis de la dificultad TRI indica que éste muestra el mismo comportamiento que la dificultad y la dificultad corregida, salvo en el ejercicio de examen de la convocatoria 2016, donde las preguntas relativas a conceptos repetidos dos veces resultan ligeramente más fáciles que las preguntas con más de dos repeticiones. Este mismo fenómeno se observa también en el valor de discriminación calculado según la TRI en las convocatorias de 2016 y 2017.

La figura 2 muestra los valores promedios de las variables dificultad, dificultad corregida, discriminación y coeficiente de correlación puntual biserial para los exámenes MIR entre las convocatorias 2009 y 2017. Se aprecia que tanto la dificultad como la dificultad corregida incrementan su valor promedio (es decir, las preguntas son más fáciles) en las preguntas relativas a conceptos repetidos frente a la que alcanzan en conceptos nunca preguntados con anterioridad. En lo relativo a la discriminación, las preguntas sobre conceptos ya preguntados con anterioridad resultan más discriminativas y con valores más altos de coeficiente de correlación puntual biserial que las preguntas que versan sobre conceptos no repetidos, en todas las convocatorias.

Figura 2 Valores promedios de las variables dificultad (a), dificultad corregida (b), discriminación (c) y coe­ficiente de correlación puntual biserial (d) para los exámenes MIR entre 2009 y 2017, clasificando las preguntas en función del número de repeticiones del concepto en el ejercicio de examen de la prueba MIR. 

La figura 3 muestra las curvas de probabilidad de los ejercicios de examen de las pruebas MIR entre 2009 y 2017. Estas curvas se han representado utilizando como coeficientes, en el modelo de dos parámetros, los valores promedios de dificultad y discriminación correspondientes a cada uno de los ejercicios de examen de las convocatorias analizadas. Se observa claramente que en el ejercicio de examen de la convocatoria 2016, para todos los niveles de conocimiento, la probabilidad de acierto de los examinados es superior a la que tuvieron en las convocatorias comprendidas entre 2009 y 2015, así como en la de 2017.

Figura 3 Curvas de probabilidad de los ejercicios de examen de las pruebas MIR entre 2009 y 2017, representadas tomando para cada curva el valor medio de probabilidad y discriminación de todas las preguntas del examen de la prueba MIR representada. 

Fiabilidad de la prueba MIR

Tanto la fórmula número 21 de Kuder-Richardson como el alfa de Cronbach son parámetros utilizados como indicadores de la fiabilidad de una escala; en la bibliografía se considera que valores de dichos parámetros superiores a 0,8 son suficientes para garantizar la alta fiabilidad de un test.

En un trabajo previo publicado por los autores acerca del ejercicio de examen de la convocatoria 2015 [⁴], se obtuvo un valor de 0,9459 para la fórmula número 21 de Kuder-Richardson y de 0,9579 para el alfa de Cronbach. En el caso de las convocatorias de 2016 y 2017, el resultado de la fórmula número 21 de Kuder-Richardson fue de 0,9403 y 0,9353, respectivamente, y el del alfa de Cron­bach, de 0,9288 y 0,0212, valores similares a los obtenidos en el ejercicio de examen de la convocatoria 2015.

A pesar de esto, es necesario tener en cuenta lo indicado por Muñiz [¹⁶] a la hora de hacer una interpretación rigurosa del valor de dichos coeficientes. En primer lugar, se debe considerar que el valor, tanto de la fórmula número 21 de Kuder-Richardson como del alfa de Cronbach, aumenta cuando se incrementa el número de ítems, y en segundo lugar, en aquellos casos en los que se proponen ítems similares, estos índices también aumentan. Sin que sea necesario entrar a analizar la similitud de las preguntas propuestas en el ejercicio de examen de la prueba MIR, el número de ítems que lo componen es ya lo suficientemente elevado como para que los valores de ambos coeficientes estén por encima de 0,8.

Cambios en dificultad y discriminación en el MIR 2016 y 2017

A pesar de que los ejercicios de examen de las convocatorias 2016 y 2017, según estos dos indicadores de fiabilidad, podría considerarse como muy buenos, se ha constatado también que los parámetros relativos a su dificultad y discriminación han cambiado, siendo el examen propuesto en la convocatoria de 2016 más fácil y menos discriminativo que el resto de exámenes de la serie temporal analizada.

En opinión de los autores, el origen probable de la menor dificultad de los exámenes de las dos últimas convocatorias es multifactorial, con componentes atribuibles a cambios en las preguntas del examen y a cambios en la población de examinados. Desde la convocatoria 2015, las preguntas tienen cuatro alternativas de respuesta, mientras que las preguntas de las convocatorias anteriores tenían cinco opciones. A pesar de la reducción en el número de respuestas, la penalización por fallar la pregunta se ha mantenido en el equivalente a perder una pregunta acertada por cada tres preguntas erróneas. En consecuencia, la penalización estadística por contestar preguntas al azar se ha reducido desde 2015, lo que ha contribuido a disminuir el número de preguntas no contestadas por la población de examinados en las dos últimas convocatorias. Esto probablemente haya favorecido un aumento en las puntuaciones de los examinados con menor nivel de conocimientos y peor manejo del ‘riesgo’ de contestar dudando entre varias opciones de respuesta, lo que se ha reflejado en que, cada año, la nota de corte del examen ha afectado a una menor proporción de examinados. Por otra parte, entre las causas de la aparente menor dificultad del examen, habría que citar el aumento del nivel de conocimiento ‘promedio’ derivado de los cambios en la población de examinados formada, cada año, por un mayor número y proporción de médicos españoles recién graduados, tal y como se explicará en el apartado siguiente.

Desde nuestro punto de vista, el cambio de los valores medios de dificultad de las preguntas del examen de la convocatoria de 2016 puede ser responsable, en parte, del descenso en su valor promedio de discriminación. En un examen más fácil existe un mayor número de examinados con una probabilidad alta de acertar las preguntas y eso hace que las preguntas resulten menos discriminativas. Existe cierta correlación entre dificultad y discriminación, pero no en todos los casos una pregunta difícil es discriminativa, y al revés. En la convocatoria de 2017, este efecto se ha atenuado por una dificultad media de las preguntas algo superior.

Cambios en la composición de los subconjuntos de médicos presentados a las dos últimas convocatorias de la prueba MIR

¿Son las preguntas de los ejercicios de examen las únicas responsables del cambio en la dificultad y discriminación promedio de los exámenes de las últimas convocatorias MIR? No debe perderse de vista el hecho de que la composición de la población de médicos presentados a la prueba MIR ha cambiado mucho en los últimos años, siendo cada vez un conjunto menos heterogéneo y con mayor proporción de presentados pertenecientes al subconjunto que mejor resultado obtiene en la prueba: los recién graduados de universidades españolas. En opinión de los autores, estos cambios en la composición de los subconjuntos de médicos presentados en las dos últimas convocatorias de la prueba realizadas puede ser responsable, al menos en parte, de la disminución de la dificultad y discriminación del ejercicio de examen.

Estudios previos han demostrado que el resultado en el ejercicio de examen de la prueba de los médicos españoles es mejor que el de los extranjeros [¹⁷]. Así, de los presentados al examen en la convocatoria 2017, un 74,44% eran médicos españoles, porcentaje que en la de 2012 fue del 61,21%, y en la de 2009, del 55,82%. Es decir, el porcentaje de médicos españoles que se presentan al MIR ha pasado de poco más de la mitad de la población en la convocatoria 2009 hasta casi el 75% en la convocatoria 2017. Como los resultados promedio en el examen MIR son mejores para el grupo de españoles presentados que para el grupo de extranjeros, este cambio en la composición de la población MIR puede ser uno de los factores responsables de la aparente mayor facilidad de los exámenes de las últimas convocatorias.

A ello se suma que, en las últimas convocatorias, ha aumentado el número y porcentaje de médicos españoles que además son recién graduados, tanto por el aumento del numerus clausus de las facultades existentes como por la apertura de nuevas facultades públicas y privadas en nuestro país. Existen estudios [¹⁷] e informes del Ministerio de Sanidad [¹⁸] que comunican mejores resultados en el examen MIR en el subconjunto de médicos presentados más jóvenes, respecto a los no recién graduados de mayor edad. El análisis de los motivos de esta realidad excede el objetivo y alcance del presente trabajo. Podríamos resumir los cambios demográficos en la frase: ‘el MIR es cada año más español y más joven’. Este cambio demográfico influye en la misma dirección y sentido que el anteriormente descrito, haciendo que la población MIR sea cada año menos heterogénea en su composición y mejor preparada, lo que a su vez puede ser responsable de parte del descenso de los índices de dificultad y discriminación observados en el análisis psicométrico de los ejercicios de examen MIR de las convocatorias de 2016 y 2017.

Desde el punto de vista de los autores, otro motivo que ha contribuido a la menor capacidad discriminativa de los ejercicios de examen de las convocatorias de 2016 y 2017 ha sido la anulación de un menor número de preguntas respecto a lo que suele ser habitual. En el examen de estas dos últimas convocatorias se anularon sólo tres y cuatro preguntas, respectivamente, frente a las siete en 2014 y ocho en 2013. Un número bajo de preguntas anuladas no sería problemático en sí, salvo porque en la plantilla activa del examen se dejaron siete preguntas sin anular con una discriminación pésima, es decir, aquellas cuya probabilidad de ser acertada no se correlacionaba con el conocimiento médico expresado en el resto de preguntas del examen. Tal y como se presentó en un trabajo anterior [⁹], una anulación de preguntas que invalide aquellas con una menor calidad psicométrica contribuye a mejorar la capacidad discriminativa de la prueba. El descenso del promedio de la discriminación de las preguntas del examen de las convocatorias de 2016 y 2017 demuestra que la anulación de un menor número de preguntas no significa que la calidad general de las preguntas restantes en la prueba sea mejor que las de años anteriores y, por tanto, que el examen resultante posea una mejor capacidad discriminativa. En opinión de los autores, dejar preguntas no discriminativas sin anular, pudiendo hacerlo por quedar preguntas de reserva disponibles no utilizadas, supone una pérdida de oportunidad de mejorar la calidad de la prueba. En este sentido, parece interesante sugerir la posibilidad de usar una metodología de anulación de preguntas automatizada, similar a la que se usa en Chile en el Examen Único Nacional de Conocimientos de Medicina (EUNACOM) [¹⁹]. Con el fin de no ser reiterativos y teniendo en cuenta que ya se explicó en un trabajo anterior [⁹], solamente recordaremos que antes de la prueba EUNACOM se fijan unos valores de corte para la dificultad y discriminación, y todas las preguntas que no cumplen con dichos criterios se eliminan. A modo de ejemplo, en 2012, se fijó como criterio de corte de discriminación el que las preguntas tuvieran un valor del coeficiente de correlación puntual biserial de al menos 0,15. La imposición de un criterio de anulación como el aquí presentado, junto con otras normas, supone que el número de preguntas válidas del EUNACOM varíe de un año a otro, pero consigue preservar una alta calidad psicométrica de la prueba. De este modo, en el caso chileno no se tienen reparos a la hora de anular preguntas, siempre y cuando dicha anulación contribuya a mejorar la calidad global de la prueba. Bonillo [¹⁷], en su análisis de las pruebas MIR de 2005 y 2006, ya puso de manifiesto la conveniencia de recurrir a la anulación de un mayor número de preguntas del examen. Podríamos resumirlo con la frase: ‘en el MIR, menos no es más’, y menos preguntas anuladas no implica más discriminación o mayor calidad del examen.

Por último, y siendo conscientes del reto que ello supone, insistimos en la necesidad de conseguir un examen MIR de la máxima discriminación posible porque, en general, una disminución en la discriminación hace que se incremente el efecto del azar en las puntuaciones obtenidas. En un examen menos discriminativo, muchas de las puntuaciones de los examinados se concentran en un rango estrecho y pequeñas variaciones en el resultado de un examinado, fruto del azar, se traducen en grandes cambios en el número de orden final que los examinados obtendrán en la prueba y, por tanto, en la posibilidad de acceder o no a la especialidad deseada.

Además, tampoco hemos de olvidar que la tendencia iniciada en los últimos años de disminución del número de médicos extranjeros que se presentan a la prueba, así como el aumento en términos absolutos y proporcionales del número de médicos españoles recién egresados, con unos conocimientos más homogéneos que el de los médicos que se presentaban en 2009-2010, hacen cada año más difícil para los examinadores el conseguir un examen suficientemente discriminativo. Desde nuestro pun­to de vista constituye todo un reto, y a la vez una necesidad, intentar aumentar la capacidad discriminativa del examen MIR, como mínimo hasta los valores previos al examen de la convocatoria 2016. Con ello se conseguiría que las puntuaciones obtenidas midieran de forma más precisa los conocimientos del candidato y redujeran el efecto del azar en la puntuación de la prueba.

Una pregunta a la que contestan de forma correcta los médicos que menos conocimiento han demostrado en el resto de preguntas, es decir, con discriminación negativa, parece evidente que debería anularse porque probablemente se haya contestado al azar. Cada pregunta anulada por discriminación negativa aumenta la discriminación del examen final, que es el promedio de la discriminación de las preguntas que lo constituyen. En nuestra opinión, sería conveniente utilizar al menos la totalidad de las diez preguntas de reserva para sustituir, durante el proceso de anulaciones realizado por la comisión calificadora, a otras tantas de peor calidad psicométrica que se hubieran incluido entre las 225 primeras del examen.

Como limitación fundamental de este trabajo destaca que, a diferencia del estudio de Bonillo [¹⁷], en nuestro análisis no hemos podido acceder a la información de los resultados de todos los candidatos presentados a la prueba, sino solamente a una muestra de ellos; si bien en todas las convocatorias está formada por más de 1.600 candidatos (y en las últimas convocatorias MIR supera el 30% de los examinados), presenta un sesgo porque no se accede de forma aleatoria a examinados de todos los niveles de conocimiento, sino únicamente de los que introdujeron los resultados de su examen por decisión propia en la aplicación informática del Curso Intensivo MIR Asturias.

Como reflexión final del presente trabajo, cabe destacar que la confección de un examen de alta calidad se hace cada año más exigente para el examinador, que debe seleccionar o elaborar un conjunto de preguntas con una dificultad y discriminación adaptadas a una población formada por un mayor número y una mayor proporción de médicos recién egresados de facultades de medicina españolas. Si esto no se tiene en cuenta, la prueba podría perder calidad. Una de las herramientas de la que se dis­pone para mejorar la calidad psicométrica sería la anulación a posteriori de algunas de las preguntas propuestas.