Base de datos

Al igual que en el artículo anteriormente publicado por los autores acerca del MIR 2015, la base de datos utilizada en este estudio corresponde a las respuestas a las preguntas del examen que fueron introducidas por los propios examinados del MIR 2015 en una aplicación ad hoc creada por Curso Intensivo MIR Asturias. La finalidad de dicha aplicación era que todos los médicos que se presentaron a la convocatoria de 2015 del examen MIR, tras introducir sus respuestas a las preguntas del examen, pudieran conocer, de manera aproximada, el número de orden que obtendrían en la prueba, teniendo en cuenta estimaciones sobre el grado de dificultad de la prueba de ese año, el número de presentados, sus respuestas y su baremo académico. No todos los médicos que se examinaron introdujeron su puntuación en la mencionada base de datos, pero una vez filtrada la información y eliminados los resultados duplicados y los considerados espurios, se obtuvo la información correspondiente a las respuestas de un total de 3.712 examinados.

Modelos de la teoría de respuesta al ítem

La característica fundamental de la teoría de respuesta al ítem es que intenta prever la forma en la que los individuos contestan a las preguntas en función de su nivel de conocimiento. Es decir, la teoría de respuesta al ítem propone una serie de formulaciones sistemáticas que permiten conocer la probabilidad que tiene un individuo de acertar cada una de las preguntas de un test en función de su nivel de conocimiento.

Con el fin de obtener dicha probabilidad, los modelos matemáticos que propone la teoría de respuesta al ítem son capaces de calcular una serie de parámetros propios de cada pregunta, como la dificultad y la discriminación. Por tanto, los modelos propuestos por la teoría de respuesta al ítem asumen que existe una relación funcional entre los valores de la variable que es medida por las preguntas y la probabilidad de obtener una respuesta correcta. La función que representa esta probabilidad se denomina curva característica de los ítems.

En el caso de los exámenes de respuesta múltiple como el MIR, resulta de utilidad el uso de los modelos denominados de respuesta dicotómica [⁷]. En este tipo de modelos, si la respuesta elegida es correcta, ésta se codifica como 1, y, si es incorrecta, como 0, con independencia de cuál sea la opción elegida. En función del número de parámetros, los modelos dicotómicos se clasifican en modelos de uno, dos o tres parámetros. La selección de un modelo u otro debe realizarse teniendo en cuenta tanto el buen ajuste del modelo a los datos [⁸] como el número de parámetros que se pretendan analizar desde el punto de vista teórico.

Así, si se representa el nivel de conocimiento por la variable θ, la función de respuesta al ítem que representa la probabilidad de que un examinado con un nivel de conocimiento θ_i responda de forma correcta al j-ésimo ítem se puede expresar por la siguiente ecuación [⁸-¹⁰]:

donde θ_i es el nivel de conocimiento del i-ésimo sujeto; a_j, el valor de discriminación de la j-ésima pregunta (nótese que el coeficiente de discriminación se relaciona con el valor de la pendiente de la curva en el punto de inflexión); b_j, el nivel de dificultad de la pregunta j-ésima, y c_j, la probabilidad de que un sujeto con un nivel de conocimiento muy bajo acierte la respuesta correcta por azar. Si se considera que, teóricamente, es imposible acertar de forma aleatoria la respuesta correcta, este coeficiente tomará el valor de 0.

En otras palabras, el modelo de la ecuación 1, P (u_j = 1|θ_i, a_j, b_j, c_j), representa la probabilidad de que un sujeto con un nivel de conocimiento θ_i responda de forma correcta a la pregunta j-ésima. Tanto la discriminación como la dificultad de cada pregunta determinan cómo de probable es que cada individuo sea capaz de acertar la respuesta, lo que define una curva de probabilidad cuya fórmula es la de la ecuación 1. Este modelo se denomina modelo logístico de tres parámetros. De acuerdo con el modelo propuesto, la probabilidad de obtener una respuesta correcta depende por una parte de los parámetros de cada uno de los ítems y por otra del nivel de conocimiento del sujeto. Nótese que, según el principio de independencia local [⁸], la probabilidad que tiene un examinando de acertar una pregunta depende únicamente de su nivel de conocimiento y de los parámetros de dicho ítem, con independencia de los del resto de preguntas que constituyan el test. Esto, que se conoce como asunción de independencia local [⁹], se expresa por medio de la siguiente fórmula:

La ecuación 1, que representa el modelo logístico de tres parámetros, se puede simplificar de forma que represente tanto el modelo de dos parámetros como el de uno. Así, la diferencia del modelo de tres parámetros con el modelo de dos parámetros es que este último no tiene en cuenta el coeficiente de adivinación (lo supone 0) y basa la probabilidad de acierto únicamente en la dificultad del ítem y en la capacidad de discriminación. Su ecuación es la siguiente, donde todas las variables intervinientes en dicho modelo tienen el mismo significado que en la ecuación 1:

A continuación, la ecuación 4 representa el modelo de un parámetro, el cual no considera la existencia de diferencias en la discriminación de los ítems y sólo tiene en cuenta la dificultad de cada pregunta. Nuevamente, tanto θ_i como b_j tienen el mismo significado que en la ecuación 1:

Además, para cada ítem se define otra función, denominada función de información, y cuya ecuación es la siguiente [⁹]:

P_j (θ) · [1 – P_j (θ)]donde P_j (θ) = P (u_j = 1|θ_i, a_j, b_j, c_j) representa la función de respuesta al ítem. La función de información es la inversa de la precisión con la que el parámetro puede ser estimado. Así, la cantidad de información dada por cada uno de los ítems varía con el nivel de conocimiento θ. Además, la función de información también se puede definir para un test o examen completo, y ésta constituye la suma de las funciones de información para cada uno de los ítems:

El problema de la estimación de los parámetros en la teoría de respuesta al ítem se puede resolver a través de la metodología denominada estimador de máxima verosimilitud, y ésa es la aproximación que se ha adoptado en el presente trabajo. Dicho procedimiento permite la determinación de los coeficientes para todas las preguntas en los modelos logísticos con independencia del número de parámetros. No se profundiza en dicha metodología, cuyo desarrollo se puede consultar en la bibliografía [¹¹], dado que se considera más allá del alcance necesario en este artículo.

Si bien sobre la base de datos del presente estudio se aplicaron los tres modelos de la teoría de respuesta al ítem vistos en este apartado, en la sección de resultados se presentan los correspondientes al modelo con un mejor ajuste. La bondad de ajuste de los modelos utilizados se evaluó a través del criterio de información de Akaike (CIA).

El CIA [¹²] surge en el marco de la teoría de la información [¹³] con el fin de proporcionar un criterio objetivo que ayude a los investigadores en la aplicación práctica de los principios teóricos de simplicidad y parsimonia a la hora de construir modelos matemáticos [¹⁴,¹⁵]. Así, debe tenerse en cuenta que, aunque ningún modelo matemático se puede considerar como absolutamente verdadero, el que mejor se ajuste a los datos y presente el mejor equilibrio entre su complejidad y el ajuste proporcionado debería ser el preferido. En otras palabras, se considera que el modelo que mejor se ajusta a los datos es el que minimiza la pérdida de información. Así, el CIA [¹⁶-¹⁸] proporciona un método cuantitativo con el fin de determinar qué modelo de entre un conjunto de éstos es el más parsimonioso. Desde el punto de vista práctico, cuando a un mismo conjunto de datos se le aplican diferentes modelos, el que tiene un valor menor de CIA será el que presente un mejor ajuste.

La ecuación del CIA se expresa como:

donde N_param es el número de parámetros que se debe estimar en cada modelo –en el caso del presente artículo, uno, dos o tres, en función de si el modelo considerado es el de un parámetro, el de dos o el de tres, respectivamente–, y L, el estimador de máxima verosimilitud.

Nótese que, como se comentó anteriormente, el estimador de máxima verosimilitud es un método [¹⁸] para la estimación de los parámetros de un modelo estadístico. En los casos en los que se aplica a un conjunto determinado de datos y a un modelo estadístico, nos proporciona una estimación de los parámetros del modelo. En general, se puede decir que el estimador de máxima verosimilitud selecciona los valores de parámetros del modelo que maximizan la coherencia de los datos con el modelo que se propone, minimizándose, por tanto, el error.

Análisis por preguntas

Si se analizan los valores de dificultad de cada una de las pregunta de la prueba MIR, se observa que dichos valores se encuentran comprendidos entre un mínimo de –39,591 y un máximo de 61,876. El rango intercuartílico de los valores de dificultad está entre –1,947 y 0,085. El valor de mediana fue de –1,033 y la media de –0,228, con una desviación estándar de 5,859. Dada la extensión que tendría la tabla que contuviera los valores de dificultad y discriminación de las 231 preguntas del examen, se ha optado por no presentarlos en este artículo, sino que se realizará un análisis posterior por asignaturas, así como por bloques y tipos de preguntas.

En lo relativo a los valores de discriminación de las preguntas de esta prueba, el valor mínimo fue de –0,148, con un máximo de 2,231. El rango intercuartílico estuvo comprendido entre 0,472 y 1,073, con una mediana de 0,748 y un valor de media de 0,791, y una desviación estándar de 0,431. Todas las preguntas salvo dos (el 99,13% del total) presentaron coeficientes de discriminación positivos. Nótese que los valores de discriminación negativos deben considerase anómalos, tal y como se explica más adelante en el presente apartado.

Dado que el enfoque de la teoría de respuesta al ítem se centra en la propuesta de un modelo probabilístico independiente para cada una de las preguntas del examen que permita calcular la probabilidad de acierto de cada individuo en función de su nivel de conocimiento, la presentación de resultados de este artículo se centra en el análisis individual de las preguntas. Así, la figura 1 muestra las curvas de probabilidad correspondientes a las preguntas con un mayor valor del coeficiente de dificultad de todo el examen. Dichas preguntas corresponden a las asignaturas de farmacología (n.º 37), fisiología (n.º 42), neurología (n.º 135) y traumatología (n.º 145). Tal y como se puede observar en todas ellas, la probabilidad de acierto es muy baja para todos los niveles de conocimiento, aunque se incrementa ligeramente según aumenta el nivel de conocimiento de los médicos evaluados, dado que el valor de discriminación de las cuatro preguntas, aunque muy pequeño, es en todos los casos superior a 0. Así, en ninguna de las cuatro preguntas seleccionadas ni tan siquiera los médicos con un mayor nivel de conocimientos son capaces de superar la barrera del 40% de probabilidad de acierto, y destaca entre las demás la pregunta n.º 42, en la que los alumnos más preparados no superan un 20% de probabilidades de acertarla. A través de la página web del Ministerio de Sanidad, Servicios Sociales e Igualdad se dispone de acceso completo al texto de todas las preguntas junto con sus opciones de respuesta [¹]. La numeración utilizada para identificar las preguntas en el presente trabajo coincide con la versión 0 de examen, disponible en la página web del Ministerio.

Figura 1 Curvas de probabilidad de las cuatro preguntas más difíciles del examen. 

De forma similar a la de la figura anterior, la figura 2 muestra las curvas de probabilidad de las preguntas más fáciles del examen. En este caso se trata de preguntas correspondientes a las asignaturas de digestivo (n.º 62), enfermedades infecciosas (n.º 104), nefrología (n.º 118) y habilidades comunicativas (n.º 182). En todas estas preguntas se observa que la probabilidad de acierto de los médicos con los niveles más bajos de conocimientos de la muestra analizada se encuentra alrededor del 40%, que se incrementa hasta valores cercanos al 100% para los alumnos con los niveles más altos de conocimiento. Nótese cómo en el caso de las preguntas n.º 67 y 182, los médicos con valores de conocimiento intermedios en la muestra, representados por 0, alcanzan una probabilidad de acierto de estas preguntas superior al 80%, mientras que, en el caso de las preguntas n.º 104 y 118, esta probabilidad supera el 60%.

Figura 2 Curvas de probabilidad de las cuatro preguntas más fáciles del examen. 

En relación con los valores de discriminación, en la parte superior de la figura 3 se presentan las dos únicas preguntas con valores de discriminaciones negativos que no fueron anuladas por la comisión calificadora. Se trata de las preguntas n.º 17 y 31, correspondientes a las asignaturas de enfermedades infecciosas y anatomía patológica. El que una pregunta presente una discriminación negativa supone que la probabilidad de responder correctamente a la pregunta por parte de un individuo disminuya a medida que aumenta su nivel de conocimiento. Dicho comportamiento es atípico y, por tanto, creemos que estas preguntas deberían ser anuladas o revisadas (con el fin de asegurarse de si están correctamente formuladas), dado que, si su objetivo es medir el constructo conocimiento médico, no debería ocurrir que, a mayor nivel de conocimiento, los examinados muestren menor probabilidad de acertar los ítems que los evalúan. La parte inferior de la figura 3 presenta las curvas de probabilidad correspondientes a las dos preguntas con mayor valor de discriminación en la prueba MIR. Al tratarse de valores positivos de discriminación, en este caso, a mayor nivel de conocimiento, mayores probabilidades de que el sujeto responda correctamente a la pregunta que se le ha formulado. Las dos preguntas a las que nos referimos son la 44 y la 141, y corresponden respectivamente a las asignaturas de gené­tica y reumatología. Dado el alto grado de discriminación que presentan ambas preguntas, se observa que ambas resultan altamente discriminativas para ciertos niveles de conocimiento, entendiendo por este concepto que existe un intervalo de conocimiento de los examinados entre cuyos extremos se produce un fuerte incremento de la probabilidad de acertar la pregunta. Así, en el caso de la pregunta n.º 44, se observa cómo los sujetos con un nivel de conocimiento de –2 presentan unas probabilidades de responder la pregunta inferiores al 30%, mientras que los alumnos de nivel de conocimiento 0 incrementan las probabilidades de acierto hasta algo más del 90%. En el caso de la pregunta n.º 141 ocurre algo similar, aunque en este caso se pasa de unas probabilidades de acierto de menos del 20% para un nivel de conocimiento de –3 a una probabilidad de más del 90% para los alumnos con un nivel de conocimiento de 0. Nótese también cómo, en este caso, a partir de dicho nivel de conocimiento la probabilidad de acierto apenas se incrementa, y la curva de probabilidad permanece prácticamente plana.

Figura 3 Curvas de probabilidad de las dos preguntas menos discriminativas del examen (arriba) y de las dos preguntas más discriminativas (abajo). 

Análisis por asignaturas

Del análisis de los resultados por asignaturas (Tabla I) se observa que las asignaturas con las preguntas cuyos valores medios de dificultad fueron más elevados son: fisiología, farmacología, geriatría, traumatología, neurología y cuidados paliativos. Igualmente, las asignaturas cuyas preguntas presentaron una menor dificultad media fueron anatomía patológica, anestesiología, cirugía plástica, habilidades comunicativas, genética y enfermedades infecciosas. En lo relativo a la discriminación, ninguna asignatura presentó promedio negativo de discriminación, y las asignaturas con valores medios más discriminativos fueron genética, psiquiatría, otorrinolaringología, dermatología y hematología.

Análisis por bloques de asignaturas y tipos de preguntas

Si se analiza la dificultad por bloques (Tabla II), el bloque de preguntas que resultan de mayor dificultad media es el de las asignaturas básicas, con un valor de 1,284, mientras que los valores medios de las categorías de aparatos y otras se encuentran muy próximos entre sí (–0,338 y –0,489, respectivamente). Las diferencias de las medias de los bloques de asignaturas en lo relativo a los valores de discriminación son mínimas.

En la tabla II se recogen también los valores medios y desviaciones estándar de las preguntas de la prueba MIR agrupadas según el tipo de preguntas. Así, se observa que la menor dificultad media corresponde a los casos clínicos (media de –0,804), seguidos por las preguntas negativas (0,182) y finalmente los test de preguntas directas (1,168). En relación con la variación de las dificultades, los resultados obtenidos nos permiten afirmar que la mayor variabilidad se encuentra en las preguntas de test (8,99), mientras que la menor la presentan las preguntas negativas (2,891). Los coeficientes de discriminación medios de los tres tipos de preguntas presentan valores muy similares, comprendidos entre los 0,727, con una desviación estándar de 0,468 de las preguntas negativas, y los 0,838 de las preguntas de test, con una desviación estándar de 0,405.

Análisis del examen en su conjunto

La figura 4 muestra la curva de información para el examen en su conjunto. Como ya se comentó, esta curva permite conocer para qué nivel de conocimientos la prueba MIR resulta más discriminativa. Así, dicha curva presenta un valor máximo de información de 38,972, y este máximo se alcanza para los alumnos con un nivel de conocimiento de –1,881. Por tanto, con la información disponible, el examen MIR a los que mejor discrimina es a los individuos que presentan un nivel de conocimientos por debajo de la media de la muestra analizada. En concreto, a los que se encuentran aproximadamente alrededor del percentil 25 de la muestra analizada (con una puntuación equivalente al percentil 41 de las puntuaciones de examen de todos los médicos presentados al examen MIR 2015), mientras que los niveles más bajos de discriminación se encuentran para los individuos con los mayores niveles de conocimiento. Nótese que, en el caso del percentil 25, existe una gran diferencia entre el valor de los médicos de la muestra (104,42 preguntas netas) frente al valor obtenido por el total de aspirantes presentados al examen MIR 2015 (79,3 preguntas netas). Estas diferencias varían según aumentan los valores de puntuación. Así, en el caso de la mediana de la muestra, el valor de netas es de 127,67 y, en el conjunto de médicos presentados, de 115,67. Así, la mediana de netas de la muestra equivale al percentil 64 de todos los presentados al MIR, mientras que, para el percentil 75 en la muestra, el valor es de 145 y, en el conjunto de la población, de 139,33 preguntas netas.

Figura 4 Curva de información correspondiente al examen en su conjunto.