El modelo de dos parámetros de la teoría de respuesta al ítem

La teoría de respuesta al ítem proporciona un marco teórico para entender cómo los individuos responden a los ítems o preguntas en un examen o prueba de test y cómo se puede medir con precisión su nivel de conocimiento [⁶,⁷]. La teoría de respuesta al ítem, en lugar de tratar las respuestas correctas e incorrectas simplemente como un valor binario de verdadero o falso, asume que las respuestas de los individuos reflejan no sólo su nivel de conocimiento, sino también las características del propio ítem [⁸]. En otras palabras, la teoría de respuesta al ítem tiene en cuenta que algunos ítems pueden ser más fáciles o difíciles que otros y que los individuos con distintos niveles de conocimiento tendrán diferentes probabilidades de responder correctamente a cada pregunta.

Si bien en la actualidad existen gran cantidad de fórmulas que modelizan la probabilidad que tiene un individuo de contestar de forma correcta una pregunta en un examen, estudios previos han demostrado que el modelo de dos parámetros se adapta bien a las características de la prueba MIR [³,⁷]. En estos modelos, cada ítem de la prueba viene determinado por dos parámetros que indican su dificultad y discriminación. La dificultad se refiere a cómo de probable es que un individuo de conocimientos medios entre todos los incluidos en el estudio responda correctamente al ítem. La discriminación se relaciona con la capacidad del ítem para diferenciar entre individuos con niveles altos y bajos de conocimiento. Además, a través de estos modelos también se determina el nivel de conocimientos de cada individuo (ability). Este nivel es una variable no observable directamente, pero que se estima a partir de sus respuestas a todos los ítems de la prueba.

La ecuación del modelo de dos parámetros viene dada por [³,⁶]:

Siendo el significado de cada una de las variables el que se indica a continuación:

Para resolver el problema de la estimación de las variables correspondientes a cada una de las preguntas de la prueba, en este trabajo se ha optado por utilizar el estimador de máxima verosimilitud [⁶,⁹]. Este enfoque permite determinar los coeficientes de todas las preguntas en el modelo, así como el nivel de conocimiento o ability de cada uno de los opositores presentados al examen de forma eficiente. Nótese que el ability permite construir la probabilidad de acierto o fallo de cada pregunta de examen para un determinado opositor, de manera que tener un ability alto hace improbable fallar las preguntas fáciles, pero no las preguntas de dificultad extrema.

Bases de datos

Para la realización del presente trabajo resulta necesario disponer de las respuestas de los opositores a las pruebas MIR de los años objeto de estudio, así como de las respuestas de los alumnos de Curso MIR Asturias a las 33 pruebas preparatorias del examen MIR, denominadas simulacros de examen. Con el fin de conocer las respuestas de los opositores en las pruebas MIR de 2022 y 2023 se ha utilizado la información disponible a través de una aplicación desarrollada por el Curso Intensivo MIR Asturias en la que, tras la realización de la prueba, los médicos opositores, de manera voluntaria, pueden introducir sus respuestas a las distintas preguntas. Este sistema de recogida de información ya se ha empleado, para distintas convocatorias, en estudios anteriores [²,³,¹⁰-¹⁴].

Es importante señalar que no todos los médicos que se presentaron al examen participaron introduciendo sus puntuaciones en la base de datos mencionada, pero, a pesar de ello, se dispone de muestras de tamaño representativo. Así, en el caso de la prueba MIR de 2022, se tienen las respuestas de 3.888 opositores sobre un total de 11.827 presentados a la prueba (32,87%), y en la de 2023, las de 3.229 sobre los 11.578 (27,89%) presentados.

Con el fin de completar el estudio relativo al ability de los números uno de las pruebas MIR de 2022 y 2023, dado que han sido alumnos de la academia de preparación del Curso MIR Asturias, se ha hecho uso también de los resultados que obtuvieron en las 33 pruebas preparatorias o simulacros que realiza este centro durante el período que comprende desde junio hasta la fecha del examen MIR en enero. Es decir, se ha utilizado la información relativa a las respuestas dadas tanto por estas dos alumnas como por todos sus compañeros en cada una de estas pruebas con el fin de calcular el ability en cada una de ellas y compararlo con el del resto de sus compañeros. Nótese que este centro de preparación contaba para el MIR 2022 con 2.448 alumnos y para el MIR de 2023 con 2.043.

Diagrama de flujo del trabajo realizado

En el presente trabajo se ha hecho uso del modelo de dos parámetros con el fin de calcular, por una parte, el ability de las números uno del examen MIR de 2022 y del MIR de 2023 en dichas pruebas y simular qué posibles números de orden habrían obtenido en caso de repetirlo un millón de veces a través de simulaciones informáticas. Por otra parte, esta misma fórmula es la que se ha utilizado para calcular el ability de todos y cada uno los alumnos de Curso MIR Asturias que realizaron los distintos simulacros con el fin de conocer qué posición ocuparían en cada uno de ellos las números uno de las pruebas MIR de 2022 y 2023 en relación con el resto de sus compañeros de preparación.

La figura 1 muestra, a modo de diagrama de flujo, un resumen del trabajo realizado en este artículo. Tal y como ya se ha resumido en el párrafo anterior, se emplea la información correspondiente a los 33 simulacros de los cursos 2022 y 2023 con el fin de calcular el ability de todos los alumnos de Cursos MIR Asturias que realizaron dichos simulacros. De esta manera se puede conocer en qué posición relativa se encontrarían en dichos grupos las primeras clasificadas de las pruebas de 2022 y 2023. De manera similar, y haciendo uso de la información correspondiente a todos los opositores que realizaron las pruebas de 2022 y 2023 e introdujeron sus respuestas en la aplicación, se calcularon la dificultad y la discriminación de cada una de las preguntas de ambas pruebas. Esta información, junto con los valores de ability de las dos alumnas del curso clasificadas en primera posición en las pruebas MIR de 2022 y 2023, sirvió de base para la realización de un millón de simulaciones de los posibles resultados que alcanzarían en dicha prueba.

Figura 1. Diagrama de flujo del trabajo realizado. 

Así, a través de los cálculos realizados, resulta posible tanto llevar a cabo un estudio exhaustivo de la variabilidad individual a lo largo de la preparación y el día de la prueba como poner de manifiesto la influencia de la preparación sobre los resultados que alcanzan las alumnas número uno en ella.

Metodología empleada para la realización de las simulaciones

Haciendo uso de la información disponible para cada una de las convocatorias, se ajustó el modelo de dos parámetros con el fin de calcular la dificultad y la discriminación de cada pregunta, así como el nivel de conocimiento de todos los opositores que introdujeron sus respuestas en la aplicación. Una vez calculados estos valores, por medio de la ecuación del modelo de dos parámetros, se simularon los resultados que obtendrían las opositoras clasificadas como números uno en las pruebas MIR de las convocatorias de 2022 y 2023 si realizaran cada una de ellas un millón de veces la prueba correspondiente a su año.

Es decir, una vez conocidos tanto el ability del opositor i-ésimo, particularizado en este caso al número uno, como la dificultad y la discriminación de la pregunta j-ésima, aplicando el modelo de dos parámetros, se puede calcular la probabilidad de que dicha opositora acierte la pregunta j-ésima. Por tanto, resulta posible simular un millón de repeticiones de la prueba MIR y obtener para cada una su puntuación y, posteriormente, sumando a la nota obtenida en cada repetición de la prueba los puntos del baremo, conocer la puntuación total del candidato y, por tanto, tras su comparación con la del resto de opositores, determinar el número de orden que alcanzaría en ella.

Resultados obtenidos en los simulacros de examen de 2022 y 2023

Haciendo uso de la base de datos de los exámenes de simulacros anteriormente descrita, se calculó para cada simulacro tanto del curso de 2022 como de 2023 el ability de todos los alumnos del Curso MIR Asturias. Los resultados obtenidos en cada simulacro de cada convocatoria se ordenaron de mayor a menor ability. A partir de esta información, resulta posible saber en qué posición han quedado las alumnas de Curso MIR Asturias que obtuvieron los números uno de las convocatorias de 2022 y 2023 en cada prueba. Esta información se presenta en la tabla I. Tal y como se puede observar en la mencionada tabla, en 11 (33,3%) y 14 (42,4%) de las 33 pruebas, estas opositoras se clasificaron entre los 10 primeros alumnos que las realizaron.

En el caso de la primera clasificada de la prueba de 2022, en ocho simulacros, el 24,2% del total, su número de orden estuvo comprendido entre el puesto 11 y el 20, mientras que en el caso de la primera clasificada de 2023, esto ocurrió en 13 simulacros (39,4%). De igual manera, cabe señalar que la primera clasificada de 2022 estuvo en los puestos comprendidos entre el 21 y el 30 en ocho pruebas (24,2%), mientras que en otras tres (9,1%) se clasificó con un número de orden superior al 30, pero siempre entre los 100 primeros. En lo referente a la primera clasificada de la prueba de 2023, en tres (9,1%) pruebas obtuvo un número de orden comprendido entre el 21 y el 30, y en otras seis (18,2%), un puesto superior al 30, pero siempre entre los 100 primeros. Nótese, además, que estas posiciones son relativas a los alumnos de Cursos Intensivos MIR Asturias que realizaron cada una de estas pruebas, lo que supone que, en promedio, en las pruebas de 2022, la número uno compitió con otros 1.828 alumnos del curso, y en las de 2023, la número uno compitió con otros 1.482 alumnos. Es decir, se observa una variabilidad en los resultados de una prueba a otra, pero, en todos los casos, en los simulacros realizados ambas alumnas estuvieron entre el 6% de los de mayores conocimientos.

En virtud de lo expuesto hasta el momento, resulta posible afirmar que el cálculo del ability permite conocer en qué puesto, según su conocimiento, se encontraban las números uno con respecto a sus compañeros de estudios en cada prueba. Sin embargo, dado que tanto ellas como sus compañeros van adquiriendo conocimientos a lo largo de la preparación, resulta también de interés calcular la valoración particular del examen obtenida en cada uno de los simulacros, dado que dicha valoración será la que permita apreciar cómo evoluciona su nivel de conocimientos a lo largo del tiempo.

Con el fin de lograr el propósito expuesto en el párrafo anterior, la figura 2 muestra la evolución de la valoración particular del examen obtenida en cada simulacro por las números uno de las pruebas MIR de 2022 y 2023. Tal y como se puede apreciar en dicha figura, si bien según se avanza en el curso y, por tanto, en la realización de simulacros, las puntuaciones crecen, dicho incremento no resulta lineal, sino que existe cierta variabilidad propia del comportamiento humano y de las circunstancias propias del candidato en cada prueba. Por tanto, con el fin de facilitar la observación de la tendencia ascendente, en dicha figura se han añadido las rectas de regresión que mejor aproximan el comportamiento de las números uno de ambas pruebas. La observación de dichas rectas confirma la existencia de una tendencia ascendente en las puntuaciones.

Figura 2. Evolución de la valoración particular de examen obtenida en cada simulacro por las números uno de las pruebas MIR de 2022 y 2023, junto con sus líneas de tendencia y la puntuación final obtenida en la prueba MIR. 

La información presentada en la figura anterior se complementa con la que se muestra en la figura 3, donde se recoge el promedio de la valoración particular del examen obtenida en las cinco primeras pruebas y en las cinco últimas por parte de las números uno de las convocatorias de la prueba MIR de 2022 y 2023. Esta adquisición de conocimientos se puede cuantificar en unos 75 puntos en promedio para la número uno de la prueba MIR de 2022 y 60 para la número uno de la convocatoria de 2023. El hecho de tomar los cinco primeros simulacros y los cinco últimos y realizar un promedio se ha hecho con el fin de amortiguar el efecto de la variabilidad individual en los resultados de una prueba a otra.

Figura 3. Evolución de la valoración particular de examen de las números uno de las pruebas MIR de 2022 y 2023. Promedio de los resultados obtenidos en las cinco primeras pruebas y en las cinco últimas. 

Simulación de las pruebas MIR de 2022 y 2023

La figura 4 muestra el histograma correspondiente a la distribución de puntuaciones que obtendría la primera clasificada en la prueba MIR de 2022 en la simulación de la realización de la prueba un millón de veces. En el caso de esta opositora, en el test obtuvo un total de 528 puntos de valoración particular del examen, mientras que, teniendo en cuenta su nivel de conocimientos y enfrentado al mismo examen un millón de veces, habría obtenido puntuaciones comprendidas entre un mínimo de 452 y un máximo de 568 puntos de examen, con un valor medio de puntuación de 513,21, y un percentil 25 de puntuaciones de 504, una mediana de 512 y un percentil 75 de 520.

Figura 4. Histograma de la distribución de la valoración particular de examen obtenida por la número uno de la prueba MIR de 2022 en el millón de simulaciones realizadas. 

Teniendo en cuenta tanto el resultado en el test como la puntuación correspondiente a su baremo, valor que viene determinado por las calificaciones obtenidas en las asignaturas del grado y que en la convocatoria de 2022 y anteriores tenía en cuenta otros méritos, como la realización de la tesis doctoral, la tabla II muestra los distintos números de orden que podría haber alcanzado la primera clasificada de la prueba MIR de 2022 según las simulaciones. Nótese que, dado que la puntuación debida a su baremo es contante, lo que influye sobre los números de orden son los resultados obtenidos en las repeticiones de la prueba. Así, los valores de la columna número de orden deben interpretarse como número de orden más alto (peor) que se alcanza con cierta probabilidad. Es decir, tras la ejecución de un millón de simulaciones, en todos los casos el número de orden que habría alcanzado la número 1 de la prueba de 2022 sería como poco el 185. De hecho, solo en 102 de las simulaciones realizadas su número de orden estaría por encima de 100. De igual manera, en el 94,16% de los casos esta opositora se habría situado en un puesto comprendido entre los 10 primeros, quedando en posiciones más retrasadas solamente en 58.431 simulaciones del total de un millón realizadas. Así, de esta tabla también se deduce directamente que la probabilidad de esta opositora de quedar en un puesto por encima del 20 es del 0,59%.

De manera equivalente a lo presentado para la número 1 de la prueba de 2022, la figura 5 muestra el histograma correspondiente a la distribución de puntuaciones que obtendría la primera clasificada en la prueba MIR de 2023 tras un millón de simulaciones. En el caso de esta opositora, en el test obtuvo un total de 532 puntos de valoración particular del examen, mientras que, teniendo en cuenta su nivel de conocimientos y enfrentada al mismo examen en un millón de simulaciones, habría obtenido puntuaciones comprendidas entre un mínimo de 480 y un máximo de 592 puntos, con un valor promedio de puntuación de 537,71 puntos, siendo el percentil 25 de puntuación de 532, la mediana de 536 y el percentil 75 de 544.

Figura 5. Histograma de la distribución de la valoración particular de examen obtenida por la número uno de la prueba MIR de 2023 en el millón de simulaciones realizadas. 

Seguidamente, y procediendo de la misma forma que para la prueba de 2022, en la tabla III se presentan los resultados obtenidos de un millón de simulaciones. Así, tras la ejecución de estas simulaciones, en todos los casos el número de orden que habría alcanzado la número 1 de la prueba de 2023 sería el 92 o mejor que dicho número. De hecho, solo en cuatro de las simulaciones su número de orden estaría por encima de 80 y, por tanto, en los puestos comprendidos entre el 80 y el 92 se situaría en 14 simulaciones del total de un millón. De igual manera, en el 99,65% de los casos esta opositora se habría situado en un puesto comprendido entre los 10 primeros, quedando en puestos más retrasados solamente en 3.506 simulaciones del total de un millón realizadas.

Como se puede apreciar, en el caso de la prueba MIR de 2023, el rango de números de orden que podría ocupar la primera clasificada en esta convocatoria es más reducido que en el caso de la primera de la prueba de 2022, y esto se debe a que el baremo de esta opositora es el tercero mejor de todos los presentados a su convocatoria, mientras que en el caso de la prueba MIR de 2022, el baremo de la número uno ocupa la posición 44.