ORIGINAL

 

Permanencia del conocimiento adquirido en los dos primeros años de la Licenciatura de Médico Cirujano. ¿Persiste al evaluarlo en el cuarto año?

Retention of knowledge acquired in the first two years of Medical School. Does it persist when tested it in the fourth year students?

 

M. Eugenia Ponce de León-Castañeda, Margarita Varela-Ruiz, Armando Ortiz-Montalvo, Wulfrano Reyes-Arellano, Jesús Reynaga-Obregón

Facultad de Medicina. Coordinación de Planes y Programas de Estudio. Universidad Nacional Autónoma de México. México DF, México

Dirección para correspondencia

 

 

---

RESUMEN

Introducción. Los alumnos generalmente profundizan en el conocimiento de acuerdo al tipo de preguntas con que son evaluados: si evalúan memoria se favorece un aprendizaje mecánico y repetitivo que permanece poco tiempo en la memoria; si son de comprensión o aplicación favorecerán aprendizajes significativos.
Materiales y métodos. Estudio analítico, observacional transversal. Por jueces se seleccionaron preguntas obtenidas de exámenes de anatomía, psicología, fisiología y cirugía de los tres niveles de conocimiento. El mismo examen se aplicó al azar a 13 grupos de segundo año y a 13 grupos de cuarto. La calificación y el análisis se realizaron de manera electrónica. Se aplicó la U de Mann-Whitney para identificar diferencias y percentiles con rango intercuartílico para la dispersión.
Resultados. Se contestaron 310 exámenes de segundo año y 247 de cuarto. La fiabilidad del examen fue de 0,9009 y 0,9102, respectivamente. Se identificaron diferencias significativas (p = 0,000) en el examen global y en las respuestas de cirugía y psicología, considerando aciertos y nivel de conocimiento (memoria y comprensión). No se encontraron diferencias en anatomía (p = 0,527) y fisiología (p = 0,203). La mediana de aciertos fue de 39 y 43, respectivamente. La dispersión de reactivos en el análisis global y por asignatura mantuvo un rango intercuartílico de 3-4.
Conclusiones. Al ser evaluado, el alumno con conocimientos memorísticos pierde interés al no encontrar la aplicación y la integración del conocimiento básicos en la clínica.

Palabras clave: Alumnos. Cognición. Conocimiento. Evaluación. Olvido. Retención.

---

ABSTRACT

Introduction. Students generally go deep into the knowledge according to the type of questions they are evaluated with, if they only will support mechanical and repetitive learning that remains just a short time in the memory, if they understand and apply their learning then these supports significant learning.
Materials and methods. Analytical observational study by the method of judges there were selected 88 questions of the three levels of knowledge from tests of Anatomy, Psychology, Physiology and Surgery. The same test was randomized and applied to 13 groups of second and fourth grade. The evaluation and the analysis were performed with an electronic system. The U of Mann-Whitney was applied to identify differences and percentiles with inter-quartiles rank for the dispersion.
Results. 310 students of second grade and 247 of fourth grade were answered and analyses. The reliability of the test was of 0.9009 and 0.9102, respectively. Significant differences were identified (p = 0.000) in the global examination and the answers of Surgery and Psychology, considering right answers and level of knowledge and Psychology. Considering right answers and level of knowledge (memory and understanding). There were no differences in Anatomy (p = 0.527) and Physiology (p = 0.203). There median of right answers was 39 and 43, respectively. The dispersion of items in the global analysis and by subject maintained an inter-quartiles rank between 3 and 4.
Conclusions. It is important to include as many items of high cognitive levels in assessments to facilitate meaningful learning.

Key words: Cognition. Forgetfulness. Knowledge. Evaluation. Retention. Students.

---

 

Introducción

David Ausubel consideró que el estudiante incorpora el conocimiento a través de dos procesos [1]: el primero es simple y repetitivo; en éste, el alumno se apropia de la nueva información mediante actividades memorísticas y mecánicas. El segundo es más complejo; requiere la comprensión y aplicación del conocimiento adquirido, con lo cual éste tiene mayor impacto en el estudiante al transformarlo en conocimiento significativo [2].

No todos los conocimientos impartidos y revisados en clase son aprendidos y utilizados por los estudiantes, probablemente porque no impactan su interés o no los consideran importantes. Sin embargo, esta información, al ser incluida en las evaluaciones, favorece que el alumno opte sólo por memorizarla, lo que le impide detectar cuáles son los contenidos que requieren su comprensión y aprendizaje para poder contar con una formación médica sólida e integral.

De acuerdo con el modelo de Atkinson y Shifrin, una manera de lograr la permanencia del conocimiento que ha ingresado a la memoria a corto plazo es a través del ensayo, aplicación o repetición de la información [3], entre otras.

Ante esta problemática se han realizado algunos estudios dirigidos a valorar el recuerdo que de dichos conocimientos los alumnos guardan en su memoria, al objeto de demostrar que aquel conocimiento que simplemente se memoriza, al poco tiempo el alumno lo olvida si vuelve a evaluarse. Asimismo se ha observado que estudiantes de quinto año obtienen una menor calificación en exámenes del área básica que alumnos de segundo año.

Otro tipo de investigaciones plantea cuáles de los conocimientos impartidos son de importancia para la toma de decisiones médicas, llegando a conclusiones contundentes respecto a que muchos de ellos no son de importancia para el ejercicio profesional [2-5]. Wan [6] y Krebs [7] refieren que el porcentaje de olvido de las ciencias básicas cuando se imparten o evalúan memorísticamente es del 20-35%. En el estudio realizado por D'on [8] al comparar los resultados de exámenes de inmunología, neuroanatomía y psicología aplicados ocho meses después de la primera ocasión, el porcentaje de olvido fue, respectivamente, del 13,1%, 46,5% y 16%. Krebs [9] encontró que los estudiantes de ciencias básicas retuvieron sólo el 65% de conocimientos.

La Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM) cuenta con un currículo tradicional por asignaturas con dos años de ciencias básicas, dos de clínicas, un año de internado de pregrado y otro de servicio social (Tabla I).

 

 

Al analizar su plan de estudios y sus programas académicos encontramos que algunos de sus contenidos ya eran obsoletos, con escasa aplicación en la clínica o muy especializados, en ocasiones impartidos por profesores no médicos, con desconocimiento de la ciencia médica, lo que hace más compleja la integración. Por otro lado, en los ciclos clínicos, algunos profesores restan importancia a las ciencias básicas, manifestando frente a los alumnos su desinterés y la escasa utilidad que tienen en el ejercicio de la medicina, en tanto que otros, por el contrario, reconocen su utilidad y manifiestan su disconformidad de que los alumnos no tengan una formación adecuada en las ciencias básicas para una mejor integración con la clínica.

La Facultad de Medicina de la UNAM contó con un ingreso anual aproximado de 1.000 estudiantes en el ciclo escolar 2008-2009 y una población anual de 6.921 estudiantes en el pregrado [4]. Este número tan alto de alumnos ha obligado a implantar exámenes de opción múltiple, elaborados por los departamentos académicos, para homogeneizar el conocimiento y verificar el cumplimiento de los objetivos de aprendizaje de los diversos programas de las asignaturas. Cada asignatura se evalúa a lo largo del año con tres o cuatro exámenes parciales y un global al final de curso. En general, cada examen final consta de 75 a 100 reactivos de opción múltiple.

Este tipo de reactivos, al construirse de forma apropiada, constituyen una prueba objetiva que puede medir conocimiento, comprensión, aplicación y análisis [5]. Sus desventajas estriban en que favorecen principalmente el hecho de reconocer o adivinar una respuesta y no a comprenderla. Son difíciles de construir y conllevan mucho tiempo en su elaboración [6]. En otro aspecto se menciona que las preguntas de opción múltiple no son capaces de medir aprendizaje de elevado nivel cognitivo; sin embargo, esto puede deberse a fallos en la construcción de los reactivos más que a una debilidad inherente [7].

Bloom [8] publicó una taxonomía jerárquica del aprendizaje cognitivo: conocimiento, comprensión, aplicación, análisis, síntesis y evaluación. Esta clasificación se ha utilizado para la construcción de reactivos [9,10], la cual, para fines de esta investigación, se simplificó a tres niveles que incluyen las siguientes categorías:

- Conocimiento: memorizar, recordar o reconocer una información específica.

- Comprensión: ser capaz de explicar en sus propias palabras la información previamente aprendida.

- Aplicación: utilizar nueva información, reglas, métodos, conceptos, principios, leyes y teorías.

Sin embargo, pocos estudios han evaluado el desempeño de los estudiantes en cuanto al nivel taxonómico [10]. Con el fin de valorar la magnitud de este problema, se realizó el presente estudio que tuvo como propósito identificar la permanencia del conocimiento en tres niveles cognitivos (memoria, comprensión y aplicación) en estudiantes de segundo y cuarto año de la Facultad de Medicina, a través de la aplicación de un examen integrado con reactivos de los tres niveles cognitivos, obtenidos de los exámenes departamentales finales de cuatro asignaturas impartidas en los dos primeros años de estudio: Anatomía y Psicología Médica I, de primer año, y Fisiología y Cirugía I, de segundo año.

De las hipótesis planteadas, la primera establecía que los conocimientos clasificados en el nivel de memoria iban a olvidarse al cabo de un año y más aún en tres años, no así los de nivel de comprensión y aplicación, en donde dichos conocimientos iban a permanecer más tiempo.

La segunda hipótesis afirmaba que el reforzamiento dado en las asignaturas seriadas aumentaría la probabilidad de permanencia del conocimiento memorizado, comprendido o aplicado.

 

Materiales y métodos

Se realizó un estudio analítico, observacional y transversal, para el cual se seleccionaron dos asignaturas básicas: Anatomía y Fisiología de primero y segundo año, respectivamente, y Psicología Médica I de primer año y Cirugía I de segundo, ambas impartidas también en tercero y cuarto año, respectivamente.

Esta selección tuvo como fundamentó, en el caso de las primeras, que el hecho de ser asignaturas que introducen al alumno de manera temprana en el conocimiento morfológico y fisiológico del cuerpo humano debería favorecer una comprensión mayor de los procesos patológicos al cursar los años clínicos. En el caso de las segundas, al ser asignaturas que también se imparten en los ciclos clínicos -tercero y cuarto año, respectivamente- deberían favorecen el recuerdo y una mejor comprensión y aplicación de los contenidos aprendidos.

Posteriormente se solicitaron, a los jefes de departamento correspondientes, los exámenes finales aplicados en el periodo escolar 2008-2009.

Se estructuró un grupo de trabajo formado por cuatro profesores médicos y cuatro psicólogos en educación, todos ellos con experiencia en evaluación del aprendizaje, a los cuales se capacitó para clasificar de manera individual las preguntas de los exámenes proporcionados por los departamentos por nivel cognitivo (conocimiento, comprensión y aplicación), utilizando para ello la clasificación de Bloom. También definieron la calidad del reactivo en cuanto a su construcción y contenido. Los exámenes analizados contenían un alto porcentaje de reactivos que medían memoria, poca comprensión y muy poca aplicación:

- Anatomía: memoria, 97%; comprensión, 2%; aplicación 1%.

- Cirugía: memoria, 87%; comprensión, 13%.

- Fisiología: memoria, 71%; comprensión, 29%.

- Psicología: memoria, 69%; comprensión, 31%.

La única materia con un reactivo de aplicación fue Anatomía (Tabla II).

 

 

De ellos se eligieron los reactivos en donde los ocho jueces coincidieron en la clasificación y la calidad de su diseño (Tabla III). Posteriormente seleccionaron los que a su juicio eran los 20 mejores de cada asignatura, considerando la importancia del tema y su estructura. Se buscó que existiera un porcentaje similar de cada nivel de conocimiento -memoria, comprensión y aplicación-, para construir con ellos el examen a aplicar. Se estructuró un examen con 88 preguntas de opción múltiple, el cual se conformó con un 62% de reactivos que medían memoria, un 36% comprensión y únicamente un 2% de los reactivos que medían aplicación En el caso de Psicología Médica I se escogieron 28, debido al tipo de preguntas, que en algunos casos contenían varias respuestas.

 

 

La selección del número de grupos se realizó a través de un muestreo representativo al azar de todos los grupos: se seleccionaron 13 grupos de segundo año (310 alumnos) de un total de 34 grupos (1.088 alumnos). Para cuarto año se eligieron 13 grupos (247 alumnos) de un total de 35 grupos (980 alumnos).

El examen se aplicó sin previo aviso a los alumnos de los grupos seleccionados de segundo y cuarto año al finalizar el periodo escolar. La aplicación se realizó en la última clase, antes de concluir el curso. A los alumnos se les explicó el motivo de la investigación y se les pidió su apoyo y formalidad al contestarlo, no existiendo objeción alguna por su parte.

Los alumnos respondieron el examen en hojas para lectura óptica, iguales a las utilizadas en sus exámenes. Las hojas se leyeron y calificaron electrónicamente; con posterioridad se utilizó para su estudio el método tradicional de análisis de reactivos: discriminación y dificultad de cada reactivo y la fiabilidad mediante el alfa de Cronbach.

Los resultados de los alumnos en el examen se transfirieron a una base de datos y se analizaron mediante un programa estadístico. Se usó un modelo estadístico para distribuciones no normales, por lo que se usaron pruebas no paramétricas. En virtud de que las variables en estudio eran de tipo cuantitativo discreto (aciertos en números enteros sin fracciones), en primer lugar se describieron los datos con mediana, percentiles 25 y 75 y rangos intercuartílicos, y en segundo lugar, con objeto de corroborar hipótesis estadísticas, se utilizó repetitivamente la prueba no paramétrica U de Mann-Whitney.

 

Resultados

De las hipótesis planteadas, la primera no se confirmó, aunque sí la segunda.

Se contó el número de aciertos obtenidos (totales y por asignatura) de 310 alumnos de segundo año y de 247 de cuarto año en los exámenes de las asignaturas de Anatomía, Fisiología, Cirugía I y Psicología Médica I. Se encontró un número mayor de aciertos totales en los alumnos de cuarto año, comparados con los de segundo, lo cual es estadísticamente significativo.

En Anatomía y Fisiología no se observó modificación en el número de aciertos entre los grupos de segundo y cuarto año.

En las asignaturas seriadas (Cirugía I y Psicología Médica I), los alumnos de cuarto año mostraron mayor número de aciertos, en comparación con los de segundo, lo cual es estadísticamente significativo.

El examen en su totalidad resultó ligeramente más fácil para los alumnos de cuarto año. Más del 90% de los reactivos discriminaron adecuadamente en ambos grupos y la fiabilidad del instrumento, tanto en segundo como en cuarto año, fue alta.

Por lo que respecta a la forma de las distribuciones del número de aciertos de los alumnos de segundo año, se encontró que tuvieron semejanza con la distribución normal las correspondientes a los reactivos de memoria en Anatomía y Cirugía, y de comprensión en Cirugía. En el caso de los alumnos de cuarto año, no se encontró semejanza con la normalidad en ninguna distribución de aciertos.

Al estudiar las medianas del número de aciertos, los alumnos de cuarto año siempre tuvieron valores ligeramente superiores en las clasificaciones de memoria, comprensión y aplicación para cada una de las cuatro materias. Respecto a la dispersión del número de aciertos, medida a través de rangos intercuartílicos, se encontró que en todos los casos hubo mayor homogeneidad en los valores de los alumnos de cuarto año y heterogeneidad en el caso de los alumnos de segundo año (Tabla IV).

 

 

En virtud de que la mayoría de las distribuciones de aciertos en las cuatro materias exploradas en los niveles de memoria, comprensión y aplicación no tuvieron distribuciones semejantes a la normal, y principalmente porque los aciertos se consideraron como variables cuantitativas discretas, se buscaron diferencias estadísticamente significativas a través de la prueba U de Mann-Whitney (Tabla V). Se encontraron diferencias significativas a favor de los aciertos de los alumnos de cuarto año para las siguientes variables: aciertos globales para el examen completo, aciertos globales para Cirugía I y Psicología Médica I, aciertos de memoria y comprensión en Cirugía I y aciertos de memoria y comprensión en Psicología Médica I. No se encontraron diferencias significativas en los aciertos globales de Anatomía ni de Fisiología, aciertos de memoria, comprensión y aplicación en Anatomía, ni en aciertos de memoria y comprensión en Fisiología (Tablas VI y VII).

 

 

 

 

Discusión

Los resultados obtenidos muestran que la construcción de los exámenes se centra principalmente en los niveles cognitivos elementales (memoria), lo cual es una situación frecuente cuando se elaboran los exámenes de este tipo.

El mayor rendimiento de los alumnos de cuarto año fue en el examen global y, principalmente, en las áreas de Cirugía I y Psicología Médica I; es probable que se deba al refuerzo que éstas asignaturas tienen al estar presentes tanto en segundo como en tercer y cuarto año, y no a una mejor elaboración de los exámenes, con una distribución más adecuada de los niveles cognitivos.

Quizá las situaciones clínicas a las que se exponen los alumnos en el cuarto año de la carrera ayudaron a la compresión de este conocimiento factual y, por tanto, a contestar de forma razonada y no memorísticamente. Esta explicación podría justificar los resultados obtenidos en anatomía, una materia tradicionalmente memorística, que en el momento en que el alumno le encuentra aplicación, es mejor comprendida por él. Estos resultados invitan a buscar tiempos ideales de refuerzo de las materias básicas, pudiéndose planear sesiones de actualización como una política para disminuir la curva del olvido.

Es importante considerar la integración básico-clínica o clínico-básica como una herramienta educativa que permite dar significado al conocimiento factual o básico y, con ello, reforzar e incorporar dicho conocimiento a la clínica. Una buena comprensión de las ciencias básicas se ha relacionado con la habilidad futura de realizar diagnósticos certeros [11].

Conviene modificar el proceso de elaboración de exámenes, lo que permitirá que el alumno perciba la utilidad e importancia de los conocimientos o habilidades que está adquiriendo para su formación profesional, y con ello se motive a aprenderlos y aplicarlos en su incipiente razonamiento clínico.

Respecto a la evaluación, los resultados motivan a analizar los procesos de elaboración de exámenes, los cuales deberán comenzar con la definición de los niveles cognitivos requeridos por los alumnos en el proceso enseñanza-aprendizaje de cada una de las asignaturas. Con ello debe estructurarse una tabla de especificaciones precisa, que defina el número de reactivos necesarios para evaluar los contenidos incluidos en el programa y, al mismo tiempo, incorporar el nivel cognitivo que se espera que hayan logrado los alumnos, conscientes que en algunas circunstancias es necesario partir de un nivel memorístico para, con posterioridad, comprender y poder aplicar racionalmente el conocimiento.

Es necesario capacitar al personal encargado de la elaboración de los reactivos o preguntas para que incluyan en las evaluaciones reactivos de diferentes niveles de conocimiento, y así verificar que los alumnos aprendieron de manera integral los contenidos de las asignaturas evaluadas.

 

Bibliografía

1. Díaz-Barriga F, Hernández G. Estrategias docentes para una aprendizaje significativo. Una interpretación constructivista. México DF: McGraw-Hill; 2001.         [ Links ]

2. Good TL, Brophy J. Psicología educativa contemporánea. México DF: McGraw-Hill; 1995.         [ Links ]

3. Woolfolk A. Psicología educativa. México DF: Prentice-Hall Hispanoamericana; 1990.         [ Links ]

4. Informe del H. Consejo Técnico; enero-marzo 2008. Documento 'La Facultad de Medicina en cifras 2008-2009' e 'Informe 2008 FM-UNAM'. México DF: UNAM.         [ Links ]

5. McGuire CA. A process approach to the construction and analysis of medical examinations. J Med Educ 1963; 38: 556-63.         [ Links ]

6. Kemp JE, Morrison GR, Ross SM. Developing evaluation instruments. In Morrison GR, Ross SM, Kemp JE, Kalman HK, eds. Designing effective instruction. New York: MacMillan College Publishing; 1994., p. 180-213.         [ Links ]

7. Collins J. Education techniques for lifelong learning. RadioGraphics 2006; 26: 543-51.         [ Links ]

8. Bloom BS, ed. Taxonomy of educational objectives. Vol. I: Cognitive domain. New York: McKay; 1956.         [ Links ]

9. Fuhrmann BS, Grasha AF. A practical handbook for college teachers. Boston: Little-Brown; 1983.         [ Links ]

10. Schultheis NM. Writing cognitive educational objectives and multiple-choice test questions. Am J Health Syst Pharm 1998; 55: 2397-401.         [ Links ]

11. Wooods N, Neville A, Levinson A. Howey E, Oczkkowski W, Norman G. The value of basic science in clinical diagnosis. Acad Med 2006; 81: 5124-7.         [ Links ]

 

 

Dirección para correspondencia:
Dra. María Eugenia Ponce de León Castañeda
Facultad de Medicina.
Coordinación de Planes y Programas de Estudio
Universidad Nacional Autónoma de México
Circuito Escolar, s/n. Edif. B, 1er. piso. Ciudad Universitaria
CP 04510, México DF, México
E-mail: maeugenia.poncedeleon@gmail.com

Conflicto de intereses: No declarado