ORIGINAL

---

Efectividad de un curso de pregrado sobre medicina de familia.
Validez y fiabilidad de un test de concordancia script

Effectiveness of a family medicine undergraduate course. Validity and reliability of a concordance script test

Roger Ruiz Moral, Luis Angel Pérula de Torres, Luciano Barrios, Juan Manuel Parras Rejano, Julio Aparicio Sánchez,
Ana Lemos Peña y Francisco Pérez Jiménez

Unidad Docente de Medicina de Familia de Córdoba, Departamento de Medicina. Facultad de Medicina de Córdoba

 

Introducción: La medicina de familia tiene una presencia cada vez más amplia en el pregrado, siendo necesario la exploración de las estrategias metodológicas, evaluativas y de aplicación práctica eficaces y aceptables. Objetivos: comprobar la efectividad de un curso de pregrado sobre los principales problemas clínicos de la medicina familiar. Conocer la validez y fiabilidad de un test para valorar la aplicación de los conocimientos a situaciones prácticas. Material y Métodos: estudio quasi-experimental"antes-después". Población de estudio: 20 estudiantes. Programa educativo: curso de 60 horas con objetivos en el área de conocimientos, razonamiento clínico, toma de decisiones y comunicación; metodología basada en problemas. Mediciones: preguntas de elección múltiple (PEM), simulaciones escritas (test "concordancia scripts" (CS) y pacientes estandarizados ("CC"). Diseñaron los tests de CS 10 médicos de familia (validez de consenso y aparente). Se valoró la comunicación clínica con un caso clínico común videograbado, de bajo nivel de dificultad representado por un paciente estandarizado utilizando el cuestionario GATHA. La satisfacción de los estudiantes con el curso fue medida con un cuestionario diseñado al efecto. Se midió la consistencia interna y la fiabilidad del test de CS. Resultados: Las diferencias entre las situaciones antes y después (Wilcoxon) fueron: PEM: 14,45±2,7 - 17,2±2,4 (p=0,003); CS: 15,97±1,56 -17,93±2,16 (p<0,0001) y CC: 14,45±3,8- 18,55±3,3 (p=0,001). El test de CS tenía un alfa de Cronbach de 0,96 y un Coeficiente de Correlación Intraclase de 0,7876. Alto grado de satisfacción con los contenidos teórico-prácticos, metodología y profesorado. Conclusiones: Curso factible y muy bien aceptado, los estudiantes mejoran significativamente no solo en conocimiento sino en la aplicación del mismo a situaciones prácticas y en habilidades de razonamiento clínico, toma de decisiones y comunicación después del curso. El test de CS es un test válido y fiable. Palabras clave: medicina de familia, test de concordancia script, métodos de aprendizaje de Adultos, programa formativo, estudiantes de medicina, fiabilidad.

Introduction: Family medicine is gathering momentum in undergraduate studies in Spain. Teaching methods, assessment tools and the practicability of new programs need to be explored. Aims: To assess the effectiveness of an undergraduate family medicine training program; to determine the reliability and validity of tests of concordance scripts. Material & Methods: A quasi-experimental "before-after" study with 20 students. Training Program: a 60-hour course focusing on areas of knowledge, clinical reasoning, decision making and communication using a problem-based approach. Measurements: Multiple Choice Questions (MCQ), Concordance Scripts tests (CS) and Standardized Patients (CC). 10 family physicians designed the CS tests (face and consensus validity). Communication skills were assessed with a low difficulty clinical case simulation with a standardized patient. The session was videotaped and we used the GATHA questionnaire to rate behaviours. Student satisfaction was measured by a questionnaire. Results: The differences between pre&post situations (Wilcoxon) were: MCQ: 14.45±2.7 - 17.2±2.4 (p=0.003); CS: 15.97±1.56 -17.93±2.16 (p<0.0001) and CC: 14.45±3.8- 18.55±3.3 (p=0.001). The reliability of CS test was: alpha: 0.96 and ICC: 0.7876. A high degree of student satisfaction was detected with all the activities, materials and teachers. Conclusions: The course was practicable and well-received. Students noted improvements in knowledge acquisition and in their ability to apply this knowledge to clinical situations. Their communication skills also improved after the course. CS is a valid and reliable test. Key words: family medicine, concordance script tests, adult learning methods, training program, medical students, reliability.

 

---

Correspondencia:
Dr. Roger Ruiz Moral
Unidad Docente de Medicina de Familia
C/ Dr Blanco Soler, 4
14004 Córdoba
teléfono: 957012544
E-mail: roger.ruiz.sspa@juntadeandalucia.es

 

INTRODUCCIÓN

La medicina de familia o general (MF) está aún escasamente introducida en los curricula de pregrado de nuestras facultades a pesar de que la mayoría de los nuevos licenciados optarán por esta especialidad. No existe consenso sobre como realizar esta introducción, si tempranamente o en los últimos cursos de la licenciatura, si en la forma tradicional de asignatura con contenidos teóricos y prácticos en un curso o de una manera transversal a lo largo de toda la licenciatura y con un carácter práctico ^{1, 2, 3}. Por otra parte, en el momento actual está en marcha una renovación de los programas educativos y estrategias docentes, los cuales tienden a incorporar los principios de la educación de adultos (aprendizaje basado en problemas, significativo, portafolios,...) con estrategias educativas más interactivas ^{4, 5}. Esto implica también un desarrollo paralelo de los sistemas evaluativos, los cuales adquieren mayor complejidad al tratar de valorar los distintos aspectos de la competencia profesional ^{6, 5}. Estamos, sin embargo, aún lejos de disponer de suficientes estudios que valoren adecuadamente estos programas educativos y métodos evaluativos ^{6, 7}. La evaluación de la competencia requiere de elementos que permitan valorar los niveles más elevados de la pirámide evaluativa descrita por Miller, es decir, el "mostrar como" o, en los casos de profesionales, el "hacerlo" en condiciones reales ⁸. El mayor reto que estas pruebas plantean es su practicabilidad y sobre todo su validez y fiabilidad^{6, 9, 5}. Finalmente, la valoración de la efectividad de cualquiera de estos abordajes educativos debería ser realizada siguiendo una metodología basada en la evidencia que permita las comparaciones entre los distintos programas en condiciones similares y justifique adecuadamente la implantación de unos u otros en los ámbitos de estudio ^{10, 11}. Aunque este tipo de estudios está aún muy poco desarrollados en nuestro medio disponemos ya de ensayos clínico-educativos que ejemplifican este enfoque basado en la evidencia del que hablamos y que ofrecen una información empírica contrastable sobre la efectividad de las distintas estrategias ^{12, 13, 14}.

Este trabajo pretende, por una parte, valorar la efectividad de una iniciativa docente en pregrado sobre los principales problemas clínicos de la medicina de familia que, siguiendo los principios del aprendizaje de adultos, incorpora estrategias docentes enfocadas a la adquisición de conocimientos y de habilidades en el ámbito de la toma de decisiones y de la comunicación clínica. Por otra parte, y de manera concomitante, trata de conocer la validez y fiabilidad de una forma sencilla y barata de evaluar cómo los estudiantes organizan el conocimiento en las acciones prácticas, como son las llamadas pruebas de Concordancia Script.

MATERIAL Y MÉTODOS

Diseño: estudio quasi-experimental "antes-después". Población de estudio: estudiantes de 3º, 4º y 5º de medicina de la Facultad de Medicina de Córdoba que de manera voluntaria deciden atender al curso. Tamaño de la muestra: 20 estudiantes. Criterios de inclusión: pertenecer a los cursos 3º, 4º y 5º y estar matriculados en el curso ofertado. Programa educativo: Se diseñó un curso para libre configuración curricular en la modalidad técnico-instrumental que es reconocido por el RUC con 3,5 créditos cuyos objetivos son:

-Que los alumnos conozcan y sepan emplear en circunstancias prácticas algunos de los procedimientos diagnóstico-terapéuticos más frecuentemente utilizados por los médicos de familia.

- Que los alumnos conozcan y sepan identificar, investigar y tratar los problemas de salud más frecuentes que presentan los pacientes a sus médicos de familia y adquieran habilidades generales para tomar decisiones diagnóstico-terapéuticas en estos problemas.

- Que los alumnos desarrollen actitudes positivas en la atención a estos pacientes.

En el anexo 1 se detallan los contenidos del curso. El curso se desarrolló en 4 meses y constó de 60 horas totales, 20 de las cuales se dedicaran al desarrollo de 10 temas (2 horas/tema) sobre problemas y procedimientos prevalentes en medicina de familia que se impartieron en grupos por dos profesores utilizando métodos inductivos e interactivos (resolución de casos, role modeling, feedback estructurado) a partir de casos clínicos reales y escenarios videograbados. Las 40 horas restantes se desarrollaron en las consultas de Atención Primaria donde cada estudiante fue tutorizado por un médico de familia en la atención a pacientes y familias utilizando tablas de observación de las consultas.

 

Mediciones: La evaluación de la efectividad del curso incluyó la valoración de la adquisición de competencias de tipo cognoscitivo, de habilidades y actitudinales adquiridas por los estudiantes tras el curso con respecto a su situación antes. Se emplearon preguntas de elección múltiple para valorar los conocimientos ("que sabe"), simulaciones escritas (tipo "concordancia de scripts") y pacientes estandarizados para valorar como el estudiante utiliza ese conocimiento en situaciones prácticas y con fines específicos ("como hace"). La selección de las 40 preguntas tipo test la realizaron dos profesores atendiendo a los temas y contenidos del curso. La puntuación del conocimiento mostrado por los alumnos se obtuvo aquí mediante el número de respuestas acertadas, donde la respuesta correcta vino dada por la literatura médica relevante. La valoración de la utilización del conocimiento en situaciones prácticas habituales del médico de familia, (que requieran establecimiento de hipótesis diagnósticas adecuadas, y la toma de decisiones diagnóstica y de tratamiento) se realizó mediante "test de concordancia script" ¹⁵. La construcción de dichos tests la realizaron los dos profesores encargados del curso para lo cual diseñaron 10 casos clínicos y 50 preguntas (5 por caso), cada una de ellas hacía referencia a un problema diagnóstico, de investigación y de tratamiento que referida a los distintos casos clínicos cambiaba en función de una nueva información, siguiendo la metodología empleada por Charlin et al para la construcción de estos test ¹⁵ (Tabla 1).

 

Una vez diseñados los 10 casos y los 50 supuestos (5 por caso) se procedió a la revisión por un grupo de expertos formados por 10 médicos de familia profesores de las prácticas clínicas del curso. Tras consensuar la redacción y los contenidos este panel de expertos elaboró el sistema de puntuación de los distintos ítems (es decir la medición de la distancia que existe entre los scripts de los examinandos y los del panel de expertos). Para ello cada experto puntuó cada una de las preguntas y el resultado fue objeto de un análisis de fiabilidad interobservador para conocer el grado de variabilidad entre las puntuaciones de los distintos expertos y la consistencia interna. La valoración de los aspectos de comunicación clínica más relevantes (tareas y habilidades) así como la actitud que muestran los estudiantes en el encuentro clínico se hizo con un caso clínico común y de bajo nivel de dificultad representado por un paciente estandarizado al que previamente se había entrenado en condiciones similares a las reales (paciente mujer de 45 años, fumadora, con catarro de vías altas no complicado, temor a una neumonía y expectativas concretas en cuanto a investigación clínica). Estos encuentros fueron videograbados y valorados después por un observador ciego al estatus experimental de los participantes validado en el uso del cuestionario GATHA. Este cuestionario, en la versión aquí empleada, presenta unos índices de homogeneidad, fiabilidad inter-intraobservador y validez de consenso y de constructo, previamente evaluadas ^{16, 17}. La satisfacción de los estudiantes con el curso se midió mediante un cuestionario diseñado al efecto.

Análisis estadístico: Las principales pruebas estadísticas empleadas fueron los coeficientes de correlación intraclase (CCI) para medir la concordancia interobservador y el coeficiente alfa de Cronbach para valorar la consistencia interna. La prueba F de Snedecor y el test de Wilcoxon para datos apareados se usaron para comprobar la existencia de diferencias en las puntuaciones medias antes y después del curso (p<0,05).

RESULTADOS

Resultados del proceso de validación y fiabilidad de los tests de Concordancia Script: Inicialmente la redacción de los casos y las preguntas fueron objeto de un proceso de consenso que requirió varias modificaciones de los mismos (validez de consenso y aparente -face validity-). La puntuación media de los de los expertos fue de 0,16, sin que se hallaran diferencias estadísticamente significativas entre los mismos (F de Snedecor: 0,85), un coeficiente de correlación intraclase de 0,7876 (IC 95%: 0,7135 y 0,8554), con oscilaciones entre los expertos entre 0,6717 y 0,8834 y un alfa de Cronbach de 0,97. Los CCI obtenidos en los estudiantes en las pruebas de CS antes y después fueron: 0,2230 (IC 95%: -0,1553 y 0,3209) en la situación pre y 0,2788 (IC95%: -0,2006 y 0,3878) en la situación post. Los valores promedio obtenidos por los alumnos tanto antes (0,3191; F : 0,6738) como después (0,3581; F:1,4467) tampoco fueron estadísticamente significativos.

Resultados del proceso de evaluación de la efectividad del curso: La mayoría de las estudiantes eran de 4º curso excepto dos de 3º y una de 5º, su edad media era de 20 años y 15 eran mujeres. La figura 1 muestra los resultados que obtuvieron las estudiantes en los tres dominios estudiados desde su situación antes del curso a la situación posterior a este. En los tres se observan mejoras estadísticamente significativas y especialmente en las habilidades comunicacionales (4 puntos). Sin embargo las distintas pruebas no se correlacionaron entre sí: los valores del Coeficiente de Correlación Intraclase fueron de 0,1827 (IC 95%: -0,2716 y 0,5705); 0,2792 (IC 95%: -0,1748 y 0,6353) y 0,0813 (IC 95%: -0,3644 y 0,4967) para los resultados de la prueba de conocimiento-comunicación, scripts-comunicación y conocimiento-scripts en situación postcurso, ninguna de ellas estadísticamente significativas.

Figura 1. Puntuaciones medias de las pruebas evaluativas realizadas antes y después del curso

 

Los resultados de la satisfacción evaluación de las estudiantes con el curso: se encuentran en la tabla 2.

 

DISCUSIÓN

Los resultados del presente estudio ponen de manifiesto que tras el mismo las estudiantes mejoran su conocimiento, habilidades para la toma de decisiones y en comunicación clínica así como algunas actitudes en el ámbito clínico de la medicina de familia. El diseño del estudio, en el que no existía un grupo control hace, sin embargo, que seamos cautos a la hora de adjudicar al curso toda la mejoría observada, dado que las estudiantes se encontraban inmersas en un proceso de enseñanza que ha podido también ejercer su efecto positivo. Igualmente, al tratarse de una muestra conformada por voluntarias, y por tanto, personas más motivadas hacia esta materia, la representatividad y su validez externa se ha podido ver afectadas. La potencia del estudio, sin embargo, parece haber sido suficiente para detectar diferencias estadísticamente significativas incluso con un tamaño de muestra pequeño. Dicho esto, el presente estudio representaría una de las primeras aproximaciones realizadas en nuestro país sobre la efectividad de un programa docente en medicina de familia en el pregrado. En cuanto a la metodología usada es de destacar el hecho de que el programa no se fundamente en la clase magistral sino en estrategias docentes interactivas del tipo de la discusión de casos y resolución de problemas diagnóstico-terapéuticos en grupos pequeños, la ejemplificación con vídeo (role modeling) e, individualizadamente, la observación estructurada de la consulta real, actuación con pacientes (recoger historia clínica) y discusión con el tutor personal, todos estos métodos se han mostrado efectivos para cambiar conductas y para adquirir habilidades en la resolución de problemas y reforzar o cambiar actitudes en el trato con pacientes¹⁸, por lo que el programa aquí ensayado viene a reforzar la utilidad de estos métodos. Si comparamos con los resultados de otros programas realizados en postgrado con residentes en nuestro país ^19,14, resulta especialmente interesante observar como se produce una importante mejoría en habilidades comunicacionales. Las razones de esto pueden ser varias, entre ellas, su introducción precoz, a una edad más joven, cuando las estudiantes no están imbuidas de la cultura biomédica y cuando aún los factores del curriculum oculto parecen ejercer menos influencia y por tanto la motivación hacia estos temas es mayor²⁰. Otro aspecto interesante del estudio es la falta de correlación existente entre los resultados obtenidos en los distintos dominios. Teniendo en cuenta las limitaciones que al principio señalábamos, estos hallazgos apoyan la idea de que el demostrar tener conocimientos no debería implicar el saber aplicarlos en condiciones prácticas o el tener las habilidades de interrelación y los valores requeridos. "El grado en que un sujeto puede utilizar sus conocimientos, actitudes, aptitudes y buen juicio asociados a su trabajo, para poder desempeñarlo de manera eficaz en todas las situaciones que correspondan al campo de su práctica" ²¹ es una reciente definición de la competencia, por lo que la necesidad de demostrarla en estudiantes, pasaría al menos por valorar el "como lo hace" en condiciones similares a las reales. Esto requiere aplicar pruebas evaluativas diferentes a las PEM, algunas de ellas como las simulaciones de condiciones reales con pacientes estandarizados, las simulaciones escritas, la revisión estimulada de historias, han sido utilizadas en este estudio remedando un examen clínico objetivo estructurado (ECOE u OSCE) ^{6, 9, 21, 5}.

En este sentido, el estudio pretendía también valorar la validez y fiabilidad de los denominados "test de concordancia script" (CS). Los tests de CS son unas pruebas recientemente introducidas basadas en la teoría "script" ²² que postula que en situaciones específicas los clínicos movilizan un conjunto de conocimientos almacenados ("scripts") que usan para entender la situación y actuar de acuerdo a unos fines específicos (diagnóstico, investigación, o tratamiento), el principio es comparar los "scripts" de los estudiantes con los de clínicos expertos en contextos y problemas específicos y probaría si el conocimiento de los examinandos se organiza eficientemente para llevar a cabo acciones clínicas. El número de ítems que se utilizó en cada una de las dos pruebas ²³, es uno de los más altos de los utilizados hasta ahora en los estudios publicados, que se han realizado con residentes y médicos y con fines de formación continuada, y que han presentado buenos índices de fiabilidad y validez ^{15, 23}. El hecho de que nuestro estudio se realizase en estudiantes y con carácter de certificación en esta población justificaba la elección de este número. El test de CS utilizado ha demostrado tener una escasa variabilidad y una elevada consistencia interna, lo que lo revela como una herramienta evaluativa muy útil, adecuada y especialmente eficiente, dada la relación entre la información que aporta y su coste, muy alejado de cualquier proceso que utilice PE, por ejemplo.

En conclusión, el programa docente en medicina de familia ensayado parece que puede ser efectivo para adquirir conocimientos y habilidades prácticas en la toma de decisiones y en comunicación con los pacientes y es una primera aproximación al establecimiento de estrategias de implantación de la medicina de familia en pregrado más amplias, completas y acordes con el peso de la disciplina en nuestro país. Igualmente los tests de concordancia scripts representan un método evaluativo sobre como aplicar el conocimiento en situaciones prácticas fiable, válido y barato.

AGRADECIMIENTOS

A los expertos que participaron en el proceso de validación y profesores de prácticas: Javier Ruiz, José A Prados, Antonio Yun, Miguel Muñoz, Jorge Martínez, Cristina Aguado, Mª Jesús Fernández y José Espejo.

Al resto de los profesores de prácticas: Juan José García, Francisco Sierra, Javier Suárez, Antonio Hernández, Mª Victoria Jiménez, Jesús Albert, Juan Solís, Cesáreo García, Carmen Amo, Carmen López, Nieves Lora. Todos ellos médicos de familia y tutores de la Unidad Docente de Medicina de Familia de Córdoba.

BIBLIOGRAFÍA

1. Bonal Pitz, P. Gil Guillén, V. Martín Zurro, A. Pinto Hespanhol, A. (1999) La medicina de familia como área de conocimiento. Barcelona: semFYC; Report No.: 10.         [ Links ]

2. Monreal Híjar, A. (2002). Medicina de familia: área de conocimiento y equipos docentes. Un proyecto ilusionante. Aten Primaria 29:69-71.         [ Links ]

3. Cots Yago, J. Asignatura de Medicina de Familia: paso a paso. (2002). Tribuna Docente 6:3-21.         [ Links ]

4. Spencer, J. Jordan, R. (1999). Learner centred approaches in medical education. BMJ 318:1280-3.         [ Links ]

5. Dent, J. Harden, R. (2001). A practical guide for medical teacher. First ed. London: Churchill Livingstone.         [ Links ]

6. Van Der Vleuten, C. (1996). The assessment of professional competence: development, research and practical implications. Advances in Health Sciences Education 1:41-67.         [ Links ]

7. Lechner, S. (2001). Evaluation of teaching and learning strategies. Med Educ Online 6:4.         [ Links ]

8. Miller, G. (1990). The assessment of clinical skills/competence/performance. Acad Med 65:S63-S67.         [ Links ]

9. Blay, C. Descàrrega, R. Iruela, E., Kronfly, E. Barragán, N. Serrallach, S. (1997). Evaluación de la competencia profesional de los médicos. Cuadernos de Gestión 3:68-75.         [ Links ]

10. Petersen, S. (1999). Time for evidence based medical education. BMJ 318:1223-4.         [ Links ]

11. Hutchinson, L. (1999). Evaluating and researching the effectiveness of educational interventions. BMJ 318:1267-9.         [ Links ]

12. Ruiz Moral, R. Muñoz, Alamo, M. Alba Jurado, M., Pérula de Torres, L. (2001). Effectiveness of a learner-centered training programme for primary care physicians in using a patient-centred consultation style. Fam Pract 18:60-3.         [ Links ]

13. Muñoz Alamo, M., Ruiz Moral, R. Pérula de Torres, L. (2002). Evaluation of a patient-centred approach in generalized musculoskeletal chronic pain/fibromyalgia patients in primary care. Pat Edu Couns 48:23-31.         [ Links ]

14. Ruiz Moral, R. Rodríguez Salvador, J., Pérula de Torres, L. Prados Castillejo, J. (2003). Effectiveness of a clinical interviewing training program for family practice residents: a randomized controlled trial. Fam Med 35:489-95.         [ Links ]

15. Charlin, B. Brailovsky, C. Roy, L., Goulet, F. van der Vleuten, C. (2000).The script concordance test: a tool to assess the reflective clinician. Teaching and Learning Medicine 12:189-195.         [ Links ]

16. Ruiz Moral, R., Prados Castillejo, J. Bellón Saameño, J. Pérula de Torres, L. (2001). An instrument for assessment interviewing of family medicine trainees: The "GATHA-RESIDENT" Questionnaire. Educ Prim Care 12:401-11.         [ Links ]

17. Ruiz Moral, R. Prados Castillejo, J. Alba Jurado, M. Bellón Saameño, J. Pérula de Torres, L. (2001). Validez y fiabilidad de un instrumento para la valoración de la entrevista clínica en médicos residentes de medicina de familia: el cuestionario GATHA-RES. Aten Primaria 469-77.         [ Links ]

18. Davis, D. Thomson O'Brien, M. Freemantale, N. Wolf, F. Mazmanian, P. Taylor-Vaisey, A. (1999). Impact of formal continuing medical education. Do conferences, workshops, rounds, and other traditional continuing education activities change physician behaviour or health care outcomes? JAMA 282:867-74.         [ Links ]

19. Ruiz Moral, R., Rodríguez Salvador, J. Pérula de Torres, L. Prados Castillejo, J. (2002). Evolución del perfil comunicacional de los médicos residentes de medicina de familia. Aten Primaria 29:132-44.         [ Links ]

20. Ruiz Moral, R. (2003). Programas de formación en comunicación clínica: Una revisión de su eficacia en el contexto de la enseñanza médica. Educ Med 6:159-167.         [ Links ]

21. Epstein, R., Hundert, E. (2002). Defining and assessing professional competence. JAMA 287:226-235.         [ Links ]

22. Charlin, B. Tardif, J. Boshuizen, H. (2000). Scripts and medical diagnostic knowledge: Theory and applications for clinical reasoning instruction and research. Acad Med 75:182-90.         [ Links ]

23. Brailovsky, C., Charlin, B., Beausoleil, Coté, Van der Vleuten, C. (2001). Measurement of linical reflective capacity early in training as a predictor of clinical reasonig performance at the end of residency: an experimental study on the script concordance test. Med Educ 35:430-6.         [ Links ]