ORIGINAL
Rúbrica como evaluación de historia clínica simulada
Rubric for evaluation of simulated clinical record
Eduardo B. Arribalzaga
División de Cirugía Torácica. Hospital de Clínicas. Universidad de Buenos Aires. Buenos Aires, Argentina.
Dirección para correspondencia
]]>
RESUMEN
Introducción. Puede demostrarse la evaluación de habilidades al confeccionar una historia clínica simulada sin pacientes. El objetivo es describir la rúbrica y compararla con un examen convencional.
Sujetos y métodos. Estudio observacional descriptivo transversal. Se trata de alumnos de quinto año de medicina de la facultad estatal durante la asignatura de cirugía en un hospital universitario, curso oficial, evaluados en 2015 con elaboración de una historia clínica simulada sin pacientes sobre temas de cirugía torácica no cardiovascular e instrucciones previas. La duración fue de 60 minutos. Se realizó un análisis comparativo de todas las historias clínicas simuladas mediante evaluación convencional y rúbrica y verificación de calidad. Se usaron pruebas estadísticas.
Resultados. De los 37 casos, el promedio de evaluación convencional fue ligeramente superior al de la rúbrica; su influjo fue mayor en el contexto de la totalidad del examen parcial convencional ratificado por su valor dentro del examen parcial. La nota de la rúbrica frente a la nota final calificadora del examen parcial también fue significativa. La rúbrica frente a la nota final del examen parcial convencional tuvo una correlación positiva aceptable y significativa. La evaluación con la rúbrica tuvo un número de aprobados menor que con la convencional. La fiabilidad como instrumento de valor fue aceptable (0,73).
Conclusión. La rúbrica como instrumento de evaluación de una historia clínica simulada sin pacientes tiene un elevado grado de validez y fiabilidad.
Palabras clave: Evaluación. Historia clínica. Rúbrica.
ABSTRACT
Introduction. Evaluation of skills can be shown to create a simulated without patients medical record. Aims to describe the rubric and to compare with conventional test. ]]>
Subjects and methods. Descriptive cross-sectional observational study; students of the fifth year of medicine, State College during subject surgery at a university hospital in official course evaluated in 2015 with the elaboration of a simulated medical record without patients on issues of non-cardiovascular thoracic surgery with advance directives. Duration of 60 minutes. Comparative analysis of all the case records simulated by the conventional evaluation and method of rubric. Statistical tests were used.
Results. Of 37 cases, with conventional evaluation average slightly above the rubric - but its influence is greater in the context of the totality of the conventional partial examination ratified by its value within the partial exam. Rubric note versus final note also significant partial examination ratings. Rubric versus conventional partial exam final note had an acceptable correlation. Evaluation with rubric has one number of approved less than with the conventional; reliability as an instrument of acceptable value (0.73).
Conclusion. The rubric as a tool for evaluation of a simulated clinical record without patients has a high degree of validity and reliability.
Key words: Evaluation. Medical record. Rubric.
Introducción
El aprendizaje de la medicina tiene un gran componente práctico con técnicas para mejorar habilidades como la comunicación, el trabajo en equipo [1] o la adquisición de conocimientos. Se propusieron diferentes metodologías para mejorar este aprendizaje teniendo en cuenta el estilo de aprendizaje [2,3] y la forma de evaluación, ya sean basados en la resolución de problemas, la evaluación clínica objetiva estructurada, la utilización de portafolios, la simulación médica [4] o exámenes evaluatorios [5]. Una de las formas de simulación que al mismo tiempo es método de comunicación del médico con sus pacientes es la entrevista clínica, al permitir el desarrollo de habilidades, conocimientos y actitudes del profesional ante una situación práctica determinada, todo ello puesto de manifiesto cuando se elabora una historia clínica [6] con integración de habilidades comunicativas básicas y obtención de información trascendente del paciente según un planeamiento definido [7].
La evaluación de esas habilidades en la confección de una historia clínica, por consiguiente, puede ser interpretada de diferente manera por distintos médicos observadores y no reflejar el real aprendizaje de esta herramienta tan importante para la atención sanitaria personalizada, y así también las prácticas educativas pueden ser difícilmente adaptables a determinadas situaciones de formación. El objetivo del presente trabajo es describir la rúbrica como una forma de evaluación de una historia clínica simulada sin pacientes y analizar su real utilidad al compararla con un examen convencional.
Sujetos y métodos
]]> Se planteó un estudio observacional descriptivo transversal. Participaron alumnos del quinto año de medicina de una facultad estatal que cursaban la asignatura de cirugía en un hospital universitario durante el curso oficial, y el 26 de mayo de 2015 fueron evaluados con un examen parcial escrito. Los evaluadores fueron los médicos/docentes integrantes de la División de Cirugía Torácica del mencionado hospital. El autor de este trabajo fue quien realizó el análisis comparativo de todas las historias clínicas simuladas mediante la evaluación convencional y el aquí exclusivo método de la rúbrica. La evaluación convencional fue realizada por los restantes docentes de la División de Cirugía Torácica de acuerdo con su habitual forma de evaluar.La evaluación se basaba en la elaboración de una historia clínica simulada sin pacientes sobre temas de cirugía torácica no cardiovascular: tumores de mediastino, hidatidosis torácica, cáncer pulmonar primario, neumotórax, empiema pleural/supuraciones broncopulmonares, metástasis pleuropulmonares, tumores traqueobronquiales, derrame pleural, traumatismos torácicos y lesiones traqueales benignas.
Previamente se dieron las instrucciones de cómo desarrollar una historia clínica con la advertencia de los fallos que considerasen a la historia clínica como aplazada o suspendida (Tabla I). El tiempo para desarrollar la historia clínica escrita fue de 60 minutos.
La historia clínica simulada tenía un valor clasificatorio de seis puntos en un examen parcial al que se agregaban dos preguntas conceptuales con un valor de dos puntos cada una, lo que totalizaba un valor máximo de 10 puntos y un valor mínimo de cuatro puntos para la aprobación del examen convencional.
La evaluación solamente de la historia clínica mediante una rúbrica diseñada ad hoc (Figura) estudiaba cinco ítems de la historia clínica y sus distintos contenidos, con una verificación de calidad de cada ítem que oscilaba entre 1 (deficiente) y 4 (excelente): la calificación máxima que se podía obtener era de 20 puntos, y la mínima, de 12 para aprobar la evaluación. Esto sirvió para comparar la validez real de esta herramienta dentro de la evaluación de un examen parcial.
Se analizó con pruebas estadísticas (t de Student, χ2) una vez establecido el tamaño muestral necesario para dos variables continuas mediante el programa informático PECM; además, se usaron la prueba de χ2 y la prueba de correlación de Pearson entre la calificación de la rúbrica y la nota final del examen parcial convencional con aceptación de una diferencia significativa para p ≤ 0,05.
La fiabilidad (o consistencia) en la evaluación de una historia clínica simulada mediante la rúbrica se midió con el coeficiente α de Cronbach [8], con el procedimiento de la matriz de correlación de los ítems, que varía de 0 a 1.
Resultados
El mínimo determinado exigible del tamaño muestral fue de 14 participantes (error α: 0,05; error β: 0,2; desviación estándar: 2; diferencia para detectar: 3), con un número real comprobado de 37 y un análisis total de 37 historias clínicas simuladas. En la tabla II figuran todos los casos observados.
En los 37 casos analizados, la nota calificadora de la rúbrica se llama nota 1, con un valor máximo de 20 para cada caso analizado en la totalidad de los cinco ítems; la nota calificadora convencional de la historia clínica se denomina nota 2, con un valor máximo de 6; y, por último, la nota final calificadora del examen parcial se llama nota 3, con un rango de 0 a 10 (Tabla III).
]]>
Al analizar los datos descriptivos (Tabla III), se aprecia que el valor medio de la evaluación convencional de la historia clínica (3,7 de 6; 61%) es ligeramente superior al de la rúbrica (10,22 de 20; 51%), pero su influencia es mayor en el contexto de la totalidad del examen parcial convencional (6,89 de 10; 68%). Estos hallazgos se ratificaban al examinar la nota de la rúbrica (nota 1) frente a la nota exclusivamente de la historia clínica en cuanto a su valor dentro del examen parcial (nota 2), que mediante la prueba de la t de Student (t = 23,17; p ≤ 0,001) comprobaba diferencias estadísticamente significativas.
Al comparar la nota de la rúbrica (nota 1) frente a la nota final calificadora del examen parcial (nota 3), también mediante la prueba de la t de Student (t = 13,37; p ≤ 0,001), había diferencias estadísticamente significativas.
Al considerar la nota de la rúbrica con la nota final del examen parcial convencional para determinar la existencia de correlación (prueba de correlación de Pearson) se observó que existe una correlación positiva aceptable (r = 0,789) y con alta significación estadística (p ≤ 0,0001).
Al usar la prueba de χ2 (Tabla IV) se advirtió que el número de aprobados con la utilización de la rúbrica como método evaluatorio era menor que al utilizar la evaluación convencional de la historia clínica simulada, con significación estadística (χ2 = 6,559; p ≤ 0,01).
]]> La prueba α de Cronbach determinó un valor de 0,73 (aceptable).
Discusión
Una evaluación tiene una finalidad formativa cuando su objetivo principal consiste en proporcionar a los estudiantes una retroalimentación sobre su aprendizaje y facilitar de esta manera una reflexión sobre su progreso en el complejo proceso educativo. Por consiguiente, dentro del difícil proceso del planeamiento educativo, una de las herramientas que se deben usar para evitar la subjetividad del docente evaluador es la simulación en la confección de las historias clínicas referidas a un tema de patología quirúrgica y la utilización de una rúbrica.
Uno de los objetivos que hay que valorar de las competencias técnicas puede ser:
- La capacidad de realizar una historia clínica, con descripción de los hallazgos del examen físico.
- La descripción de los procedimientos diagnósticos complementarios correspondientes que sean adecuados a la patología presente.
- El establecimiento del tratamiento más conveniente y el seguimiento posterior.
Por todo ello, se pueden emplear diferentes métodos, como el uso combinado de exámenes escritos, la evaluación clínica objetiva estructurada o el portafolio, que permiten evaluar y conocer la integración de los conocimientos para un mejor cuidado del potencial paciente.
]]> Dentro del repertorio de utilitarios que ayuden a evaluar y mejorar las actividades prácticas se encuentra la rúbrica [9], que por su fácil diseño y manejo debe empezar a considerarse como una de las respuestas más prometedoras y sencillas para evaluar el cuidado médico real [10], aun con medios electrónicos como Internet [11], cursos a distancia [12] o en trabajos en grupo [13].Pero, ¿qué es una rúbrica? Es un instrumento de evaluación basado en una escala cuantitativa o cualitativa asociada a criterios preestablecidos que miden las acciones de los alumnos sobre aspectos o actividades que deben ser evaluados. Hay rúbricas holísticas (evaluación global del aprendizaje o competencia) y analíticas (focalizan en un área concreta de aprendizaje) [14].
Sin embargo, el uso de la rúbrica como evaluación de una historia clínica simulada no tiene muchos antecedentes en la literatura científica, y la presente investigación apunta a describir, valorar y comparar su utilidad real. Se desarrolló este método de evaluación debido a la inexistencia real de tener 37 pacientes dispuestos a que se les realizase una historia clínica en un momento determinado (el examen parcial); los temas de aprendizaje fueron distribuidos al azar a los 37 alumnos.
Al comparar el valor promedio de la rúbrica (nota 1) sólo con el valor promedio de la evaluación convencional de la historia clínica simulada (nota 2) se demostró que la nota de la rúbrica es ligeramente inferior y se debe en forma indirecta al peso que hay que ponderar en una evaluación convencional sin criterios preestablecidos.
Es necesario también reflexionar acerca de la correlación entre la nota de la rúbrica con la nota final del examen parcial convencional, porque se sobre- o subvalora esa evaluación convencional de la historia clínica simulada y repercute en última instancia en la nota final integrada del examen parcial (nota 3) con un sesgo debido al evaluador, sin reflejar las competencias técnicas adquiridas realmente: a mayor nota de la rúbrica, mayor nota final, y viceversa.
Del mismo modo, llamó la atención que el número de aprobados con la utilización de la rúbrica era menor que al usar la evaluación convencional de la historia clínica simulada (Tabla IV), lo que podría deberse a que los docentes se basaban exclusivamente en su experiencia profesional individual. Al atenerse a un patrón de criterios bien definidos, la rigidez del sistema sólo permite concluir si se cumplen o no los criterios establecidos, y se deja de lado el factor subjetivo del evaluador.
La rúbrica tiende a justipreciar el valor real de una evaluación y disminuye la subjetividad del evaluador, ya que sólo hay que atenerse a describir en cada nivel de desempeño si se cumple con lo que ese nivel marca. Al definir los criterios a medir se ponderan los niveles de logro alcanzados que permiten comprender si se lograron las competencias técnicas establecidas en el programa educativo.
La novedad en esta investigación fue usar un método de simulación sin pacientes calificado por un método no usado frecuentemente, la rúbrica, y su comparación con una evaluación convencional.
Para establecer si el uso de esta herramienta calificadora era susceptible de usarse en otros grupos o momentos, se buscó la consistencia mediante su estimación con la prueba α de Cronbach, que comprobó que este método era fiable y aceptable y, por tanto, un instrumento preciso y válido [15] para la evaluación de una historia clínica simulada.
La rúbrica es un elemento calificador que proporciona apreciaciones de distintas habilidades combinadas para un correcto y objetivo cálculo con el menor sesgo posible. Es un instrumento favorecedor del aprendizaje de competencias y de la consolidación de esos aprendizajes, en este caso, de una historia clínica simulada. Es una rúbrica de evaluación de contenido que responde a los temas que se deben cubrir al realizar una historia clínica de pacientes con patología torácica quirúrgica no cardiovascular. Resulta de fácil uso, permite realizar varias de estas valuaciones y estimar el proceso formador de enseñanza-aprendizaje; también describe los diferentes niveles de desempeño que se deben obtener y la forma de su evaluación. Es flexible, ya que se puede hacer en distintos contextos, sin o con pacientes, de bajo costo económico de recursos y tiempo, y además uniforma el método de evaluación para discriminar por igual a todos los educandos. Se puede perfeccionar al ajustar en la práctica cotidiana hasta encontrar el justo valor de la evaluación deseada. Como claras desventajas están la subjetividad si existe un solo evaluador, con distorsión de los cuestionarios de rúbrica, sesgos de selección e interpretación que originan errores de evaluación.
]]> Por otra parte, el aprendizaje mediante historias clínicas simuladas sobre temas de la patología quirúrgica, en este caso torácica no cardiovascular sin la presencia de pacientes, puede mejorar la formación de los estudiantes en el pregrado si además se agrega y utiliza esta forma simple de evaluación con mínimos sesgos del evaluador. Los cursos basados en la práctica clínica [16] ofrecen una excelente oportunidad de aprendizaje, y esta particular forma (realizar historias clínicas sin pacientes) tiene como ventaja disminuir el estrés de la entrevista clínica y ser una transición exitosa entre el papel del estudiante y la inminencia de una competencia y actitud profesionales. Se evalúa de esta forma una transferencia del aprendizaje a un futuro lugar de trabajo donde la historia clínica es una herramienta fundamental en la atención sanitaria personalizada.Usar una rúbrica de evaluación para la presentación de una historia clínica simulada sobre un caso virtual facilita la evaluación docente y, a su vez, permite establecer las áreas donde el alumno necesita más apoyo. Asimismo, el estudiante podrá admitir las áreas que deben ser fortalecidas mediante su estudio a través de lecturas de textos, artículos o solicitando al profesor demostraciones de otros procesos clínicos. Además, como factor importante a tener en cuenta, elimina la incertidumbre que posee el alumno sobre la forma en que es evaluado.
La limitación de esta investigación, y por ende su debilidad, es que no hay en la bibliografía en educación médica análisis semejantes con las características aquí mencionadas (rúbrica evaluadora de historia clínica simulada): los resultados obtenidos pueden servir exclusivamente a la cohorte observada. No se hizo en la misma cohorte un nuevo análisis sobre temas quirúrgicos diferentes o evaluados por otros docentes, como tampoco si los alumnos preferían este método, al no hacerse una encuesta de validación por parte del estudiantado.
En conclusión, la rúbrica como instrumento de evaluación de una historia clínica simulada sin pacientes tiene un elevado grado de validez y fiabilidad debido a los criterios preestablecidos para una evaluación objetiva y efectiva, aunque el modelo aquí propuesto sea uno de experimentación en un mismo grupo de alumnos. Nuevos estudios en grupos mayores y de otras facultades (estatales y privadas) quizás logren ratificar (o no) lo aquí demostrado.
Bibliografía
1. Rodríguez-Díez MC, Beunza JJ, López-Del Burgo C, Hyder O, Civeira-Murillo MP, Díez N. Aprendizaje de la historia clínica con pacientes simulados en el grado de Medicina. Educ Med 2012; 15: 47-52. [ Links ]
2. Borracci RA, Arribalzaga EB. Estilos de aprendizaje de Kolb en estudiantes de grado de medicina. Medicina (B Aires) 2015; 75: 73-80. [ Links ]
]]>3. Tripodoro VA, De Simone GG. Nuevos paradigmas en la educación universitaria. Medicina (B Aires) 2015; 75: 113-8. [ Links ]
4. Palés-Argullós JL, Gomar-Sancho C. El uso de las simulaciones en educación médica. TESI 2010; 11: 147-69. [ Links ]
5. Borracci RA, Arribalzaga EB. Análisis de los instrumentos de evaluación. Revista Argentina de Cirugía 1994; 66: 52-7. [ Links ]
6. Ruiz-Moral R, Salido-Morales I, Aguado-Taberné C, Pérula de Torres LA, Alba-Dios A, Guerra-Pasadas F. Programa para ayudar a estudiantes de tercer año a integrar el contenido y la forma en la realización clínica. Educ Med 2012; 15: 53-61. [ Links ]
7. Arribalzaga EB. Enseñanza de la cirugía torácica en el pregrado. Planeamiento, conducción y evaluación (tesis doctoral). Córdoba, Argentina: Universidad Nacional de Córdoba; 1992. [ Links ]
]]>8. Hernández-Sampieri R, Fernández-Collado C, Baptista-Lucio P. Metodología de la investigación. México DF: McGraw-Hill Interamericana; 1998. [ Links ]
9. Mertler CA. Designing scoring rubrics for your classroom. Practical Assessment, Research and Evaluation 2001; 7: 1-10. [ Links ]
10. Hales B, Terblanche M, Fowler R, Sibbald W. Development of medical checklist for improved quality of patient care. Int J Qual Health Care 2008; 20: 22-30. [ Links ]
11. Torres-Gordillo JJ, Perera-Rodríguez VH. La rúbrica como instrumento pedagógico para la tutorización y evaluación de los aprendizajes en el foro online en educación superior. Pixel-Bit Revista de Medios y Educación 2010; 36: 141-9. [ Links ]
12. Roblyer MD, Wiencke WR. Design and use of a rubric to assess and encourage interactive qualities in distance courses. American Journal of Distance Education 2003; 17: 77-97. [ Links ]
]]>13. Merino EC. Una propuesta de evaluación para el trabajo en grupo mediante rúbrica. Escuela Abierta 2011; 14: 67-81. [ Links ]
14. Moskal BM. Scoring rubrics: what, when and how? Practical Assessment, Research and Evaluation 2000; 7. [ Links ]
15. Carvajal A, Centeno C, Watson R, Martínez M, Sanz-Rubiales A. ¿Cómo validar un instrumento de medida de la salud? An Sist Sanit Navar 2011; 34: 63-72. [ Links ]
16. Sinha SN, Page W. Interns' day in surgery: improving intern performance simulation-based course for final year medical students. ANZ J Surg 2015; 85: 27-32. [ Links ]
]]>
Dirección para correspondencia: Conflicto de intereses: El autor declara no tener conflicto de interés alguno.
Recibido: 02.09.15. ]]> Aceptado: 08.09.15.
]]>