Introducción
La práctica basada en la evidencia (PBE) busca la integración de la mejor información disponible con la experiencia del profesional y las preferencias del paciente [1]; para ejercerla, los profesionales de la salud deben reconocer sus brechas de conocimiento, buscar y evaluar la evidencia disponible para articularla con su experiencia y, así, poder aplicarla al cuidado de sus pacientes [1].
La bibliografía señala que diferentes estrategias han demostrado ser efectivas para formarse en la PBE, tanto en pregrado como en posgrado [2-6], y que su aprendizaje debe ser transversal a lo largo del plan de estudios [7,8].
Una de las estrategias propuestas en la bibliografía son los tutoriales, ya que aumentan la eficacia y la motivación hacia el aprendizaje autodirigido [7]. Los estudiantes prefieren tutoriales online a clases magistrales por su accesibilidad, facilidad de uso, libertad de navegación y posibilidad de repetición, lo que conduce a una mayor motivación para adquirir el conocimiento y las habilidades clínicas necesarias para la PBE [3,4].
Con el propósito de mejorar la metodología de enseñanza-aprendizaje para la búsqueda eficiente de evidencia de los alumnos de la carrera de odontología de la Pontificia Universidad Católica de Chile, se diseñaron tres cápsulas de autoaprendizaje. A continuación, se relatan los resultados del primer año de aplicación de esta metodología.
Sujetos y métodos
Intervención
Se diseñaron tres cápsulas de autoinstrucción, las cuales se aplicaron en el primer, quinto y octavo semestre del plan de estudios en modalidad b-learning. Cada cápsula constaba de tres tipos de actividades a realizar:
- Preparación: incluía una clase narrada de introducción, tutoriales de diferentes buscadores, una tarea con evaluación formativa y una encuesta de diagnóstico sobre métodos de búsqueda de información, todo en modalidad on-line.
- Presencial: incluía un taller de una hora de duración, con el fin de practicar lo aprendido en los tutoriales y tener espacio para aclarar dudas.
- Evaluación: incluía una tarea con evaluación sumativa y una encuesta de satisfacción y de cumplimiento de objetivos (pre-post retrospectiva), en modalidad online.
La cápsula 1 se incorporó en un curso del primer semestre y contenía tutoriales sobre el sistema de bibliotecas de la universidad y de los buscadores: Credo Reference, Clinical Key, Google Académico y PubMed. La cápsula 2 se incorporó en un curso del quinto semestre y contenía tutoriales de los buscadores Epistemonikos, Bireme y del gestor de referencias Mendeley. La cápsula 3 se incorporó en un curso del octavo semestre y contenía tutoriales de la herramienta Clinical Queries (de PubMed) y de los buscadores Tripdatabase y Biblioteca Cochrane. Las tareas de las tres cápsulas estuvieron incluidas en el esquema de evaluación de los cursos.
Los tutoriales relacionados con la búsqueda de información de las bases de datos tenían una duración de 5 a 7 minutos; fueron desarrollados (planificación y ejecución) por el equipo de bibliotecas y grabados en el Medialab del Centro de Desarrollo Docente de la universidad.
Se realizó una evaluación diagnóstica sobre métodos de búsqueda de información en la que se preguntó a los alumnos de primer semestre: ‘¿dónde busca información para realizar sus tareas?’, ‘¿cuál o cuáles de estas alternativas pueden ser consideradas como una fuente fiable para obtener información (Google, Google Académico, Wikipedia, página web de clínica privada, página web o blog de un médico o dentista, página del colegio de dentistas o página web de una empresa del ramo)?’ y ‘¿qué herramientas conoce de Googlé’. A los alumnos de quinto y octavo semestre se les preguntó: ‘¿dónde busca información para realizar sus tareas?’, ‘¿sabe qué es un gestor de referencia?’ y ‘¿conoce algunó’.
Se implementó una encuesta de satisfacción para los tutores de las cápsulas, en la que se les preguntó sobre su satisfacción con la metodología utilizada y con los contenidos incluidos.
Se ejecutó una evaluación sumativa que consistió en una tarea con un caso clínico estandarizado del que se derivaba una necesidad de búsqueda de información. Los alumnos debían formular una pregunta de preparación o acción (preparación los de primer semestre y acción los de quinto y octavo semestre), diseñar y ejecutar una estrategia de búsqueda y responder la pregunta formulada con los artículos encontrados.
Por último, se realizó una encuesta de satisfacción donde se preguntó por la importancia de la actividad para la formación profesional, la aplicabilidad de los contenidos y la satisfacción con la metodología utilizada, aplicando una escala tipo Likert con cinco opciones. En esta encuesta se preguntó, en texto libre, por aspectos positivos y por mejoras de cada cápsula.
Análisis estadístico
Se analizaron los resultados de la aplicación de las tres cápsulas en los niveles 1 y 2 del modelo de evaluación de programas Kirkpatrick (reacción y aprendizaje). El nivel de reacción se midió utilizando la encuesta de satisfacción online aplicada al terminar cada cápsula. El nivel de aprendizaje se midió utilizando las calificaciones obtenidas por los alumnos en la actividad con evaluación sumativa de cada cápsula y por medio de un cuestionario pre-post retrospectivo, que se aplicó posteriormente a cada sesión.
Se analizó la repuesta por alumno y se observó frecuencia de diferencias positivas, negativas y empates. Además, se revisó la similitud entre los resultados pre y post, por medio de la prueba de rangos con signo de Wilcoxon para muestras relacionadas.
Resultados
Las cápsulas se aplicaron el primer y segundo semestre de 2018 a 218 alumnos (cápsula 1: 87 alumnos; cápsula 2: 68 alumnos; cápsula 3; 63 alumnos).
La evaluación diagnóstica fue respondida por el 100% de los alumnos de primer semestre, el 98% de los alumnos de quinto semestre y el 95% de los alumnos de octavo semestre.
Los alumnos de primer semestre tienen Google como principal fuente de información; en el quinto semestre recurren a Google Académico, y en el octavo, a PubMed (sin conocer herramientas o filtros específicos). En ninguno de los cursos se reportó conocimiento ni uso de gestores de referencia bibliográficos.
Reacción
La tasa de respuesta de la encuesta de satisfacción varió entre el 63% y 100%. Como se observa en la tabla I, la mayoría de los alumnos de todos los cursos considera la actividad importante o muy importante; los contenidos, aplicables o muy aplicables, y la metodología, buena o muy buena.
Tasa de respuesta | Actividad | Contenidos | Metodología | |
---|---|---|---|---|
Primer semestre | 80% | 97%a | 98%b | 97%c |
| ||||
Quinto semestre | 100% | 100%a | 98%b | 97%c |
| ||||
Octavo semestre | 63% | 94%a | 96%b | 95%c |
aImportante o muy importante;
bAplicable o muy aplicable;
cBuena o muy buena.
En la encuesta de satisfacción se preguntó por aspectos positivos y por mejoras de cada cápsula. En todos los cursos (primer, quinto y octavo semestre) se señalaron como aspectos destacados la calidad del material instruccional y la duración de los tutoriales, la posibilidad de descargarlos, los ejemplos claros, la posibilidad de aplicación inmediata y no tener que trasladarse de campus para aprender. Dentro de los aspectos a mejorar, todos los cursos señalaron la necesidad de más tiempo para aclarar dudas y de instrucciones más precisas para las actividades; en los cursos de quinto y octavo semestre se agregaron como aspectos a mejorar que la cápsula se aplique antes en la carrera y la necesidad de más tutoriales de buscadores por cada cápsula. El 100% de los tutores de las tres cápsulas se mostraron satisfechos con la metodología utilizada y los contenidos incluidos.
Aprendizaje
La tasa de respuesta de la tarea con evaluación sumativa varió entre el 98% y 100%. El 100% de los alumnos aprobó la actividad (nota superior a 4,0). La media de la calificación fue de 6,5 (rango: 4,5-7,0) para la cápsula 1, 6,8 (rango: 6,1-7,0) para la cápsula 2 y 6,7 (rango: 5,1-7,0) para la cápsula 3.
La tasa de respuesta de la encuesta pre-post retrospectiva varió entre el 57% y 80% de los alumnos. El promedio de percepción de alcance de objetivos de cada cápsula fue del 72% para la cápsula 1, 80% para la cápsula 2 y 84% para la cápsula 3. En la prueba de rangos con signo de Wilcoxon para muestras relacionadas, las preguntas de las encuestas poseen en mayor proporción diferencias positivas (p = 0,00). Los resultados se observan en la tabla II.
Tasa de respuesta | Objetivos | Diferencias negativas | Empate | Diferencias positivas | Diferencia pre-post | p | |
---|---|---|---|---|---|---|---|
Primer semestre | 80% (n = 70) | Elaborar una pregunta de preparación para la búsqueda de información | 2 | 1 | 67 | 30,2% | 0,00 |
| |||||||
Diseñar una estrategia de búsqueda para una pregunta | 2 | 0 | 68 | 34,3% | 0,00 | ||
| |||||||
Utilizar las guías temáticas de la biblioteca de la universidad para buscar recursos | 0 | 1 | 69 | 48,8% | 0,00 | ||
| |||||||
Utilizar PubMed como herramienta de búsqueda | 0 | 0 | 70 | 59,6% | 0,00 | ||
| |||||||
Ejecutar la estrategia de búsqueda | 1 | 0 | 65 | 43,7% | 0,00 | ||
| |||||||
Citar la bibliografía utilizando la normativa Vancouver | 0 | 0 | 70 | 45,2% | 0,00 | ||
| |||||||
Quinto semestre | 83% (n = 57) | Elaborar una pregunta de acción para la búsqueda de información | 2 | 1 | 54 | 43,8% | 0,00 |
| |||||||
Diseñar una estrategia de búsqueda para una pregunta | 2 | 0 | 55 | 54,1% | 0,00 | ||
| |||||||
Utilizar Epistemonikos como herramienta de búsqueda | 1 | 0 | 56 | 62,8% | 0,00 | ||
| |||||||
Utilizar Bireme como herramienta de búsqueda | 0 | 0 | 57 | 62,7% | 0,00 | ||
| |||||||
Ejecutar la estrategia de búsqueda | 0 | 0 | 57 | 60,7% | 0,00 | ||
| |||||||
Citar la bibliografía utilizando la normativa Vancouver | 1 | 4 | 52 | 43,9% | 0,00 | ||
| |||||||
Utilizar un gestor para administrar las referencias bibliográficas | 0 | 0 | 57 | 70,6% | 0,00 | ||
| |||||||
Octavo semestre | 67% (n = 36) | Elaborar una pregunta de acción para la búsqueda de información | 0 | 3 | 33 | 40,3% | 0,00 |
| |||||||
Diseñar una estrategia de búsqueda para una pregunta | 0 | 2 | 34 | 50,7% | 0,00 | ||
| |||||||
Utilizar Clinical Queries de PubMed para buscar recursos | 0 | 0 | 36 | 49,7% | 0,00 | ||
| |||||||
Utilizar Tripdatabase para buscar recursos | 1 | 2 | 33 | 66,9% | 0,00 | ||
| |||||||
Utilizar la Biblioteca Cochrane para buscar recursos | 0 | 0 | 36 | 64,6% | 0,00 | ||
| |||||||
Ejecutar la estrategia de búsqueda | 1 | 0 | 35 | 64,0% | 0,00 | ||
| |||||||
Utilizar un gestor para administrar las referencias bibliográficas | 0 | 2 | 34 | 65,4% | 0,00 |
Discusión
Es importante que los alumnos de carreras del área de la salud aprendan cómo realizar la PBE, ya que los beneficios se trasladarán a sus pacientes [9-11]. La introducción temprana de principios de PBE resulta posible [12,13], pero es necesario que su aprendizaje sea gradual, sensible a las necesidades del alumno [4 5-6,14] y que se realice de manera longitudinal en el plan de estudios [15,16]. No obstante, la evidencia señala que existe una falta de currículos con inclusión de PBE de manera longitudinal [3,4]. Esto respalda la incorporación de las tres cápsulas de autoinstrucción (con nivel creciente de dificultad) de manera longitudinal en el plan de estudios (primer, quinto y octavo semestre), siendo posible aumentar la cantidad de semestres en que se aplican; los cursos del último año son los más adecuados para esto.
Los alumnos valoraron la oportunidad de adquirir habilidades de PBE [13] y están satisfechos con la actividad, lo que es concordante con lo expresado por la evidencia; además, prefieren los tutoriales online a las clases tradicionales [8,12]. Los profesores también estaban satisfechos con la actividad, lo que también ha sido reportado por la bibliografía [12].
La bibliografía señala que el autorreporte de eficacia no es un método válido para evaluar las habilidades de PBE y que las tareas de aplicación calificadas por un instructor tienen una mayor validez [17]; por esta razón, la metodología escogida para evaluar el aprendizaje de los alumnos fue una tarea de aplicación, que tuvo una alta adhesión (muy probablemente debido a que era de carácter sumativo), con muy buenas calificaciones. Además, los alumnos reportaron un alto nivel de aprendizaje por medio de la encuesta pre-post retrospectiva. Estos datos coinciden con la bibliografía, que señala un aumento del conocimiento después de un taller de PBE [2,18-20] y de la revisión de tutoriales online [4,13,21].
A pesar de que el aprendizaje de PBE en el aula, fuera del contexto real, puede dificultar la transferencia de la habilidad a entornos reales y propiciar un aprendizaje descontextualizado [3], nuestros alumnos perciben alta eficacia, por lo que sería de interés estudiar su transferencia a largo plazo.
La bibliografía reporta que la inclusión de un profesional bibliotecario en el equipo es beneficioso para el aprendizaje de los alumnos, pues se incorporan las experiencias del docente y la del especialista, que genera el uso de fuentes de información de mejor calidad en los trabajos de investigación [13].
Se consideraron aspectos importantes para el diseño de las cápsulas la inclusión de un bibliotecario en el equipo [13] y la calidad de los tutoriales, junto con la posibilidad de descargarlos y verlos repetidamente (señalado en la encuesta de satisfacción).
Un aspecto a mejorar es la necesidad de instrucciones más claras y de más tiempo para aclarar las dudas, por lo que el taller presencial debería tener una duración mayor. Así, podemos concluir que si bien la evidencia señala que los tutoriales online son tan efectivos como la clase magistral [3,4,7,8,21], los alumnos necesitan una actividad presencial, por lo que esta actividad debe continuar con su modalidad blended.