Introducción

En Chile, en el año 2021, la matrícula de primer año de educación superior registró un aumento en 3,7 puntos porcentuales respecto al año anterior. Actualmente, cuenta con 1.204.414 estudiantes, la cifra más alta registrada [¹,²].

Estudios del área especifican factores que afectan al desarrollo de los sistemas universitarios: crecimiento/diversificación de la educación superior, introducción de la lógica de mercado, necesidad de responder a los requerimientos de la globalización y garantía de la pertinencia de la formación impartida en una sociedad del conocimiento, con entornos laborales dinámicos [³-⁶].

El desarrollo de estos factores desembocó en un aumento de la cobertura de la educación superior: América Latina pasó de menos de 300.000 estudiantes en 1950 a cerca de 20 millones en la primera década del siglo XXI [⁷,⁸].

Este contexto acrecentó la necesidad de incorporar sistemas/herramientas para asegurar la calidad de instituciones, carreras y programas con el fin de: a) garantizar el cumplimiento de los estándares mínimos de la oferta educativa y el adecuado desempeño laboral de quienes egresan; b) entregar información pertinente y suficiente para la toma de decisiones; c) satisfacer las demandas de los usuarios, y d) crear mecanismos para que las instituciones de educación superior rindan cuenta acerca de su quehacer [⁵,⁹].

Un plan de estudio coherente, diseñado e implementado de forma rigurosa, debe dar como fruto el logro del perfil de egreso. Requiere incorporar hitos de verificación durante la trayectoria formativa y al final de ésta que permitan evaluar dicho proceso [¹⁰-¹²].

La bibliografía describe principalmente dos tipos de monitorización, que no son excluyentes: a) los que se efectúan posteriormente a una innovación curricular para evaluar el impacto de ésta, y b) los que se efectúan para revisar el cumplimiento de resultados de aprendizaje del perfil de egreso, al término del proceso educativo (información de egresados/empleadores) o durante el proceso formativo (información de estudiantes y académicos, en algunos casos), lo que permite hacer ajustes antes del egreso de una cohorte [¹³-¹⁵].

La Universidad Diego Portales cuenta con un sistema de aseguramiento de la calidad que monitoriza planes de estudios implementados después de una actualización/innovación curricular. Considera información del cumplimiento de resultados de aprendizaje del perfil de egreso en distintos momentos de la trayectoria formativa; percepción de académicos, estudiantes y egresados, e indicadores académicos [¹⁶].

Adicionalmente, la Escuela de Odontología desarrolló un mecanismo constituido por cuestionarios aplicados a docentes, estudiantes y egresados, con los que se monitorizan asignaturas relacionadas con aprendizajes que van construyendo una competencia del perfil de egreso. Recoge información sobre: a) percepción sobre el nivel en que una asignatura prepara a sus estudiantes (novato, aprendiz avanzado y competente): b) coherencia entre el programa/syllabus de las asignaturas con el plan de estudio; y c) desarrollo de aprendizajes, criterios/instancias de evaluación, metodologías educativas e instrumentos de aprendizaje/evaluación.

Este mecanismo contribuye al diagnóstico de brechas curriculares y permite realizar mejoras que favorecen un transitar formativo coherente con el perfil de egreso.

El objetivo de esta investigación es dar a conocer el mecanismo de monitorización desarrollado por la Escuela de Odontología de la Universidad Diego Portales, que puede replicarse en otras carreras.

Materiales y métodos

Este mecanismo se inicia con la elección de una competencia del perfil de egreso que se va a monitorizar. Se analiza la matriz de tributación para determinar asignaturas y resultados de aprendizaje que permiten la construcción gradual de la competencia en estudio [¹⁷,¹⁸]. Estas asignaturas se denominan ‘asignaturas clave' (Fig. 1).

Figura 1. Etapas del mecanismo de monitorización. Se comienza con la elección de una competencia del perfil de egreso, y se continúa con la revisión de la matriz de tributación, la determinación de las asignaturas clave, el traspaso al formulario de los aprendizaje asociados a la competencia en estudio, la aplicación del instrumento, el análisis de la información, los resultados y las conclusiones. 

Se construyó un cuestionario para recabar información de docentes que participan en las asignaturas clave, y de estudiantes y egresados que las cursaron [¹⁸,¹⁹]. Fue validado por expertos en educación y por una aplicación a un grupo piloto.

Esta monitorización se ha realizado en tres oportunidades. Los resultados obtenidos en la primera aplicación demostraron que el mecanismo aplicado recoge información sustancial, evidenciando algunas falencias en la planificación de las asignaturas, como información desactualizada en programas/syllabus y deficiencias en la retroalimentación de evaluaciones, entre otras.

Para la segunda aplicación se ajustó el instrumento, se agregó una pregunta de respuesta abierta y se sometió al juicio de expertos en educación.

Antes de la tercera aplicación, se realizaron ajustes menores y se aplicó a una pequeña muestra, comprobándose que permitía recabar la información requerida y que podía aplicarse en línea. Se incluyeron grupos focales por cada asignatura clave para indagar en algunos aspectos detectados después del análisis de las encuestas. La revisión del instrumento por diversos agentes y todas las aplicaciones realizadas han validado este mecanismo [²⁰].

Este instrumento consta de cinco ítems, que indagan sobre las siguientes variables (Anexo):

Para la variable 1) se consideraron tres categorías según el esquema de Dreyfus: novato, aprendiz avanzado y competente [²¹,²²] (Fig. 2).

Figura 2. Categorías utilizadas para evaluar el nivel de preparación del estudiantado. Características de los niveles de preparación de estudiantes consultados en el instrumento: novato, aprendiz avanzado y competente. 

Para las variables 2), 3), 4), 5) y 7) se establecieron tres categorías: óptimo, suficiente e insuficiente. Óptimo si entre el 76 y el 100% de los encuestados estaban ‘totalmente de acuerdo' o ‘de acuerdo'; suficiente, entre un 60 y un 75%; e insuficiente, si lo estaban en un porcentaje menor al 60%. Se utilizó de forma arbitraria una escala del 60% debido a que este porcentaje está arraigado en el sistema educativo para determinar el mínimo aceptable de aprobación y una escala acotada discrimina más claramente entre diferentes categorías [²³]. Los criterios para determinar las categorías se muestran en la tabla.

Para la variable 6) no se establecieron categorías. Sólo se buscó identificarlas y cuantificarlas para levantar datos y evidencias de lo transferido por docentes en las aulas.

Actualmente, este cuestionario puede aplicarse de manera presencial o en línea. En ambas modalidades se inicia explicando el propósito de la investigación, la voluntariedad, el anonimato y la confidencialidad de las respuestas, y se solicita consentimiento [²⁴]. Para responder, se entregan unas instrucciones con definiciones de los distintos conceptos mencionados en el cuestionario.

Para la aplicación en línea se envía un correo electrónico con toda la información detallada y el enlace para responder el cuestionario. Se debe considerar acceso a internet y enviar recordatorios para que respondan el instrumento [²⁴-²⁶]. Para la aplicación presencial se recomienda que los encuestados de una misma asignatura respondan en un mismo momento y lugar acondicionado para la actividad.

Los resultados se analizan de manera cuantitativa y cualitativa, complementados con la información de grupos focales sobre la percepción que tienen los participantes respecto a cada variable analizada [²⁷].

Los grupos focales se realizaron en línea por plataforma Zoom, para lo cual se envió una invitación a participar, compartiendo el propósito de la actividad y solicitando el consentimiento para utilizar la información en futuras investigaciones. El promedio de estudiantes por grupo fue ocho y la actividad duró una hora [²⁷-²⁹]. En la primera parte se presentaron objetivos, se recalcó la confidencialidad de las opiniones y se solicitó permiso para grabar; en la segunda parte se realizaron preguntas orientadoras a temas surgidos durante el análisis de las respuestas obtenidas en el instrumento.

Resultados

Los resultados de las tres monitorizaciones efectuadas son los siguientes.

Para la variable ‘Nivel de preparación que obtiene el estudiantado', se espera que en asignaturas de segundo y tercer años adquieran un desempeño, respecto de la competencia del perfil de egreso que se está monitorizando, de nivel novato. Para las asignaturas clínicas de cuarto y quinto años, se espera nivel aprendiz avanzado y que, después de cursar la última asignatura en sexto año, su desempeño sea competente. En los cursos de segundo y tercer años, el 17% de los docentes consideró que debe preparar a los estudiantes en nivel novato, mientras que el 100% de los docentes de cuarto, quinto y sexto años lo hizo en nivel aprendiz avanzado o competente. La opinión del estudiantado es bastante parecida: el 11% considera que en segundo y tercer años deben prepararlos en nivel novato, y el 100% considera que, en las asignaturas de cuarto, quinto y sexto años deben prepararlos en nivel aprendiz avanzado o competente.

En la primera monitorización se evaluaron las asignaturas clave asociadas a prevención/tratamiento de la caries dental, en la cual los estudiantes y docentes reconocieron que se desarrollaba el 91% del total de resultados de aprendizaje del plan de estudio. En la segunda monitorización se evaluaron las asignaturas claves asociadas a prevención/tratamiento de periodontopatías, y el porcentaje de resultados de aprendizaje reconocidos como desarrollados fue del 96,35%. En la tercera monitorización se evaluaron las asignaturas clave asociadas a prevención/tratamiento de endodontopatías, y el porcentaje de resultados de aprendizaje desarrollados fue del 91,5%.

Al respecto de lo mencionado, se evidenciaron algunas brechas levantadas principalmente por estudiantes en relación con:

En estas tres monitorizaciones se evidenció que las asignaturas utilizaban variadas metodologías de aprendizaje. Se registró que las más utilizadas son las clases expositivas, los seminarios, la resolución de casos, los talleres y las tutorías clínicas, lo que da cuenta de las mejoras incorporadas por el cuerpo académico, alineadas con las nuevas directrices educativas para los procesos formativos [³⁰].

También se evidenció que la mayoría de los resultados de aprendizaje se evaluaban y tenían criterios de evaluación definidos. Los más utilizados son las pruebas escritas, las rúbricas, los diarios de registro y las listas de cotejo.

En la última monitorización, además, se evaluó la pertinencia de las metodologías y procesos/instrumentos de evaluación. Los resultados mostraron que entre el 76 y el 100% consideraban adecuadas las metodologías de aprendizaje, actividades/instrumentos de evaluación para cada resultado de aprendizaje en estudio. Gracias a los grupos focales se obtuvo un mayor detalle de las variables que no se evaluaron tan bien, como, por ejemplo:

Estos resultados se pusieron a disposición de las unidades de gestión, lo que permitió realizar ajustes de manera oportuna. El informe a los docentes de las asignaturas monitorizadas ha permitido efectuar modificaciones en los programas. La incorporación de todas estas acciones ha generado un círculo virtuoso y ha contribuido a la mejora de la calidad del plan de estudio.

Discusión

El mecanismo descrito corresponde a los que se efectúan para revisar el logro de competencias del perfil de egreso durante el proceso formativo, permitiendo hacer ajustes antes del egreso de una cohorte. Es una medición indirecta, porque se realiza después de una experiencia educativa y permite revisar todos los aprendizajes vinculados con la competencia del perfil de egreso que se está evaluando [¹⁰,¹³,³¹].

Otras monitorizaciones evalúan el cumplimiento del perfil de egreso sólo a egresados y empleadores. Ésta recoge información de docentes, estudiantes, egresados en distintos niveles del proceso formativo y con técnicas de recopilación diversas, lo que favorece un proceso más participativo [¹⁰, ¹³,³¹].

Dado que las competencias del perfil de egreso se construyen gradual y sistemáticamente en un período de tiempo, es importante considerar el desempeño esperado del estudiantado en los distintos niveles. Este mecanismo permite constatar si docentes y estudiantes comprenden en qué nivel de desarrollo de la competencia se encuentran, de acuerdo con la ubicación de la asignatura en la malla curricular. El conocimiento de lo que se espera orienta al estudiantado hacia el aprendizaje, motivando su logro [³²-³⁶]. Del mismo modo, el cuerpo docente orienta sus actividades hacia el cumplimiento de metas, incorporando intereses y nivel de preparación del estudiantado [³⁷]. El nivel de desarrollo de los resultados de aprendizaje por el estudiantado también se ha contemplado en otras monitorizaciones [¹⁰,²⁰].

Este mecanismo releva la armonización entre los distintos elementos constituyentes del proceso de aprendizaje (contenidos, resultados de aprendizaje y metodologías de aprendizaje/evaluación) con el fin de garantizar la construcción coherente y permanente de la competencia del perfil de egreso, lo que coincide con mecanismos propuestos por otros autores [²⁰,³⁸].

En esta investigación se evidenció que las asignaturas utilizan variadas metodologías e instrumentos de evaluación coherentes con las diversas maneras de desarrollar los aprendizajes. Es necesario enfatizar que ninguna actividad o instrumento de evaluación puede dar cuenta de todo el proceso de aprendizaje de manera exhaustiva, por lo que se requiere un proceso sistemático en el que la evaluación sea continua e incluya múltiples y variadas actividades que contribuyan a evidenciar el logro de los resultados de aprendizaje, que deben estar acompañadas de tiempos para la retroalimentación con el fin de entregar información detallada y entendible de logros y fortalezas al estudiante, además de las necesidades de mejoras, para orientar su reflexión, motivar su avance y mejorar la calidad del proceso formativo [³⁹].

La información obtenida con este mecanismo contribuye al diagnóstico de brechas en el plan de estudio de distinta magnitud, a la vez que aporta información para realizar cambios que permitan construir un transitar formativo coherente con el perfil de egreso y, a su vez, nutrir el mecanismo institucional.

Conclusión

Para asegurar la calidad en la educación, es esencial contar con sistemas de monitorización que recojan información durante el proceso formativo y consideren la opinión de docentes y estudiantes, quienes son los principales protagonistas de este proceso. Estos contribuyen a:

Los resultados evidencian que el modelo de monitorización se perfila como una instancia que permite transitar desde la reflexión intuitiva a la crítica constructiva y sistemática. Permite obtener datos, juzgar lo transferido por el docente en las aulas, con el fin de tomar decisiones, mejorar el proceso de enseñanza/aprendizaje, realizar ajustes del plan de estudio y entregar información relevante en los procesos de autoevaluación conducentes a la acreditación de las carreras.

El mecanismo y el instrumento expuesto pueden utilizarse en cualquier carrera. Sólo se debe traspasar información de la matriz de tributación a los cuestionarios que se aplicarán en las asignaturas clave seleccionadas, de acuerdo con la competencia del perfil de egreso que se desee evaluar.

Se sugiere sistematizar su aplicación para monitorizar el nuevo plan de estudio que, después del proceso de innovación curricular, se implementará en 2025 y que cuenta con un nuevo perfil de egreso.