Moderador: Josep Carreras Barnés. Barcelona.

Sábado 25 de octubre - 11.30 horas
Aula Pittaluga

Modelos, procedimientos e instrumentos de evaluación
de la actividad docente

José González Such

Grupo de Evaluación y Medición, Departamento de Métodos de Investigación y Diagnóstico en Educación.
Universitat de Valencia (UVEG).

La búsqueda de la calidad es una constante en nuestro país desde hace unos años, y en especial en el sistema universitario. Dentro del sistema educativo se ha puesto de relieve en muchas ocasiones la interrelación existente entre distintos factores, que afectan directamente a la calidad (De Miguel, 1994¹; De la Orden, 1995²; García Ramos y Congosto Luna 2000³; Cantón et al., 2001⁴, citados en Abalde et al, 2002⁵. El sistema universitario no puede, por tanto, dejar de ser uno de los focos sobre los que se incide en esta búsqueda de la calidad. Los Planes Nacionales de Evaluación de la Calidad Universitaria se centran en este aspecto. Indudablemente, desde cualquier óptica, la docencia universitaria es uno de los pilares básicos sobre los que se sustenta esta calidad. La actividad docente se considera una actividad compleja, y en muchas ocasiones conflictiva. Prueba de ello es la ausencia de una solución plenamente satisfactoria entre las experiencias realizadas (Abalde et al, 2002⁵).

No obstante, aún considerando la complejidad aludida de la función docente, numerosos autores han intentado definir cuáles son sus características fundamentales y las implicaciones que ello tiene para la evaluación (González Such, 1998)⁶. Hernández y Sarramona (2002⁷: 559) indican que parece existir un acuerdo en considerar que es "una ocupación polivalente, que incluye valores, principios morales, además de habilidades didácticas y conceptuales". Tejedor (2003⁸:176) señala que la "evaluación del profesorado es un proceso que debe orientarse fundamentalmente a la estimación del nivel de calidad de la enseñanza a fin de contribuir progresivamente a su mejora. (...) El proceso de evaluación debe concebirse igualmente como estrategia adecuada para fundamentar la investigación sobre el proceso de enseñanza-aprendizaje en el ámbito universitario, en cuyos resultados deberían basarse las pautas sugeridas para la necesaria innovación metodológica."

Jornet (1991)⁹ establece una diferenciación entre tipos de Planes de Evaluación de la Docencia tomando en consideración tres dimensiones desde las que situar los principales enfoques de la evaluación universitaria, junto con los polos de referencia que origina:

a) Control de la evaluación. Quién promueve y/o desarrolla y/o utiliza la evaluación. Externo/interno.

b) Objeto de la evaluación. Qué se evalúa. Macroanalíticos/microanalíticos, Molar/molecular.

c) Finalidad de la evaluación. Propósito, utilización y objetivo de la evaluación. Formativo/sumativo.

Partiendo de estas dimensiones, Jornet (1991)⁹ y Jornet et al (1996)¹⁰ identifican tres grandes enfoques: a) Institucionales, b) De Programa y c) De Profesorado, cada uno de los cuales tiene, a su vez, dos finalidades (Formativo-mejora, Sumativo-Rendición de cuentas):

a. Enfoques Institucionales. Orientados hacia el concepto de Calidad Educativa. Se pretende medir la actuación global de la Universidad y los servicios y/o programas y/o los profesores, en función de del tipo de objetivos y la finalidad de la evaluación. Pueden ser formativos, sumativos y mixtos, dependiendo de la finalidad. En los formativos (de Autorrevisión) las fuentes de información para la evaluación se basan en el análisis conjunto entre la unidad evaluada y un equipo técnico de expertos o colegas de los datos que reflejen la acción institucional: organización, aprovechamiento de recursos, etc. Las técnicas son variadas y los indicadores diversos: cuantitativos, de carácter económico o estructural, y cualitativos, contextualizando la realidad. Pueden entenderse como un marco de trabajo.

Respecto a los Enfoques Institucionales de Rendición de Cuentas, su finalidad puede ser variada, dependiendo de los promotores de la evaluación y del tipo de universidades sobre las que se desarrolla (públicas/privadas). Los fines están vinculados al tipo de decisiones sobre la planificación, mantenimiento/desarrollo de instituciones, distribución de los recursos, etc. Los esquemas de trabajo están vinculados a la valoración de indicadores de resultados buscan el análisis el grado de consecución de objetivos instituciones concretos o la utilidad global del producto institucional. Las fuentes de información son múltiples: bancos de datos de la propia universidad, informes de expertos, etc.

b. Enfoques de Programas. Está referido a un acercamiento evaluativo de aplicación general a distintos ámbitos de evaluación. Las fuentes de información suelen ser las de cualquier evaluación de la docencia, integradas y contextualizadas para que pueda darse un imagen global del mismo. Se sustentan en la selección de indicadores (modelo CIPP, u otro tipo de estrategias). De Miguel (1991) proporciona un modelo de selección de variables a partir del modelo CIPP.

c. Enfoques centrados en el profesor. Focalizan la evaluación en la función docente desarrollada por el profesor, pueden estar orientados al desarrollo profesional o a la rendición de cuentas. Al requerir la participación activa del profesor el proceso de actuación de la institución se orienta a la sensibilización del profesorado. Los enfoques de Rendición de Cuentas requieren un proceso de institucionalización complejo.

Con todo, y siguiendo a Mateo (2000:11)¹⁰ asumimos que "no es posible plantearse un verdadero proceso de mejora de la calidad que ignore las demandas individuales", hemos de combinar el desarrollo institucional con el individual para obtener resultados. La participación del profesorado en el proceso de evaluación presenta un valor formativo, facilitando la coordinación de las actuaciones, la construcción de una visión unitaria del centro y la creación de una cultura institucional común (Mateo, 2000)¹¹.

Algunas de las debilidades de la evaluación de la calidad en la universidad española, entre las que señalan el retraso de la universidad española con respecto a países de nuestro entorno (De Miguel, 1999¹²: 105, Gutiérrez 2000¹³: 2, citados en Rodríguez y Gutiérrez, 2003¹⁴). Entre ellas, la primera debilidad es la "falta de información que existe respecto a los instrumentos de recogida de información que deberían ser utilizados en el proceso de evaluación de las universidades". Los indicadores están claramente diferenciados, aunque no se indica los instrumentos y las metodologías a utilizar (Rodríguez y Gutiérrez, 2003¹⁴).

Recientemente, Tejedor (2003)⁸ pone de manifiesto la existencia de dificultades en las prácticas de la evaluación institucional, entre ellas las relacionadas con valoraciones específicamente adaptadas al contexto y homologadas al mismo tiempo por la comunidad académica y social, la necesidad de la correcta realización de las prácticas evaluativas, o el rol estratégico de un sistema de evaluación.

De igual forma, Tejedor (2003:157)⁸ realiza una reflexión sobre distintos aspectos que requiere la puesta en marcha de un sistema de evaluación del profesorado, que pensamos que sintetizan muy bien el proceso de puesta en marcha de un plan de evaluación docente.

Para la construcción de un sistema de evaluación del profesorado se deberán tener en cuenta las siguientes acciones (Stronge, 1997¹⁵, citado en Mateo, 2000: 13)¹¹:

a. "Establecimiento de objetivos mutuamente beneficiosos.

b. Enfatización de la comunidad sistemática.

d. Garantía en la aplicación técnica del sistema evaluativo.

e. Uso de múltiples fuentes de datos."

Por otra parte, Mateo (2000)¹¹ diferencia cuatro fases en el proceso de diseño de un sistema de evaluación del profesorado: De ideación, de desarrollo, de implementación y la fase metaevaluativa, con distintos momentos en cada una de estas fases.

Fuentes e instrumentos de recogida de información

Se revisan los componentes implicados en las distintas fuentes de recogida de información sobre evaluación del profesorado: Rendimiento de los estudiantes; evaluación por iguales; autoevaluación; evaluación por expertos; evaluación por administradores o superiores; exalumnos; el clima de clase; materiales; productividad investigadora; informes: notas, matriculados, etc. o el portafolio docente.

De cada una de estas fuentes podremos obtener información mediante distintos instrumentos, entre los que se encuentran los cuestionarios, la observación, los registros académicos, las pruebas de rendimiento, pruebas estandarizadas o no estandarizadas, los comentarios escritos, los grupos de discusión, los materiales utilizados por el profesor, etc.

Respecto a la fiabilidad y la validez de los distintos instrumentos, creemos que es un campo excesivamente amplio, y teniendo en cuenta que los instrumentos más utilizados son los Cuestionarios de Evaluación de la Docencia por parte los estudiantes en los sistemas de evaluación de tipo sumativo o mixtos, nos vamos a centrar fundamentalmente en ellos.

Fiabilidad y validez de los Cuestionarios de Evaluación de la Docencia

En esta presentación analizamos las distintas definiciones de fiabilidad -como estabilidad, como consistencia interna...-, y distintos procedimientos para estimarla aplicados a los cuestionarios de evaluación por estudiantes (pares de estudiantes, fiabilidad intraclase, análisis de ítems, etc.).

Los diferentes factores que pueden influir en las evaluaciones de los estudiantes pueden ser clasificados de la siguiente forma (Shapiro, 1990¹⁶; Haladyna y Hess, 1994¹⁷):

A) Variables de estudiantes

Disposición hacia el profesor.

Sexo.

Curso.

Nota esperada.

Rendimiento anterior.

Personalidad.

B) Condiciones docentes

Optatividad/obligatoriedad.

Asignatura/ Departamento. Area de contenido.

Dificultad/facilidad de la Asignatura.

Formato temporal de la Asignatura.

Interés previo por la Asignatura.

C) Características del profesor.

Relación con los alumnos.

Personalidad del profesor.

Estudios de laboratorio. El efecto Dr. Fox.

Rango académico.

Edad.

Sexo y Rol sexual.

Productividad investigadora.

D) Factores de procedimiento.

Propósito de las EE.

Confidencialidad de las EE.

Presencia del profesor en el aula.

Tiempo de administración.

Frecuencia de administración.

Bibliografía

1. De Miguel et al. Evaluación para la calidad de los Institutos de Educación Secundaria. Madrid. Escuela Española. 1994.         [ Links ]

2. De la Orden, A. "Hacia un modelo sistémico para la evaluación de la calidad universitaria". Revista Galega de Psicopedagoxía. 1995. 6. 147-162.         [ Links ]

3. García Ramos, J. M. y Congosto Luna, E. . "Evaluación y Calidad del Profesorado". En GONZÁLEZ RAMÍREZ, T. (Coord.). Evaluación y Gestión de la Calidad Educativa. Un Enfoque Metodológico. Ed. Aljibe. Málaga, 2000. 127-157.         [ Links ]

4. Cantón, I. (coord..) La Implantación de la Calidad en los Centros Educativos. Una perspectiva aplicada y reflexiva. Madrid, CCS, 2001        [ Links ]

5. Abalde, E.; Muñoz, J.M. y Ríos, M.P.: Evaluación docente vs. Evaluación de la calidad. Ponencia del IIIer Congreso Virtual de AIDIPE. 2002 16-31 octubre.         [ Links ]

6. González Such, J.: Evaluación de la docencia universitaria. Valencia: Autor. 1998.         [ Links ]

7. Hernández, M. y Sarramona, J.: La autoevaluación docente. Una propuesta para la formación profesional. Bordón 2002, 54, 4, 559-575.         [ Links ]

8. Tejedor, F.J.: "Un modelo de evaluación del profesorado universitario". Revista de Investigación Educativa 2003, 21, 1, 157-182.         [ Links ]

9. Jornet, J.M.: Réplica a la Ponencia Enfoques modélicos de Evaluación de la Docencia Universitaria. Documento presentado en III Jornadas Nacionales de Didáctica Universitaria "Evaluación y Desarrollo Profesional", Las Palmas de Gran Canaria, 1991, 23-26 de septiembre.         [ Links ]

10. Jornet, J.M.; Suárez, J.M.; González Such, J. y Pérez Carbonell, A.: "Evaluación de la Actividad Universitaria", en G. Quintás (ed.): Reforma y Evaluación de la universidad. Valencia: Universitat de Valencia. Col.lecció Educació. Estudis. 1996.         [ Links ]

11. Mateo, J.: "La evaluación del profesorado y la gestión de la calidad de la educación. Hacia un modelo comprensivo de evaluación sistemática de la docencia". Revista de Investigación Educativa 2000, v18, n1, pp 7-34.         [ Links ]

12. De Miguel, M. El Plan Nacional de Evaluación de la Calidad de las Universidades. Problemas y alternativas. Revista Interuniversitaria de Formación del Profesorado, 1999, 34, 99-114.         [ Links ]

13. Gutiérrez, F. Debilidades en la Evaluación universitaria. El País, 2000, 2 de octubre p.38.         [ Links ]

14. Rodríguez, C. y Gutiérrez, J. Debilidades de la evaluación de la calidad en la universidad española. Causas, consecuencias y propuestas de mejora. Revista electrónica de investigación educativa, 2003, 5, 1. Disponible en: http://redie.ens.uabc.mx/vol5no1/contenido-sabiote.html        [ Links ]

15. Stronge, J.H.: Evaluating Teaching. A guide to current thinking and best practice. Thousand Oaks, Ca: Corwin Press, Inc. 1997.         [ Links ]

16. Shapiro, E.G.: Effect of Instructor and class characteristics on students' class evaluations. Research in Higher Education 1990, 31 (2), 135-148.         [ Links ]

17. Haladyna, T. y Hess, R.K.: The detection and correction of bias in student ratings of instruction. Research in Higher Education 1994, 35 (6), 669-687.         [ Links ]