Participantes

Los datos corresponden a una muestra incidental de 744 estudiantes de la Universidad Complutense de Madrid que cursan primer año en los grados de Maestro en Educación Primaria (EP) (28%) y Educación Infantil (EI) (19.7%), en los dobles grados de EP con EI o con Pedagogía (18.2%) y el Máster de Formación del Profesorado de Secundaria (MFPS) (34%) con diferentes especialidades. La edad media de 21.13 años (DT = 4.573). El porcentaje de mujeres es del 73.8%.

Instrumento

Se aplicó la versión de ^{Covarrubias (2014)} del Teachers’ Sense of Efficacy Scale - TSES, que adaptan el “Teachers Self Efficacy Scale” (TSES) de ^{Tschannen-Moran y Hoy (2001)}. ^{Covarrubias (2014)} hace una traducción inversa del instrumento original. En la adaptación al español se elige una escala de respuesta de cinco puntos y se aplica a una muestra de profesores chilenos en activo. Los análisis factoriales, exploratorios y confirmatorios, del instrumento adaptado, publicados por ^{Covarrubias y Mendoza (2016)}, avalan, en la muestra hispanohablante utilizada, la adecuación de una medida con cuatro factores y 17 ítems. ^{Covarrubias (2014)} y ^{Covarrubias y Mendoza (2016)} informan de la estructura que emerge en la muestra chilena, que es la siguiente:

Dicha versión en español, reducida a 17 ítems, es la que se utiliza en el presente estudio.

Procedimiento

El instrumento fue administrado de manera presencial por aquellos docentes de grupos que manifestaron su voluntad de colaborar en la investigación. Una vez dadas unas instrucciones generales, los participantes respondieron con consentimiento informado y de manera voluntaria al cuestionario de autoeficacia docente, junto con otras cuestiones sociodemográficas y de alta inferencia relevantes para el estudio.

Análisis estadístico y psicométrico

Para reunir evidencias en torno a la estructura del constructo, y dar respuesta al primer objetivo, tras la comprobación de casos perdidos, de falta de normalidad multivariada mediante el estadístico de curtosis multivariada de Mardia, mediante el estadístico b2 (^{Cain et al., 2017}) y la identificación de casos extremos a través de la estimación de las distancias de Mahalanobis, se calculan los valores de los parámetros de los modelos confirmatorios a partir de una matriz de correlaciones policóricas y el método de estimación de mínimos cuadrados no ponderados robustos (ULSMV) (^{Li, 2014}; ^{Xia, 2016}).

Debido al carácter ordinal de los ítems, la función de enlace es un modelo probit que estima interceptos y umbrales. Estos umbrales señalan el nivel o puntuación necesaria en la dimensión para situarse en las distintas categorías de respuestas, es decir, el primer paso muestra el nivel para indicar la categoría 1 respecto a la 0, el segundo paso la categoría 2 respecto a la 1, y así sucesivamente.

Se han probado tres modelos de medida. El primero replica la estructura original de tres dimensiones de ^{Tschannen-Moran y Hoy (2001)}, el segundo es el modelo de cuatro factores de ^{Covarrubias (2014)} y ^{Covarrubias y Mendoza (2016)} y, el tercero, es el modelo definitivo resultado de este estudio. La composición de ítems y dimensiones se presenta en la Tabla 2.

Tabla 2: Modelos de medida estimados (ítems y factores latentes). 

Las variaciones principales respecto al original tienen que ver con la cuarta dimensión de la estructura de ^{Covarrubias (2014)} y ^{Covarrubias y Mendoza (2016)}, centrada en la atención a las particularidades de los estudiantes utilizando estrategias alternativas de enseñanza (ítem 80), ajustando el nivel (ítem 82), utilizando estrategias de evaluación distintas a las habituales (ítem 84) y ofreciendo desafíos adecuados a los más capaces (ítem 86). En el modelo original de tres dimensiones estos cuatro ítems se encuentran en el factor de eficacia de estrategias de enseñanza-aprendizaje (EA).

La utilización de estrategias de enseñanza y la evaluación alternativa (ítems 80 y 84) en el modelo final propuesto se sitúan en la dimensión de implicación de los estudiantes, junto con el fomento el pensamiento crítico (ítem 71), la motivación a los estudiantes menos interesados (ítem 72) y el fomento de la creatividad (ítem 73).

En el factor de implicación de estudiantes, los tres modelos incluyen los ítems 71, 72 y 74. Además, tanto en el modelo original como en el de ^{Covarrubias (2014)}, en este factor se incluye un ítem relativo a la comunicación con los estudiantes más difíciles (ítem 70). En cambio, en el modelo final, este ítem se sitúa en el factor sobre la eficacia en la gestión del aula, junto con el control del mal comportamiento en clase (ítem 74), el manejo de los estudiantes con mal comportamiento (ítem 79), el evitar que los estudiantes problemáticos interrumpan la clase (81), el manejo de los estudiantes que se enfrentan con el docente (83) y el seguimiento de las normas del centro durante la clase (85).

Los modelos se evalúan mediante chi-cuadrado robusto normalizado (χ² /d.f.), para el que valores por debajo de 5 se consideran aceptables e inferiores a 3 muy buenos. También se utiliza el índice basado en los residuos RMSEA (Root Mean Square Error of Approximation), en el que los valores por debajo de .08 se consideran aceptables y por debajo de .06 óptimos. Finalmente se incluyen los índices CFI (Comparative Fit Index) y TLI (Tucker-Lewis Index), en los cuales un valor por encima de .9 se considera aceptable y por encima de .95 bueno. Como evidencia de validez, es suficiente un ajuste aceptable en la combinación los índices RMSEA y CFI (^{Hu y Bentler, 1999}).

La dimensionalidad del constructo se refuerza con la interpretación de las correlaciones entre los factores latentes, así como con el estudio de la validez convergente, que se aborda a través de dos indicadores:

Finalmente, se estudian los índices de modificación para identificar las posibles causas de los desajustes y construir el modelo final óptimo.

Además, se incluye la varianza explicada por el modelo de las respuestas a cada ítem (R²).

Por otra parte, se prueba la invarianza del modelo final y sus parámetros entre los estudiantes de grado y los de máster, con un modelo factorial confirmatorio multigrupo siguiendo las recomendaciones de ^{Brown (2015)}. En un primer paso se estima el modelo final de tres dimensiones de forma separada para cada grupo, grado y máster, empleando los mismos criterios de ajuste para la valoración de su calidad. A continuación, se ajustan una serie de modelos anidados para probar la invarianza de la configuración (estructura de ítems y dimensiones igual), la invarianza de la métrica (pesos factoriales iguales) y la invarianza de la escala (intercepto y umbrales entre categorías equivalentes).

Para analizar la invarianza entre grupos se estudian las diferencias entre los valores de ajuste del modelo con más parámetros fijos comparado con el siguiente que tiene más parámetros libres. Debido a la sensibilidad del estadístico chi² al tamaño muestral y a las distribuciones no normales, que puede llevar a conclusiones de falta de invarianza cuando hay un empeoramiento significativo del ajuste, ^{Cheung y Rensvold (2002)} recomiendan como criterio para determinar falta de invarianza que se produzca un empeoramiento en el índice CFI de .01 o más. Además, ^{Chen (2007)} sugiere combinar los cambios en CFI con los que se producen en el índice RMSEA, donde un incremento igual o superior a .015 es evidencia también de falta de invarianza entre grupos. Todos los análisis del estudio confirmatorio se han realizado con el software MPlus 8 (^{Muthen & Muthen, 2017})

Para el análisis de la validez concurrente de los ítems, se calcula, con SPSS, CHAID (Chi Automatic Interaction Detection) (^{Kass, 1980}), que aporta la significatividad de las diferencias de medias a través de chi², y CART (Classification And Regression Trees) (^{Breiman et al., 1984}), que permite jerarquizar los ítems según su importancia normalizada en un proceso supervisado. Son técnicas de clasificación que están demostrando ser útiles para la validación de medidas educativas (^{Álvarez y Asensio-Muñoz, 2020}; ^{Blanco et al., 2017}). En este caso se utilizan como predictores los 17 ítems de la escala de ^{Covarrubias (2014)} y, como criterio, un ítem global de autoeficacia docente al que los estudiantes encuestados responden también en una escala Likert de 5 puntos.

Evidencias de validez estructural y convergente

No se identificaron casos perdidos, ni tampoco casos extremos mediante el estudio de las distancias de Mahalanobis. En cambio, el estadístico de curtosis multivariada de Mardia indica falta de normalidad del conjunto de ítems de la escala de actitud (b2 = 402.330; N(b2) = 4.815; p = < .001). Por ello, se utiliza la matriz de correlaciones policóricas y estimadores robustos basados en mínimos cuadrados (ULSMV) en los 3 modelos, cuyos índices de ajuste se ofrecen en la Tabla 4.

Tabla 4: Índices de ajuste de los modelos confirmatorios estimados. 

Considerando el ajuste global que proporciona el índice χ² normalizado, en ninguno de los casos se logra un valor óptimo (inferior a 3). El modelo propuesto es el único que logra un valor aceptable en este índice (inferior a 5).

El error de aproximación normalizado (RMSEA) obtiene valores de ajuste aceptables (por debajo de .08) en el modelo de ^{Covarrubias (2014)} y en el propuesto, aunque en el primero el límite superior está ligeramente por encima (.085). Los índices de ajuste comparativo CFI y TLI resultan por encima de .9 en los tres modelos testados, llegando a alcanzar un valor óptimo en el modelo propuesto (.95).

El estudio de la validez convergente en los tres modelos confirma que los factores están bien definidos, como se muestra en la Tabla 5.

Tabla 5: Índices de validez convergente (AVE y Fiabilidad). 

El índice AVE se sitúa por encima de .5 solo en la dimensión de gestión del aula en el modelo original y en el de ^{Covarrubias (2014)}, aunque en estos dos modelos hay factores con valores de AVE ligeramente por debajo de .4. En el modelo propuesto, todos los factores logran un valor superior a .4, lo que, combinado con una FC cercana a .8, indica una validez convergente aceptable.

El factor mejor explicado en los modelos es gestión del aula, con un 50% aproximadamente de varianza explicada en el modelo propuesto y una FC de .85. En conjunto, los tres modelos logran explicar una varianza similar de las respuestas a cada uno de los ítems, como se muestra en la tabla 6, y en todos los casos es de .3 o superior. Los ítems mejor representados en los modelos son el 78 (responder a las preguntas difíciles que te hagan tus alumnos), 79 (manejar a un alumno que presenta un mal comportamiento o que es “revoltoso”) y 81 (evitar que uno o unos pocos alumnos problemáticos te revienten la clase), con un 60% aproximadamente de varianza explica da en los distintos modelos.

Tabla 6: Varianza explicada de cada uno de los ítems y varianza total explicada. 

El análisis multigrupo muestra la equivalencia del modelo propuesto tanto en los estudiantes de grado como en los de máster (tabla 7).

Tabla 7: Índices de ajuste del análisis factorial confirmatorio multigrupo. 

Los AFC por separado para los grupos (grado vs máster) lograron valores de ajuste aceptables (RMSEA < .08 y CFI > .9), aunque el ajuste es mejor con la muestra de estudiantes de grado (RMSEA < .06 y CFI > .95).

El modelo de configuración multigrupo que no lleva a cabo ninguna restricción en los parámetros de los grupos, excepto la estructura de ítems y factores, mostró buenos índices de ajuste RMSEA y CFI. El modelo que fija las cargas factoriales para mantenerlas iguales entre los grupos (métrica) mejora ligeramente el ajuste del modelo de configuración, aunque los cambios son mínimos (una mejora de aproximadamente .005 en cada índice). Por tanto, la invarianza de la métrica queda demostrada.

En el modelo escalar, donde los interceptos y los umbrales de los ítems se mantienen iguales entre grupos, también se logra un buen ajuste. Sin embargo, los cambios en el ajuste respecto al modelo que prueba la invarianza métrica, empeoran ligeramente, sobre todo CFI que supera el umbral recomendado de .01. El cambio en RMSEA es inferior a .005. Por consiguiente, la invarianza escalar no puede asegurarse.

Evidencias de validez concurrente

Tomando como criterio el ítem de alta inferencia (87 en el cuestionario completo), con CHAID emergen como ítems que discriminan significativamente entre alguno de los nodos para la muestra completa: el 72, el 81, el 82, el 85 y el 77 del cuestionario completo. El algoritmo CART coincide en que los ítems 72 y 85 son los más importantes cuando se trata de explicar el SAD global en la muestra total. En la figura 1, incluyendo como primera variable forzosa el nivel (grado o máster), se observa que los estudiantes de grado con menor autoeficacia docente percibida (media = 3.962), se sitúan en el nodo 3: son estudiantes que se puntúan con 3 o menos en el ítem 85, relativo a la capacidad para conseguir que los estudiantes sigan las normas. Los estudiantes de grado con mayor autoeficacia global autopercibida (media = 4.818) se encuentran en el nodo 8: se otorgan 4 o más en el ítem 85 y se puntúan con 5 en el ítem 72, esto es, se sienten altamente capaces de motivar a los estudiantes que muestran poco interés. Para el grupo de los estudiantes de postgrado, los que se sienten más eficaces (media = 4.358) están en el nodo 6 y son los que se sienten capaces de responder a las preguntas difíciles que se les pueda plantear en clase, esto es, se han puntuado con un 4 o más en el ítem 78.

Figura 1. Diagrama de árbol CART para la muestra total forzando el nivel como primera variable. 

En la submuestra de estudiantes de grado la importancia relativa de las variables en la explicación del criterio según el algoritmo CART se ofrece en la figura 2. En ella, tras los ítems 72 y 85 que aparecen también en el diagrama de árbol que se ofrece en la figura 1, se sitúan los ítems 80, 82 y 86, que emergen como significativos en el árbol CHAID que se ofrece en la figura 3 porque discriminan entre nodos, tomando como valores de corte el 3 o el 4 de la escala Likert según el caso.

Figura 2. Gráfica CART de la importancia de las variables en la submuestra de estudiantes de grado. 

Figura 3. Diagrama de árbol CHAID en la submuestra de estudiantes de grado. 

En los estudiantes de máster el orden de importancia de las variables cambia, como se puede observar en la figura 4, de modo que la variable claramente más importante en su relación con el criterio de validez empleado es el ítem 78 que se refiere a su capacidad para responder preguntas difíciles que puedan hacer los estudiantes.

Figura 4. Gráfica CART de la importancia de las variables en la submuestra de estudiantes de postgrado. 

El árbol para los estudiantes de máster encuestados se ofrece en la figura 5 en el que emerge de manera robusta que el ítem 78 es el ítem más importante en la definición del concepto de autoeficacia global en este subgrupo. En este diagrama de árbol se aprecia que un punto de corte de 4 en el ítem 71 (capacidad para ayudar a los estudiantes a pensar de manera crítica) permite dividir el nodo 2 e identificar a un subgrupo de 60 estudiantes que conforman el nodo 4, en el que se hallan los estudiantes de máster con un nivel de autoeficacia global percibida más alta (media = 4.65).

Figura 5. Diagrama de árbol CHAID en la submuestra de estudiantes de máster.