Meu SciELO
Serviços customizadosServiços Personalizados
Journal
Artigo
texto em 
Inglês (pdf)
Artigo em XML
Referências do artigo
Tradução automática
Enviar este artigo por emailIndicadores
-
Citado por SciELO -
Acessos
Links relacionados
-
Citado por Google -
Similares em
SciELO -
Similares em Google
Compartilhar
Permalink
Anales de Psicología
versão On-line ISSN 1695-2294versão impressa ISSN 0212-9728
Anal. Psicol. vol.37 no.2 Murcia Mai./Set. 2021 Epub 21-Jun-2021
https://dx.doi.org/10.6018/analesps.37.2.338741
Psicología Evolutiva y de la Educación
Validación de la escala multifactorial mixta de engagement educativo (EMMEE)
1 Universidad de Sevilla, Sevilla (España).
2 Universidad Loyola Andalucía, Sevilla (España).
Actualmente, el engagement educativo se considera uno de los factores más importantes a la hora de predecir un buen aprendizaje por parte de los estudiantes, así como su éxito educativo. Sin embargo, la mayoría de los instrumentos descritos, no incluyen todos los factores clave vinculados al engagement académico: motivaciones, valores, contextos de aprendizaje, estado emocional y estrategias de gestión. El objetivo de este estudio es desarrollar una escala para valorar el nivel de engagement educativo de los estudiantes en Educación Superior (EMMEE) que supere esta limitación. Método: Se realizan análisis factoriales exploratorio y confirmatorio, así como un estudio de la consistencia interna, validez convergente y discriminante en una muestra de 764 estudiantes de la Universidad de Sevilla (España), perteneciente a todas las áreas de saber y los diferentes cursos de grados. Resultados: Se explora y se confirma con muy buen nivel de ajuste una estructura multifactorial de engagement educativo de cinco factores que explican una varianza cercana al 65.78%, con una excelente consistencia interna (α = .91) y con indicios significativos de validez convergente y discriminante. Conclusiones: Se concluye que la EMMEE es un instrumento válido y fiable para medir el nivel de engagement de las aulas, así como mejorar el entendimiento del constructo a través de sus factores.
Palabras clave: Engagement; Enseñanza universitaria; Validación confirmatoria; Escala; Engagement educativo
Introduction
El estudio del engagement en educación supone un novedoso foco de análisis cuyo eje de acción se centra en los procesos de enseñanza-aprendizaje. Como otras grandes líneas de investigación dedicadas al estudio de los mismos (enfoques de aprendizaje), comprender el engagement permite complementar y profundizar en los procesos cognitivos y metacognitivos de los estudiantes, aportando información relativa a un complejo conjunto de factores motivacionales, estratégicos y emocionales, tanto propios como de los contextos formativos, que conforman la base de aquellas experiencias educativas positivas o de éxito, y que generan niveles altos de conexión con los estudios (Gilbert, 2007; Harris, 2008; Willms, Friesen & Milton, 2009).
Actualmente, el engagement educativo se considera uno de los factores más importantes a la hora de predecir un buen aprendizaje por parte de los estudiantes, así como su éxito académico (Doctoroff & Arnold, 2017; Kimbark, Peters & Richardson, 2017). En este sentido, son muchos los autores que inciden en que comprender y predecir el engagement de los estudiantes universitarios es un elemento clave de cara a poder explicar y mejorar tanto la vida académica y emocional de los estudiantes, como su éxito y rendimiento (Beymer, Rosenberg, Schmidt & Naftzger, 2018; Fall & Roberts, 2012; Liu, Zhen, Ding, Liu, Wang, Jiang & Xu, 2018).
Estas ideas se han visto reforzadas en investigaciones recientes que afirman que los estudiantes que se encuentran en estado de engagement con sus estudios tienden a prestar más atención en clases, son más capaces de concentrarse en sus estudios, se muestran activos y participativos en la comunidad universitaria y consiguen mejores tasas de rendimiento académico (Al-Alwan, 2014; Bilge, Dost & Cetin, 2014; Fall & Roberts, 2012; González & Verónica, 2014; Hirschfield & Gasper, 2011; Schmidt, Kackar-Cam, Strati, & Shumow, 2015; Wang & Holcombe, 2010; Yates, Brindley-Richards & Thistoll, 2014).
Sin embargo, el engagement (entendido éste como una participación actitudinal activa mantenida en el tiempo a la hora de realizar sus tareas, acompañadas de un sentimiento emocional positivo frente a ellas) es un constructo complejo. Los hallazgos han demostrado que son muchos los factores que entran en juego a la hora de enganchar a los estudiantes y su medida y análisis dependen en muchos casos de las diferencias en las ideas de partida y en los enfoques a la hora evaluar el constructo (Chapman, 2003).
Existen dos grandes líneas de investigación relacionadas con el engagement educativo: psicológica y pedagógica (Reyes, 2016). El enfoque psicológico se caracteriza por el estudio y análisis de la variabilidad de factores tanto internos como externos de los sujetos, así como de los obstáculos o facilidades que posibilitan o dificultan la aparición del engagement. Así, bajo este enfoque encontramos definiciones de engagement que ponen el foco sobre aspectos personales o subjetivos, tales como el estado emocional de los estudiantes, las motivaciones y los valores de partida, o cognitivos como las estrategias de gestión del aprendizaje (Caballero, Cecilia, Abello & Palacio, 2007; Extremera, Durán & Rey, 2007; Martínez & Salanova, 2003; Salanova & Schaufeli, 2009; Salanova, Bakker & Llorens, 2006).
Por su parte, el enfoque pedagógico se plantea en qué grado las organizaciones pueden intervenir en el objetivo de potenciar o facilitar la aparición del engagement a través del desarrollo y aplicación de propuestas de intervención de carácter preventivo tanto a nivel individual como colectivo (Al-Alwan, 2014; López & Moreno, 2013; Martínez & Salanova, 2003). En estos estudios, encontramos una concepción del engagement más centrada en las experiencias de los alumnos en el contexto educativo y en cómo influye esas experiencias en el ámbito social, emocional y académico de los alumnos (Hirschfield & Gasper, 2011; Ladd & Dinella, 2009; Marzano & Pickering, 2011; Parsons & Taylor, 2011; Robinson & Hullinger, 2008; Suttle, 2010).
Basándonos en los hallazgos encontrados en la literatura, y aunando ambos enfoques, en este estudio se ha tratado de recoger las principales variables propuestas por los autores organizándolos en los siguientes cinco factores: motivaciones, valores, contextos de aprendizaje, estado emocional, estrategias de gestión.
La motivación es considerada en la literatura como un factor clave que influye directamente en el desarrollo del engagement de los estudiantes (Meyer, 2010; Mitra, & Serrière, 2012; O'Brien & Lai, 2011; Ryan & Deci, 2000; Zyngier, 2011). Para Saeed y Zyngier (2012), en el contexto académico, la motivación del estudiante hace alusión al grado en que un estudiante se esfuerza y se centra en el aprendizaje con el fin de lograr resultados exitosos.
Numerosos estudios han puesto sobre la mesa como los valores personales e interpersonales de los estudiantes, adquiridos mediante la interacción con la familia, amigos o educadores, tienen una influencia sustancial en el desarrollo de su engagement académico (Eccles, 2008; Rumberger, 2011; Vickers, Finger, Barker, & Bodkin-Andrews, 2014; Williams & Williams, 2011)
Otro de los aspectos considerados clave para el desarrollo y entendimiento del engagement son los contextos de aprendizaje (Gazelle, 2006; Hamre & Pianta, 2005; Reeve & Jang, 2006; Reeve, Jang, Carrell, Jeon & Barch, 2004; Scardamalia & Bereiter, 1996; Shernoff, 2012; Zhang et al., 2009; Zhang, Scardamalia, Reeve & Messina, 2009). Allodi (2010), considera que las nuevas investigaciones que pretendan comprender el engagement en profundidad, deben incorporar medidas que incluyan información sobre los contextos de aprendizaje, incluyendo los climas de aula. En este sentido, si el engagement con los estudios surge de la interacción recíproca entre los alumnos y los entornos de aprendizaje, una herramienta valiosa que poseen los contextos académicos a la hora de generar engagement puede ser la capacidad para crear y desarrollar entornos de aprendizaje enriquecedores y positivos (Shernoff, Tonks & Anderson, 2014).
Para muchos autores, hablar de engagement académico es sinónimo de hablar de las estrategias de gestión cognitivas y metacognitivas que los estudiantes ponen en juego a la hora de adquirir, integrar y recuperar y aplicar la información y el conocimiento (Brickman, Alfaro, Weimer & Watt, 2013). La dimensión estrategias de gestión hace alusión a aquellas estrategias académicas asociadas a un estado de interés personal que ponen en juegos los estudiantes a la hora de enfrentarse a dificultades u obstáculos en su desarrollo académico.
Por último, en cuanto la dimensión estado emocional, apoyándonos en Lekes et al. (2012), podemos considerar a los alumnos como sujetos orientados al crecimiento y al desarrollo personal a través de la gestión emocional y la adaptación a los diferentes contextos universitarios con el objetivo de alcanzar las metas propias (Kasser, 2002). En base a lo anterior, diferentes estudios consideran que el estado emocional es un factor clave a la hora de predecir el engagement como indicador de la distancia existente entre las expectativas generadas y la realidad experimentada por los estudiantes. (Harris, 2008; Oriol, Mendoza, Covarrubias & Molina, 2017;Parsons & Taylor, 2011; Serrano & Andreu, 2016)
Sumado a la dificultad de encontrar una definición o modelo teórico único que sirva de soporte para el entendimiento del engagement debido a su carácter multifactorial, se encuentra la dificultad a la hora de encontrar métodos o instrumentos de medición adecuados. Como es lógico pensar, los diferentes modelos y formas de entender el constructo llevarán asociadas diferentes formas de medirlo que se ajustarán, en cada caso, a los objetivos científicos de cada estudio Chapman (2003) y existe una laguna en instrumentos que aúnen todos los factores detallados anteriormente.
En cuanto a los instrumentos más utilizados, la UWES (Schaufeli & Bakker, 2003), consta de 17 ítems divididos en tres escalas (Vigor, Dedicación y Absorción) cuyas puntuaciones van de 0 a 6 en función de su frecuencia (0 Nunca, 6 Siempre). En concreto, la sub-escala Vigor se compone de 6 ítems (1, 4, 8, 12, 15, 17), la sub-escala Dedicación de 5 ítems (2, 5, 7, 10, 13), y Absorción se compone de 6 ítems (3, 6, 9, 11, 14, 16). Los resultados nos permiten hallar tanto una puntuación total como por sub-escalas.
La escala The assessment of school engagement (Wang, Willett, & Eccles, 2011) se compone de 23 ítems tipo Likert (1 = Casi nunca, 5 = Casi siempre) que representan tres dimensiones: Engagement Actitudinal (7 ítems), Emocional (8 ítems) y Cognitivo (8 ítems).
La escala NSSE (Shernoff, Tonks & Anderson, 2014), ofrece información tanto de los estudiantes como de las instituciones a través de 5 categorías: Retos académicos, Aprendizaje activo y colaborativo, Interacción Institución-Estudiante, Experiencias de aprendizaje enriquecedoras y Apoyo del contexto universitario. Esta escala está orientada a la educación superior y hacia la creación de propuestas de mejora. Para los creadores de las escalas, las 5 categorías recogidas son aspectos deseables a los que toda institución universitaria de calidad debe aspirar.
La escala HSSSE (Yazzie-Mintz, 2010) es la más utilizada y aplicada en los Estados Unidos y su objetivo es investigar tanto las actitudes y las percepciones, como las creencias de los estudiantes acerca de sus estudios, su contexto de aprendizaje y su interacción con la comunidad universitaria. La escala se subdivide en tres dimensiones: Engagement psicológico (Engagement of the mind), Emocional (Engagement of the heart) y Vital (Engagement of the life). La escala tiene como propósito estudiar el conjunto de relaciones que configuran la experiencia de los estudiantes en las instituciones universitarias, a saber, las relaciones entre la comunidad de estudiantes y la escuela, los adultos y los estudiantes de la escuela, el estudiante y sus compañeros, el estudiante y la instrucción, y el estudiante y planes de estudio.
En definitiva, la mayoría de los instrumentos descritos, no sólo no poseen todas las variables clave descritas anteriormente vinculadas al engagement académico, sino que, en muchos casos, no han sido validados a través de análisis factoriales confirmatorios del modelo teórico subyacente del constructo. Por tanto, se hace necesario disponer de un instrumento que mida de forma válida y fiable el nivel de engagement educativo de los estudiantes.
Método
Objetivos
En base a todo lo anterior, el objetivo principal de este estudio es el de desarrollar una escala para valorar el nivel de engagement educativo de los estudiantes en Educación Superior (EMMEE). No existen apenas precedentes de estudios que hayan constatado a nivel empírico, y desde el punto de vista de los propios alumnos, la estructura factorial de un modelo teórico que incorpore todos los factores de engagement mencionados, teniendo en cuenta el carácter multifactorial del constructo. Su demostración empírica puede sentar las bases de cara a la elaboración de propuestas innovadoras en las aulas universitarias gracias a un mejor entendimiento del engagement.
Participantes
La muestra participante en este estudio se compone de un total de 764 estudiantes de educación superior (Universidad de Sevilla, España). Para ello se han encuestado alumnos de todas las áreas de saber de dicha universidad y de diferentes cursos. Específicamente, en relación con el curso académico, un 20.4% se encontraban en primero, 20.4% en segundo, 20.9% en tercero, 20.4% en cuarto y un 17.9% en el grupo Máster/posgrado. En cuanto a las áreas de saber, el 19.9% se encontraban en el área de Salud, el 20.9% en Ciencias Sociales, el 20.7% en Ingeniería y Arquitectura, el 17.8% en Ciencias y un 20.7% en Arte y Humanidades.
Para validar la EMMEE, la muestra fue dividida en dos grupos. Un primer grupo, empleado para examinar la estructura factorial de la escala (AFE), estuvo compuesto por 382 estudiantes (n 1 , exactamente la mitad de la muestra) con una edad media de 22.78 años (22 años, 9 meses y 10 días) con una DT = 4.029. En cuanto al sexo de los estudiantes, se buscó la paridad, así el primer grupo estuvo formado por un 50.5% de hombres y un 49.5% de mujeres. El segundo grupo de la muestra (n 2=382 estudiantes) se utilizó para confirmar la estructura factorial obtenida anteriormente (AFC). La edad media del segundo grupo fue de 22.1 años (22 años, 1 mes y 6 días) con una DT = 3.908. En cuanto al sexo de los estudiantes se mantuvo una proporción exacta del 50% hombres y 50% mujeres.
A continuación, se muestran la distribución de los grupos en función de los cursos y el área de saber. Tal como se observa en la Tabla 1, se han buscado que las proporciones de los grupos sean lo más homogéneas posible.
Instrumentos y Procedimiento
La Escala Multifactorial de Engagement Educativo (EMMEE) ha sido elaborada ad-hoc por los autores de este articulo con el objetivo de medir el nivel de engagement de las aulas universitarias y está basada en los hallazgos encontrados en la literatura científica en relación con los factores predictivos del engagement.
Con el objetivo de asegurar la validez de contenido, la primera versión del cuestionario fue sometida al juicio de 8 expertos (5 expertos en Métodos de Investigación, 2 expertos en Didáctica y 1 experto en Psicología), de diferentes universidades españolas. Utilizando una rúbrica de evaluación diseñada ad-hoc, los expertos clasificaron cada uno de los ítems de acuerdo con las dimensiones propuestas. En segundo lugar, a través de la rúbrica de evaluación, se les pidió que valorasen los ítems de 1 a 5 (siendo 1 el valor menor y 5 el mayor) en función de las variables: grado de precisión, claridad e idoneidad. Además, se les permitió hacer sugerencias para la mejora de la redacción o cualquier otro tipo de modificación. Para la versión final del instrumento, solo se mantuvieron aquellos ítems considerados en la misma dimensión por unanimidad de los 8 expertos y, únicamente, aquellos que obtuvieron una valoración de 5 en los tres criterios, también por unanimidad. Una vez conformado el instrumento definitivo, se volvió a pasar a los expertos para repetir el proceso y terminar de limar el mismo. Con el instrumento resultante, se realizó un pilotaje con una muestra de 100 alumnos para comprobar si los ítems se entendían adecuadamente de acuerdo con el propósito del instrumento por parte del alumnado. Así, partiendo de una escala inicial de 60 ítems, la EMMEE estuvo formada finalmente por 34 ítems agrupados en 5 factores (motivaciones, valores, contextos de aprendizaje, estado emocional y estrategias de gestión) (Anexo I).
Los estudiantes encuestados debían indicar su grado de acuerdo con cada afirmación utilizando una escala tipo Likert con cinco opciones de respuesta (desde 1 «nada» hasta 5 «mucho»). La puntuación total de la EMMEE y de sus factores se calculó a partir de la puntuación promedio del conjunto de ítems por dimensión. Por tanto, el rango de puntuaciones obtenidas es de 1 a 5.
Para la recogida de datos se visitó las facultades de origen de los estudiantes y, con el fin de obtener una selección aleatoria lo más representativa y equilibrada posible, las encuestas se realizaron a estudiantes al azar. Finalmente, se obtuvo una muestra representada por estudiantes perteneciente a 73 titulaciones distintas repartidas en las cinco áreas de saber y los diferentes cursos de grado y posgrado como se ha explicado en la selección muestral. La escala se cumplimentó de manera individual en aproximadamente 15 minutos. Además, para la obtención de la validez discriminante se aplicó la escala UWES-S de 9 ítems (Schaufeli & Bakker, 2003).
Análisis estadístico y psicométrico
En primer lugar, se han realizado análisis estadísticos descriptivos (M, DT, Asimetría y Kurtosis) para conocer el nivel de engagement educativo de los participantes en este estudio (N = 764).
Para medir las propiedades psicométricas de la escala EMMEE se realiza un procedimiento de validez cruzada. En primer lugar, con el primer grupo muestral (n 1 = 382), se realizan estudios métricos de la dimensionalidad de la escala mediante análisis factorial exploratorio (AFE), utilizando el método de análisis paralelo (PA), siguiendo métodos de estimación MCO (Mínimos Cuadrados Ordinarios) aplicándose la técnica ULS (Unweighted Least Squares), con rotación oblimin directa, asumiéndose correlación entre las dimensiones a analizar (Worthington & Whittaker, 2006). Para determinar la adecuación de la matriz obtenida en el AFE se aplica el test Kaiser-Meyer-Olkin (KMO) y la Prueba de Esfericidad de Bartlett.
En segundo lugar, continuando el procedimiento de validez cruzada, con el segundo grupo muestral (n 2 = 382), para confirmar la estructura obtenida en el AFE (Brown, 2006), se realiza un análisis factorial confirmatorio (AFC). De acuerdo con Hu & Bentler (1999), para muestras superiores a 200 sujetos, se considera que el valor de χ2 es muy sensible a pequeñas desviaciones del modelo hipotetizado y, por tanto, se utiliza una estrategia combinada de diferentes índices de bondad de ajuste: absolutos (GFI, SRMR), relativos (TLI) y no-centralizados (RMSEA, CFI). Siguiendo las recomendaciones de Hair, Black, Babin & Anderson (2014) y Hoyle (1995), se aplica el siguiente criterio para determinar la bondad de ajuste del modelo: 1) buenos valores de ajuste si GFI, CFI ≥ .96, TLI ≥ .95, RMSEA ≤ .05; 2) valores de ajuste moderado si CFI, GFI y TLI ≥ .90, RMSEA ≤ .08; 3) valores pobres si CFI, GFI y TLI ≤ .90, RMSEA ≤ .10; y 4) el SRMR con valores de .08 o más bajo indica buen ajuste (Hair et al., 2014; Hu & Bentler, 1999).
Para obtener la validez convergente, se calculó la varianza media extractada (AVE) en la que, siguiendo a Fornell & Larcker (1981), se consideran adecuados valores mayores de .40 si presentan valores de FC superiores a .60. Para el coeficiente de fiabilidad compuesta (FC), se utiliza el criterio de Gefen & Straub (2005), para los cuales, valores mayores de .70 se consideran óptimos y Alpha de Cronbach, donde valores superiores a .80 se consideran adecuados. Por último, para obtener la validez discriminante, se obtienen las correlaciones entre las variables latentes, y se comparan con el valor de la raíz cuadrada de la varianza extraída media (√AVE). Para establecer un buen ajuste del modelo, todas las correlaciones obtener un valor inferior al valor de √AVE, indicando que cada dimensión es distinta de las demás. Para robustecer los resultados de la validez discriminante, se compara la medida de la escala EMMEE con otro instrumento creado y validado anteriormente, concretamente, la prueba UWES-S (9 ítems, Schaufeli & Bakker, 2003). De acuerdo con Churchill (1979) y posteriores investigaciones (Hair, Anderson, Tatham & Black, 1998), la inclusión de esta prueba para la validez discriminante demostraría que la medida que se está testando corresponde a un nuevo y diferente constructo.
Para el análisis estadístico de los datos se utilizan los paquetes estadísticos: 1) FACTOR 10.4 (Lorenzo-Seva & Ferrando, 2006), para el AFE; 2) EQS 6.2 (Bentler, 2006), para el AFC; 3) Smart PLS 2.0 M3 (Chin, 2004), para la validez convergente y discriminante; y 4) SPSS v.25.0. para los descriptivos y Alpha de Cronbach.
Resultados
Análisis descriptivo del engagement educativo de los estudiantes de educación superior
A tenor de los resultados obtenidos, se observa como los niveles totales de engagement universitario presentan un valor medio-alto, alcanzando un valor de 3.79 (DT = .93) dentro del rango posible de 1-5. En cuanto a los resultados obtenidos por área de saber, los niveles de engagement alcanzaron un valor de 4.00 (DT = .10) para Salud, 3.82 (DT = .09) en Ciencias Sociales, 3.63 (DT = .12) para Ingeniería y Arquitectura, 3.66 (DT = .11) en Ciencias y 3.83 (DT = .09) en Arte y Humanidades. Finalmente, en cuanto a los valores obtenidos por curso, el nivel de engagement obtenido fue de 3.65 (DT = .10) en Primer curso, 3.68 (DT = .11) en Segundo, 3.95 (DT = .08) en Tercero, 3.83 (DT = .10) en Cuarto y 3.84 (DT = .13) en Quinto curso y Posgrados.
En cuanto a las puntuaciones obtenidas por factor (Tabla 2), los mejor valorados han sido: valores con una puntuación de 3.83 (DT = .62), motivaciones con 3.66 (DT = .68) y contextos de aprendizaje con un 3.65 (DT = .66); mientras que las puntuaciones más bajas se han dado en los factores estrategias de gestión con un 3.34 (DT = .73) y estado emocional con un 3.28 (DT = .92).
Análisis factorial exploratorio (AFE)
La prueba Kaiser-Meyer-Olkin (KMO) (.89310) y la Prueba de Esfericidad de Bartlett (χ 2 = 5359.6; p < .000) confirman la adecuación del muestreo para el análisis. El análisis factorial exploratorio arrojó cinco factores mediante métodos de estimación MCO (Mínimos Cuadrados Ordinarios), a través de la técnica ULS (Unweighted Least Squares). Estos cinco factores con autovalores mayores que 1, explican el 65.78% de la varianza total. En la Tabla 3, se muestran las cargas factoriales atribuidas a cada factor, después de haber aplicado el método de análisis paralelo (PA) y una rotación oblimin directa (Timmerman & Lorenzo-Seva, 2011). Como puede observarse, todas las cargas factoriales superan el valor .40, considerado como punto de corte para la inclusión.
Análisis factorial confirmatorio (AFC)
En primer lugar, se probó el modelo resultante del análisis factorial exploratorio (AFE) (Tabla 4). Este modelo integraba los cinco factores descritos con anterioridad (motivaciones, valores, contextos de aprendizaje, estado emocional, estrategias de gestión). La solución obtenida fue satisfactoria con excelentes índices de ajuste: χ2 (401, n 2 = 382) = 285.821, p > .9999; RMSEA = .007 (95% IC: .003; .009), CFI = 1, GFI = .987 TLI = .99, SRMR = .048. Asimismo, se estimó un modelo unidimensional que presentó peores índices de ajuste χ2 (527, n 2 = 382) = 2193.545, p < .001; RMSEA = .091 (95% IC (.083, .095), CFI = .86, NNFI = .87, SRMR = .10. Finalmente, se estimó un modelo ortogonal de cinco factores no correlacionados. El modelo alternativo presentó peores índices de ajuste, χ2 (401, n 2 = 382) = 384.711, p > .071; RMSEA = .11 (95% IC (.09, .14), CFI = .87, NNFI = .89, SRMR = .004. En consecuencia, a tenor de los resultados obtenidos, se optó por el modelo de cinco factores correlacionados derivado del análisis factorial exploratorio (AFE) por obtener mejores índices de ajuste (Tabla 4).
Validez Convergente y Consistencia Interna de la EMMEE
Con relación a la validez convergente, tal como presenta la Tabla 5, se obtuvo la fiabilidad compuesta (FC) y la varianza media extraída (AVE) para cada factor. Todos los valores resultantes de FC son superiores a .70, presentando valores óptimos, y los obtenidos para la AVE superiores a .40 (siendo, en todos los casos, valores mayores de .40 con FC > .60) y, por tanto, adecuados (Fornell & Larcker, 1981).
La consistencia interna de la escala se calculó a través del coeficiente Alpha de Cronbach, con un resultado de α = .91 para la muestra total (Tabla 6), demostrando una consistencia interna fuerte. La consistencia de los factores de la EMMEE es buena para el estado emocional (α = .91) y contextos de aprendizaje (α = .83), adecuada para valores (α = .72), y, presentando los valores más bajos de alfa, se obtuvieron los factores motivaciones (α = .62) y estrategias de gestión (α = .60). Diferentes estudios (Griethuijsen et al., 2015; Taber, 2018) avalan la idoneidad de considerar adecuada la consistencia interna de factores con valores α > .60, especialmente cuando se trabaja constructos en ciencias de la educación con escalas diseñadas ad-hoc si el α global > .90 (Tuan, Chin, & Shieh, 2005) y poseen pocos ítems (Adadan & Savasci, 2012).
Validez Discriminante
Para obtener la validez discriminante de la escala EMMEE, se utiliza la prueba UWES-S de 9 ítems (Schaufeli & Bakker, 2003). Esta prueba es la versión de 9 ítems del test Utrecht Work for Engagament Scale (UWES) de los mismos autores y es uno de los más usados a la hora de medir el engagement adaptado a los contextos formativos. En la siguiente Tabla 7 se presentan los valores obtenidos en el análisis factorial exploratorio (AFE) y de consistencia interna aplicado a nuestra muestra.
Una vez comprobado la validez y fiabilidad de UWES-S en nuestro estudio, se procede a realizar la validez discriminante. En la Tabla 8, se observa las correlaciones entre los factores latentes, y se comparan con el valor de la raíz cuadrada de la varianza extraída media. Como se puede observar, todas las correlaciones están por debajo del valor del √AVE, lo que revela que cada factor es distinto, cumpliéndose la condición establecida por Fornell & Larcker (1981).
Tal como se observa, todos los factores de la EMMEE correlacionan inversamente con la prueba UWES-S, lo que indica que, de acuerdo con Churchill (1979) y Hair et al. (1998), se está testando un nuevo y diferente constructo, al que se ha llamado engagement educativo.
Por último, para profundizar en el análisis de la validez discriminante se incluye la Tabla 9 donde se pueden comprobar las cargas cruzadas. Los resultados obtenidos indican que cada ítem satura con más peso en el factor latente que lo incluye.
Discusión y Conclusiones
Tal como se ha dicho, debido al carácter multifactorial del engagement académico los instrumentos utilizados en investigaciones previas no incluían todos los factores esenciales identificados en la literatura científica. Detectándose una laguna en instrumentos que sigan un diseño desde un enfoque multifactorial mixto (Pedagógico-psicológico), y, por lo tanto, su estructura teórica no ha sido validada empíricamente a través del análisis factorial confirmatorio (Chapman, 2003; Schaufeli & Bakker, 2003; Wang, Willett, & Eccles, 2011; Yazzie-Mintz, 2010).
Así, el objetivo principal de este estudio fue desarrollar un instrumento capaz de medir el engagement educativo, en base un modelo teórico que integre los factores clave identificados en la literatura científica: motivaciones (Meyer, 2010; Mitra, & Serrière, 2012; O'Brien & Lai, 2011; Ryan & Deci, 2000; Zyngier, 2011), valores (Eccles, 2008; Rumberger, 2011; Vickers, Finger, Barker, & Bodkin-Andrews, 2014; Williams & Williams, 2011), contextos de aprendizaje (Gazelle, 2006; Hamre & Pianta, 2005; Reeve, Jang, Carrell, Jeon & Barch, 2004; Scardamalia & Bereiter, 1996; Shernoff, 2012; Zhang et al., 2009), estado emocional (Harris, 2008; Oriol, Mendoza, Covarrubias & Molina, 2017;Parsons & Taylor, 2011;Serrano & Andreu, 2016) y estrategias de gestión (Brickman, Alfaro, Weimer & Watt, 2013).
La EMMEE (Escala Multifactorial Mixta de Engagement Educativo) ha presentado una consistencia interna (fiabilidad) fuerte en el total de la escala. Asimismo, atendiendo a la fiabilidad de sus factores, el estado emocional, los contextos de aprendizaje y los valores, presentan niveles buenos de fiabilidad. Los factores motivaciones y estrategias de gestión, aunque presentan niveles más bajos de fiabilidad, son considerados aceptables, siguiendo el criterio por el que se considera idóneos valores más bajos fiabilidad (.70 > α > .60) para escalas con pocos ítems (Adadan & Savasci, 2012), diseñadas ad-hoc, cuando se trabaja constructos complejos en ciencias de la educación (Griethuijsen et al., 2015; Taber, 2018) siendo el α global del instrumento > .91 (Tuan, Chin, & Shieh, 2005), especialmente, cuando se tratan de estudios iniciales (Nunnally, 1967).
Por otro lado, la EMMEE mostró una adecuada validez de constructo, comprobado a través del análisis factorial confirmatorio, cuyos resultados confirman una estructura de 5 factores correlacionados, obteniéndose unos índices de bondad de ajuste excelentes. Se probaron otros modelos alternativos tales como la estructura de un solo factor o la estructura de cinco factores no correlacionados, dando como resultado un peor ajuste. Además, al comparar la escala EMMEE con una medida diferente ampliamente conocida y validada como lo es la prueba UWES-S (Schaufeli & Bakker, 2003) se comprueba que la escala que se presenta en este estudio mide un constructo diferente y nuevo como es el engagement educativo.
Los resultados descriptivos del estudio manifestaron un nivel medio-alto en los niveles de engagement de los universitarios encuestados. Los alumnos, con independencia del área de saber y del curso, se encuentran enganchados con sus estudios. Estos resultados, se contraponen a estudios anteriores en educación superior, donde se presupone una población universitaria desmotivada y poco conectada con sus estudios (Martínez y Salanova, 2003). Aportar una visión más amplia del engagement académico, desde un enfoque multifactorial mixto (psicológico-pedagógico), puede permitir entender la naturaleza de este con mayor profundidad.
A pesar de que no existen numerosas investigaciones que aborden el estudio y entendimiento desde una perspectiva mixta (Reyes, 2016) la demostración empírica, realizada en este estudio podría servir de base teórica validada que suponga, a nivel científico, el inicio de una nueva línea de investigación y, a nivel práctico, una guía para la elaboración de propuestas innovadoras para la mejora del engagement en las aulas universitarias.
Para finalizar, este estudio, por tanto, ha permitido elaborar un instrumento válido y fiable para medir el nivel de engagement educativo, a través del entendimiento de su estructura factorial subyacente. Este hecho, supone un avance importante en la investigación sobre este constructo en educación superior. Por otro lado, sería interesante contrastar los resultados obtenidos con otros grupos poblacionales universitarios, así como en otros niveles educativos. De este modo, tendríamos una mayor garantía de la validez del instrumento y de los beneficios que ofrece la comprensión del engagement desde un enfoque multifactorial mixto para los procesos de enseñanza-aprendizaje y el desarrollo del estudiante.
REFERENCIAS
Adadan, E., & Savasci, F. (2012). An analysis of 16-17-year-old students' understanding of solution chemistry concepts using a two-tier diagnostic instrument. International Journal of Science Education, 34(4), 513-544. [ Links ]
Al-Alwan, A. (2014). Modeling the relations among parental involvement, school engagement and academic performance of high school students. International Education Studies, 7(4), 47. http://doi.org/10.5539/ies.v7n4p47 [ Links ]
Allodi, M. (2010). The meaning of social climate of learning environments: Some reasons why we do not care enough about it. Learning Environments Research, 13(2), 89-104. https://doi.org/10.1007/s10984-010-9072-9 [ Links ]
Bentler, P. M. (2006). EQS 6 structural equations program manual. Encino, CA: Multivariate Software. [ Links ]
Beymer, P. N., Rosenberg, J. M., Schmidt, J. A., & Naftzger, N. J. (2018). Examining Relationships among Choice, Affect, and Engagement in Summer STEM Programs.Journal of Youth and Adolescence, 1-14. https://doi.org/10.1007/s10964-018-0814-9 [ Links ]
Bilge, F., Dost, M., & Cetin, B. (2014). Factors Affecting Burnout and School Engagement among High School Students: Study Habits, Self-Efficacy Beliefs, and Academic Success. Educational Sciences: Theory & Practice, 14(5), 1721-1727. https://doi.org/10.12738/estp.2014.5.1727 [ Links ]
Brickman, S., Alfaro, E., Weimer, A., & Watt, K. (2013). Academic Engagement: Hispanic Developmental and Non developmental Education Students. Journal of Developmental Education, 37(2), 14. http://www.jstor.org/stable/24613986 [ Links ]
Brown, T. (2006). CFA with equality constraints, multiple groups, and mean structures. In T. Brown (Ed.), Confirmatory factor analysis for applied research (pp. 236-319). New York, NY: Guildford Press. [ Links ]
Caballero, D., Cecilia, C., Abello, L, & Palacio, S. (2007). Relación del burnout y el rendimiento académico con la satisfacción frente a los estudios en estudiantes universitarios. Avances en psicología latinoamericana, 25(2), 98-111. http://www.redalyc.org/comocitar.oa?id=79925207 [ Links ]
Chapman, E. (2003). Alternatives approaches to assessing Student Engagement Rates. Practical Assessment, Research and Evaluation, 8(13). https://goo.gl/jPqtTK [ Links ]
Chin, W. (2004). PLS-Graph. Version 3.00. build 1060. Texas, USA: University of Houston. [ Links ]
Churchill, G. (1979). A paradigm for developing better measures of marketing constructs.Journal of marketing research, 16(1), 64-73. https://doi.org/10.2307/3150876 [ Links ]
Doctoroff, G. L., & Arnold, D. H. (2017). Doing homework together: The relation between parenting strategies, child engagement, and achievement.Journal of Applied Developmental Psychology,48, 103-113. https://doi.org/10.1016/j.appdev.2017.01.001 [ Links ]
Eccles, J. (2008). Can middle school reform increase high school graduation rates? Santa Barbara, Estados Unidos: Univerity of California. http://cdrpsb.org/researchreport12.pdf [ Links ]
Extremera, N., Durán, M., & Rey, L. (2007). Inteligencia emocional y su relación con los niveles de burnout, engagement y estrés en estudiantes universitarios. Revista de educación, 342(1), 239-256. https://goo.gl/UZGCAf [ Links ]
Fall, A., & Roberts, G. (2012). High school dropouts: Interactions between social context, self perceptions, school engagement, and student dropout. Journal of Adolescence, 35(4), 787-798. https://doi.org/10.1016/j.adolescence.2011.11.004 [ Links ]
Fornell, C., & Larcker, F. (1981). Evaluating structural equation models with unobservable variables and measurement error. Journal of marketing research, pp. 39-50. https://www.jstor.org/stable/3151312 [ Links ]
Gazelle, H. (2006). Class climate moderates peer relations and emotional adjustment in children with an early history of anxious solitude: A child environment model. Developmental psychology, 42(6), 1179. http://doi.org/10.1037/0012-1649.42.6.1179 [ Links ]
Gefen, D., & Straub, D. (2005). A practical guide to factorial validity using PLS-Graph: Tutorial and annotated example. Communications of the Association for Information systems, 16(1), 5. http://doi.org/10.13140/RG.2.1.1111.4324 [ Links ]
Gilbert, P. (2007). Evolved minds and compassion in the therapeutic relationship. En P. Gilbert y R. Leahy (Eds.), The Therapeutic Relationship in the Cognitive-Behavioural Psychotherapies (pp. 106-142). Londres, Inglaterra: Routledge. [ Links ]
González, A., & Verónica, P. (2014). Engagement and Performance in Physics: The Role of Class Instructional Strategies, and Student's Personal and Situational Interest. Revista de Psicodidáctica, 20(1), 25-45. http://doi.org/10.1387/RevPsicodidact.11370 [ Links ]
Griethuijsen, R. A., van Eijck, M. W., Haste, H., den Brok, P. J., Skinner, N. C., Mansour, N., ... & BouJaoude, S. (2015). Global patterns in students' views of science and interest in science. Research in science education, 45(4), 581-603. [ Links ]
Hair, J., Anderson, R., Tatham, R., & Black, W. (1998). Multivariate data analysis. New Jersey, NJ: Upper Saddle River [ Links ]
Hair, J., Black, W., Babin, B., & Anderson, R. (2014). Exploratory factor analysis. In J. Hair, W. Black, B. Babin & R. Anderson (Eds.),Multivariate Data Analysis (pp.89-150). Essex, England: Pearson Education Ltd. [ Links ]
Hamre, B., & Pianta, R. (2005). Can instructional and emotional support in the first‐grade classroom make a difference for children at risk of school failure? Child development, 76(5), 949-967. https://doi.org/10.1111/j.1467-8624.2005.00889.x [ Links ]
Harris, A. (2008). Leading Innovation and Change: knowledge creation by schools for schools. European Journal of Education, 43(2), 219-228. https://doi.org/10.1111/j.1465-3435.2008.00343.x [ Links ]
Hirschfield, P., & Gasper, J. (2011). The relationship between school engagement and delinquency in late childhood and early adolescence. Journal of Youth Adolescence, 40, 3-22. https://doi.org/10.1007/s10964-010-9579-5 [ Links ]
Hoyle, R. (1995).Structural equation modeling: Concepts, issues, and applications. London: Sage. [ Links ]
Hu, L., & Bentler, P. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural equation modeling: a multidisciplinary journal, 6(1), 1-55. https://doi.org/10.1080/10705519909540118 [ Links ]
Kasser, T. (2002). The high price of materialism. Londres, Inglaterra: MIT Press. [ Links ]
Kimbark, K., Peters, M. L., & Richardson, T. (2017). Effectiveness of the student success course on persistence, retention, academic achievement, and student engagement. Community College Journal of Research and Practice, 41(2), 124-138. https://doi.org/10.1080/10668926.2016.1166352 [ Links ]
Ladd, G., & Dinella, L. (2009). Continuity and change in early school engagement: Predictive of children's achievement trajectories from first to eighth grade? Journal of Educational Psychology, 101(1), 190-206. https://doi.org/10.1037/a0013153 [ Links ]
Lekes, N., Hope, N. H., Gouveia, L., Koestner, R., & Philippe, F. L. (2012). Influencing value priorities and increasing well-being: The effects of reflecting on intrinsic values. The Journal of Positive Psychology, 7(3), 249-261. https://doi.org/10.1080/17439760.2012.677468 [ Links ]
Liu, R. D., Zhen, R., Ding, Y., Liu, Y., Wang, J., Jiang, R., & Xu, L. (2018). Teacher support and math engagement: roles of academic self-efficacy and positive emotions.Educational Psychology,38(1), 3-16. https://doi.org/10.1080/01443410.2017.1359238 [ Links ]
López, L., & Moreno, J. (2013). Los procesos de coaching como potenciadores del engagement. Tourism & Management Studies, (2), 536-550. http://doi.org/10.1016/j.estger.2015.03.002 [ Links ]
Lorenzo-Seva, U., & Ferrando, P.J. (2013). FACTOR 9.2 A Comprehensive Program for Fitting Exploratory and Semiconfirmatory Factor Analysis and IRT Models. Applied Psychological Measurement, 37(6), 497-498. https://doi.org/10.1177%2F0146621613487794 [ Links ]
Martínez, I., & Salanova, M. (2003). Niveles de burnout y engagement en estudiantes universitarios: relación con el desempeño y desarrollo profesional. Revista de Educación, 330(1), 361-371. http://doi.org/10.6018/eglobal.17.2.268831 [ Links ]
Marzano, R., & Pickering, D. (2011). The Highly Engaged Classroom. Bloomington, Estados Unidos: Marzano Research Laboratory. [ Links ]
Meyer, E. (2010). Gender and sexual diversity in schools (Vol. 10). Berlín, Alemania: Springer Science & Business Media. https://doi.org/10.1007/978-90-481-8559-7 [ Links ]
Mitra, D., & Serriere, S. (2012). Student Voice in Elementary School Reform Examining Youth Development in Fifth Graders. American Educational Research Journal, 49(4), 743-774. https://doi.org/10.3102%2F0002831212443079 [ Links ]
Nunnally, J. (1967). Psychometric Theory. New York: McGraw Hill. [ Links ]
O'Brien, P., & Lai, M. (2011). Student Voice: How can it help us to understand students' experiences of school? Wellington, New Zealand: Assessment Symposium, Rutherford House. [ Links ]
Oriol, X., Mendoza, M., Covarrubias, C., & Molina, V. (2017). Emociones positivas, apoyo a la autonomía y rendimiento de estudiantes universitarios: el papel mediador del compromiso académico y la autoeficacia. Revista de Psicodidáctica, 22(1), 45-53. [ Links ]
Parsons, J., & Taylor, L. (2011). Improving student engagement. Current issues in education, 14(1). https://cie.asu.edu/ojs/index.php/cieatasu/article/view/745 [ Links ]
Reeve, J., Jang, H., Carrell, D., Jeon, S., & Barch, J. (2004). Enhancing students' engagement by increasing teachers' autonomy support. Motivation and emotion, 28(2), 147-169. https://doi.org/10.1023/B:MOEM.0000032312.95499.6f [ Links ]
Reyes, S. (2016). Fortalecer la implicación y el compromiso de los estudiantes con la universidad. Una visión multidimensional del engagement. Tesis Doctoral. Sevilla, España: Universidad de Sevilla. https://idus.us.es/xmlui/handle/11441/52285 [ Links ]
Robinson, C., & Hullinger, H. (2008). New benchmarks in higher education: Student engagement in online learning. Journal of Education for Business, 84(2), 101-109. https://doi.org/10.3200/JOEB.84.2.101-109 [ Links ]
Rumberger, R. (2011). High school dropouts in the United States. En S. Lamb, E. Markussen, R. Teese, J. Polesel & N. Sandberg (Eds.), School dropout and completion (pp. 275-294). Berlín, Alemania: Springer. https://doi.org/10.1007/978-90-481-9763-7 [ Links ]
Ryan, R., & Deci, E. (2000). Intrinsic and extrinsic motivations: Classic definitions and new directions. Contemporary Educational Psychology, 25, 54-67. https://doi.org/10.1006/ceps.1999.1020 [ Links ]
Saeed, S., & Zyngier, D. (2012). How motivation influences student engagement: A qualitative case study. Journal of Education and Learning, 1(2), 252. http://doi.org/10.5539/jel.v1n2p252 [ Links ]
Salanova, M., & Schaufeli, W. (2009). El engagement en el trabajo: cuando el trabajo se convierte en pasión. España: Alianza Editorial. https://goo.gl/6qudE1 [ Links ]
Salanova, M., Bakker, A. & Llorens, S. (2006). Flow at Work: Evidence for a Gain Spiral of Personal and Organizational Resources. Journal of Happiness Studies, 7, 1-22. https://doi.org/10.1007/s10902-005-8854-8 [ Links ]
Scardamalia, M., & Bereiter, C. (1996). Engaging students in a knowledge society. Educational leadership, 54(3), 6-10. https://doi.org/10.1016/j.compedu.2009.07.003 [ Links ]
Schaufeli W., & Bakker A. (2003). Utrecht Work Engagement Scale (UWES) Preliminary Manual. Utrecht, Países Bajos: Occupational Health Psychology Unit, University, ND. https://goo.gl/nqu9zE [ Links ]
Schmidt, J., Kackar-Cam, H., Strati, A., & Shumow, L. (2015). The Role of Challenge in Students' Engagement and Competence in High School Science Classrooms: Hispanic and Non-Hispanic Whites Compared. NCSSS Journal, 20(1), 20-26. https://doi.org/10.1371/journal.pone.0027826 [ Links ]
Serrano, C., & Andreu, Y. (2016). Perceived emotional intelligence, subjective well-being, perceived stress, engagement and academic achievement of adolescents. Revista de Psicodidáctica, 21(2). https://doi.org/10.1387/RevPsicodidact.14887 [ Links ]
Shernoff, D. (2012). Engagement and positive youth development: Creating optimal learning environments. En J. Royer (Ed.), Individual differences and cultural and contextual factors. APA handbooks in psychology (pp. 195-220). Washington, Estados Unidos: American Psychological Associaton. http://www.apa.org/pubs/books/4311503.aspx?tab=2 [ Links ]
Shernoff, D., Tonks, S., & Anderson, B. G. (2014). The impact of the learning environment on student engagement in high school classrooms. Engaging youth in schools: Evidence-based models to guide future innovations. Nueva York, Estados Unidos: NSSE Yearbooks by Teachers College Record. [ Links ]
Suttle, C. (2010). Engagement in online courses (Tesis Doctoral). Capella University, Estados Unidos. [ Links ]
Taber, K. S. (2018). The use of Cronbach's alpha when developing and reporting research instruments in science education. Research in Science Education, 48(6), 1273-1296. [ Links ]
Tuan, H. L., Chin, C. C., & Shieh, S. H. (2005). The development of a questionnaire to measure students' motivation towards science learning. International journal of science education, 27(6), 639-654. [ Links ]
Timmerman, M. E., & Lorenzo-Seva, U. (2011). Dimensionality assessment of ordered polytomous items with parallel analysis. Psychological methods, 16(2), 209. [ Links ]
Vickers, M., Finger, L., Barker, K., & Bodkin-Andrews, G. (2014). Measuring the Impact of Students' Social Relations and Values: Validation of the Social-Relational Support for Education Instrument. Australian Journal of Educational & Developmental Psychology, 14, 71-92. https://doi.org/10.1037/0021-9010.82 [ Links ]
Wang, M., & Holcombe, R. (2010). Adolescent's perceptions of school environment, engagement, and academic achievement in middle school. American Educational Research Journal, 47, 633-662. https://doi.org/10.3102/0002831209361209 [ Links ]
Wang, M., Willett, J., & Eccles, J. (2011). The assessment of school engagement: Examining dimensionality and measurement invariance by gender and race/ethnicity. Journal of School Psychology, 49(4), 465-480. https://doi.org/10.1016/j.jsp.2011.04.001 [ Links ]
Williams, K., & Williams, C. (2011). Five key ingredients for improving student motivation. Research in Higher Education Journal, (12), 1-23. https://doi.org/10.12691/education-3-5-19 [ Links ]
Willms, J., Friesen, S., & Milton, P. (2009). Executive summary. What did you do in school today? Transforming classrooms through social, academic, and intellectual engagement. Toronto, Canada: Canadian Education Associaton. https://goo.gl/oriNhy [ Links ]
Worthington, R. L., & Whittaker, T. A. (2006). Scale development research: A content analysis and recommendations for best practices.The Counseling Psychologist,34(6), 806-838. https://doi.org/10.1177/0011000006288127 [ Links ]
Yates, A., Brindley-Richards, W., & Thistoll, T. (2014). Student engagement in distance-based vocational education. Journal of Open, Flexible and Distance Learning, 18(2), 29-43. https://doi.org/10.1080/13538320500074915 [ Links ]
Yazzie-Mintz, E. (2010). Charting the path from engagement to achievement: A report on the 2009 High School Survey of Student Engagement. Bloomington, Estados Unidos: High School Survey of Student Engagement. http://hub.mspnet.org/index.cfm/20806 [ Links ]
Zhang, J., Scardamalia, M., Reeve, R., & Messina, R. (2009). Designs for collective cognitive responsibility in knowledge-building communities. The Journal of the Learning Sciences, 18(1), 7-44. https://doi.org/10.1007/s11251-004-2518-7 [ Links ]
Zyngier, D. (2011). (Re)conceptualising risk: left numb and unengaged and lost in a no-man's-land or what (seems to) work for at-risk students. International Journal of Inclusive Education, 15(2), 211-231. https://doi.org/10.1080/13603110902781427 [ Links ]
Recibido: 30 de Julio de 2018; Revisado: 01 de Julio de 2019; Aprobado: 17 de Octubre de 2019
This is an open-access article distributed under the terms of the Creative Commons Attribution License
