Introducción
Desde una perspectiva amplia, la investigación actual caracteriza al estudiante universitario con éxito como un 'estudiante autorregulado' [1]. La autonomía del aprendizaje, basada en la conciencia que posee cada estudiante acerca de sus propios procesos cognitivos y su regulación, constituye un concepto importante para el desarrollo de la facultad de tomar decisiones en función de un objetivo. Esta capacidad del ser humano se denomina metacognición [2].
La metacognición constituye el pensamiento estratégico que permite autorregular nuestro aprendizaje y nos habitúa a reflexionar sobre el propio conocimiento, lo cual es clave para el éxito académico. Sin embargo, la mayoría de los aspectos a los que se refiere el término no son externamente observables, por lo que adquiere gran importancia diseñar instrumentos válidos y fiables que permitan cuantificar este nivel de metacognición.
Según Flavell, la metacognición está asociada a dos componentes: el conocimiento metacognitivo, que involucra acciones referidas a las personas, tareas y estrategias, y la regulación de los procesos cognitivos, que incluyen su planificación, supervisión y evaluación, proceso que va más allá de lo cognitivo, puesto que se refieren a un plano reflexivo sobre lo cognitivo [2].
Actualmente, existe una diversidad de instrumentos disponibles para evaluar la metacognición a partir de sus dos componentes de forma independiente y otros de manera conjunta. Algunos de ellos son Motivated Strategies for Learning Questionnaires (MSLQ) y Metacognitive Awareness Inventory (MAI). En contraste con dichos instrumentos, el Awareness of Independent Learning Inventory (AILI) añade un componente más: la respuesta metacognitiva en relación con la experiencia personal [3].
El AILI, ideado por Elshout-Mohr et al y construido para su uso en la educación superior, ha demostrado ser una medida fiable y válida de la metacognición en relación con las tareas de aprendizaje académico. Los autores de este instrumento usaron el término 'aprendizaje independiente' para designar un tipo de aprendizaje dirigido a la metacognición. La versión abreviada del AILI consta de 45 ítems, 15 para cada uno de los componentes mencionados, que evalúan el conocimiento de la cognición, la regulación de la cognición y la respuesta (en representación de la experiencia metacognitiva) [3].
En la bibliografía de nuestro medio no se identificaron estudios que describieran la utilización de instrumentos en español para evaluar todos los componentes de la metacognición que fuesen específicos para estudiantes peruanos de nivel superior independientemente de la carrera que cursen. Además del alto valor formativo de este constructo en la educación en salud, adquiere gran importancia adaptar y validar al español el instrumento AILI para cuantificar el nivel de metacognición alcanzado por los estudiantes universitarios y, eventualmente, desarrollar estrategias educativas en base a los resultados.
En coherencia con las afirmaciones anteriores, el objetivo de este estudio fue realizar la adaptación transcultural al español de la versión corta del AILI.
Sujetos y métodos
Se utilizó la versión abreviada del AILI; dicha versión consta de 45 ítems, 15 ítems por cada componente de la metacognición. Las respuestas de cada ítem son numéricas de acuerdo con una escala tipo Likert desde 1 ('absolutamente falso') hasta 7 ('absolutamente verdadero') [4].
Procedimiento para la adaptación cultural
El desarrollo de este estudio de validación se inició después de la aprobación por uno de los autores originales para el uso de la versión abreviada del AILI [4].
Debido a que no existe un consenso estricto en la bibliografía sobre cómo es la estructura y secuencia para el proceso de validación de instrumentos, se ha seguido la propuesta de diversos estudios [2,5 6-7] con algunos cambios adecuados a esta investigación.
Traducción del instrumento al español
Realizada por tres especialistas: un español, traductor certificado con años de experiencia, profesor de inglés y traducción en un instituto cultural de inglés de la región, y dos peruanos, un profesor de inglés en pregrado y un profesor de inglés en un centro de idiomas, todos ellos conocedores de temas de pedagogía y con experiencia en docencia.
Se les facilitó el instrumento original en inglés y cada uno realizó su traducción al español, obteniéndose en esta fase tres versiones traducidas diferentes: VTE-1 (versión traducida al español 1), VTE-2 (versión traducida al español 2) y VTE-3 (versión traducida al español 3), respectivamente.
Evaluación de la concordancia entre las versiones VTE-1, VTE-2 y VTE-3
Para evaluar la fiabilidad, mediante la concordancia entre las preguntas, se utilizó el coeficiente kappa, basado en el número de palabras que expresan, representan o dan a entender lo mismo.
En esa evaluación, los valores más próximos a uno indican que hay concordancia, y valores más próximos a cero, que existe poca o ninguna concordancia.
Se evaluó el coeficiente kappa en tres parejas: VTE-1 frente a VTE- 2, VTE-1 frente a VTE- 3 y VTE- 2 frente a VTE-3. Una vez encontrado el grado de acuerdo entre las versiones traducidas al español, se iniciaron las correcciones y el desarrollo del consenso.
Evaluación de las traducciones por un comité de expertos
Realizada por tres especialistas: la primera, con grado de magister en educación; la segunda, una catedrática del curso de lenguaje en pregrado y estudiante de derecho, y el tercero, magister en educación y docente con años de experiencia. Se entregó una copia de las tres versiones traducidas al castellano a cada uno de los expertos, quienes realizaron sus correcciones y propusieron algunos cambios de palabras necesarios para la posterior realización de un consenso. En esta fase, el comité de expertos evaluó las equivalencias semántica, idiomática, conceptual y cultural de las versiones traducidas al español [8].
Elaboración del primer consenso de las versiones en español
Se reunió un grupo de seis personas, conformado por una magister en educación, un especialista en pedagogía diferente a los expertos que anteriormente evaluaron las traducciones, las investigadoras y un estudiante colaborador de nivel superior. Todos los miembros del comité tenían dominio del tema de metacognición y conocimiento básico del idioma inglés. Bajo la coordinación de las investigadoras, durante esa reunión, se informó a los participantes que el objetivo de dicha reunión era evaluar el significado semántico y cultural de las tres versiones traducidas al español añadiendo las correcciones de los tres expertos. En esta fase se otorgó una copia de las tres versiones traducciones al castellano, el instrumento en inglés y las correcciones hechas por los expertos.
Uno de los investigadores leía cada uno de los ítems, cada participante brindaba sugerencias y si como mínimo cinco participantes estaban de acuerdo, se daba por aceptada la sugerencia y se proseguía al siguiente ítem. De esta manera se evaluó la equivalencia semántica, idiomática, conceptual y cultural, que concluyó con la obtención del consenso de la versión en español-1 (CVE-1).
Retrotraducción (back-translation)
Realizada por dos traductoras, fluentes del idioma inglés y español. Se les entregó una copia del CVE-1 para que realizaran la retrotraducción al idioma inglés, sin darles a conocer los objetivos del estudio ni de la versión original del instrumento. En esta fase se obtuvieron dos versiones retrotraducidas: VRT-1 y VRT-2.
Evaluación de la concordancia entre la VRT-1 y la VRT-2 con la versión original
Para evaluar el grado de acuerdo se utilizó el coeficiente kappa mediante el conteo de palabras concordantes semánticamente.
Se eligió la VRT-1 por tener un mayor coeficiente kappa, es decir, una mayor correlación con el original, y se obtuvo la versión retrotraducida final (VRT-final).
Evaluación de la equivalencia entre la VRT-final y la versión original en inglés
Para este objetivo, se utilizó el coeficiente de Spearman, que permitió determinar la correlación entre las variables. Se realizó un conteo de palabras coincidentes entre la VRT-final y la versión original en inglés.
Aplicación del CVE-1 en una muestra piloto
Se aplicó el CVE-1 del AILI, además del test de comprensibilidad medida en una escala de 1 a 5, a 45 alumnos escogidos al azar, 15 de la Facultad de Medicina Humana, 15 de la Facultad de Psicología y 15 de la Facultad de Odontología, de diferentes ciclos, durante el ciclo académico 2014–I. La edad de la muestra piloto varió de 16 a 24 años, con una edad media de 19,69 ± 1,73 años y una mediana de 19 años. El año de estudios de los participantes variaba entre el primero y el quinto, siendo la mayoría del tercer año.
Análisis factorial
Se realizó primero el análisis de significación del conjunto de ítems con el Kaiser-Meyer-Olkin Measure of Sampling Adequacy (KMO); con un valor lejano a 1 o negativo ('no es cierto positivo' en SPSS) es inaceptable la realización del análisis factorial a nuestro cuestionario y se procede con otro método de validación.
Análisis de fiabilidad y comprensibilidad de los ítems del CVE-1
A partir de los resultados obtenidos de la muestra piloto, se evaluaron dos aspectos: la fiabilidad, para determinar la consistencia interna, y la comprensibilidad, para determinar el grado de entendimiento del instrumento en la cultura peruana. La fiabilidad se evaluó con alfa de Cronbach (valores ≥ 0,70). Para evaluar la comprensibilidad, se calculó la media total del grado de comprensibilidad de todo el cuestionario de toda la muestra piloto. De esta manera se obtuvo el AILI validado culturalmente al español para población peruana.
Todo el análisis de datos se realizó con el programa estadístico SPSS v. 19.0.
Resultados
Análisis de concordancia entre versiones de traducción al español
Al evaluar la concordancia por parejas de traducciones se encontraron diferentes grados de acuerdo entre las tres parejas de comparación. El valor kappa fue de 0,4501 para VTE-1 frente a VTE-2, de 0,4150 para VTE-1 frente a VTE-3 y de 0,4416 para VTE-2 frente a VTE-3.
Según la escala utilizada con frecuencia para expresar cualitativamente la fuerza de concordancia [9], todas las parejas de traducciones comparadas mostraron una concordancia moderada entre ellas. La concordancia más alta fue entre VTE-1 y VTE-2 (Tabla I).
Análisis de concordancia entre versiones retrotraducidas al inglés con la versión original
Al evaluar la concordancia entre cada una de las retrotraducciones se obtuvo, para la pareja de VRT-1 frente a la versión original un valor kappa de 0,4044, y para la pareja de VRT-2 frente a la versión original, un valor kappa de 0,3360 (Tabla II). La concordancia de ambas parejas fue aceptable. Se eligió la VRT-1 por tener un mayor coeficiente kappa y se cambió de nombre a VRT-final.
Análisis de equivalencia entre la VRT-final y la versión original
En el análisis de equivalencia entre la VRT-final y la versión original se obtuvo un rho de Spearman de 0,906, como se observa en la tabla II. El coeficiente de correlación obtenido mediante el conteo de palabras fue superior a 0,70, lo que significa que existe una correlación significativa entre la VRT-final y la versión original (Figura).
Análisis factorial
Al realizar el KMO, el SPSS arrojó 'no es cierto positivo', lo cual significa que es inaceptable realizar el análisis factorial y se procede con otros métodos de validación.
Evaluación del grado de comprensibilidad del CVE-1
El CVE-1 realizado con las correcciones del comité de expertos y las tres versiones traducidas al español por uno de los expertos, las investigadoras y un alumno colaborador se muestra en la tabla III.
1. Conozco qué tareas deben desarrollar los estudiantes de forma sistemática |
|
2. Considero que es necesario realizar un esfuerzo consciente para trabajar sistemáticamente cuando estas estudiando |
|
3. Cuando leo algo, no presto mucha atención a si el texto será útil en mi desarrollo personal |
|
4. No considero que sea importante sentirse involucrado personalmente con lo que estoy estudiando |
|
5. Ignoro los comentarios que manifiestan mis tutores sobre mi método de trabajo |
|
6. Cuando desarrollo una tarea me intereso por completar todas y cada una de las partes que la componen |
|
7. Al realizar una tarea considero un registro de mis objetivos de aprendizaje |
|
8. Cuando termino una tarea no compruebo si he trabajado aplicando un sistema eficaz |
|
9. Nunca tengo la sensación de que una tarea de repente ha empezado a interesarme |
|
10. Cuando estudio alguna información, yo mismo no percibo si lo estoy empezando a comprender |
|
11. No considero que sea necesario hacer un esfuerzo consciente para tratar de comprender lo que uno está estudiando |
|
12. No sabría cómo conseguir que los estudiantes puedan lograr sus propios resultados de lo aprendido |
|
13. Si los estudiantes encuentran difícil comprender el material, tengo soluciones para ello |
|
14. A veces, cuando realizo una tarea grupal, tengo la repentina sensación de que estoy aprendiendo bastante de ellos |
|
15. Si no le encuentro sentido a una tarea, trato de averiguar por qué |
|
16. Considero que es importante también vincular objetivos personales a las tareas |
|
17. Cuando he trabajado junto a otros en una tarea, no analizo si la cooperación fue útil para mí |
|
18. A veces, tengo la sensación de que mi método de trabajo no es el adecuado para una tarea específica |
|
19. A veces, cuando trabajo en una tarea, tengo la repentina sensación de que estoy aprendiendo algo valioso de ella |
|
20. Cuando estudio alguna información, no le presto mucha atención a si la estoy comprendiendo |
|
21. Cuando la cooperación entre los estudiantes resulta improductiva, no sé cómo resolverlo |
|
22. Cuando empiezo a estudiar un texto, primero me pregunto qué necesito hacer para poder estudiar el texto en profundidad |
|
23. No puedo predecir si un texto que debe estudiarse será interesante para los estudiantes |
|
24. Cuando trabajo con otras personas, analizo frecuentemente lo que aprendo de ellas |
|
25. Antes de comenzar a desarrollar una tarea no tengo una idea clara de lo que quiero aprender de ella |
|
26. Considero que los comentarios acerca de mis objetivos personales son innecesarios |
|
27. No puedo predecir cuánto esfuerzo será necesario por parte de los estudiantes para poder entender un texto |
|
28. No encuentro razones para conversar con otras personas sobre la utilidad de trabajar juntos en nuestros estudios |
|
29. Cuando he terminado una tarea no considero si trabajar en ella ha sido útil para mí |
|
30. Considero importante que los estudiantes también aprendan unos de otros mientras están estudiando |
|
31. Si mi implicación personal en la materia que estudiarse fuese cuestionada, pensaría al respecto |
|
32. Conozco diferentes estrategias de cómo los estudiantes pueden incrementar su nivel de compromiso en el tema que debe estudiarse |
|
33. Antes de empezar una tarea, no me pregunto si aprenderé más sobre ella trabajando en grupo |
|
34. Muestro interés en saber por qué a veces obtengo poco beneficio cuando trabajo en grupo |
|
35. No estoy interesado en averiguar por qué siento aversión hacia algunos de los textos que debo estudiar |
|
36. Si no consigo estructurar una tarea, intento averiguar las causas |
|
37. Cuando los estudiantes no trabajan sistemáticamente, no conozco maneras de resolverlo |
|
38. Si encuentro información que es difícil de entender no intento descubrir a qué se debe |
|
39. Considero útil hablar con otros sobre cómo uno puede comprender mejor los textos que se deben estudiar |
|
40. Puedo identificar si una tarea guarda relación con los objetivos de aprendizaje de los estudiantes |
|
41. Cuando he terminado de estudiar la información, compruebo por mí mismo si he profundizado lo suficiente |
|
42. Cuando he estudiado una materia obligatoria, me pregunto si despertó mi interés |
|
43. Cuando tengo que estudiar información, intento averiguar qué es lo que encontraré interesante sobre dicha información |
|
44. Antes de comenzar una tarea no pienso en cómo estructurarla |
|
45. Conozco las tareas con las cuales los estudiantes aprenderán más trabajando en grupo |
Cada enunciado se valora como sigue: 1. Absolutamente falso; 2. Falso en gran medida; 3. Más falso que verdadero; 4. Neutral/Desconozco; 5. Más verdadero que falso; 6. Verdadero en gran medida; 7. Absolutamente verdadero.
En la tabla IV se muestra la evaluación del grado de comprensibilidad del documento de consenso; se encontró que las medias de cada pregunta variaban entre 4,09 y 4,73, siendo la media de grado de comprensibilidad total de 4,49 (IC 95%: 4,31-4,66). Con dicho análisis se obtuvo el contenido validado culturalmente (Tabla IV).
Media | Desviación estándar | Intervalo de confianza (95%) | ||
---|---|---|---|---|
| ||||
Inferior | Superior | |||
Pregunta 1 | 4,09 | 1,145 | 3,75 | 4,43 |
| ||||
Pregunta 2 | 4,42 | 0,965 | 4,13 | 4,71 |
| ||||
Pregunta 3 | 4,56 | 0,813 | 4,31 | 4,80 |
| ||||
Pregunta 4 | 4,60 | 0,915 | 4,33 | 4,87 |
| ||||
Pregunta 5 | 4,64 | 0,830 | 4,40 | 4,89 |
| ||||
Pregunta 6 | 4,73 | 0,863 | 4,47 | 4,99 |
| ||||
Pregunta 7 | 4,62 | 1,007 | 4,32 | 4,92 |
| ||||
Pregunta 8 | 4,42 | 1,118 | 4,09 | 4,76 |
| ||||
Pregunta 9 | 4,51 | 1,079 | 4,19 | 4,84 |
| ||||
Pregunta 10 | 4,47 | 0,842 | 4,21 | 4,72 |
| ||||
Pregunta 11 | 4,56 | 1,099 | 4,23 | 4,89 |
| ||||
Pregunta 12 | 4,20 | 1,342 | 3,80 | 4,60 |
| ||||
Pregunta 13 | 4,38 | 1,029 | 4,07 | 4,69 |
| ||||
Pregunta 14 | 4,51 | 1,014 | 4,21 | 4,82 |
| ||||
Pregunta 15 | 4,58 | 0,988 | 4,28 | 4,87 |
| ||||
Pregunta 16 | 4,64 | 0,981 | 4,35 | 4,94 |
| ||||
Pregunta 17 | 4,47 | 1,014 | 4,16 | 4,77 |
| ||||
Pregunta 18 | 4,51 | 1,014 | 4,21 | 4,82 |
| ||||
Pregunta 19 | 4,44 | 0,943 | 4,16 | 4,73 |
| ||||
Pregunta 20 | 4,44 | 1,099 | 4,11 | 4,77 |
| ||||
Pregunta 21 | 4,38 | 1,193 | 4,02 | 4,74 |
| ||||
Pregunta 22 | 4,60 | 0,809 | 4,36 | 4,84 |
| ||||
Pregunta 23 | 4,31 | 1,019 | 4,01 | 4,62 |
| ||||
Media | Desviación estándar | Intervalo de confianza (95%) | ||
| ||||
Inferior | Superior | |||
| ||||
Pregunta 24 | 4,44 | 0,813 | 4,20 | 4,69 |
| ||||
Pregunta 25 | 4,44 | 0,943 | 4,16 | 4,73 |
| ||||
Pregunta 26 | 4,36 | 1,026 | 4,05 | 4,66 |
| ||||
Pregunta 27 | 4,44 | 0,841 | 4,19 | 4,70 |
| ||||
Pregunta 28 | 4,56 | 0,813 | 4,31 | 4,80 |
| ||||
Pregunta 29 | 4,64 | 0,645 | 4,45 | 4,84 |
| ||||
Pregunta 30 | 4,58 | 0,866 | 4,32 | 4,84 |
| ||||
Pregunta 31 | 4,58 | 0,753 | 4,35 | 4,80 |
| ||||
Pregunta 32 | 4,40 | 1,074 | 4,08 | 4,72 |
| ||||
Pregunta 33 | 4,51 | 0,895 | 4,24 | 4,78 |
| ||||
Pregunta 34 | 4,56 | 0,943 | 4,27 | 4,84 |
| ||||
Pregunta 35 | 4,40 | 0,986 | 4,10 | 4,70 |
| ||||
Pregunta 36 | 4,49 | 0,869 | 4,23 | 4,75 |
| ||||
Pregunta 37 | 4,44 | 1,013 | 4,14 | 4,75 |
| ||||
Pregunta 38 | 4,36 | 1,048 | 4,04 | 4,67 |
| ||||
Pregunta 39 | 4,44 | 0,967 | 4,15 | 4,73 |
| ||||
Pregunta 40 | 4,56 | 0,785 | 4,32 | 4,79 |
| ||||
Pregunta 41 | 4,67 | 0,674 | 4,46 | 4,87 |
| ||||
Pregunta 42 | 4,69 | 0,633 | 4,50 | 4,88 |
| ||||
Pregunta 43 | 4,42 | 1,118 | 4,09 | 4,76 |
| ||||
Pregunta 44 | 4,51 | 0,869 | 4,25 | 4,77 |
| ||||
Pregunta 45 | 4,27 | 1,232 | 3,90 | 4,64 |
| ||||
Media | 4,49 | 0,573 | 4,31 | 4,66 |
Análisis de consistencia interna y fiabilidad del CVE-1
Los valores del alfa de Cronbach variaron de 0,614 (conocimiento de la cognición) a 0,692 (experiencia de metacognición) en la evaluación de los componentes de la variable metacognición a partir de los resultados de la muestra piloto; dichos valores son adecuados para la evaluación de los ítems de cada componente. La evaluación de la fiabilidad del documento total mostró un alfa de Cronbach de 0,859, lo que denota una buena consistencia interna (Tabla V).
Discusión
Si bien no existe un consenso estricto en la bibliografía de cómo debe realizarse la adaptación cultural de un instrumento, se propone que, para realizar este proceso, es importante tener en cuenta dos aspectos: la validación cultural, con una evaluación lingüística que analiza aspectos de equivalencia entre el instrumento original y la versión traducida, y la evaluación de las propiedades psicométricas del instrumento traducido. Las dos características métricas esenciales para valorar la precisión de un instrumento son la fiabilidad y la validez. La fiabilidad hace referencia al hecho de medir una variable de manera constante, y la validez, a que el instrumento mide lo que quiere medir [7].
La fiabilidad se puede estimar por cuatro medios: la consistencia interna, la estabilidad, la equivalencia y la armonía interjueces. En este trabajo hemos utilizado tres de ellos. En primer lugar, el alfa de Cronbach mide la correlación de los ítems y se considera el indicador más idóneo que da un único valor de consistencia. El rango del alfa de Cronbach se mide en grados y se expresa en forma de coeficiente, oscilando de 0 a 1 [6]. En nuestro trabajo hemos encontrado un coeficiente igual a 0,87; según George y Mallery, este valor se podría considerar como de un nivel bueno, por lo que se concluye que existe una fuerte relación entre las preguntas [7].
La estabilidad, basada en análisis de regresión lineal entre los ítems, se midió con el coeficiente de Spearman-Brown por tratase de variables nominales u ordinales [7] que no tienen una distribución semejante a la de la curva normal. El coeficiente de correlación de Spearman puede tener valores entre –1 y +1, pasando por 0. En el estudio se encontró un valor de 0,906, por lo cual se afirma que ambas variables se asocian directamente de manera muy estrecha.
Para la armonización (el acuerdo entre las traducciones) se usó el estadístico kappa. El estadístico tiene un rango entre –1 y +1, pero generalmente se ubica entre 0 y 1. Si el coeficiente es 1, indica un acuerdo perfecto entre los evaluadores; si es 0, que el acuerdo no es mayor que el esperado por el azar, y si el valor del coeficiente es negativo, el nivel de acuerdo resulta inferior al esperado por el azar [7]. Los valores encontrados entre la VTE-1 y la VTE-2 (0,4501), entre la VTE-1 y la VTE-3 (0,4150) y entre la VTE-2 y la VTE-3 (0,4416) demuestran una fuerza de concordancia moderada entre las tres traducciones. El mismo proceso se utilizó para las retrotraducciones.
Para evaluar el grado de validez se utilizó la metodología Q, que mide la validez de contenido con un grupo de expertos [7].
Se obtuvo un elevado grado de comprensibilidad del constructo (89,8%), lo cual revela el entendimiento de las preguntas.