La innovación educativa desde la metodología: Mejora de las actitudes y competencias científicas de los alumnos

Educational innovation in research methodology: Improving students' scientific skills and attitudes

José Fernando García¹, Enrique Gracia¹, María C. Fuentes¹, Marisol Lila¹, Joan Pascual²

¹ Universidad de Valencia (España).
² Universidad Politécnica de Valencia (España).

Agradecimientos: este artículo ha sido elaborado en el marco de los proyectos de innovación educativa UV20080565 y 72/DT/26 y la beca BC09-149 subvencionados por el Vicerrectorado de Convergencia Europea y Calidad de la Universidad de Valencia. También agradecemos la ayuda ACIF/2010/282 recibida del Programa VALi+d para investigadores en formación del Plan General Estratégico de Ciencia y Tecnología de la Comunidad Valenciana (2009-2013).

Dirección para correspondencia

RESUMEN

Se aplicó un programa de innovación educativa para mejorar las actitudes hacia la metodología de los estudiantes de las asignaturas de las ciencias del comportamiento. Los estudiantes utilizaron datos reales para contrastar sus propias hipótesis utilizando diferentes análisis estadísticos, aplicando dos principios metodológicos claves para el contraste: el tamaño de la muestra y los enunciados ordinales (Frick, 1996). Esta investigación de los estudiantes implicó el trabajo en grupo, emplear bases de datos en Internet para el desarrollo del marco teórico, definición de los objetivos del estudio, definición de variables, estrategias para el análisis y discusión de los resultados. Cuando terminó la investigación de los estudiantes se valoraron el rendimiento académico y los cambios de actitudes hacia la metodología. Los resultados indicaron que: 1) la realización de esta experiencia de investigación contrastada con datos reales mejoró la formación del alumno, y 2) supuso una toma de contacto con la realidad metodológica que favoreció sus actitudes hacia la misma.

Palabras clave: Innovación educativa; Metodología; Actitudes hacia la metodología.

ABSTRACT

A programme of educational innovation was implemented to improve the attitude toward research methods for psychology students. Students used real data to test their own hypotheses using different statistical methods. Specifically, they implemented two key methodological principles in research methods: sample size and ordinal claims (Frick, 1996). Students had to work in teams, using Internet data bases for developing the theoretical background of the study, the definition of the objectives, the definition of variables, data analysis, and discussion of results. We assessed the attitudes towards research methods before and after the study. Results showed that: 1) the students improved their skills in research methods, and 2) the attitudes towards methodology were more positive.

Keywords: Educational innovation; Methodology; Attitudes toward methodology.

Actualmente en España la educación universitaria, inmersa en el marco del Espacio Europeo de Educación Superior (EEES), se encuentra asimilando progresivamente el cambio conceptual emergente y realizando ajustes importantes en su metodología pedagógica. Los nuevos planteamientos educativos en la Universidad se basan principalmente en concebir el aprendizaje como un proceso autónomo, presente a lo largo de toda la vida de la persona y que tiene como principal agente protagonista del mismo al estudiante. Se asume por tanto un nuevo paradigma de aprendizaje en el que el estudiante debe adquirir una mayor responsabilidad y un mayor auto-control en el proceso de construcción del mismo, mientras que el docente debe mutar su rol hacia la figura de guía o facilitador en el proceso educativo (Arias-Gundín, Fidalgo, y García, 2008). Se persigue con ello capacitar a los graduados para que, a través de sus estudios, sean capaces de adquirir todo un espectro de atributos explícitos que les permitan comprometerse eficazmente en el mundo laboral (Rodríguez, 2005), así como potenciar en ellos el desarrollo de competencias, tanto genéricas (instrumentales, personales y sistémicas) como específicas (Díez, et al., 2009; Fidalgo y García, 2008; Martínez-Cocó et al., 2008). Es decir, la universidad europea tiende hoy en día a estimular la autonomía y protagonismo del estudiante (Baños y Pérez, 2005), introduciendo para ello en las aulas innovaciones de carácter estructural y funcional, destacando entre ellas las de tipo metodológico.

La finalidad fundamental de este trabajo fue que los alumnos realizaran una actividad investigadora con datos reales que reuniera los máximos criterios científicos de calidad. Participando en un proceso paradigmático que les permitiera entender la realidad del método científico, posiblemente el más transversal de todos los contenidos del currículum de las materias de psicología. Así como constatar las repercusiones prácticas que este método tiene en la práctica profesional por ser el sistema habitual de fundamentar el conocimiento que posteriormente aplicarán en su ejercicio profesional (Bono et al., 2006; Doménech et al., 2004).

Varios autores han subrayado que la psicología es una ciencia con bastantes problemas de organización teórica (Anderson, 1978; Loftus, 1993; Watkins, 1981, 1984). Por ejemplo, en tono humorístico Watkins (1984) afirmaba que cada psicólogo de la Tierra tiene su propia teoría, y que éstas llegan a ser de un uso tan personal como los cepillos dentales, de tal manera que cuando uno mismo desaparece o pierde su interés por la teoría, la teoría también muere. Las cuestiones metodológicas de la psicología son cruciales para la propia acumulación de los conocimientos de esta disciplina. Corresponde en gran medida a los metodólogos de las ciencias del comportamiento aportar soluciones que contribuyan a la acumulación consistente del conocimiento psicológico (Balluerka, Gómez-Benito y Hidalgo, 2005; García, Frías y Pascual, 1999; Llobell, Pérez y Navarro, 2000; Pascual, Frías y García, 1996).

Respecto de esta acumulación del conocimiento, una importante repercusión en la metodología de las ciencias del comportamiento lo suscitaron las aportaciones de Cohen (1962, 1994). Este autor advertía a la comunidad científica que el mayor o menor número de observaciones recogido en un estudio (tamaño de la muestra) era decisivo para las conclusiones. El tamaño de la muestra podía constituir un aspecto tan relevante como el mismo hecho de que la relación entre la variable independiente y la dependiente fuesen reales (véase García, Pascual, Frías, Van Krunckelsven y Murgui, 2008). En efecto, la probabilidad de cometer un error de inferencia estadística del Tipo II (no detectar relaciones reales entre las variables independientes y las dependientes) puede llegar a ser tan alto como del 93% (en un ANOVA cuando α = .05, η² = .14, n = 2 y a = 2). Que el tamaño de la muestra elegido para el estudio supusiese de por sí un factor tan decisivo, capital para la psicología como ciencia capaz de acumular consistentemente el conocimiento, suscitó múltiples suspicacias, cuestionando muchos estudios la importancia que pudiera tener la prueba de la hipótesis nula para la investigación psicológica (e.g., Bakan, 1966; Balluerka et al., 2005; Cohen, 1994; Navarro, Llobell y Pérez, 2000; Nickerson, 2000). Considerando que los tamaños muestrales junto con los del efecto eran cruciales para el error del Tipo II varios autores propusieron que se introdujese el cálculo de los intervalos de confianza en la investigación psicológica (e.g., Cumming y Finch, 2005; Navarro, et al., 2000; Nickerson, 2000) como medio de asegurar la replicabilidad consistente de los resultados de los estudios (véase García et al., 2008). Después de múltiples trabajos revisando la importancia de la validez estadística al menos ha quedado meridianamente clara la importancia de controlar el error del Tipo II o la potencia estadística en las pruebas de las hipótesis: esto es, que se puede determinar el mínimo número de observaciones necesario para replicar consistentemente los resultados de un estudio (e.g., Faul, Erdfelder, Buchner y Lang, 2009; García et al., 2008).

Desde una perspectiva complementaria, el trabajo de Frick (1996) también supuso una aportación importante para la acumulación consistente del conocimiento psicológico. Este autor argumentaba que los enunciados que se derivan de las teorías psicológicas son en su mayor parte meramente ordinales. La consistencia de los resultados psicológicos tiene que contrastarse desde las limitaciones en la precisión estadística inherentes a estos enunciados psicológicos. En la mayoría de los casos los enunciados psicológicos únicamente afirman relaciones ordinales entre variables como que a mayor motivación se producirá un mayor rendimiento, o que el grupo con mayor motivación obtendrá mayor rendimiento (según se plantee la comprobación estadística mediante correlaciones o diferencias en los promedios). En pocos casos se enuncian relaciones cuantitativas entre las variables. En el ejemplo anterior, desde un enunciado cuantitativo el equivalente correspondería a qué cantidad de incremento en el grado de motivación produciría qué cantidad de incremento del rendimiento académico. Desde la perspectiva de Frick (1996) la aportación es analizar si los supuestos teóricos que plantean los modelos teóricos son de naturaleza ordinal o cuantitativa, para definir sin ambigüedades los sistemas de comprobación de las hipótesis, considerando la naturaleza de la predicción (ordinal o cuantitativa) para poder contrastar sin ambigüedades la hipótesis teórica de un estudio (García et al., 1999; Kukla, 1989; Pascual et al., 1996).

Si bien las cuestiones metodológicas de la psicología son cruciales para la propia acumulación de los conocimientos de esta disciplina, el éxito de la actividad formativa del estudiante, y la actualización permanente del futuro profesional, también es cierto que requieren dominar cuestiones metodológicas que son transversales a todas las ramas, no ya sólo de la psicología, sino también del conjunto de la ciencia (Feynman, 1994; García et al., 1999; Pascual et al., 1996). No obstante, son notorias las dificultades que con estas materias experimentan los estudiantes del grado de psicología. Si los estudiantes pudieran eliminar una materia del curriculum, posiblemente, la mayoría elegirían una de ámbito metodológico, consideran Conners, McCown y Roskos-Ewoldsen (1998) al comparar las diferencias entre las exigencias curriculares de los cursos metodológicos con componentes estadísticos y las demás materias de la psicología. También la literatura especializada aporta datos que incluso afirman que entre el 65% y el 80% de los estudiantes de grado experimentan la denominada ansiedad estadística (Onwuegbuzie y Wilson, 2003). Además, algunos estudios extienden las confusiones y polémicas en los temas metodológicos y las aplicaciones de los análisis estadísticos hasta los propios investigadores cuando se trata el espinoso tema de la replicabilidad (véase Bort, Llobell y Navarro, 2006). Ante estas problemáticas con la metodología las diferentes soluciones coinciden generalmente en el denominador común de mejorar la formación con la profundidad y claridad que sea necesaria para que el alumno pueda entender razonadamente los aspectos de fondo (véanse Sabiote, Pérez y Llorente, 2010; Bort et al., 2006).

En las enseñanzas iniciales del grado las cuestiones de la replicabilidad consistente del conocimiento pueden aparecer distorsionadas para los alumnos por la misma programación de la actividad formativa. Los ejercicios más básicos de los libros de texto se diseñan específicamente para que cumplan con todos los supuestos -teóricos, metodológicos y estadísticos­- y se puedan resolver manualmente, con muy pocas observaciones y un tamaño del efecto desmedidamente grande para la investigación psicológica que representan. Por el contrario, una parte importante de los supuestos teóricos de la psicología necesitan de muestras grandes para comprobarse, de lo contrario puede aparentemente parecer que estos supuestos teóricos son incorrectos (e.g., Balluerka et al., 2005; Cohen, 1994; García et al., 2008). Además, a diferencia de los ejercicios de clase, donde todos los alumnos obtienen el mismo resultado final, porque la muestra del ejercicio es la misma para todos, en las muestras con datos psicológicos reales, como en cualquier muestreo, es prácticamente imposible no encontrar las consabidas variaciones muestrales, en última instancia porque cada muestra constituye sólo lo que es: una muestra con los valores de las variables (e.g., Cumming y Finch, 2005; García et al., 2008; Nickerson, 2000). Por último, mientras que en los ejercicios de clase se plantea generalmente estudiar relaciones obvias entre unas pocas variables, las contradicciones y predicciones de los modelos teóricos de la psicología no se pueden entender analizando separadamente resultados aislados. En la mayoría de los casos no se hacen predicciones parciales sobre las cantidades, sino sobre las relaciones que se observan entre las múltiples variables que son representativas y claves para contrastar los supuestos teóricos que se comprueban en los estudios (e.g., Frick, 1996; Kukla, 1989). Los trabajos de los alumnos con datos reales pueden contribuir decisivamente a completar la formación tradicional tanto de las clases estrictamente metodológicas como las de otras materias psicológicas, considerando el carácter transversal de la metodología en la ciencia. La mejor formación de los alumnos implica capacitación profesional pero también unas actitudes más positivas hacia los componentes estadísticos de la metodología al comprender mejor su sentido (e.g., Sabiote et al, 2010), que en última instancia consiste en contrastar las teorías y modelos de la psicología (e.g., Balluerka et al., 2005; Cohen, 1994; Navarro et al., 2000; Nickerson, 2000).

Sin embargo, trabajar con datos reales en las clases de grado requiere de una programación que evite que se produzca justo el efecto contrario al que se pretende (e.g., Anderson, 1978; Loftus, 1993; Watkins, 1981, 1984), precisamente por seguir repitiendo en parte los mismos esquemas tradicionales. No es sencillo recoger datos, suficientes en número y que además permitan contrastar cuestiones psicológicas relevantes, de forma improvisada y sencilla. Los datos reales que se necesitan son siempre difíciles de conseguir, al menos con el número necesario de observaciones que permita estabilizar el error de medida y replicar los resultados previstos teóricamente (e.g., Cohen, 1994; Faul et al., 2009). La improvisación o deficiente planificación puede conducir a que tras el enorme esfuerzo que dedican los alumnos para conseguir su muestra, experimenten la consecuente frustración de no poder confirmar ni los aspectos más triviales (e.g., Cohen, 1994; Faul et al., 2009; García et al., 2008). Sí que aprenden -y muy bien, aunque por el tremendo esfuerzo que dedican y los pobres resultados que obtienen- que las muestras y sus estadísticos son diferentes cada vez que se toman (cada muestra proporciona un resultado distinto), pero no perciben ninguna evidencia clara de que existan patrones consistentes de resultados (e.g., Frick, 1996; Kukla, 1989).

El programa de innovación educativa

Se aplicó un programa de innovación educativa para mejorar la formación teórica y metodológica de los alumnos (promocionando una actitud positiva hacia la metodología). Para ello se propuso un sistema que permitió investigar las relaciones ordinales que establece un modelo teórico clásico de la socialización familiar, pero que actualmente aún es fuente de continuas polémicas en la literatura especializada. En esta literatura se utilizan diferentes tamaños del efecto y se establecen relaciones entre múltiples variables que son relevantes para la psicología actual (véanse las revisiones para la cultura española de García y Gracia, 2009b, 2010).

Teóricamente se predicen diferencias entre los cuatro estilos de socialización y los diferentes criterios de ajuste en los hijos (García y Gracia, 2009b, 2010). En las predicciones acerca del orden que seguirán las cuatro tipologías en los criterios de ajuste y desajuste la predicción varía en la posición relativa de los promedios entre las cuatro tipologías, si bien son posibles hasta cuatro posiciones diferentes de orden en muchos casos no alcanza a más de dos, o a lo sumo tres niveles, quedando varios de los cuatro estilos indistinguibles dentro de un mismo grado (Figura 2). Con el mismo principio de igualdad o diferencia se ordena el ajuste de las cuatro tipologías: igual, mayor o menor. También se midió en este primer apartado de hipótesis si la relación entre las prácticas familiares y los grados de ajuste de los hijos interactuaban con el contexto social (favorable o desfavorable) en el que se producía la socialización mediante los patrones de medias.

Además se analiza el efecto del tamaño muestral en el tema de la consistente replicación inter-muestral de los resultados de los tres conjuntos de hipótesis planteadas realizando análisis previos de los datos con muestras extremadamente pequeñas (N = 30) para las pruebas de diferencias de medias (Faul et al., 2009). En los dos conjuntos de hipótesis sobre patrones de medias la muestra necesaria era de 1100 observaciones (η² = .01, α = .05, 1 - β = .80; Faul et al., 2009) porque el promedio del tamaño del efecto en los estudios era muy pequeño (promedio de η² = .015, estimado con los ANOVAs de Lamborn, Mounts, Steinberg y Dornbusch, 1991, pp. 1057-1060). Por el contrario, las pruebas para los patrones de correlaciones ejemplificaban el caso opuesto, con las mismas 30 observaciones (α = .05, 1 - β = .80) se podían detectar tamaños del efecto de .47 (Faul et al., 2009), considerados grandes (Cohen, 1977, pp. 78-80). Sin embargo, como entre las prácticas parentales el tamaño del efecto promedio entre las correlaciones es más bien grande (promedio de |r| = .43, estimado con los análisis de Delgado, Jiménez, Sánchez-Queija y Gaviño (2007), correlacionando todas las prácticas entre sí; promedio de |r| = .69 y |r| = .71, considerando las que más se relacionan con el primer y segundo eje del modelo, respectivamente, estimado con los análisis de Musitu y García (1999). En este contexto del tamaño del efecto grande, es mucho más fácil encontrar las relaciones previstas y constatar sus relaciones estadísticamente significativas con las muestras iniciales de 30 observaciones. Aunque cuando los contrastes se aplican con muestras muy grandes (como en la fase 4ª que se detalla más adelante), muchas de las correlaciones resultan estadísticamente significativas en los cuadrantes cuando coinciden en la misma dirección y sentido (Figura 1), siendo necesario aplicar los intervalos de confianza y el criterio de su no-solapamiento para poder contrastar sin ambigüedades este primer conjunto de hipótesis (véase García et al., 2008).

La investigación de los estudiantes

Los alumnos estudiaron los estilos parentales y su relación con el ajuste psicosocial de los hijos. Los objetivos principales de la investigación fueron: (1) Contrastar empíricamente el modelo de socialización parental de dos dimensiones y cuatro estilos a partir de diversos indicadores de las prácticas parentales (véase la Figura 1). (2) Analizar la relación entre los estilos parentales de socialización y diversos criterios de ajuste psicosocial de los hijos. (3) Determinar si la relación entre los estilos parentales y los criterios de ajuste psicosocial varían en contextos sociales desfavorables.

Medidas. (1) Quince prácticas parentales que se midieron con cuatro instrumentos: afecto, indiferencia, diálogo, displicencia, coerción verbal, coerción física y privación (ESPA29: Musitu y García, 2001); implicación, apoyo de la autonomía psicológica y rigidez/supervisión (Parenting Scales de Steinberg: Lamborn et al., 1991; Steinberg, Lamborn, Darling, Mounts y Dornbusch, 1994); control psicológico (Psychological Control Scale: Barber, 1996); cariño emocional, rechazo y sobre-protección (Short-EMBU scales: Arrindell et al., 2005). (2) Diecisiete criterios del ajuste de los hijos, los seis indicadores de ajuste psicológico del Personality Assessment Questionnaire de Rohner (1990), los cinco indicadores de la autoestima del AF5 (García y Musitu, 1999), y tres indicadores de competencia personal y otros tres de problemas de conducta (García y Gracia, 2009b; Lamborn et al., 1991; Steinberg et al., 1994).

El plan de análisis por objetivos: (1) Se representaron las prácticas parentales en el modelo bidimensional con cuatro tipologías. La precisión del patrón sería de ocho posiciones (Figura 1) y la técnica estadística básica para el contraste estadístico de las hipótesis las correlaciones de Pearson. (2) Se relacionaron los cuatro estilos de socialización con los criterios de ajuste de los hijos. La precisión del patrón sería de hasta cuatro niveles (Figura 2) y las técnicas estadísticas básicas para el contraste estadístico de las hipótesis secuencias de MANOVAs, ANOVAs y pruebas de Bonferroni. (3) Por último, para determinar si se producirían cambios en la zona de alto riesgo, entre los etilos de socialización y los criterios de ajuste, se siguió el mismo sistema básico que se aplicó en el punto segundo.

Procedimiento. Para aplicar la investigación del programa de innovación los alumnos formaron pequeños grupos (de 2 a 4 miembros) con un investigador principal que representó al equipo. La investigación se realizó en cuatro fases. Fase 1ª. (A) Los equipos formularon sus propias hipótesis. Siguiendo los objetivos del estudio consultaron la literatura más reciente a partir de las bases de datos de Internet para el desarrollo del marco teórico, relacionaron variables e instrumentos, y también consideraron las estrategias para el análisis. (B) Cada investigador principal rellenó en la base de datos centralizada en una Web del equipo docente el cuestionario con las tres baterías de hipótesis, siguiendo el formato de las Figuras 1 y 2. (C) Cada equipo recogió 30 cuestionarios, y (D) introdujo en la base de datos centralizada en una Web del equipo docente las respuestas de sus cuestionarios. Fase 2ª. Cada equipo contrastó sus hipótesis con los resultados del análisis de su muestra (N = 30). Fase 3ª. Cada equipo reconsideró sus hipótesis iniciales a partir de conocer sus propios resultados (fase 2ª). Fase 4ª. Los datos de todos los equipos fueron empleados para contrastar las hipótesis de cada equipo.

Método

Participantes

La muestra fue de 84 alumnos (de 20 a 49 años, M = 24.21 años, DT = 5.16 años, con 69 mujeres, 81%) que siguieron el programa, y que también cursaron la asignatura de Métodos y Diseños de Investigación en la Facultad de Psicología de la Universidad de Valencia. Un análisis de la potencia determinó que con la muestra disponible de 84 participantes la potencia para detectar tamaños del efecto pequeños y medianos era baja (α = .05; con η² = .01, 1 - β = .15; con η² = .06; 1 - β = .62), siendo apropiada para detectar los efectos grandes (α = .05; η² = .14; 1 - β = .95) en una prueba F univariada con un grado de libertad en el numerador (Faul et al., 2009; García et al., 2008).

Medidas

Las medidas fueron el rendimiento académico, la nota conseguida en el examen de la asignatura de junio (entre 0 y 10), el grado de rendimiento en las actividades del programa, y la precisión conseguida durante los pronósticos (medida a partir de la proporción de aciertos sobre el total de preguntas, entre 0 y 1) de las tres hipótesis contrastadas en las fases 1ª (después de examinar el planteamiento teórico) y 3ª del programa (después de analizar los resultados de una muestra de 30 sujetos) con el análisis de todas las muestras (fase 4ª). Por último, se midieron las actitudes hacia los cuatro componentes estadísticos de la metodología evaluados con el Survey of Attitudes Toward Statistics (SATS; Schau, Stevens, Dauphinee y Del Vecchio, 1995) en septiembre (Pre) y junio (Post). Este cuestionario es uno de los más extendidos y fue diseñado específicamente para valorar cambios de actitudes entre el inicio y final de los cursos de estadística (Estrada, Batanero y Fortuny, 2005; Schau et al., 1995). El SATS incluye 28 elementos con formato Likert de 5 puntos (1, muy en desacuerdo; 5, muy de acuerdo) en los que la actitud más positiva hacia la estadística se corresponde con la puntuación más alta después de recodificar los 19 ítems negativos. Evalúa cuatro dimensiones, Afecto (6 ítems, e.g., "Me gusta la estadística"), Competencia Cognitiva (6 ítems, e.g., "Puedo aprender estadística"), Valoración (9 ítems, e.g., "Utilizo la estadística en la vida cotidiana") y Facilidad (7 ítems, e.g., de ítem negativo "La estadística es una asignatura complicada"). La puntuación de cada dimensión se ha obtenido promediando los ítems que la componen, teniendo las puntuaciones en cada factor un recorrido entre 1 y 5. La consistencia interna en Afecto fue de .70 en el Pre y de .78 en el Post; en Competencia Cognitiva, .80 y .74; en Valoración, .79 y .75; y en Facilidad, .54 y .51.

Análisis de datos

Previamente se comprobó que la distribución de las variables se ajustara razonablemente a la normalidad (Kline, 2005), todos los índices de asimetría fueron menores de 2 y los de curtosis menores de 3 (Tablas 1 y 3). En primer lugar se analizaron las diferencias entre los pronósticos de los tres conjuntos de hipótesis mediante el análisis de la varianza, los pronósticos fueron las variables dependientes y las fases (1ª vs. 3ª) y el conjunto de hipótesis (1º, 2º y 3º) las variables independientes. En segundo lugar se analizaron las diferencias en las notas de julio mediante otro análisis de la varianza, con las calificaciones como dependiente y el rendimiento alto o bajo en el programa de innovación como independiente. En tercer y último lugar, se analizaron las diferencias en las cuatro actitudes del SATS con análisis de la covarianza, siendo la variable dependiente la medida de cada actitud en junio, la covariable la medida de septiembre y la independiente el rendimiento alto o bajo en el programa de innovación. Además de los estadísticos F o t se calculó el tamaño del efecto mediante η².

Primero, se analizó la precisión en las predicciones de las tres hipótesis en las fases primera y tercera (Tabla 1). Constatando que se producía un mayor grado de acierto en la primera hipótesis (ubicación de las prácticas en los dos ejes ortogonales) que en las dos últimas (predecir el orden del patrón de medias). Sin embargo los patrones de respuesta no varían en la fase 3ª respecto de la fase 1ª (reconocen que la potencia estadística del estudio de la práctica era muy baja con 30 observaciones).

Segundo, se analizó la relación entre el rendimiento en el programa de innovación y la calificación en el examen de junio. Cuando el rendimiento en el programa fue alto (n = 16, M = 7.17, DT = 1.03 vs. n = 29, M = 5.96, DT = 1.44) la nota del examen fue mayor [F (1, 43) = 8.73, p < .001, η²= .17]. Además, la distribución cruzada de la calificación en el acta (no presentados, NP, y suspendidos vs. aprobados) con el rendimiento en el programa de innovación (bajo vs. alto) indicaba que ninguno de los alumnos con alto rendimiento en el programa suspendió la asignatura (Tabla 2).

Tercero, se analizó el cambio de actitudes hacia los componentes estadísticos de la metodología con cuatro análisis de covarianza (siendo el pre la covariable de cada post en el análisis de cada componente del SATS; y la independiente el rendimiento, alto vs. bajo, en las actividades de programa de innovación). Tras el ajuste de la covariable se encontraron diferencias significativas (α = .05) en afecto [F (1, 81) = 11.34, p = .001, η²= .12] y en valoración [F (1, 81) = 5.18, p = .025, η²= .06]. Con las medias ajustadas en el pre se comprobó que el grupo con alto rendimiento mostraba en el post mayor afecto (M = 3.48 vs. M = 2.77) y valoración (M = 3.82 vs. M = 3.50).

Discusión

En este trabajo se analizaron los resultados de un programa de innovación educativa con contenidos transversales destinado a los alumnos de las asignaturas de las ciencias del comportamiento. Los alumnos se organizan en grupos de investigación para recoger sus propios datos, formulan sus propias hipótesis que se derivan de un modelo teórico (analizando supuestos y previsiones) y las contrastan durante cuatro fases en las que se iba mejorando progresivamente la validez estadística de los contrastes con los datos. En este contexto formativo que reproduce los rigores de la actividad científica, los resultados de este trabajo relacionaron positivamente la participación en el programa con la formación de los alumnos universitarios.

Es importante destacar que analizando la literatura psicológica directamente, con sus múltiples polémicas y controversias acerca de un modelo teórico, sus fundamentos, y sus relaciones con otros ámbitos de la psicología, los alumnos formularon hipótesis contrastables sin ambigüedad (Fritz, 1996; Kukla, 1989). El número de variables que se relacionaron entre sí fue realmente considerable, cuadrando las 15 medidas en el modelo bidimensional con el primer conjunto de hipótesis y ordenando después 17 criterios dos veces, con el segundo y tercer conjunto de hipótesis. Este ejercicio resulta muy importante para entender la importancia que tiene la organización teórica que pretende el conocimiento científico (Feynman, 1994; Llobell et al., 2000). También ayuda a entender que los mismos conceptos teóricos se pueden medir con diferentes instrumentos o sistemas de medidas, que en última instancia hay que esperar que converjan y diverjan en concordancia con los conceptos que representen (García et al., 1999; Pascual et al., 1996). Si bien el lenguaje de la ciencia requiere un alto grado de abstracción, éste resulta necesario para poder representar el escenario psicológico sobre el que esta ciencia contrasta sus predicciones (Fritz, 1996; García et al., 1999; Pascual et al., 1996; Llobell et al., 2000). En el momento de las predicciones, para la mayor parte de la psicología, la estadística es casi el único sistema válido para contrastar consistentemente sus enunciados (Cohen, 1994; Cumming y Finch, 2005; Frick, 1996; Nickerson, 2000). Con todo esto, el programa de innovación educativa analizado en este trabajo se ha relacionado positivamente con la formación de los alumnos (Bono et al., 2006; Doménech et al., 2004; Sabiote et al., 2010).

Otro aspecto a destacar es que el diseño del programa incluía variar progresivamente componentes de la validez estadística que afectaban directamente al contraste de las hipótesis. Uno de los temas que mayor relevancia tiene para la psicología, como ciencia capaz de acumular consistentemente el conocimiento de su objeto de estudio (Cohen, 1994; Cumming y Finch, 2005; Frick, 1996; García et al., 2008; Llobell et al., 2000; Nickerson, 2000). Los resultados de este trabajo indican que los alumnos no variaron las predicciones cuando conocieron los resultados de los análisis estadísticos con muy baja potencia: unas muestras muy reducidas para el tamaño del efecto tan pequeño del segundo y tercer conjunto de hipótesis (Cohen, 1962, 1994; García et al., 2008). Por otra parte, si bien era más sencillo encontrar patrones consistentes con los análisis del primer conjunto de hipótesis incluso con las mismas 30 observaciones iniciales (por su mayor tamaño del efecto) también hay que valorar positivamente que esta circunstancia no pareció que interfiriese negativamente en las previsiones de los alumnos con los otros dos conjuntos de hipótesis de menor potencia. También este conjunto de hipótesis primero aportaba, pero ya en la cuarta fase, que la prueba de la hipótesis nula no era útil para precisar la posición en las ocho regiones, siendo en este caso necesario aplicar intervalos de confianza y el criterio de no-solapamiento (Cumming y Finch, 2005; Frick, 1996; García et al., 2008; Nickerson, 2000). En este contexto hay que destacar que el rendimiento de los alumnos con los mejores indicios de calidad en el programa fue superior en los criterios de formación académica.

Si bien pudiera parecer que los temas metodológicos tan teóricos y generales como la replicabilidad del conocimiento científico de la psicología sólo interesan a la metodología más erudita, este programa de innovación educativa para los estudiantes de grado viene a ilustrar la viabilidad, o incluso necesidad, de un enfoque alternativo de estos temas. La propia psicología y su método de comprobación están basados en las variaciones muestrales y, pese a que éstas se produzcan, se necesita determinar sistemas de confirmación replicables sobre estas variaciones, que sean a la vez relevantes (confirmatorios o des-confirmatorios) para los supuestos teóricos o pragmáticos con los que se recojan los datos. Por una parte, los propios planteamientos didácticos de los tradicionales ejercicios de clase están pensados específicamente para ser replicables y consistentes con los datos, pero pueden dar al alumno la imagen distorsionada de que no existen variaciones muestrales, o transmitir la preocupante sensación de que resulta siempre una misma muestra en un estudio o que solo se comprueban los supuestos teóricos y metodológicos de la psicología con los datos de estos ejercicios. Por otra parte, esta visión distorsionada de la realidad científica de la psicología no se puede cambiar con unos ejercicios con datos reales que no cumplan los requisitos mínimos de validez, precisamente por no ser válidos, ni tan siquiera pueden constatar con garantías los resultados más triviales. En este contexto no resulta tan extraño que si los alumnos de grado participan activamente en una investigación que recoge datos reales, en extensión suficiente de variables y tamaño muestral como para contrastar datos relevantes con cuestiones teóricas de interés actual, tanto su rendimiento como sus actitudes mejoren. Además hay que señalar que todo el programa se realiza sin que sea necesario que los estudiantes le dediquen un tiempo excesivo, porque se reparte el trabajo entre todos los alumnos y también porque se aprovechan los recursos universitarios actuales que permiten recoger los datos automáticamente de manera centralizada y se pueden analizar casi en tiempo real.

Aprovechando el impulso dinámico de los movimientos de renovación y cambio de las estructuras pedagógicas universitarias (e.g., Bono et al., 2006; Doménech et al., 2004). Donde el rol del profesor no es el de mero reproductor de conocimiento científico, sino el de orientador de la tarea de aprendizaje y facilitador de las herramientas para el propio desarrollo autónomo del estudiante, no está de más que el propio estudiante también aprenda que la transmisión de conocimientos requiere en todos los casos del rigor del contraste con los datos. Por principio, la acumulación y transmisión de conocimiento en el entorno científico de calidad nunca está exenta de la crítica, la revisión y el contraste directo con los datos (Feynman, 1994; Llobell et al., 2000). En la medida que el alumno entienda la forma de argumentar de la ciencia, será capaz de aplicar en su vida profesional estos contenidos de manera eficaz, como un profesional competente. Encontrando sentido y utilidad a los esfuerzos que dedica a las asignaturas de metodología y manifestando una actitud más positiva hacia las mismas.

Como aspecto favorable para la extensión de este programa hay que destacar que como el componente metodológico es radicalmente transversal, el modelo de este programa de innovación se puede aplicar a otros contenidos psicológicos fácilmente. Complementando los previsibles ejercicios clásicos con los aspectos aplicados de este programa, que también se beneficia de la sinergia que produce en las clases de la universidad varios equipos de estudiantes investigadores tratando de resolver un tema que es de su interés, como futuros profesionales, y que además permite relacionar el contenido de varias asignaturas (García y Gracia, 2009a). Siguiendo el esquema general de este programa de innovación educativa se pueden trasladar fácilmente el mismo modelo a múltiples contextos de las ciencias del comportamiento, que participan de problemas metodológicos muy similares a los que se han estudiado en el presente trabajo.

Sin embargo, como todos los trabajos científicos no está exento de dos limitaciones dignas de señalar. La primera es que aunque el componente metodológico del programa sea básicamente transversal los contenidos psicológicos no lo son, y tendrán que adaptarse en futuros programas de innovación a los contenidos específicos de otras asignaturas y materias del grado de psicología, y a otros grados distintos del de psicología. La segunda limitación más importante proviene de que el tamaño de la muestra estuvo limitada en el presente estudio a los alumnos disponibles. Considerando el tamaño de la muestra es posible que otros trabajos con mayor número de sujetos detecten más relaciones estadísticamente significativas que las encontradas en este estudio. Sin embargo, los tamaños del efecto mediano-grandes, que conforme con las previsiones se han detectado en este trabajo, avalan los resultados de este trabajo y que se puedan replicar en el futuro. Por último, la metodología del trabajo es cuasi-experimental, por lo que no se puede descartar categóricamente que existan terceras variables en las relaciones encontradas en el estudio, aunque el presente trabajo corresponde a una intervención (es cuasi-experimental) y los resultados obtenidos en las actitudes hacia la metodología han sido ajustados mediante un análisis de la covarianza. Asumiendo estas limitaciones, la experiencia que supone un contacto real y directo con la investigación psicológica y su metodología, de la manera tan radicalmente directa que plantea este programa, parece bastante fructífera para considerarla seriamente en la formación del estudiante universitario del campo de las ciencias del comportamiento.

Referencias

Anderson, J. R. (1978). Further arguments concerning representations for mental imagery: A response to Hayes-Rothand Tylsin. Psychological Review, 86, 395-406. [ Full text via CrossRef]         [ Links ]

Arrindell, W. A., Akkerman, A., Bagés, N., Feldman, L., Caballo, V. E., Oei, T. P. S., Torres, B., Canalda, G., Castro, J., Montgomery, I., Davis, M., Calvo, M. G., Kenardy, J. A., Palenzuela, D. L., Richards, J. C., Leong, C. C., Simon, M. A., Zaldivar, F. (2005). The Short-EMBU in Australia, Spain, and Venezuela. European Journal of Psychological Assessment, 21, 56-66. [Full text via CrossRef]         [ Links ]

Balluerka, N.; Gómez-Benito, J. & Hidalgo, M. D. (2005). The controversy over null hypothesis significance testing revisited: The state of the question in Psychology. Methodology, 1, 55-70.         [ Links ]

Bakan, D. (1966). Test of significance in psychological research. Psychological Bulletin, 66, 423-437. [Full text via CrossRef] [PMid:5974619]         [ Links ]

Barber, B. K. (1996). Parental psychological control: Revisiting a neglected construct. Child Development, 67, 3296-3319. [Full text via CrossRef] [PMid:9071782]         [ Links ]

Betoret, F. D., Jiménez, P. J., & Remírez, J. R. (2004). Percepción del proceso de enseñanza/aprendizaje desarrollado en Psicoestadística I y su incidencia en el rendimiento. Psicothema, 16, 32-38.         [ Links ]

Bono, R., Arnau, J., & Blanca, M. J. (2006). Tecnologías de la información y comunicación en la enseñanza de diseños experimentales y aplicados. Psicothema, 18, 645-650.         [ Links ]

Bort, H. M., Llobell, J. P., & Navarro, M. D. F. (2006). Errores de interpretación de los métodos estadísticos: Importancia y recomendaciones. Psicothema, 18, 848-856.         [ Links ]

Cohen, J. (1962). Statistical power of abnormal-social psychological-research: A review. Journal of Abnormal Psychology, 65, 145-153. [Full text via CrossRef]         [ Links ]

Cohen, J. (1994). The earth is round (p-less-than .05). American Psychologist, 49, 997-1003. Full text via CrossRef]         [ Links ]

Conners, F. A., McCown, S. M., & Roskos-Ewoldson, B. (1998). Unique challenges in teaching undergraduates statistics. Teaching of Psychology, 25, 40-42. [Full text via CrossRef]         [ Links ]

Darling, N., & Steinberg, L. (1993). Parenting style as context: An integrative model. Psychological Bulletin, 113, 487-496. [Full text via CrossRef]         [ Links ]

Estrada, A., Batanero, C., Fortuny, J. M., & Díaz, C. (2005). A structural study of future teachers' attitudes towards statistics. Proceedings the IV Congress of the European Society for Research in Mathematics Education, 508-517.         [ Links ]

Faul, F., Erdfelder, E., Buchner, A., & Lang, A. G. (2009). Statistical power analyses using G*Power 3.1: Tests for correlation and regression analyses. Behavior Research Methods, 41, 1149-1160. [Full text via CrossRef] [PMid:19897823]         [ Links ]

Feynman, R. P. (1994). The character of physical law. New York: Modern Library.         [ Links ]

Frick, R. W. (1996). The appropriate use of null hypothesis testing. Psychological Methods, 1, 379-390. [Full text via CrossRef]         [ Links ]

García, F., & Gracia, E. (2009a). Attitudes toward research methodology among psychology students: Assessment of an educative intervention programme. En L. G. Chova, D. M. Belenguer & I. C. Torres (Eds.), INTED2009 Proceedings CD (pp. 4830-4836). Valencia: IATED.         [ Links ]

García, F., & Gracia, E. (2009b). Is always authoritative the optimum parenting style? Evidence from Spanish families. Adolescence, 44, 101-131.         [ Links ]

García, F., & Gracia, E. (2010) ¿Qué estilo de socialización parental es el idóneo en España? Un estudio con niños y adolescentes de 10 a 14 años. Infancia y Aprendizaje, 33, 365-384.         [ Links ]

García, F., Gracia, E., & Lila, M. (2009a). Comprobando en las clases prácticas un modelo teórico. En F. F. Cerdá, A. F. March & J. M. M. March (Eds.), Actas del V Congreso Iberoamericano de Docencia Universitaria (pp. 2351-2356). Valencia: Universidad Politécnica de Valencia.         [ Links ]

García, F., Gracia, E., & Lila, M. (2009b). Integration of theory and practice among different areas of psychology: Testing in classroom practices a theoretical model of parenting. En L. G. Chova, D. M. Belenguer & I. C. Torres (Eds.), INTED2009 Proceedings CD (pp. 3672-3681). Valencia: IATED.         [ Links ]

García, F., & Musitu, G. (1999). AF5: Autoconcepto Forma 5. Madrid: Tea.         [ Links ]

García, J. F., Frías, M. D., & Pascual, J. (1999). Los diseños de la investigación experimental: Comprobación de las hipótesis. Valencia: Cristóbal Serrano Villalba.         [ Links ]

García, J. F., Pascual, J., Frías, M. D., Van Krunckelsven, D., & Murgui, S. (2008). Diseño y análisis de la potencia: n y los intervalos de confianza de las medias. Psicothema, 20, 933-938.         [ Links ]

Kline, R. B. (2005). Principles and practice of structural equation modeling (2ª ed.). New York: Guilford.         [ Links ]

Kukla, A. (1989). Nonempirical issues in psychology. American Psychologist, 44, 785-794. [Full text via CrossRef]         [ Links ]

Lamborn, S. D., Mounts, N. S., Steinberg, L., & Dornbusch, S. M. (1991). Patterns of competence and adjustment among adolescents from authoritative, authoritarian, indulgent, and neglectful families. Child Development, 62, 1049-1065. [Full text via CrossRef] [PMid:1756655]         [ Links ]

Llobell, J. P., Pérez, J. F. G., & Navarro, M. D. F. (2000). Significación estadística, importancia del efecto y replicabilidad de los datos. Psicothema, 12, 408-412.         [ Links ]

Loftus, G. R. (1993). A picture is worth a thousand p-values: On the irrelevance of hypothesis-testing in the microcomputer age. Behavior Research Methods, Instruments and Computers, 25, 250-256.         [ Links ]

Maccoby, E. E., & Martin, J. A. (1983). Socialization in the context of the family: Parent-child interaction. En P. H. Mussen (Ed.), Handbook of child psychology (Vol. 4, pp. 1-101). New York: Wiley.         [ Links ]

Musitu, G., & García, F. (2001). ESPA29: Escala de estilos de socialización parental en la adolescencia. Madrid: Tea.         [ Links ]

Navarro, M. D. F., Llobell, J. P., & Pérez, J. F. G. (2000). Tamaño del efecto del tratamiento y significación estadística. Psicothema, 12, 236-240.         [ Links ]

Nickerson, R. S. (2000). Null hypothesis significance testing: A review of an old and continuing controversy. Psychological Methods, 5, 241-301. Full text via CrossRef] [PMid:10937333]         [ Links ]

Onwuegbuzie, A. J., & Wilson, V. A. (2003). Statistics anxiety: nature, etiology, antecedents, effects, and treatments-a comprehensive review of the literature. Teaching in Higher Education, 8, 195-209. Full text via CrossRef]         [ Links ]

Pascual, J., Frías, D., & García, F. (1996). Manual de psicología experimental: Metodología de investigación. Barcelona: Ariel.         [ Links ]

Pérez-Tyteca, P., Castro, E., Segovia, I., Castro, E., Fernández, F., & Cano, F. (2008). Actitudes hacia las matemáticas de los alumnos que ingresan en la Universidad de Granada. En M. C. Machín, P. F. Martínez & M. P. B. Catalán (Eds.), Investigación en educación matemática XI (pp. 103-114). La Laguna, Tenerife: Sociedad Española de Investigación en Educación Matemática.         [ Links ]

Rohner, R. P. (1990). Handbook for the study of parental acceptance and rejection (3rd ed.). Storrs, CT: Rohner Research Publications.         [ Links ]

Sabiote, C. R., Pérez, J. G., & Llorente, T. P. (2010). Estudio empírico de variables presagio en la enseñanza-aprendizaje de la estadística a la luz de la investigación sobre competencias. Electronic Journal of Research in Educational Psychology, 8, 235-262.         [ Links ]

Schau, C., Stevens, J., Dauphine, T., & del Vecchio, A. (1995). The development and validation of the survey of attitudes towards statistics. Educational and Psychological Measurement, 55, 868-875.         [ Links ] [Full text via CrossRef]

Steinberg, L., Lamborn, S. D., Darling, N., Mounts, N. S., & Dornbusch, S. M. (1994). Over-Time changes in adjustment and competence among adolescents from authoritative, authoritarian, indulgent, and neglectful families. Child Development, 65, 754-770. [Full text via CrossRef] [PMid:8045165]         [ Links ]

Watkins, M. J. (1981). Human memory and the information-processing metaphor. Cognition, 10, 331-336.         [ Links ] Full text via CrossRef]

Watkins, M. J. (1984). Models as toothbrushes. Behavioral and Brain Sciences, 7, 86. [Full text via CrossRef]         [ Links ]

Dirección para correspondencia:
José Fernando García
Departamento de Metodología de las Ciencias del Comportamiento
Facultat de Psicología
Avd. Blasco Ibáñez, 21
46010, Valencia (Spain)
E-mail: fernando.garcia@uv.es ]]> E-Mail de los otros autores: María C. Fuentes: m.castillo.fuentes@uv.es, Marisol Lila: marisol.lila@uv.es; Joan Pascual: joapasme@euitiv.upv.es

Fecha de recepción: 18 de mayo de 2010
Fecha de recepción de la versión modificada: 2 de septiembre de 2010
Fecha de aceptación: 9 de septiembre de 2010