INTRODUCCIÓN
De acuerdo con Anguera (1990) existen tres formas diferentes que permiten contemplar la fiabilidad de los datos observacionales. En primer lugar, la concordancia entre observaciones: una medida -la más utilizada es el coeficiente Kappa de Cohen (1960)- en la que un observador en varias ocasiones o varios observadores, trabajando de forma independiente y autónoma, concuerdan en el registro de las conductas a partir de un mismo instrumento de observación. En segundo lugar, la teoría psicométrica de la fiabilidad; a partir de las definiciones de fiabilidad de la teoría clásica psicométrica, se recurre a un coeficiente de correlación. En tercer lugar, en el seno de la teoría de la Generalizabilidad se consideran todas las fuentes de variación que afectan a los resultados observados, integrándolas en una estructura global (Cronbach, Gleser, Nanda y Rajaratnam, 1972). Además, Anguera (1990) añade la concordancia por consenso, que es la que se constituye en objeto de estudio en el presente trabajo.
Esta concordancia -que cobra, día tras día, mayor protagonismo en metodología observacional- trata de lograr la coincidencia interpretativa entre los observadores antes del registro. Entre las ventajas que posee la concordancia por consenso, destaca la obtención de un registro único, además de que el instrumento de observación se ve fortalecido al quedar mejor perfilados tanto sus definiciones como los matices que deban añadirse. En la otra vertiente -es decir, la de los inconvenientes-, destacar las posibles disfunciones en el trabajo de los grupos por consenso: enfrentamientos que puedan dar lugar a dificultades para lograr el consenso entre los observadores; o, por el contrario, que en el grupo pese el prestigio o la elevada competencia de uno de los observadores (Vigil-Colet, Morales-Vives y Lorenzo-Seva, 2013).
Numerosos son los estudios que utilizan esta forma cualitativa para llevar a cabo el control de la calidad del dato en sus investigaciones -Castellano, Hernández-Mendo, Gómez de Segura, Fontetxa y Bueno (2000), Castellano y Hernández-Mendo (2003), Gamonales, Muñoz, León, e Ibáñez (2018), Garay, Hernández-Mendo y Morales (2006), Gorospe, Hernández-Mendo, Anguera y Martínez de Santos (2005), Castellano, Perea y Hernández-Mendo (2008), Jurado, Anguera, Reigal, y Hernández-Mendo (2021), Montesano, Feixas y Varlotta (2009), Hernández-Mendo, Díaz y Morales (2010), Hérnandez-Mendo y Planchuelo (2012), Usabiaga, Castellano, Blanco-Villaseñor y Casamichana (2013), Ardá, Maneiro, Rial, Losada y Casal (2014), Morillo-Baro, Reigal y Hernández-Mendo (2015), Arana, Lapresa, Anguera y Garzón (2016)-, pero pocos son los que profundizan en la forma en la que se ha desarrollado la concordancia consensuada.
Es por ello, que el presente trabajo pretende constituirse en un ejemplo concreto de la utilización de este tipo de concordancia cualitativa, así como satisfacer el objetivo de analizar el efecto del tamaño del grupo (dos, tres y cuatro integrantes) en la concordancia por consenso, en lo relativo a: el tiempo empleado en el registro y la calidad del registro (concordancia con el registro ideal).
MATERIAL Y MÉTODOS
Participantes
La selección de los participantes fue censal, incluyendo a los alumnos que han cursado la asignatura “Observación Sistemática en la Escuela Infantil” correspondiente al segundo curso del Grado de Educación Infantil de la Universidad de La Rioja.
El Gran Grupo de esta asignatura, estaba compuesto 76 alumnos. Se aplicó, como criterio de exclusión, la no asistencia a las sesiones que dieron soporte al presente trabajo, que fueron nueve alumnos. Por tanto, el número de participantes se limitó a 67.
Los integrantes del registro mediante concordancia consensuada se distribuyeron en tres Grupos Reducidos, dando lugar a veintitrés subgrupos de concordancia por consenso distribuidos al azar -en el seno de cada Grupo Reducido mediante la función “aleatorio” de la hoja de cálculo Microsoft Office Excel, 2016-, compuestos por dos, tres o cuatro integrantes (véase tabla 1).
También han intervenido en el desarrollo de este estudio, dos observadores -autores del presente trabajo- con formación en metodología observacional, a los que más adelante se les denominará Observador 1 y Observador 2.
Instrumentos
El primer paso fue decidir la sesión de registro y el instrumento de observación que permitiera satisfacer los objetivos del estudio. En este sentido se parte de la consideración previa de que se pretende: a) provocar que el consenso entre participantes no sea evidente; b) que la herramienta observacional sea sencilla en cuanto a su comprensión y utilización.
De esta forma, para la elección de la sesión de observación (un partido de fútbol-3) se ha tenido en consideración la variabilidad del registro de la dimensión zona en estudios observacionales. De acuerdo con O'Donoghue (2007), el criterio zona es común fuente de variación entre registros; es decir, es una dimensión que en lo relativo a la fiabilidad del dato suele presentar discrepancias entre observaciones. Además, las dificultades del niño en la iniciación más temprana en su relación con el balón, hace que en el fútbol practicado por estos niños proliferen los intentos de control (Lapresa, Arana y Garzón, 2020) de lo que se deriva la dificultad de discriminar si existe o no contacto. Es por ello que se seleccionó como sesión de observación un partido de fútbol-3 practicado por niños de categoría prebenjamín (primer curso de Educación Primaria); concretamente la fase ofensiva del equipo vestido de rojo.
El instrumento de observación utilizado es una combinación de formato de campo y dos sistemas de categorías, exhaustivos y mutuamente excluyentes (Anguera, 2003). Dos son los criterios vertebradores del instrumento de observación: Zona de inicio del contacto - la zona en la que se encuentra el balón cuando el jugador contacta con él, por primera vez- ZI={ZI10, ZI20, ZI30, ZI40, ZI50, ZI60, ZI41, ZI51, ZI61, ZI70, ZI80, ZI90}; Zona de final del contacto -la zona donde el jugador contacta por última vez con el balón- ZF={ZF10, ZF20, ZF30, ZF40, ZF50, ZF60, ZF41, ZF51, ZF61, ZF70, ZF80, ZF90}. Se ha tomado como referencia la distribución espacial del terreno de juego, en 12 zonas diferentes, para fútbol-3 de Lapresa, Arana, Anguera, Pérez y Amatria (2016).
Procedimiento
El procedimiento seguido para conseguir y avalar los datos que soportan los análisis que permiten elevar las conclusiones que satisfacen el objetivo prefijado en el presente trabajo, se estructura en cuatro fases: a) la determinación del registro ideal; b) la fiabilidad del proceso de alineación; c) la formación y el registro de los grupos de concordancia por consenso; d) el cálculo de la concordancia entre los registros de los grupos de concordancia por consenso y el registro ideal.
a) Determinación del registro ideal
Para la determinación del registro ideal se ha recurrido a dos observadores (observadores 1 y 2), con una larga trayectoria en la realización de estudios observacionales. Se considerará que nos encontramos ante el registro ideal si los registros efectuados por ambos observadores coinciden totalmente (se obtiene, bajo el parámetro orden, un porcentaje de acuerdo del 100% y un Kappa de Cohen= 1). Mediante el software Lince, versión 1.2.1 (Gabin et al., 2012) ambos participantes han registrado la misma sesión de observación que los grupos por consenso. Debe destacarse que han contado con unas ventajas de las que no han podido disponer los grupos por consenso: a) la posibilidad de ampliar el tamaño de la imagen mediante un reproductor de video (VLC) externo al software Lince; b) la ausencia de requerimiento temporal; que ha permitido que estos observadores se tomasen todo el tiempo que necesitasen para realizar el registro.
b) De la fiabilidad del proceso de alineación
Del proceso de alineación (con el registro ideal) de la totalidad de los registros de los grupos de concordancia por consenso se ha encargado el Observador 1. Con el fin de garantizar la fiabilidad de los resultados, el segundo observador ha realizado el proceso de alineación de cuatro registros, lo que constituye un 18% de los grupos de concordancia por consenso; un porcentaje lo suficientemente amplio para avalar la fiabilidad del proceso de alineación, que además supone una economía de esfuerzo de cara al investigador, y teniendo en cuenta que en la literatura científica de diversos ámbitos hay numerosos trabajos que para hallar la concordancia utilizan un porcentaje de registros comprendido entre el 5 y el 20% (Alcover et al., 2019; Alsasua, Lapresa, Arana y Anguera, 2019; Amatria, Lapresa, Arana y Anguera, 2016; Belasko, Herrán y Anguera, 2019; Belza, Herrán y Anguera, 2020; Diana et al., 2017; Lapresa, Arana, Amatria, Fernández y Anguera, 2017; Lapresa et al., 2016; Planes y Anguera, 2015; Sagastui, Herrán y Anguera, 2020; Sastre, Lapresa, Arana, Ibáñez y Anguera, 2021), si bien en algunos trabajos, de forma minoritaria, se halla la concordancia a partir de la totalidad del registro (Vázquez-Diz et al., 2019a, 2019b).
El procedimiento de alineación se ha llevado a cabo mediante Microsoft Office Excel 2016, teniendo en consideración las siguientes premisas de cara a la interpretación de la alineación de los multieventos: a) ajuste en base al tiempo del registro; b) ajuste en cuanto las zonas (de inicio y finalización) que constituyen los multieventos.
En el caso de que no hubiese correspondencia entre registros a partir de estas premisas, se deja una fila del registro correspondiente -ya sea el del grupo por consenso o el ideal- en blanco (a excepción del punto requerido por la sintaxis de codificación de GSEQ5 en datos multievento). De esta forma, se va alineando tanto el registro ideal como, en todos los grupos, el registro por consenso (véase figura 1). Y es que, para garantizar la fiabilidad del proceso de alineación, será necesario la comparación de la alineación efectuada por el Observador 1 y Observador 2, tanto del registro ideal como del registro del grupo encargado de la concordancia por consenso.
c) Grupos de concordancia por consenso (formación y registro)
Para hacer posible este trabajo se organizaron con los alumnos del grado de Educación Infantil de la asignatura “Observación sistemática en la escuela infantil”, dos sesiones de trabajo denominadas “Formación” y “Registro por consenso”. Las dos sesiones planteadas, de una hora cada una, se realizaron a finales de marzo del año 2017 durante dos semanas consecutivas, en el horario correspondiente a cada Grupo Reducido de la asignatura.
- Primera sesión: formación de los observadores:
En esta primera jornada, los alumnos trabajaron a nivel individual cada uno con su ordenador. En primer lugar, se explicó detalladamente el instrumento de observación. Posteriormente, cada alumno, descargó el programa Lince, versión 1.2.1 (Gabin et al., 2012), e introdujo el instrumento de observación en el seno del programa de registro y codificación. Para facilitar el proceso de enseñanza-aprendizaje se preparó una hoja de instrucciones específica para esta primera sesión, con los contenidos y pautas necesarias para la comprensión de la herramienta observacional y del instrumento de registro.
Por último, se destinaron los últimos 10 minutos de la sesión de formación, para que los alumnos registrasen cinco minutos del mismo partido, pero distintos a los que se iban a utilizar en el registro mediante concordancia consensuada.
- Segunda sesión: registro mediante concordancia consensuada:
Antes de comenzar la sesión de registro se procedió a la instalación en los ordenadores requeridos del software de registro. Además, se añadió al escritorio una carpeta con el archivo “ilince” (instrumento de observación) y los cinco minutos de sesión por registrar.
Se fue llamando a cada integrante y ubicándolo en los diferentes puestos de registro. Cuando algún alumno no asistió a la sesión, los grupos por consenso se “convirtieron” en grupos del número de participantes presentes.
Antes de comenzar el registro por consenso, se realizó un repaso del instrumento de observación y de la utilización del programa y se les otorgó una segunda hoja de instrucciones. Posteriormente, a partir de Arana, et al. (2016), se explicaron las pautas para el funcionamiento del grupo por consenso: “Enfocad la tarea en base a la lógica; no cambiéis de opinión por evitar el conflicto; apoyad las ideas con las que en parte estéis en concordancia (sinergia); considerad las diferencias de opinión como algo positivo (no penséis en términos de ganar-perder); defended opiniones con argumentos; evitad el procedimiento: “ahora cedo yo y luego tú”; escuchad activamente: “tenemos que escuchar y ser escuchados”; no critiquéis; aportad sugerencias; todos tenéis la misma responsabilidad en cuidar el proceso”.
Antes de dar comienzo al registro por consenso, se proyectó en pantalla un cronómetro, con la indicación de que los participantes anotasen el tiempo empleado en la realización del registro; además, justo al acabar, debían levantar la mano y llamar la atención al respecto. Posteriormente, se procedió a la exportación de los resultados en formato Excel y GSEQ5 -datos de multievento (Bakeman y Quera, 1995)-.
d) Cálculo de la concordancia entre el registro de los grupos de concordancia por consenso y el registro ideal.
Tras haberse garantizado la fiabilidad del proceso de alineación, el Observador 1 ha procedido a la alineación de las conductas registradas por cada grupo de concordancia por consenso y, en correspondencia a dicho registro, las del registro ideal (véase figura 1).
Posteriormente, se ha procedido a calcular cuantitativamente la concordancia entre observaciones en la determinación de la concordancia entre los grupos de concordancia por consenso y el registro ideal. A través del programa informático GSEQ5 y teniendo en consideración los trabajos de (Bakeman y Quera, 1995, 2011), se ha procedido al cálculo del porcentaje de acuerdo y del coeficiente Kappa de Cohen entre observaciones. Al respecto, GSEQ5 tiene una limitación en este cálculo con datos de multievento -al incluir en el cálculo, tan solo, el primer código del multievento-. Esta limitación ha sido superada (Garzón, 2010), gracias a las posibilidades que otorga la sintaxis de codificación de GSEQ 5, uniendo los eventos constitutivos de cada uno de los multieventos con un guión bajo; de esta forma, cualquier diferencia en el registro de cada una de las dos dimensiones que componen el registro de cada contacto se trata como discrepancia en el cálculo del porcentaje de acuerdo y del coeficiente Kappa de Cohen.
Registro y codificación de los datos
En el presente trabajo, el registro mediante el programa informático Lince versión 1.2.1 (véase figura 2) se ha llevado a cabo a partir del video facilitado, y ha consistido en la observación de la fase ofensiva del equipo rojo. La sesión de observación, de cinco minutos de duración, está compuesta por un determinado número de contactos -que tienen una zona de inicio y una zona de finalización-.
Se considera contacto cuando un jugador del equipo rojo realiza, al menos, dos toques sobre el balón. El contacto se inicia con el primer toque al balón (criterio zona de inicio) y acaba con el último toque al balón (criterio zona final). Los contactos que se desarrollan entre estos dos toques -zonas de desarrollo- no se registran. Un toque del jugador rival o una interrupción reglamentaria da lugar al fin del contacto. Se registra la posición en la que se encuentra el jugador cuando ha realizado el contacto con el balón, no el lugar en el que acaba el balón. Destacar que el campo donde se juega el partido de fútbol está dividido a través de conos y piezas planas de goma para facilitar el entendimiento del reparto zonal efectuado. Los saques de banda o de esquina no se consideran contacto. Los saques del portero con la mano no se consideran contacto; si el portero realiza un auto-saque (deposita el balón con la mano en el suelo y comienza a jugar con el pie) el primer contacto con el pie supone el inicio del contacto.
De acuerdo con la clasificación de Bakeman (1978) los datos registrados han sido tipo IV, al ser concurrentes (incorporan las dos dimensiones del instrumento de observación) y tiempo-base. No obstante, los análisis realizados en el presente trabajo se han realizado bajo el parámetro orden -transformándose en datos tipo II; concurrentes y evento-base (Bakeman y Quera, 1995)-.
RESULTADOS
Tiempo empleado en el registro y concordancia cuantitativa entre los grupos de concordancia por consenso y el registro ideal
Estimación del tamaño muestral necesario para encontrar diferencias significativas
El tamaño muestral indica el número de elementos contenidos en la muestra analizada. Su determinación se realiza en base a dos criterios: un tamaño muestral elevado proporciona análisis estadísticos más precisos; y un tamaño muestral reducido conlleva una mayor economía en el desarrollo del estudio. Lo ideal es conjugar ambas premisas para determinar un tamaño muestral lo suficientemente grande para que las conclusiones se consideren fiables, pero suficientemente pequeño para no tener que recoger un excesivo número de datos que no contribuyan a la calidad del diseño.
Para estimar el tamaño idóneo de la muestra (Lapresa, Álvarez, Anguera, Arana y Garzón, 2015), se ha utilizado la versión 3.1.2 del software G-Power (véase figura 3), a partir de Faul, Erdfelder, Lang y Buchner (2007) y Faul, Erdfelder, Buchner y Lang (2009). Este software permite introducir determinados datos a priori para calcular el tamaño muestral necesario. Si el tamaño muestral estimado es razonable se puede optar por replicar el estudio con una nueva muestra más amplia.
En concreto, en el presente trabajo, teniendo en cuenta que se trabaja con tres grupos (de 2, de 3 y de 4 observadores) y a partir de las medias cuadráticas obtenidas en el ANOVA (Media Cuadrática Inter-grupos: 3322,369; Media Cuadrática Intra-grupos: 72533,715) se ha obtenido un tamaño del efecto de 0,214 -que conforme los valores de referencia convencionalmente aceptados (Cárdenas y Arancibia, 2016) puede considerarse un tamaño del efecto medio-. Posteriormente se ha seleccionado una probabilidad de cometer error tipo I de 0,05 y una potencia estadística de 0,95, obteniéndose un tamaño de la muestra de 342 elementos.
Repartidos entre los tres tipos de grupos de concordancia por consenso (de dos, tres y cuatro componentes), cada uno debería contener 114 puntuaciones (grupos). Así, el número de participantes necesario para completar el estudio conforme la simulación sería de 1026 observadores.
DISCUSIÓN
A pesar de la creciente presencia de la concordancia consensuada en estudios observacionales, son pocos los trabajos que han profundizado en el desarrollo y optimización de esta forma cualitativa de concordancia. El presente trabajo, se ha constituido en un ejemplo concreto de utilización de este tipo de concordancia cualitativa (Anguera, 1990), que puede servir de referencia para futuros trabajos.
A continuación, se presentan las conclusiones de este trabajo que pretende analizar el efecto del tamaño del grupo (dos, tres y cuatro integrantes) en la concordancia por consenso, en lo relativo al tiempo empleado y a la calidad del registro (concordancia con el registro ideal).
Al respecto, no se han encontrado diferencias significativas al comparar los grupos de concordancia por consenso número de dos, tres y cuatro integrantes: a) ni en relación al tiempo empleado en el registro; b) ni en lo relativo al porcentaje de acuerdo con el registro ideal.
Para que dichas diferencias resultasen significativas se debería disponer de, como mínimo, 1026 observadores. Dado que se trataría de una muestra muy difícil de gestionar por su amplitud, no consideramos adecuado replicar este trabajo en circunstancias similares. No obstante, sí que consideramos recomendable replicar este estudio en otras condiciones:
a) optimizando la motivación de los observadores (como, por ejemplo, mediante la obtención de un porcentaje de la nota como consecuencia del ajuste al registro ideal). Así lo recomiendan los reducidos valores de porcentaje de acuerdo y Kappa de Cohen obtenidos (Landis y Koch, 1977) en relación al registro ideal, así como que la confiabilidad de un observador puede estar limitada por efectos biosociales, biográficos, psicosociales, situacionales o de expectativa (Anguera, Blanco, Losada y Sánchez-Algarra, 1999; Losada y Manolov, 2015).
b) optimizando el proceso de formación de los observadores, ya que ha quedado demostrado que la competencia adquirida por el observador está condicionada por el entrenamiento que haya recibido (Arias, Argudo y Alonso, 2009; Losada y Manolov, 2015; Usabiaga y Castellano, 2014).
Al no haberse encontrado en el presente trabajo ninguna diferencia significativa entre los resultados obtenidos entre los grupos de concordancia por consenso de dos, tres y cuatro integrantes, lo razonable sería optar por grupos pequeños, dada la economía que resulta de su empleo. Ahora bien, teniendo en cuenta que la concordancia elevada entre dos observadores -ambos podrían coincidir en el error del registro- no implica precisión (Blanco-Villaseñor y Anguera, 2003; Mitchell, 1979), la solución más operativa sería la utilizada en la mayoría de los trabajos que utilizan concordancia por consenso de recurrir a tres observadores (Arana, et al., 2016; Castellano, et al., 2000; Gorospe, et al., 2005; Hernández-Mendo et al., 2010; Hérnandez-Mendo y Planchuelo, 2012). Aunque, de esta forma, mutatis mutandis, se podría justificar perfectamente la propuesta de si 'cuatro mejor que tres' utilizada en Montesano, et al. (2009).
Además, en la conformación de los grupos de concordancia por consenso se recomienda optimizar la formación de los observadores (Anguera, 2003) y la conformación de grupos (criterio de homogeneidad que evite las relaciones verticales versus criterio de heterogeneidad en relación a la formación relativa al objeto de estudio) con el objetivo de equilibrar el prestigio o dominio (igualdad de estatus) de los integrantes del grupo (Arana, et al., 2016).
APLICACIONES PRÁCTICAS
El presente trabajo pretende servir de referencia para investigadores que estén pensando acudir a la concordancia consensuada para garantizar la fiabilidad de sus registros. Además del desarrollo teórico se ofrecen pautas operativas para optimizar la organización del proceso de registro utilizando este tipo de concordancia cualitativa. En lo relativo al número de observadores, la solución más operativa sería la que cuenta con mayor presencia en estudios observacionales que utilizan este tipo de concordancia, recurriéndose a tres observadores; quedando también justificada, a partir de los resultados del presente trabajo, la propuesta de cuatro observadores.