SciELO - Scientific Electronic Library Online

 
vol.21 número1Experiencia emocional subjetiva en deportistas extremos: estudio cualitativoO impacto da formação no desempenho da arbitragem no futebol índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Em processo de indexaçãoCitado por Google
  • Não possue artigos similaresSimilares em SciELO
  • Em processo de indexaçãoSimilares em Google

Compartilhar


Cuadernos de Psicología del Deporte

versão On-line ISSN 1989-5879versão impressa ISSN 1578-8423

CPD vol.21 no.1 Murcia Jan./Abr. 2021  Epub 12-Abr-2021

 

Psicología del Deporte

Análisis de la calidad del dato de un instrumento de observación del clima motivacional: conductas verbales y proxémicas de monitores de mantenimiento físico

Data quality analysis of a motivational climate observation instrument: verbal and proxemic behaviours of physical maintenance monitors

Análise da qualidade dos dados de um instrumento de observação do clima motivacional: comportamentos verbais e proxémicos dos monitores de manutenção física

M Crespillo-Jurado1  , MT Anguera2  , RE Reigal1  , A Hernández-Mendo1 

1Universidad de Málaga, Málaga, España

2Universidad de Barcelona, Barcelona, España.

RESUMEN

En este estudio se ha diseñado un instrumento para la observación del clima motivacional a través del análisis de la conducta verbal y proxémica en monitores que imparten la actividad de mantenimiento físico. Se trata de un instrumento que permite diferenciar el clima motivacional favorecido por el entrenador, así como la distribución de los participantes y la proxémica. El instrumento combina formato de campo, sistemas de categorías exhaustivos y mutuamente excluyentes (E/ME), y rating scales. El sistema está formado por 10 criterios y 44 categorías en total, y de cada una de ellas se elaboró una rating scale (a excepción de tres criterios en que no era posible). El nombre del instrumento es IAFD (Interacción en Actividad Física y Deporte). Se realizó la grabación, visualización y análisis de siete sesiones de mantenimiento físico en el Polideportivo Municipal de la ciudad de Ronda, analizando las conductas verbales y proxémicas de dos monitores. Se ha realizado un análisis de la calidad del dato y un análisis de generalizabilidad, obteniéndose resultados satisfactorios en cuanto a la fiabilidad, validez y precisión del instrumento, invarianza entre los dos monitores, así como de la capacidad de generalización.

Palabras clave: Metodología observacional; rating scales; generalizabilidad; invarianza; calidad del dato

ABSTRACT

In this study, an instrument has been designed for the motivational climate observation through the verbal and proxemic behaviour analysis in monitors who impart physical maintenance activity. It is an instrument that allows to differentiate the motivational climate favoured by the trainer, as well as the distribution of the participants and the proxemic. The instrument combines field format, comprehensive and mutually exclusive category systems (E/ME), and rating scales. It consists of 10 criteria and 44 categories in total, each of which (except for those criteria that were not possible) has rating scales. The name of the instrument is IAFD (Interaction in Physical Activity and Sport). The recording, visualization, and analysis of seven physical maintenance sessions in the Municipal Sports Centre of the city of Ronda was carried out, analysing the verbal and proxemic behaviours of two monitors. An analysis of data quality and an analysis of generalizability was carried out, obtaining satisfactory results in terms of the reliability, validity and precision of the instrument, invariance between the two monitors, as well as the capacity of generalization.

Keywords: Observational methodology; rating scales; generalizability; invariance; data quality

RESUMO

Neste estudo, foi concebido um instrumento para a observação do clima motivacional através da análise do comportamentos verbais e proxémicos em monitores que realizam atividade de manutenção física. É um instrumento que permite diferenciar o clima motivacional favorecido pelo formador, assim como a distribuição dos participantes e a proxemia. O instrumento combina formato de campo, sistemas de categoria abrangentes e mutuamente exclusivos (E/ME), e escalas de classificação. O sistema consiste em 10 critérios e 44 categorias no total, cada uma das quais (com excepção dos critérios que eram sistemas de categorias) tem escalas de classificação. O nome do instrumento é IAFD (Interação em Atividade Física e Esporte). Foi feita a gravação, visualização e análise de sete sessões de manutenção física Polideportivo Municipal da cidade de Ronda, analisando os comportamentos verbais e proxêmicos de dois monitores. Foi realizada uma análise da qualidade dos dados e uma análise de generalização, obtendo resultados satisfatórios em termos de confiabilidade, validade e precisão do instrumento, invariância entre os dois monitores, assim como a capacidade de generalização.

Palavras chave: Metodologia observacional; escalas de classificação; generalizabilidade; invariância; qualidade dos dados

INTRODUCCIÓN

La interacción ha sido estudiada desde hace mucho tiempo por autores clásicos que diseñaron instrumentos de observación en el ámbito de los grupos o en relación de liderazgo (Bales, 1950; Bales y Cohen, 1979; Borgatta y Crowther, 1965; Mann, 1966;), así como se ha observado desde diferentes perspectivas, como son el ámbito de la psicología clínica (Collie y Lingiardi, 2009; Del Giacco et al., 2019), el ámbito académico (Hamre et al., 2013; Pedrosa et al., 2013; Tronchoni et al., 2018), áreas más en auge como la interacción en redes sociales (Azagra y González, 2015), o el ámbito deportivo (Lapresa et al., 2020; Mendes et al., 2013; Santos et al., 2014).

En el estudio de esta interacción la metodología observacional presenta un perfil, en cuanto a la gran flexibilidad como a la inmensa cantidad de objetivos diversos a los que permite dar respuesta, el cual posibilita obtener grandes beneficios (Anguera y Hernández Mendo, 2013). Además, esta metodología considera todas las etapas del método científico, permitiendo coincidir con los requisitos de objetividad y rigurosidad (Anguera y Hernández Mendo, 2014) lo cual ha dado lugar al desarrollo, mejora y creación de nuevas herramientas de observación.

En este sentido se han creado instrumentos como el Coach Behavioral Assessment (CBAS) de Smith et al. (1977) y el más reciente Sistema de Observación del Clima Motivacional Multidimensional (MMCOS), (Fabra et al., 2018; Smith et al., 2015). Estos instrumentos se centran en el estudio de los climas motivacionales favorecidos por el entrenador, aunque con diferencias notables en cuanto al objetivo de estudio o la distinción que tienen. Mientras que el CBAS (Smith et al., 1977) estudia el comportamiento de los entrenadores sin distinguir entre un clima orientado a la tarea o al ego (Rodríguez-Peláez et al., 2015), el MMCOS (Fabra et al., 2018) en cambio, sí distingue entre estos climas, y se basa en el modelo propuesto por Duda (2013) diferenciando dos tipos de climas favorecidos por el entrenador, “clima empowering” y “clima disempowering”. Este planteamiento une los conceptos de: (1) la teoría de Metas de Logro (Achievement Goal Theory, AGT) de Ames (1992) y Nicholls (1989): orientación al ego y orientación a la tarea; (2) la Teoría de la Autodeterminación (Deci y Ryan, 1985, 2000), en concreto, la tercera de las miniteorías, la Teoría de las Orientaciones de Causalidad (COT, Causality Orientations Theory): orientación de autonomía y orientación de control; (3) el apoyo social (Duda, 2013).

La AGT propone que el clima motivacional que favorecen los entrenadores influye en como los deportistas perciben su competencia y definen el éxito (Ames, 1992; Duda y Balaguer, 2007; Nicholls, 1989), distinguiendo dos tipos de clima motivacional: implicado en la tarea e implicado en el ego. En el clima motivacional implicado en la tarea, el entrenador favorece el aprendizaje cooperativo, reconoce el esfuerzo y la mejora, así como valora la importancia del papel del propio jugador, en este caso la competencia es percibida y evaluada en función de criterios autorreferenciados (Duda y Balaguer, 2007) En el polo opuesto, el clima motivacional implicado en el ego, donde el entrenador favorece la rivalidad, hace distinciones en función de parámetros como la habilidad entre los jugadores, y si se cometen errores se aplica un castigo (Newton et al., 2000). La competencia y habilidad es percibida en función de criterios normativos, en la comparación con otros.

En cuanto a la Teoría de la Autodeterminación (SDT, Self-Determination Theory; Deci y Ryan, 1985, 2000) se pueden diferenciar principalmente dos estilos interpersonales diferentes desde la microteoría de la Evaluación Cognitiva (Cognitive Evaluation Theory, CET): (1) el estilo de Apoyo a la Autonomía, en este estilo el entrenador reconoce los intereses de los atletas, las perspectivas y preferencias, y anima a los atletas a tomar posesión de su participación (Deci y Ryan, 1987); (2) el estilo Controlador, en el cual el entrenador impone de una forma autoritaria y coercitiva una determinada forma de pensar o actuar a los jugadores (Bartholomew et al., 2010).

Considerando las cuestiones planteadas, Duda (2013) propone un modelo integrador y multidimensional del clima motivacional donde distingue dos climas motivacionales diferentes: (1) clima “empowering”, en el cual el entrenador presenta un estilo de apoyo a la Autonomía, una implicación en la tarea y proporciona apoyo social; y (2) clima “disempowering”, antagonista al anterior, en el cual el entrenador desarrolla un estilo controlador, implicación en el ego y se frustra el apoyo social.

En relación con el desarrollo del instrumento presentado en este trabajo, inicialmente se realizó una revisión teórica de los instrumentos ya existentes en la temática, y se consideraron como referentes la versión en castellano de Sistema de Observación del Clima Motivacional Multidimensional (MMCOS) (Fabra et al., 2018), el Coach Behavioral Assessment (CBAS) de Smith et al. (1977), y el Interaction Process Analysis (IPA) de Bales (1951). Asimismo, se tuvo también en cuenta la proxémica de Hall (1963) y el propio aprovechamiento del espacio en función de la agrupación de los participantes por parte del monitor.

Uno de los aspectos más innovadores añadido al instrumento, IAFD (Interacción en Actividad Física y Deporte), ha sido el desarrollo e inclusión de las ratings scales a cada categoría existente, con excepción de los criterios Silencio (8), Aprovechamiento del espacio (9) y Proxémica (10).

Estas escalas corresponden a un sistema dimensional de registro, que actualmente tienen un carácter residual debido al necesario requisito de ordenación del atributo o dimensión, que no siempre es posible ni fácil (Anguera y Hernández Mendo, 2013). Esta cuestión pretende ser estudiada, permitiendo una mayor visualización y futuro uso de las rating scales.

Los objetivos de este trabajo son: (1) Diseñar y construir el instrumento de observación que permita valorar las conductas verbales de los monitores, así como la proxémica y el aprovechamiento del espacio. (2) Llevar a cabo un análisis de la fiabilidad, validez y precisión del instrumento elaborado. (3) Realizar un análisis de Generalizabilidad, que permita determinar la fiabilidad de los observadores, analizar la bondad de las categorías y estimar el número mínimo de sesiones necesarias para generalizar con precisión (Blanco-Villaseñor et al., 2014). (4) Poner en valor la herramienta de ratings scales.

MATERIAL Y MÉTODOS

Diseño

En este trabajo se utiliza metodología observacional (Anguera, 1979). El diseño observacional (Anguera et al., 2011) utilizado pertenece al cuadrante IV, siendo N/S/M: nomotético, ya que se observa a dos monitores independientes; de seguimiento de carácter inter-sesional, puesto que se observan diferentes sesiones e intra-sesional al tener un registro de las conductas a observar a lo largo de toda la sesión, y, por último, se trata de un diseño multidimensional debido a la existencia de los diferentes criterios.

Participantes

Los participantes han sido dos monitores (un hombre y una mujer) con edades de 48 y 45 años, e impartiendo la actividad desde hace 22 y 12 años respectivamente. Esta actividad de Mantenimiento Físico para adultos y personas mayores, con edades comprendidas entre los 45 y los 85 años, tiene como objetivo lograr un acondicionamiento físico general, trabajando elementos de coordinación, movilidad articular, tonificación y definición muscular localizadas, a través del uso de diferentes materiales (bandas elásticas, mancuernas, fitball, esterillas, pelotas, etc.). La actividad era impartida en el Polideportivo Municipal de la ciudad de Ronda, en dos pistas polideportivas cubiertas y con una duración por sesión de 50 minutos. Se han realizado un total de 6.418 registros procedentes de la observación de un total de siete sesiones de mantenimiento físico (cuatro de un monitor y tres de otro).

Material

Para la grabación de las sesiones de mantenimiento físico se utilizaron dos cámaras Sony Handycam HDRCX625B.CEN, colocadas sobre sendos trípodes Sony y en la misma posición en cada una de las sesiones. La conducta verbal de los monitores se grabó mediante un micrófono inalámbrico de solapa Sennheiser EW 100 G3.

Para el registro, codificación y análisis de calidad del dato se utilizó el programa informático HOISAN (Hernández-Mendo, López-López, et al., 2012). Posteriormente para la realización del análisis de Generalizabilidad se empleó el programa informático SAGT v1.0 (Hernández-Mendo, Ramos-Pérez, et al., 2012). El análisis de la invarianza se realizó en una hoja de cálculo Excel.

Instrumentos

El instrumento de observación adaptado y elaborado ad hoc, es una combinación de formato de campo, sistema de categorías y rating scales (tabla 1,ver Anexo). Se cumple la exhaustividad y mutua exclusividad (Anguera et al., 2007) en cada uno de los sistemas de categorías que se han construido a partir de los criterios del instrumento, y a partir de cada categoría se ha elaborado una rating scale (excepto en unas pocas excepciones en que no era posible por su naturaleza, en los criterios 8, 9 y 10). El instrumento está formado por 10 criterios y 44 categorías en total. El nombre del nuevo instrumento es IAFD (Interacción en Actividad Física y Deporte). Mantiene la estructura del MMCOS (Fabra et al., 2018), salvo ciertos cambios, como el presentar los criterios: Silencio (S); Aprovechamiento del espacio (AE), que hace referencia a como el monitor distribuye a los participantes en ese momento; y Proxémica (P), que valora la distancia a la que se encuentra el monitor de la mayoría de los participantes. Este instrumento, además, presenta la inclusión de ratings scales a cada una de las categorías, excepto en los criterios 8, 9 y 10.

Figura 1.  División de las zonas del campo en la categoría "Fomenta la toma de iniciativa pasiva, FTIP" 

Procedimiento

El trabajo fue aprobado por el Comité de Ética de la Universidad de Málaga nº 19-2015-H. Además, se siguieron las directrices de la Declaración de Helsinki (World Medical Association, 2013). Para iniciar la filmación de las sesiones se contó con la autorización del Ayuntamiento de Ronda, área de Deporte, Ocio y Tiempo Libre; así como se solicitó el Consentimiento Informado de monitores y participantes, que se realizaron de acuerdo con lo dispuesto en la Ley Orgánica 15/1999 de 13 de diciembre de Protección de Datos de Carácter Personal (LOPD). Este estudio cumple con las recomendaciones del Consejo General de Colegios de Psicólogos.

Inicialmente se filmaron 18 sesiones mediante dos cámaras de vídeo, colocadas en dos esquinas del campo para de esa forma tener la visión completa de todo el espacio en el que se llevaban a cabo las clases. Entre estas sesiones grabadas se eligieron tres sesiones del monitor 1 para realizar un análisis previo, fuera de muestreo, en esta selección se tuvo en cuenta que no hubiera dificultades tanto de imagen, por inobservabilidad, como de sonido. En esta fase previa se llevó a cabo un primer análisis de calidad del dato, valorándose la fiabilidad intra e inter. Tras este análisis preliminar se realizaron modificaciones en las categorías observadas y consensuadas entre observadores, así como se realizó un ajuste en las rating scales.

Posteriormente se filmaron otras 14 sesiones y de éstas se realizó el análisis final del instrumento. Las siete sesiones analizadas en este estudio se trataban de sesiones que distaban entre ellas el mismo espacio temporal (en este caso, un mes). Las sesiones se han nombrado como S1.1- S2.1-S3.1-S4.1-S1.2-S2.2-S3.2 (el número que acompaña a la letra “S” corresponde con el número de sesión y el número que lo procede, el monitor que corresponde).

La filmación de un mayor número de sesiones a las analizadas se llevó a cabo para minimizar riesgos tales como que las grabaciones analizadas fueran de baja calidad (Anguera, 2003) o evitar la reactancia de los participantes observados (Anguera y Hernández-Mendo, 2014), ya que sabían que estaban siendo grabados; de esta forma al contar con tantas grabaciones los propios monitores y participantes de la actividad física se familiarizaron con la grabación y el observador que estaba presente.

El tipo de datos, de acuerdo con Bakeman (1978), son tipo IV, y, por tanto, concurrentes y tiempo-base. Esto significa que los datos están formados por cadenas de códigos co-ocurrentes (como máximo, uno por criterio o dimensión, al tratarse de un diseño multidimensional).

En este estudio la codificación, registro y análisis de calidad del dato se ha realizado con el programa HOISAN (Hernández-Mendo, López-López, et al., 2012), el cual, con el uso de parámetros primarios y medidas derivadas o secundarias, lleva a cabo el cálculo de coeficientes de concordancia y acuerdo (Hernández-Mendo, López-López, et al., 2012). Se han obtenido los valores cuantitativos referentes a los coeficientes de correlación de Pearson, Spearman, la Tau-B de Kendall a nivel de frecuencias y en este caso al hacer uso de las rating scales también de intensidades, así como la estimación de la concordancia con el índice Kappa de Cohen.

Los observadores que han participado han sido dos, y se ha aplicado la concordancia consensuada (Anguera, 1990), estrategia de la metodología observacional que facilita el acuerdo entre observadores de forma cualitativa, realizándose la discusión sobre el código y alcanzando un consenso entre los observadores antes del registro (Castellano y Hernández-Mendo, 2000). Los observadores previamente observaron sesiones de entrenamiento fuera de muestreo para familiarizarles tanto con la actividad a observar como con el propio instrumento de observación. La formación que recibieron compartía la propuesta de Arana et al. (2016), a partir de Anguera (2003), y estaba compuesta por tres bloques, una primera formación teórica en el propio instrumento de observación, una formación teórico-práctica del programa y el proceso de registro de las observaciones y por último la práctica autónoma del registro de una sesión.

Para el análisis, el observador 1 registró los datos de las sesiones S2.1 y S2.2 y posteriormente, transcurridos quince días, registró de nuevo estas mismas sesiones obteniéndose la concordancia intraobservador. El observador 2 una vez establecidos los acuerdos y la formación necesaria procedió al registro de ambas sesiones, obteniéndose la concordancia interobservador.

La calidad del dato también se ha evaluado desde la teoría de la Generalizabilidad (Cronbach et al., 1972), mediante el software informático SAGT (Hernández-Mendo, Ramos-Pérez, et al., 2012). Esta teoría permite analizar las diferentes fuentes de variación que pueden estar afectando a una medida o diseño de medida observacional, unificando los constructos de fiabilidad, validez y precisión (Blanco-Villaseñor et al., 2014). Se distinguen cuatro etapas: (1) Definición de las facetas; (2) Análisis de varianza de las puntuaciones obtenidas sobre las facetas de estudio; (3) Cálculo de los componentes de error; (4) Optimización de los coeficientes de Generalizabilidad (Blanco-Villaseñor et al., 2014).

Por último, se ha evaluado la invarianza de medida, que se define con relación a un grupo o forma de una prueba, de tal modo que el significado formal y sustantivo de la medición es independiente respecto a ellos (Elosua, 2005). Formalmente se diría que la distribución de puntuaciones observadas depende sólo del espacio latente multidimensional (Mellenbergh, 1989; Meredith, 1993) del que aquéllas son indicadores.

RESULTADOS

En el análisis de la calidad del dato, se ha constatado que se tuviera constancia intersesional en cada una de las sesiones al cumplirse los siguientes requisitos: la sesión analizada ha sido del mismo grupo en cada monitor, se ha desarrollado siempre en el mismo lugar y con el mismo material.

Concordancia entre observaciones

Desde la vertiente cuantitativa de la concordancia, se han hallado para ambos monitores las correlaciones con los coeficientes Pearson, Spearman, Tau-b de Kendall, así como Kappa de Cohen.

Los valores de los coeficientes de correlación presentados en la tabla 2 muestran unos resultados que permiten confirmar que la herramienta de observación ofrece un registro con alto grado de fiabilidad y precisión.

Tabla 2. Coeficientes de correlación e índices Kappa de Cohen 

Análisis de Invarianza

En la invarianza de medida se ha empleado para la estimación de la invarianza, un contraste de hipótesis (H0: ρ1 −ρ2 = 0 y H1: ρ1 −ρ2 ≠ 0) se ha empleado la siguiente fórmula de Z:

donde:

ln = logaritmo neperiano

r1 = correlaciones del monitor 1

r2 = correlaciones del monitor 2

n1 = número de registros del monitor 1

n2 = número de registros del monitor 2

En la tabla 3 aparecen los resultados obtenidos. En este caso los registros empleados han sido las sesiones analizadas para las concordancias, puesto que los coeficientes de correlación son los obtenidos en el propio análisis (tabla 2). Los resultados obtenidos muestran Z con valores ≤ |1.96| por lo que las correlaciones no difieren de forma significativa para α=.05.

Tabla 3.  Contraste de hipótesis en muestras independientes respecto a los monitores 

Análisis de Generalizabilidad

Para determinar la fiabilidad entre los observadores (fiabilidad inter), se han usado los registros referentes a las sesiones (S2.1 y S2.2) analizadas por distinto observadores y se ha estimado un modelo de dos facetas, categorías y observadores (C/O), obteniéndose que el mayor porcentaje de la varianza está asociada a la faceta categorías (99.65%) siendo nula para la faceta observadores, y de 0.35% para la faceta de interacción categorías/ observadores. El análisis global de los coeficientes de generalizabilidad en este diseño, determina una fiabilidad de precisión en la capacidad de generalización de los resultados excelentes, obteniendo un índice de generalizabilidad relativo de .99 y un índice de generalizabilidad absoluto de .99.

De la misma manera, para valorar la fiabilidad del mismo grupo de observadores (fiabilidad intra), en este caso se han usado los registros de las sesiones registradas por el mismo observador, se ha tomado el mismo diseño de dos facetas, categorías y observadores (C/O), y en este caso se ha obtenido que

casi toda la variabilidad queda asociada a la faceta categorías (99.86%) siendo nula para la faceta observadores, y de 0.14% para la faceta de interacción categorías/observadores. El análisis global de los coeficientes de generalizabilidad en este diseño, muestran un índice de generalizabilidad relativo de 1.00 y un índice de generalizabilidad absoluto de 1.00.

Respecto a la homogeneidad de las categorías, se ha optado de nuevo por un diseño de dos facetas, observadores y categorías (O/C), mediante el cual se pretende comprobar en qué grado las categorías propuestas diferencian las distintas acciones. Los coeficientes de generalizabilidad en este diseño son nulos (.00), por lo que se podría decir que la homogeneidad de las categorías resulta altamente diferenciadora.

Para estimar el número mínimo de sesiones necesarias para generalizar con precisión cualquier resultado se han empleado los registros de las sesiones S1.1- S2.1- S3.1- S4.1.Se ha utilizado un diseño de dos facetas, categorías y sesiones (C/S) obteniendo que gran parte de la variabilidad queda asociada a la faceta categorías (67.89%) siendo nula para la faceta sesiones, y el resto para la faceta de interacción categorías/sesiones (32.11%). El análisis global de los coeficientes de generalizabilidad en este diseño determina una fiabilidad de precisión en la generalización de los resultados con 5 sesiones de .90 (Maneiro et al., 2020) y de .95 con la observación de 9 sesiones (tabla 4 y Figura 2).

Además de los modelos de medida analizados para la valoración de la fiabilidad, la homogeneidad de las categorías y el número mínimo de sesiones necesarias para generalizar con precisión, se ha analizado el modelo [Criterios] [Categorías] / [Sesiones] [Monitores] obteniéndose con los dos monitores participantes y las siete sesiones (S1.1- S2.1-S3.1-S4.1-S1.2-S2.2-S3.2), un coeficiente de generalizabilidad relativo de .84 y un coeficiente de generalizabilidad absoluto de .83.

Tabla 4.  Análisis de generalizabilidad para la optimización del diseño de medida 

Figura 2.  Gráfica de generalización del Coeficiente G absoluto en función del número de sesiones 

DISCUSIÓN

Los objetivos que presentaba este trabajo consistían, en primer lugar, en la construcción del propio instrumento en base a la teoría existente, incluyendo la dificultad añadida de la creación de las rating scales para cada una de las categorías presentadas con la salvedad de los criterios 8, 9 y 10. Este primer proceso requirió de sucesivas adaptaciones hasta lograr el ajuste obtenido. Posteriormente se llevaron a cabo los análisis de la fiabilidad, validez y precisión de la herramienta de observación, que en base a los resultados obtenidos podemos afirmar que el instrumento dispone de estas características. Esto iría en la línea de estudios anteriores llevados a cabo con el Sistema de Observación del Clima Motivacional Multidimensional (Fabra et al., 2018; Smith et al., 2015).

La adaptación inicial se realizó inicialmente con los mismos participantes y fue analizada por dos observadores, los cuales recibieron una formación previa en el uso y manejo tanto del programa como del instrumento de observación. En este análisis se obtuvieron buenos resultados, aunque se produjo la mejora y adición en caso de necesidad de nuevas conductas. Posteriormente se realizó la filmación de nuevas sesiones y el consecuente análisis final con los mismos tanto participantes como observadores. Los resultados del análisis de calidad del dato reflejan una elevada fiabilidad, concordancia entre los observadores mediante el coeficiente Kappa de Cohen (1960) considerada como “muy buena o perfecta” (Kappa de Cohen > .80) a partir de los valores de referencia de Landis y Koch (1977).

Los resultados obtenidos en el análisis de invarianza entre los dos monitores demuestran que no hay diferencias entre ambos por lo que se produce invarianza del instrumento entre los monitores. En este aspecto, la inclusión de la invarianza tiene un carácter innovador ya que en la mayoría de las ocasiones se ha estudiado la invarianza factorial, valorando el grado en el que un instrumento mide el mismo constructo entre dos o más grupos (Pineda et al., 2018). Este estudio plantea esta invarianza desde el punto de vista del contraste de hipótesis a partir de las propias correlaciones, esta aplicación se ha empleado también en el trabajo de Quiñones et al. (2019).

Respecto a la generalizabilidad, determina una fiabilidad de precisión en la capacidad de generalización de los resultados excelentes, así como la homogeneidad de las categorías resulta altamente diferenciadora, además se ha realizado una optimización del modelo, que permite la obtención de referencias para futuros estudios.

Lo realmente relevante e innovador de este estudio radica en el uso de las rating scales, que permiten realizar una primera muestra de las áreas o subáreas en las que se pretende medir el comportamiento producido, preparándose una serie de ejecuciones que están graduadas en cuanto a complejidad, dificultad, etc., indicando la asignación de puntuaciones (Anguera, 2001). Tas su análisis han mostrado que aunque tienen un uso residual debido a la necesidad de ordenación del atributo o dimensión, que no siempre es posible ni fácil (Anguera y Hernández Mendo, 2013), se presentan como una potencialidad, que mediante una profundización así como implantación de sistemas informáticos que permitan su explotación total pueden ofrecer grandes beneficios a la propia metodología, ofreciendo la posibilidad de obtener una información añadida y muy completa en los registros a realizar.

Como limitaciones en este estudio podría considerarse el número de monitores con los que ha contado el análisis de esta herramienta. Además, sería interesante la replicación en otros ámbitos diferentes a la actividad de mantenimiento físico, lo cual permitiría una mayor optimización del instrumento de observación. Debido a la naturaleza de la actividad en la cual se ha puesto a prueba este instrumento, encontramos que es una actividad con adultos y personas mayores, de carácter voluntaria y enfocada a la salud y bienestar, por tanto, hay criterios que conformarían el espectro más disempowering que carecen de frecuencia en el análisis realizado.

APLICACIONES PRÁCTICAS

Este estudio presenta un instrumento de observación que cumple los criterios de fiabilidad, validez y precisión. La aplicación práctica radica en el análisis de la interacción verbal y proxémica del monitor con los participantes de la actividad. Cabe mencionar que lo innovador y de gran relevancia metodológica en este estudio es el desarrollo de las rating scales como potencialidad. Aunque actualmente programas de observación como Hoisan trabaja actualmente con intensidades, este estudio pretende ser activador de la aplicación de este instrumento, lo cual posibilitará desarrollar y mejorar estas herramientas informáticas que permitan trabajar de manera óptima.

REFERENCIAS (APA 7ª EDICION)

Ames, C. (1992). Classrooms: Goals, structures, and student motivation. Journal of Educational Psychology,84(3 ),261-271.https://doi.org/10.1037/0022-0663.84.3.261. [ Links ]

Anguera, M.T. (1979). Observational Typology. Quality &Quantity. European-American Journal of Methodology,13(6),449-484. https://doi.org/10.1007/BF00222999. [ Links ]

Anguera, M. T. (1990). Metodología observacional. En Arnau, J., Anguera, M.T. y Gómez Benito, J.. Metodología de la investigación en ciencias del comportamiento (pp.125-236). Murcia: Universidad de Murcia. [ Links ]

Anguera, M. T. (2001). Cómo apresar las competencias del bebé mediante una aplicación de la metodología observacional. Contextos Educativos. Revista de Educación, (4), 13-34. https://doi.org/10.30827/publicaciones.v48i1.7331 [ Links ]

Anguera, M. T. (2003). Observational Methods (General). En Fernández-Ballesteros, R. (Ed.), Encyclopedia of Psychological Assessment, Vol. 2 (pp. 632-637). Londres: Sage. https://doi.org/10.4135/9780857025753 [ Links ]

Anguera, M. T., Blanco-Villaseñor, A., Hernández-Mendo, A., Losada, J. L. (2011). Diseños observacionales: ajuste y aplicación en psicología del deporte. Cuadernos de Psicología del Deporte,11(2),63-76. [ Links ]

Anguera, M. T., Magnusson, M., Jonsson, G. (2007). Instrumentos no estándar: planteamiento, desarrollo y posibilidades. Avances en Medición,5(1),63-82. [ Links ]

Anguera, M. T., Hernández-Mendo, A. (2013). La metodología observacional en el ámbito del deporte. E-balonmano.com: Revista de Ciencias del Deporte, 9(3), 135-160. [ Links ]

Anguera, M. T., Hernández-Mendo, A. (2014). Metodología observacional y psicología del deporte: Estado de la cuestión. Revista de Psicología del Deporte,23(1),103-109. [ Links ]

Azagra, R., González, J. (2015). La interacción política en Twitter, el caso de @ppopular y @ahorapodemos durante la campaña para las Elecciones Europeas de 2014. Ámbitos: Revista Internacional de Comunicación, 28,38-49. [ Links ]

Bakeman, R. (1978). Untangling streams of behavior: Sequential analysis of observation data. En Sackett, G.P. (Ed). Observing behavior, Vol 2: Data collection and analysis methods (pp. 63-78). Baltimore. [ Links ]

Bales, R. F. (1950). Interaction process analysis; a method for the study of small groups. Cambridge, Mass.: Addison-Wesley Press. [ Links ]

Bales, R. F., Cohen, S. P., Williamson, S. A. (1979). SYMLOG: A system for the multiple level observation of groups. Free Press, [ Links ]

Bartholomew, K. J., Ntoumanis, N., Thøgersen-Ntoumani, C. (2010). The controlling interpersonal style in a coaching context: Development and initial validation of a psychometric scale. Journal of Sport and Exercise Psychology,32(2),193-216. https://doi.org/10.1123/jsep.32.2.193. [ Links ]

Blanco-Villaseñor, Á., Castellano, J., Hernández-Mendo, A., López-Sánchez, C. R., Usabiaga, O. (2014). Aplicación de la TG en el deporte para el estudio de la fiabilidad, validez y estimación de la muestra. Revista de Psicología del Deporte,23(1),131-137. [ Links ]

Borgatta, E.F., Crowther, B. (1965). A workbook for the study of social interaction processes. Chicago: Rand McNally. [ Links ]

Castellano, J., Hernández-Mendo, A. (2000). Generalizabilidad de las observaciones de la acción del juego en el fútbol. Psicothema, 12(Suplemento), 81-86. [ Links ]

Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement,20(1),37-46. https://doi.org/10.1177/001316446002000104. [ Links ]

Colli, A., Lingiardi, V. (2009). The collaborative interactions scale: a new transcript-based method for the assessment of therapeutic alliance ruptures and resolutions in psychotherapy. Psychotherapy Research 19(6),718-734. https://doi.org/10.1080/10503300903121098. [ Links ]

Cronbach, L., Gleser, G., Nanda, H., Rajaratnam, N. (1972). The dependability of behavioral measurements: Theory of generalizability for scores and profiles. New York: John Wiley and Sons. [ Links ]

Deci, E. L., Ryan, R. M. (1985). Intrinsic motivation and self-determination in human behavior. New York, NY: Plenum. [ Links ]

Deci, E. L., Ryan, R. M. (2000). The" what" and" why" of goal pursuits: human needs and the self-determination of behavior. Psychological Inquiry,11(4),227-268. https://doi.org/10.1207/S15327965PLI1104_01. [ Links ]

Deci, E.L., Ryan, R.M. (1987). The support of autonomy and the control of behavior. Journal of Personality and Social Psychology,53,1024-1037. https://doi.org/10.1037/00223514.53.6.1024. [ Links ]

Del Giacco, L., Salcuni, S., Anguera, M. T. (2019). The communicative modes analysis system in psychotherapy from mixed methods framework: introducing a new observation system for classifying verbal and non-verbal communication. Frontiers in Psychology,10:782. https://doi.org/10.3389/fpsyg.2019.00782. [ Links ]

Duda, J. L. (2013). The conceptual and empirical foundations of Empowering Coaching™: Setting the stage for the PAPA project. International Journal of Sport and Exercise Psychology,11(4 ),311-318.https://doi.org/10.1080/1612197X.2013.839414. [ Links ]

Duda, J. L., Balaguer, I. (2007). Coach-created motivational climate. En Jowett, S. y Lavallee, D. (Eds.), Social Psychology in Sport (pp. 117-130). Champaign, IL: Human Kinetics. https://doi.org/10.5040/9781492595878.ch-009 [ Links ]

Elosua, P. (2005). Evaluación progresiva de la invarianza factorial entre las versiones original y adaptada de una escala de autoconcepto. Psicothema,17(2),356-362. [ Links ]

Fabra, P., Balaguer, I., Tomás, I., Smith, N., Duda, J. L. (2018). Versión española del Sistema de Observación del Clima Motivacional Multidimensional (MMCOS): fiabilidad y evidencias de validez. Revista Psicología del Deporte,27,11-22. [ Links ]

Hall, E. T. (1963). A system for the notation of proxemic behaviour. American Anthropologist,65(5),1003-1026. [ Links ]

Hamre, B.K., Pianta, R.C., Downer, J. T., DeCoster, J., Mashburn, A. J., Jones, S. M., Brown, J. L., Capella, E., Atkins, M., Rivers, S.E., Brackett, M. A., Hamagami, A. (2013). Teaching through interactions: Testing a developmental framework of teacher effectiveness in over 4,000 classrooms. The Elementary School Journal,113(4),461-487. https://doi.org/10.1086/669616. [ Links ]

Hernández-Mendo, A., López-López, J., Castellano, J., Morales-Sánchez, V., Pastrana, J. L. (2012). Hoisan 1.2: Programa informático para uso en metodología observacional. Cuadernos de Psicología del Deporte,12(1),55-78. https://doi.org/10.4321/S157884232012000100006. [ Links ]

Hernández-Mendo, A., Ramos-Pérez, F., Pastrana, J.L. (2012). SAGT: Programa informático para análisis de Teoría de la Generalizabilidad. SAFE CREATIVE Código: 1204191501059 [ Links ]

Landis, R., Koch, G. (1977). The measurement of observer agreement for categorical data. Biometrics,33(1),159-174. https://doi.org/10.2307/2529310. [ Links ]

Lapresa, D., Pascual, J., Arana, J., Anguera, M. T. (2020). Sistema de observación para analizar la interacción en el juego de Boccia por equipos. Cuadernos de Psicología del Deporte,20(1),37-47. https://doi.org/10.6018/cpd.393821. [ Links ]

Maneiro, R., Blanco-Villaseñor, Á., Amatria, M (2020). Analysis of the Variability of the Game Space in High Performance Football: Implementation of the Generalizability Theory. Frontiers in Psychology,11:534. https://doi.org/10.3389/fpsyg.2020.00534. [ Links ]

Mann, R. D. (1966). The development of the member-trainer relationship in self-analytic groups. Human Relations,19(1 ),85-115. [ Links ]

Mellenbergh, G. J. (1989). Item bias and item response theory. International Journal of Educational Research,13,127-143. https://doi.org/10.1016/0883-0355(89)90002-5. [ Links ]

Mendes, S., Fernandes, J. J., Castañer, M., Camerino, O., de Sequeira, P. J. R. M., Dias, L. A., Da Costa, V.A., Alves, S. C. (2013). Sistema de observação da comunicação proxémica do instrutor de fitness (SOPROX-FITNESS): desenvolvimento, validação e estudo piloto. Revista Iberoamericana de Psicología del Ejercicio y el Deporte,8(2 ),281-299. [ Links ]

Meredith, W. (1993). Measurement invariance, factor analysis and factorial invariance. Psychometrika,58,525-543. https://doi.org/10.1007/BF02294825. [ Links ]

Newton, M., Duda, J.L., Yin, Z.N. (2000). Examination of the psychometric properties of the Perceived Motivational Climate in Sport Questionnaire-2 in a sample of female athletes. Journal of Sports Sciences,18,275-290. https://doi.org/10.1080/026404100365018. [ Links ]

Nicholls, J. G. (1989). The competitive ethos and democratic education. Cambridge, MA: Harvard University Press. [ Links ]

Pedrosa, I., Torres, N. H., Alegría, M. L., Cueto, E. G. (2013). Desarrollo del Protocolo de Observación de Interacción en el Aula: aplicación en un programa de niños con altas capacidades. Revista de Educación,1,293-312.https://doi.org/10.4438/1988-592X-RE-2013-EXT-250. [ Links ]

Quiñones, Y., Morillo-Baro, J. P., Reigal, R. E., Morales-Sánchez, V., Vázquez-Diz, J. A., Hernández-Mendo, A. (2019). El ataque posicional en balonmano: validación de un sistema de observación. Cuadernos de Psicología del Deporte,19(3),114-124.https://doi.org/10.6018/cpd.384091s. [ Links ]

Rodríguez-Peláez, D., Garrido, P., Conde, C., Almagro, B. J. (2015). Adaptación y validación de la CBAS para la observación de climas motivacionales. Cuadernos de Psicología del Deporte,15(3),253-260. https://doi.org/10.4321/S1578-84232015000300030. [ Links ]

Santos, S., Sarmento, H., Alves, J., Campaniço, J. (2014). Construcción de un instrumento para la observación y el análisis de las interacciones en el waterpolo. Revista de Psicología del Deporte,23(1),191-200. [ Links ]

Smith, N., Tessier, D., Tzioumakis, Y., Quested, E., Appleton, P., Sarrazin, P., Papaioannou, A., Duda, J. L. (2015). Development and validation of the multidimensional motivational climate observation system. Journal of Sport and Exercise Psychology,37(1),4-22. https://doi.org/10.1123/jsep.2014-0059. [ Links ]

Smith, R.E., Smoll, F. L., Hunt, E. (1977). System for behavioral assessment of Athletic coaches. Research Quarterly,48,401-407. https://doi.org/10.1080/10671315.1977.10615438. [ Links ]

Tronchoni, H., Izquierdo, C., Anguera, M. T. (2018). Interacción participativa en las clases magistrales: fundamentación y construcción de un instrumento de observación. Publicaciones: Facultad de Educación y Humanidades del Campus de Melilla,48(1),81-108. https://doi.org/10.30827/publicaciones.v48i1.7331. [ Links ]

World Medical Association. (2013). World Medical Association Declaration of Helsinki: Ethical principles for medical research involving human subjects. Journal of the American Medical Association, 310, 2191-2194. https://doi.org/10.1001/jama.2013.281053. [ Links ]

Recibido: 14 de Abril de 2020; Aprobado: 11 de Julio de 2020

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons