Estudio sobre la calidad de un instrumento de observación

Study on the quality of an observation instrument

Estudo sobre a qualidade de um instrumento de observação

 

 

José Luis Losada y David Leiva

Universidad de Barcelona

Dirección para correspondencia

 

 

---

RESUMEN

La construcción de un buen instrumento de observación en el ámbito de la Metodología Observacional es importante para poder validar las hipótesis del estudio. El objetivo de este trabajo, es presentar un procedimiento para conocer la calidad del instrumento de observación. Se utiliza como referencia un diseño de seguimiento, nomotético, multidimensional, y un sistema de categorías construido para registrar las jugadas ofensivas en el fútbol. La técnica estadística de la regresión logística, en este caso, permite determinar el grado de adecuación del instrumento de observación a la situación a estudiar. Se comprueba que las categorías que lo configuran no son buenas para registrar las transiciones ofensivas utilizando la información de los coeficientes R² de Cox- Snell y R² de Nagelkerke.

Palabras clave: Metodología Observacional, sistema de categorías, regresión logística, transiciones ofensivas.

---

ABSTRAT

The construction of a good instrument of observation in the field of observational methodology is important in order to validate the hypotheses of the study. The objective of this study is to present a procedure to know the quality of an instrument. Using as reference a design of follow-up, nomotetic, multidimensional, and an instrument of observation (category system) built to record the offensive plays in a football game. The statistical technique of logistic regression, in this case, is used to predict the success/no success of played offensive, as explained variable, which according to some predictor variables will determine the degree of adaptation of the instrument of observation to the situation to study. Checks are not good predictors of offensive transitions through the Cox - Snell and Nagelkerke R².

Key words: Observational methodology, a system of categories, logistic regression, football, offensive transitions.

---

RESUMO

A construção de um bom instrumento de observação no âmbito da Metodologia Observacional é importante para poder validar as hipóteses do estudo. O objetivo deste trabalho é apresentar um procedimento para conhecer a qualidade do instrumento de observação. Utilizou-se como referência um desenho de seguimento, nomotético, multidimensional e um sistema de categorias construído para registar as jogadas ofensivas em futebol. A técnica estatística é a regressão logística, neste caso, permite determinar o grau de adequação do instrumento de observação à situação a estudar. Comprova-se que as categorias que o configuram não são boas para registar as transições ofensivas utilizando as informações dos coeficientes R² de Cox- Snell y R² de Nagelkerke.

Palavras chave: Metodologia Observacional, sistema de categorias, regressão logística, transições ofensivas.

---

 

Introducción

La Metodología Observacional estudia el comportamiento habitual del sujeto, en un contexto no preparado. Se trata de identificar regularidades conductuales, desarrolladas en el tiempo de forma continua utilizando un conjunto de símbolos, con el objetivo de estudiar la conducta de forma cuantitativa. Ello implica que el registro observacional se base en unas unidades extraídas de un segmento de flujo conductual molar o molecular (términos relativos). Cuando se desea una representación ajustada a la realidad objetiva se utiliza un criterio de segmentación molecular. Cuando se desean criterios más amplios, donde existen varios tipos de relaciones y operaciones conductuales, sin mucha precisión y de forma holística, se utiliza un criterio de segmentación molar.

Atendiendo a las conductas que configuran el flujo conductual, podemos distinguir dos tipos: el evento que puede entenderse como cualquier ocurrencia de una conducta, y los estados, referidos a cualquier conducta que presenta una permanencia en el segmento (Altman, 1974; Slater, 1978). Por lo tanto, podemos definir una unidad de conducta como el comportamiento más pequeño en el flujo conductual, con significado propio. En función del contenido podemos distinguir varios tipos de unidades de conducta: la unidad estructural definida como una pauta espacio-temporal de contracción muscular que puede entenderse como una posición del organismo al desplazarse por un entorno, es decir, es una función espacio-temporal de movimiento y postura. La unidad funcional, definida por las consecuencias que produce en el entorno físico o social una unidad estructural. Y finalmente, la unidad causal que es la responsable de generar la unidad de conducta.

La aplicación de una serie de filtros y ordenaciones en las unidades de conducta genera unos registros que, etiquetados y definidos de forma particular para el sujeto, y dando una serie de ejemplos y contraejemplos de lo que es esa unidad de conducta, definen el elemento categoría. Debe estructurarse formalmente en términos de, un núcleo conceptual (Smith y Medin, 1981) y un nivel de plasticidad denominado grado de apertura. El núcleo es el contenido básico o fundamental que da razón de ser a una categoría y que la diferencia de otras, independientemente de cuales sean las manifestaciones externas del comportamiento. Posee una estructura interna y presenta propiedades formales que justifican su carácter alternativo definiendo las relaciones contingentes que adquieren entre sí, dando lugar a una determinada estructura intercategorial.

Es necesario un instrumento de observación elaborado ad hoc por el investigador a partir de unas unidades de conducta, debido a la imposibilidad de disponer de protocolos u otro tipo de instrumentos que sean rígidos y se hallen estandarizados dado que cada situación de observación es distinta y la diversidad de las conductas que podemos estudiar es muy elevada. Por este motivo, hay que individualizar su construcción, que será específica en cada caso (Anguera, 2003; Anguera y Blanco, 2003). El punto de partida es la elaboración de la lista de rasgos de conductas (realidad) de forma que cuente con la presunción de exhaustividad. El paso siguiente consiste en proponer, a partir del marco conceptual, los criterios que permitan realizar agrupaciones por afinidad entre los rasgos de conducta, a las que se da una denominación provisional. Teniendo en cuenta el marco teórico, se analiza y revisa si existe un adecuado grado de homogeneidad entre las conductas, procediéndose, si fuera necesario, a aplicar una serie de acciones como, el desglose de alguna agrupación, modificación, etc., de forma que se asegure una diferenciación conceptual entre las categorías provisionales. Una vez realizadas estas modificaciones, y asignando las conductas a la nueva propuesta de categorías, repitiéndose el proceso de forma iterativa hasta que el conjunto de las categorías configure un sistema exhaustivo dentro del área o situación observada, y mutuamente excluyente en cada una de las dimensiones o niveles implicados (Anguera, 1991). Dos criterios que debe de cumplir un sistema de categorías, considerado como definitivo, por un lado, la exhaustividad referida a que cualquier comportamiento del ámbito considerado como objeto de estudio (que habrá sido seleccionado y muestreado del repertorio conductual del sujeto) puede asignársele una de las categorías. Por otro lado, la mutua exclusividad entendida como el no solapamiento de las categorías que componen un sistema, por lo que a cada comportamiento se le asigna una y sólo una categoría. Sin embargo, y desde el punto de vista de los niveles que interesen, puede no ser posible -incluso conveniente-, ya que en muchas ocasiones interesa contemplar varios niveles de respuesta concurrentes, por lo que se crearían categorías múltiples que abarquen todas las posibles combinaciones entre las iniciales.

Por ello, resulta interesante conocer si las categorías que configuran el instrumento de observación, son adecuadas para registrar la situación para la cual fue elaborado. La idoneidad del instrumento es un aspecto que se debe tener en cuenta para conseguir una adecuada observación sistemática. No sólo debe estudiarse la individualidad de cada una de las categorías, sino que es fundamental la estructura de conjunto que forma el sistema (Anguera, 2003). Puede dar lugar a la consideración de una falsa estabilidad, dado que su carácter de instrumento acabado es sólo relativo, puesto que, especialmente en estudios que se prolongan considerablemente a lo largo del tiempo, la propia evolución de la realidad puede generar un progresivo desajuste con las categorías estudiadas. Adicionalmente a lo planteado, cabe mencionar que, en muchos casos, las conductas registradas por medio de un instrumento de observación sirven, en mayor o menor medida, para predecir otras conductas que constituyen el foco principal de interés para los investigadores. Convirtiéndose así esta capacidad de predicción otra característica perseguida en el desarrollo de instrumentos de observación. En este sentido, es importante centrar la atención en el modelado estadístico como metodología de especial utilidad en la observación de la conducta. Efectivamente, el empleo de modelos de regresión para la descripción de la relación existente entre una conducta criterio y un conjunto de conductas relevantes (i. e., variables predictoras) resulta una potente estrategia analítica en la construcción de teorías en las ciencias del comportamiento.

El presente estudio se centra en el caso concreto del modelo de regresión logística. A modo de breve introducción se apuntan sus principales características: Por una parte, tenemos que la variable criterio (también llamada en algunos contextos, variable dependiente, endógena o de respuesta) es binaria o dicotómica, esto es, una variable cualitativa medida en escala nominal y formada únicamente por dos categorías. Y por otra parte, la relación entre la variable criterio y las variables predictoras (también llamadas independientes, exógenas o explicativas) es de tipo no lineal. A continuación se muestra la expresión para el modelo de regresión logística, en este caso, múltiple:

 

 

Dicho modelo asume que Y={0,1} y, por tanto, el error asociado al mismo queda bien descrito mediante un modelo de probabilidad binomial. Además, existe una transformación que permite expresar el modelo anterior como una combinación lineal de los distintos parámetros, la función logit, denotada en la siguiente expresión como g(x):

 

 

Puesto que se trata de un modelo de regresión se siguen las usuales fases de especificación y validación del modelo, esto es, la determinación de las variables que constituirán el modelo de regresión y su posterior validación estadística. Adicionalmente, se comprueba el cumplimiento de los supuestos teóricos mediante los llamados procedimientos de diagnóstico (e. g., distribución del error, multicolinealidad, observaciones influyentes, entre otros).

En lo referente a la validación del modelo y, tomando como referencia el modelo lineal, encontramos el llamado coeficiente de determinación (denotado mediante R²) calculado como la proporción de la variabilidad explicada por el modelo respecto a la variabilidad total. Esta medida puede ser entendida, por tanto, como una medida de la capacidad predictiva del modelo. Pese a encontrar ciertas analogías para el modelo de regresión logística, lo cierto es que las particularidades de dicho modelo hace que tanto el cálculo como su interpretación no sean iguales. Al respecto, debe tenerse en cuenta que en el caso del modelo de regresión logística se persigue una solución analítica (i. e., se estiman los coeficientes del modelo) con el objetivo de maximizar la función objetivo correspondiente a la verosimilitud, esto es, una función de densidad conjunta de los datos muestrales dado el modelo paramétrico asumido en la población. Por tanto, las medidas propuestas para evaluar la capacidad predictiva del modelo se han construido teniendo en cuenta la verosimilitud asociada al modelo estimado respecto a un modelo nulo (es decir, un modelo sin variables predictoras) que sirve de punto de partida. Dadas sus peculiaridades se ha venido a denominar estos coeficientes como pseudo-R² y existen diversas propuestas (para una revisión de algunas de estas propuestas ver Mittlbock y Schemper, 1996).

Entre las distintas propuestas para cuantificar la validez del modelo destaca la realizada por McFadden (1974). Ésta se presenta a continuación:

 

 

donde l₀ y l_MOD representan el logaritmo de la verosimilitud para el modelo nulo (que denotaremos mediante L₀) y el modelo con las variables predictoras (L_MOD), respectivamente.

Por su parte, otra medida frecuentemente atribuida a Cox y Snell (1989) pero originariamente desarrollada por Maddala (1983) se define como sigue:

 

 

donde λ es el conocido estadístico basado en la razón de verosimilitud, -2log(L₀/L_MOD); y n es el tamaño de la muestra.

Maddala (1983) también demostró que el anterior estadístico tiene una cota superior en 1-(L₀)^2/n y por tanto una medida normalizada es:

 

 

Esta última medida se conoce como la R² de Nagelkerke (1991).

Finalmente, otra propuesta reciente es la realizada por Tjur (2009), la cual posee una estrecha relación con el coeficiente de determinación en el caso del modelo de regresión lineal y además, fue desarrollado pensando en la escala de medida de la variable dependiente, esto es, en una medida binaria. Este coeficiente, que el autor denominó de discriminación, se fundamenta en la diferencia entre las estimaciones de las probabilidades de los dos eventos disjuntos, a saber, la presencia o ausencia del suceso de interés.

 

 

Además, presenta propiedades estadísticas deseables como estar acotado superiormente en 1. No obstante, a diferencia del coeficiente de determinación en el caso del modelo de regresión lineal (y de sus análogos basados en la función de verosimilitud para el modelo logístico), este coeficiente no presenta la propiedad de aumentar su valor como resultado de incluir una nueva variable en el modelo. De hecho, puede producirse el efecto contrario, algo que resulta del todo contra-intuitivo.

La utilización de la regresión logística en el ámbito del deporte ha permitido nuevas aportaciones, como por ejemplo, predecir el resultado final de las secuencias ofensivas. Este hecho supone un avance importante para el estudio del rendimiento de los equipos, al poder conocer cuáles son las situaciones que el equipo debe utilizar en el juego para que el resultado final de la secuencia ofensiva sea positiva. Una parte de la información obtenida en la regresión logística vinculada al modelo planteado y a las mediciones de sensibilidad y especificidad, aportan el grado en que las categorías permiten registrar estas situaciones ofensivas de forma adecuada. Este trabajo, toma como referencia un instrumento de observación creado para registrar las secuencias ofensivas con éxito de un equipo, entendidas como un conjunto de conductas interactivas motrices, desarrolladas en un determinado contexto espacial. Estas conductas hacen referencia a las posibilidades que tiene el jugador, para iniciar el juego ofensivo después de recuperar la posesión del balón, es decir, cuando el jugador del equipo mantiene de forma controlada, en términos técnico-tácticos, la posesión del mismo, y está en disposición de dar continuidad para finalizar el proceso ofensivo. Por otro lado, son varias las acciones que se consideran éxito de las secuencias ofensivas en el fútbol, marcar un gol, se considera un éxito total, el lanzamiento a portería sin que el balón entre en la misma, o bien sea rechazado por el portero, o un jugador de campo, o los largueros de la portería, se considera un éxito parcial. Al igual que cuando el equipo observado ve interrumpida su acción ofensiva pero continua con la posesión del balón por medio de una falta a favor, saque de esquina o saque de banda.

 

Método

Participantes

Los partidos analizados corresponden a la segunda fase de la Eurocopa de Austria-Suiza 2008, registrando 743 transiciones ofensivas. Los partidos son:

 

 

Instrumentos

Instrumento de observación

Hemos elaborado un instrumento ad hoc compuesto por la combinación de varios sistemas de categorías o formatos de campo, tal y como describen Anguera, Blanco, Losada y Hernández (2000) como instrumento básico de la metodología observacional.

Instrumento de registro

El instrumento de registro es el programa informático Match Vision Studio (MVS) de libre distribución (Castellano, Perea, Alday y Hernández-Mendo, 2008). Es un programa altamente flexible en el cual se introducen inicialmente la totalidad de los códigos correspondientes a cada uno de los macrocriterios.

Sistema taxonómico:

Macrocriterio 1: Categorías de inicio.

1. ZI: zona inicio.

 

 

2. CEI: Configuración espacial de interacción de inicio.

 

 

3. ORD: Organización defensiva del equipo adversario.

3.1.- ORG: Organizada

Se codificarán todas aquellas acciones en las que cuando el equipo adversario pierde la posesión del balón, los jugadores que se encuentran entre el balón y la propia portería cumplen los siguientes requisitos:

Están en igualdad o superioridad numérica.

Hay jugadores cerca del poseedor del balón que pueden limitar su acción ofensiva.

Se encuentran distribuidos racionalmente en el terreno de juego, ocupando las zonas de mayor riesgo defensivo (corredor central y espacios cercanos a la portería), y agrupados en torno al balón y/o la portería.

3.2.- CIR: Circunstancial

Diremos que la defensa es circunstancial cuando los jugadores no cumplan alguno de los requisitos anteriormente mencionados.

4. TP: Tiempo del encuentro.

Momento del encuentro en el que el equipo observado recupera la posesión del balón e inicia la secuencia ofensiva.

5. INT: Intención táctica del equipo observado.

5.1.- PR: Progresar

El jugador que recupera la posesión del balón, o el segundo jugador que contacta con el balón, muestra una clara actitud de iniciativa tratando de llevar el balón hacia la portería contraria.

5.2.- CONS: Conservar

Los jugadores anteriormente mencionados muestran una clara actitud de expectativa, aplicando el principio de conservación del balón.

Macrocriterio 2: Categorías de desarrollo de la transición ofensiva.

1. NJ: Número de jugadores que intervienen en la secuencia ofensiva.

Número de jugadores que intervienen sobre el balón.

2. NP: Número de pases.

Número de pases que realizan los jugadores.

Macrocriterio 3: Categorías de fin de la secuencia ofensiva.

1. CEIF: Configuración espacial de interacción de finalización.

 

 

2. RJ: Resultado de la jugada

2.1.- EX: Éxito

Gol, lanzamiento a portería o interrupción temporal de la acción ofensiva, continuando por medio de una falta a favor, saque de esquina o de banda.

2.2.- NEX: No éxito

Pérdida de la posesión del balón por un error propio, acción antirreglamentaria, o el equipo adversario realiza con efectividad una acción defensiva logrando recuperar la posesión del balón.

Procedimiento

Con todas las variables utilizadas hemos construido un modelo de regresión logística que nos va a permitir predecir el resultado final de las transiciones ofensivas.

A continuación explicamos el proceso de construcción de dicho modelo.

Primeramente hemos seleccionado las categorías significativas que tienen una influencia directa sobre el resultado de la transición ofensiva. El diseño observacional (Anguera, Blanco, Hernández-Mendo y Losada, 2011) es nomotético (varios partidos), seguimiento y multidimensional (las dimensiones se corresponden con los criterios cambiantes del instrumento de observación).

A partir del planteamiento de este diseño se derivan una serie de decisiones tales como estructura del instrumento de observación, tipo de datos, control de calidad del dato y análisis de datos.

El total de configuraciones del instrumento de observación corresponden a la codificación efectuada a partir de los macrocriterios. Para el análisis de los datos se utilizó el programa SPSS v.20 (SPSS Inc., 2011), aplicando los módulos de tablas de contingencia, regresión logística binaria y curvas de ROC, presentando una edición de los mismos formada por las tablas y gráfico más significativas de estos procedimientos y que recogen los resultados de las jugadas de éxito y no éxito en las transiciones ofensivas.

 

Resultados

Se puede observar en la tabla que la variable explicada (éxito/no éxito en la transición ofensiva) se relaciona con la variable ZI de forma significativa, con una intensidad de 0.140. Respecto a la variable CEI, mantiene una relación estadísticamente significativa y con una intensidad en la relación ligeramente mayor que ZI, con un valor de 0.167. La variable ORD no mantiene ningún tipo de relación con la variable explicada. En el caso de la variable INT su relación es estadísticamente significativa, pero con una intensidad muy pequeña de 0.076. Finalmente la variable CIEF presenta la mayor relación significativa con la variable explicada, con una intensidad de 0.206.

En el caso de las variables predictoras continuas, el estudio bivariante se realiza a través de una correlación biserial puntual para valorar la relación. Ninguna de las variables predictoras manifestó una relación estadísticamente significativa con la variable explicada.

Nótese que, en este caso, la elección de las variables que formarán parte del modelo responde únicamente a criterios estadísticos, i. e. aquellas variables cuya asociación con la variable criterio ha resultado ser significativa. Adicionalmente, y como es habitual en el modelado estadístico, interesa plantear el modelo más parsimonioso, esto es, aquel modelo que contenga el menor número de variables posible sin sacrificar su capacidad predictiva y/o explicativa. No obstante, el criterio sustantivo del investigador debe guiar también la elección del modelo estadístico y, por tanto, el conocimiento previo sobre el ámbito de investigación puede hacer necesaria la inclusión en el modelo de otras variables independientemente de lo dictado por el criterio estadístico. Por consiguiente y, atendiendo al criterio estadístico, las variables predictoras que intervienen en el modelo, son aquellas que han resultado significativas en el análisis bivariante, a saber, ZI, CEI, INT, CIEF.

El modelo resultante, por tanto, es el que se detalla a continuación:

 

 

Se observa como el modelo obtenido clasifica correctamente a 34 de las 258 transiciones ofensivas con éxito, por lo que su sensibilidad (éxito) es de un 13.2%. Por otro lado clasifica correctamente a 461 transiciones ofensivas sin éxito de 485, con una especificidad (no éxito) del modelo del 95.1%. Y de forma global diremos que ha clasificado correctamente al 66.6 % de las jugadas de transición ofensivas.

Atendiendo a la capacidad predictiva del modelo planteado: Nagelkerke, Cox y Snell y Discriminación Tjur (Histogramas de las respuestas según el modelo + índice de discriminación).

 

 

El área bajo la curva es 0.648 (Tabla 6), que indica el poder de discriminación del modelo planteado, un 64.8 % del valor máximo posible. Es estadísticamente significativo (con hipótesis nula de no discriminación, que en la gráfica ROC corresponde a los puntos que formarían la diagonal). Otra opción para evaluar el ajuste del modelo construido es utilizar la prueba de Hosmer y Lemeshow, con un valor de χ² =5.897 y un valor p =0.659 no significativo, por lo tanto no hay motivos para pensar que los resultados teóricos sean diferentes de los observados, o que si hay pueden explicarse razonablemente por el azar o error de muestreo, y que el modelo puede considerarse aceptable.

 

 

 

 

La proporción de la variable transición ofensiva que es explicada por este modelo es baja, entre 7.2 % de la R² cuadrado de Cox y Snell y 9.9% de la R² de Nagelkerke, es decir existe un porcentaje importante sobre el éxito y no éxito de las transiciones ofensivas, que no depende de las variables analizadas. Con estos resultados es arriesgado proponer un modelo de predicción como conclusión al estudio.

 

Discusión

En el resumen del modelo se observan valores bajos en el R² de Cox y Snell y el R² de Nagelkerke indicadores complementarios de la bondad de ajuste del modelo que permiten tener una idea de la capacidad explicativa de éste. Algunos autores (Aldrich y Nelson, 1984) afirman que esta R² no debe ser interpretada en los mismos términos que el coeficiente de determinación descrito en la regresión lineal, por lo que se denomina pseudo-R. El principal problema es que por muy perfecto que sea un modelo, éste nunca llega a alcanzar el valor 1. Por ello, se propuso una corrección sobre-estimada, calculando el coeficiente R² de Nagelkerke valor que refleja de forma más exacta el ajuste de modelo. Pero debemos tener en cuenta el carácter cualitativo de la variable explicada que hace que su explicación no sea la misma que en el caso de la regresión lineal, y lo tomamos como un valor aproximado y orientativo. Como son valores cercanos a 0, nuestro modelo no es una gran mejora sobre el modelo nulo (sin variables predictoras). Desglosando la información (tabla 5), el modelo propuesto sería apropiado para predecir un resultado de la transición ofensiva de no éxito (especificidad), pero no sería adecuado para predecir un resultado de éxito (sensibilidad). Esta información serviría para determinar qué conductas debemos evitar en el equipo, ante esta situación del juego, para tener la mayor probabilidad de finalizar con éxito la secuencia ofensiva.

Se han estudiado las variables de juego ZI, CEI, ORD, INT y CIEF, que pensábamos influirían en el resultado final de las acciones ofensivas. Estas variables aunque son predictoras importantes conceptualmente son débiles en la predicción analítica, pero de forma orientativa, nos permiten conocer el resultado final de las transiciones ofensivas en un 66,6% de las jugadas. La selección de conductas no ha sido la más óptima por lo que deberíamos modificarlas, estableciendo otros niveles de registro como por ejemplo, la posición del balón, los contextos de interacción y zonas implicados (Losada, 2012), control al recibir el balón (Shreiner, 2005), jugadas ofensivas en los saques de esquina, de banda, faltas (Aguado, 2006), etc.

Al estructurar el instrumento, lo más importante es que se elabore de forma que permita que todas las veces que se aplique, se haga en las mismas condiciones, es decir que se busque estandarizar el procedimiento.

Resulta contraproducente, por un lado la elección indiscriminada de indicadores conductuales, porque reduce la validez de la medición. Y por otro lado, las definiciones de los indicadores conductuales extremadamente amplias, porque aumentan la dificultad de seleccionar las categorías relevantes, de ahí la importancia de utilizar las definiciones operacionales. Por ejemplo, cuanto más amplios son los objetivos, mayor será el número de categorías incluidas en el sistema, de lo que se entiende que la pertinencia y representatividad del contenido deberán estimarse sobre la base de estos objetivos, o lo que es lo mismo, que el muestreo inicial de las conductas se debe basar en un análisis lógico de estos objetivos.

 

Aplicaciones prácticas

La información que se obtiene con este procedimiento está dirigida al investigador para conocer la calidad del instrumento de observación que va a utilizar en la recogida de datos. Es un trabajo que facilita la obtención de nuevas propuestas para la mejora del instrumento a la vez que facilita el trabajo de los observadores (Losada y Manolov, 2015).

 

Referencias

1. Aguado M. (2006). Fundamentos tácticos individuales y colectivos (Errores más frecuentes). Moreno y Conde Sports.         [ Links ]

2. Aldrich, J., y Nelson, D. (1984). Probabilidad lineal, logit, probit y modelos. Sage.         [ Links ]

3. Anguera, M.T., Blanco, A., Hernández-Mendo, A., y Losada, J.L. (2011). Diseños observacionales: ajuste y aplicación en psicología del deporte. Cuadernos de Psicología del Deporte, 11 (2), 63-67.         [ Links ]

4. Castellano, J., Perea, A., Alday, L., y Hernández-Mendo. (2008). Measuring and observation tool in sports. Behavior Research Methods, 40 (3). 898-905.         [ Links ]

5. Losada, J.L. (2012). Relación entre zonas y contextos de interacción en el fútbol de alto rendimento: una aplicación multivariante. Motricidad. European Journal of Human Movement, 28, 171-183.         [ Links ]

6. Losada, J.L., y Manolov, R. (2015). The process of basic training, applied training, maintaining the performance of an observer. Quality & Quantity, 49 (1), 339-347.         [ Links ]

7. Shreiner, P. (2005). Fútbol el control perfecto del balón. Librería deportiva EMS. Madrid.         [ Links ]

8. SPSS Inc. (2011). SPSS. User's Guide. Chicago: SPSS Inc.         [ Links ]

 

 

Dirección para correspondencia:
José Luis Losada López.
Universidad de Barcelona.
Depto. Metodología de las Ciencias del
Comportamiento (España).
E-mail: jlosada@ub.edu

Recibido: 17/09/2015
Aceptado: 29/12/2015