Fiabilidad y optimización del programa PROTODEBA v 1.0 para la observación de la Toma de Decisiones en Balonmano

Martín, Ignacio; González, Andrés; Cavalcanti, Luiz Arthur; Chirosa, Luis Javier; Aguilar, Javier

Mi SciELO

Servicios personalizados

Servicios Personalizados

Revista

Articulo

Indicadores

Citado por SciELO
Accesos

Links relacionados

Citado por Google
Similares en SciELO
Similares en Google

Otros
Otros

Permalink

Cuadernos de Psicología del Deporte

versión On-line ISSN 1989-5879versión impresa ISSN 1578-8423

CPD vol.13 no.1 Murcia jun. 2013

Fiabilidad y optimización del programa PROTODEBA v 1.0 para la observación de la Toma de Decisiones en Balonmano

Reliability and optimization of PROTODEBA v 1.0 software for the observation of the decision making in handball

Fiabilidade e otimização do programa de PROTODEBA v 1.0 Para a observação da toma de decisões em basquete

Ignacio Martín*, Andrés González*, Luiz Arthur Cavalcanti**, Luis Javier Chirosa* y Javier Aguilar*

* Universidad de Granada
** Centro Universitário de João Pessoa, Brasil

Dirección para correspondencia

RESUMEN

En esta investigación se ha realizado un estudio de fiabilidad para el desarrollo y optimización del programa PROTODEBA v 1.0. Este programa de observación de video estudia los comportamientos de la toma de decisión de los jugadores de balonmano valorando tres dimensiones (ubicación, traslado y finalización) en cada momento (que transcurre entre pase y pase) en secuencias de ataque posicional. Cinco observadores valoraron a seis jugadores en 18 momentos de un partido. El estudio de fiabilidad se realizó desde una doble perspectiva. Por un lado, se calcularon los índices Kappa de acuerdo entre observadores que muestran valores superiores a 0,7 para todas las parejas de observadores. Por otro, se han estimado coeficientes de generalizabilidad para distintos tipos de decisión y con diferentes universos, obteniéndose valores entre 0,87 y 0,99. Los resultados apoyan la precisión de PROTODEBA V1.0 como herramienta de observación.

Palabras clave: toma de decisiones; observación; fiabilidad; generalizabilidad; balonmano.

ABSTRACT

The aim of this study was to development, and optimizes an observational tool call PROTODEBA v 1.0. This program helps video observation to analyze behavior in decision making in handball players assessing three dimensions (location, transfer and termination) at any time (lag between passing and passing) in different sequences of a game. The study evaluated five observers each one examined six players in eighteen plays of a game. The reliability of the study was conducted in two ways. On one hand, It was calculated the Kappa index of agreement among observers that show values higher than 0,70 for all pairs of observers. For another, it has been estimated generalizability coefficients for different types of decisions and different universes, obtaining values between 0,87 and 0,99. Results support the accuracy of PROTODEBA V1.0 as a tool of observation.

Key words: decision making; observation; reliability; generalizability; handball.

RESUMO

Nessa pesquisa foi realizada um estudo de fiabilidade para o desenvolvimento e otimização do programa PROTODEBA v 1.0. Este programa de observação e vídeo estuda os comportamentos da toma de decisões dos jogadores de basquete, avaliando três dimensões (posicionamento, movimento e finalização) em cada momento (passe a passe) em sequencias de ataque posicional. Cinco observadores valoraram seis jogadores em 18 momentos de um partido. O estudo de fiabilidade foi realizado em dupla perspectiva. Por um lado, foram calculados os índices Kappa em acordo entre os observadores e mostraram valores superiores a 0,7 para todas as duplas de observadores. Por outro lado foram estimados coeficientes de generalização para diferentes tipos de decisão e em diferentes universos, obtendo-se valores entre 0,87 e 0,99. Os resultados apoiam a precisão de PROTODEBA V1.0 como ferramenta de observação.

Palavras chave: toma de decisões, observação, fiabilidade, generalização.

Introducción

En el ámbito del balonmano el estudio de la toma de decisión es una preocupación creciente como lo demuestran recientes publicaciones de carácter científico (Antúnez, García, Argudo, Ruiz y Arias, 2010; Débanne y Fontayne, 2009; Johnson y Raab, 2003; Memmert y Filip, 2007; Pardo, González y Mayo, 2007; Raab y Laborde, 2011; Souchon, Cabagno, Traclet, Trouilloud y Maio, 2009; Zwierko, Glowacki y Osinski, 2008).

La complejidad de las interacciones técnico-tácticas que se producen en el juego, influenciadas por los múltiples factores situacionales (rival, terreno de juego, público, etc.) afectan de manera relevante al modo en que los agentes implicados toman sus decisiones (Lago, Casáis, Domínguez, Lago y Rey, 2009). Por este motivo es necesario plantear la investigación sobre la toma de decisión en balonmano en contextos naturales y utilizando métodos observacionales que permitan analizar toda variabilidad presente (Anguera, Blanco Villaseñor, Hernández Mendo y Losada, 2011).

La metodología observacional es ampliamente utilizada en balonmano (Ávila, 2003; Hergeirsson, 2008; Montoya, 2010; Pollany, 2009; Sáez, Roldan, y Feu, 2008) y suele registrase de forma directa o utilizando el video como soporte, centrándose en las acciones o estadísticas del juego (García, Ibáñez, Feu, Cañadas y Parejo, 2008; Montoya, 2010). Dichos estudios son generalmente de carácter descriptivo centrados, entre otras cuestiones, en los sistemas de juego empleados, las situaciones de desigualdad numérica, las diferentes fases, etc., y en contextos de competiciones internacionales (Montoya, 2010, Ávila, 2003; Román, 2008). Recientemente se ha aplicado esta sistemática de investigación para conocer la acción del juego en periodo de formación (García et al., 2008) o en el análisis durante una temporada de un equipo femenino de alto nivel para estudiar qué fase de juego de ataque es la que tiene más peso en el rendimiento (Hernández-Pérez et al., 2010).

Aunque Prudente, Garganta y Anguera (2004) construyeron y validaron una herramienta observacional para el estudio de la dinámica del juego individual y de un equipo de balonmano y en la que tuvieron en cuenta algunos aspectos de carácter táctico, en general, los estudios existentes no se centran en la toma de decisiones de los jugadores (Gruić, Vuleta y Milanović, 2006; Sevim y Bilge, 2007). Probablemente sea debido a la dificultad de control que mientras es frecuente encontrar en la literatura especializada pruebas o valoraciones que midan el rendimiento deportivo a nivel físico o técnico, no pasa lo mismo cuando se trata del controlar el proceso de toma de decisión en el deporte. No es fácil encontrar instrumentos que ayuden a valorar esta variable, sobre todo en deportes colectivos y de oposición en los que la cantidad de decisiones que debe tomar cada deportista son numerosas (Mechling, 1988; Vanek y Cratty, 1970) y donde el propio objeto de estudio es difícil de abordar dado que los jugadores interaccionan en contextos situacionales complejos y donde deben tomar las decisiones con una fuerte presión temporal (Bossard, 2008).

En este contexto se construyó un instrumento de libre distribución, el PROTODEBA v1.0, desarrollado para el estudio y análisis de la Toma de Decisiones analíticas de un equipo de Balonmano y de los jugadores en las distintas secuencias de ataque. El programa permite analizar los comportamientos de los jugadores, en ataque posicional, en diferentes categorías observacionales, proporcionando índices de participación y de toma de decisiones para el equipo en su conjunto, para cada jugador y para las distintas secuencias de un partido (Martín, Cavalcanti, Chirosa y Aguilar, 2011). La unidad básica de observación es el momento considerado como el espacio temporal transcurrido desde que un jugador tiene el balón y lo pasa (y es recibido por otro jugador de su equipo), lo lanza o pierde la posesión. Los momentos se agrupan en secuencias de juego, que van desde que comienza un ataque posicional hasta que este finaliza, cuando el equipo que tiene la posesión del balón la pierde por algún motivo (lanzamiento, pérdida o falta señalada por el árbitro). Se establecieron tres categorías de observación (ubicación, traslado y finalización) en los que cada jugador de ataque era valorado (con -1, 0, +1) en cada momento. La creación de categorías definitiva fue el producto de varias fases de depuración, pruebas pilotos y de reuniones grupales con expertos. Siguiendo la propuesta de secuencia y procedimientos para la validez de contenido recomendada por Haynes, Richard y Kubany (1995) se administró este protocolo a cinco expertos en balonmano individualmente y, posteriormente, se reunieron en diferentes sesiones según la técnica de Grupo Focal (Morgan, 1996, 1997) en la que hizo de moderador el investigador principal, experto en balonmano, en observación y en investigación. En estas reuniones se discutió y se consensuó el constructo, las dimensiones y definiciones del mismo y la unidad de observación y se examinaron también los aspectos relativos a las instrucciones y el formato de respuesta.

El programa fue desarrollado en una plataforma de 32 bits mediante el lenguaje de programación Microsoft Visual Basic 6.0 y utilizando la base de datos de código abierto Firebird 2.0. El programa se puede ejecutar junto a windows media.

Una vez que se construyó el instrumento mediante un procedimiento que asegure su validez es hora de estudiar su fiabilidad y las condiciones que maximizen su aplicabilidad. Los estudios de fiabilidad de un instrumento observacional en el deporte pueden abordarse, entre otros, desde los índices de concordancia entre observadores y con la teoría de la generalizabilidad (Blanco, Castellano, y Hernández Mendo 2000; Castellano, Hernández Mendo, Gómez de Segura, Fontetxa, y Bueno, 2000; Hernández Mendo y Anguera, 2002). Mientras un estadístico usual para medir la concordancia es el coeficiente Kappa que estima el grado en que se supera la producida por azar, la teoría de la generalizabilidad de Cronbach, Gleser, Nanda y Rajaratnam (1972) posibilita estudiar otras fuentes de variación distintas a la producida por diferentes observadores y, además, establece en qué condiciones de aplicación se optimizará el instrumento. En el contexto de la teoría de la generalizabilidad, las fuentes de variación o variables que pueden afectar al resultado de la observación se denominan habitualmente facetas, y ese será el término que utilizaremos en adelante.

Varios han sido los estudios de generalizabilidad que se han realizado en el ámbito del deporte para estudiar un sistema observacional. Una de las primeras investigaciones descritas en la literatura científica es la de Taylor (1979) que trató de desarrollar el Instrumento de Observación en Educación Física (PEOI) que fue diseñado para estudiar los patrones de interacción entre el profesor y el estudiante durante la enseñanza de habilidades motoras en voleibol. Otros estudios posteriores han utilizado esta teoría en sistemas observacionales para el fútbol (Blanco, Castellano y Hernández Mendo, 2000; Castellano, Perea y Hernández Mendo, 2008), el voleibol (Hernández Mendo, Montoro, Reina y Fernández, 2012) para el tenis en la modalidad de individuales (Gorospe, Hernández Mendo, Anguera y Martínez, 2005) o en la de dobles (Garay, Hernández Mendo y Morales, 2006) y para estudiar una herramienta observacional de conductas prosociales en las clases de Educación Física (Hernández Mendo, Díaz y Morales, 2010). También se ha utilizado para el cálculo de la fiabilidad de otros instrumentos de medida, por ejemplo en test de rendimiento motor en jugadores universitarios de bolos (Stamm y Moore, 1980) en medidas isocinéticas de fuerza en mujeres (Roebroeck, Harlaar y Laukhorst, 1993) en acelerómetros (Welk, Schaben y Morrow, 2004) o en cuestionarios o escalas sobre zonas óptimas de funcionamiento (Hagtvet y Hanin; 2007) o para la evaluación del control postural (Broglio, 2009).

Una vez que el proceso de creación y construcción de la herramienta ha sido publicado (Martín et. al, 2011) el objetivo de la presente investigación se centró en realizar un estudio de fiabilidad y optimización del programa PROTODEBA v 1.0 con objeto de adecuar el instrumento a los criterios de cientificidad exigibles. El estudio se desarrolló desde una perspectiva doble. Por una parte, se estudió la concordancia consensuada del acuerdo entre observadores mediante índices kappa y, por otra, un estudio de generalizabilidad que nos permitirá optimizar la utilización del programa.

Método

Se ha calculado, en primer lugar, los índices de acuerdo y Kappa de Cohen entre los diferentes observadores. Posteriormente se realizó un estudio de generalizabilidad (Cronbach et al., 1972; Brennan, 2001). Este análisis comienza con la elección de las facetas y el estudio de las interrelaciones entre ellas. Después se elige un modelo de estimación apropiado y se establecen y analizan los distintos planes de medida y, finalmente, se concluye con un plan de optimización que permite establecer las mejores condiciones para investigaciones posteriores (Blanco, 1989; Cardinet y Tourneur, 1978). Es decir, en primer lugar se determina la importancia que el observador, el momento y la dimensión analizada tienen sobre el resultado de la observación y, en segundo lugar, se utilizan esos datos para diseñar un sistema de observación óptimo.

Muestra

La muestra de momentos que se observaron fue seleccionada al azar del partido de balonmano Alemania-España (Mundial 2007 celebrado en Alemania) tomado de la retransmisión por parte del canal TVE del mismo. Se seleccionaron cinco secuencias de juego, las cuatro primeras constaban de cuatro momentos y la última de dos, por lo que la muestra de videos a observar constaba para evaluar de 18 momentos. Los cinco observadores son expertos en balonmano que observaron los recortes de video según un procedimiento preestablecido.

Aparatos e instrumentos

La codificación de las observaciones se realizó mediante el programa PROTODEBA v 1.0. (Martín et. al, 2011) y el software windows media para la observación de los recortes de video.

El análisis de los datos se realizó con el programa SPSS y, para el estudio de generalizabilidad, con el programa EduG v 6.1 (Cardinet, Johnson y Pini, 2010).

Procedimiento y diseño

Cada experto observó los momentos seleccionados en una sala con un ordenador y en presencia del investigador principal. El protocolo de observación incluía una primera fase en la que se informaba de las categorías del sistema observacional y el procedimiento a seguir para la utilización del PROTODEBA. En una segunda fase, se procedía a realizar un ejemplo con una secuencia de cinco momentos en el que el observador era asesorado tanto sobre la categorización como sobre el software. Una vez que el observador estaba familiarizado con la herramienta comenzaba el proceso de observación en el que mediante el programa y sin nadie presente en la sala realizaba la observación de la muestra de momentos seleccionada que quedaba registrada en el ordenador. Los cinco observadores expertos realizaron las sesiones en la misma semana y en las mismas condiciones.

El diseño del estudio de generalizabilidad fue completamente cruzado con tres facetas de generalización (observador, momento y dimensión) y una de diferenciación u objeto de medida (jugador). El número de niveles fue de cinco para la faceta observador, tres para el momento, tres para la dimensión y seis para los jugadores. Es decir, cada uno de los cinco observadores codificó el comportamiento de cada uno de los seis jugadores en cada uno de los 18 momentos de juego considerados. La codificación se realizó de forma independiente para cada una de las tres dimensiones del juego.

Resultados

Acuerdo entre observadores

Se han realizado 324 observaciones por cada uno de los cinco observadores que resultan del estudio de 18 momentos distintos para cada uno de los seis jugadores de campo en cada una de las tres dimensiones evaluadas (Ubicación, Traslado y Finalización). Los acuerdos se produjeron en 308 observaciones (95,06%) de las que en 259 ocasiones todos valoraron 0, en 13 +1 y no clasificaron como no observadas en 36 casos. En los 16 desacuerdos (4,94%) 8 fueron con un desacuerdo y otros 8 con dos.

La Tabla 2 presenta el Índice Kappa de Cohen para acuerdos entre cada par de observadores (excluidos los 36 casos donde no se juzgaron por los observadores).

Fleiss (1981) caracteriza como regulares los valores de Kappa que se hallan entre 0,40 y 0,60, buenos entre 0,60 y 0,75 y excelentes por encima de 0,75. Todos los casos que no se ven son de un mismo jugador (el n^o 27). En todos ellos hay un acuerdo total entre los cinco observadores.

Sin embargo, el estudio ha puesto de manifiesto un primer problema y es la escasa variabilidad a la hora de juzgar cada observación pues en las 308 observaciones en las que han estado de acuerdo y si eliminamos las que se han marcado como no vistas (36 de las mismas) sólo en 13 han hecho una valoración distinta de cero y en las 259 observaciones restantes han puntuado cero, no otorgando los observadores en ningún caso una puntuación de -1.

Estudio de Generalizabilidad

Los componentes de varianza estimados para las facetas consideradas en el estudio se muestran en la Tabla 3.

Estos componentes de varianza permiten la estimación de la generalizabilidad que se obtendría en distintos estudios de decisión (Crocker y Algina, 1986). Estos distintos estudios pueden variar tanto en el número de facetas consideradas como en el número de niveles utilizados, o en su consideración como infinitas, finitas o fijas. Por lo que respecta al número de facetas, se mantuvieron las tres de generalización en todos los casos. El número de niveles planteado ha sido distinto para cada una de ellas. Así, en la faceta observador se mantuvo constante la previsión de un único observador. La razón para ello es que este es el escenario previsto en utilizaciones reales del software PROTODEBA v 1.0, en las que un único investigador será habitualmente el responsable de todas las observaciones, También se mantuvo constante la utilización de tres niveles para la dimensión del juego, En cambio, se contemplaron distintos escenarios para el momento. Concretamente se han previsto dos posibilidades con 50 y 70 momentos respectivamente.

Otro aspecto relevante es la consideración de las facetas como infinitas, finitas o fijas. Esta distinción refleja si las observaciones realizadas pretenden ser representativas exclusivamente de las condiciones en las que se ha obtenido, o de un universo mayor. En este sentido, la faceta dimensión es claramente fija, dado que no existen más dimensiones relevantes del juego que las aquí consideradas. La faceta observador se trató siempre como infinita dado que el responsable de la observación podrá cambiar libremente en cada observación. En cambio, para el momento se permitieron dos tratamientos. Puede considerarse como fija si el objetivo de la observación es analizar el comportamiento de los jugadores exclusivamente en las acciones de juego registradas. Por el contrario, puede ser tratada como infinita si se pretende generalizar el posible comportamiento de los jugadores en otros momentos.

Una última diferenciación tiene que ver con el tipo de interpretación que se pretendía realizar con las puntuaciones (Cronbach et al., 1972). Si esta es relativa, es decir, se pretendía una ordenación de los jugadores, el efecto del error provocado por algunas facetas será menor que si la decisión es absoluta, lo que lleva a la estimación de distintos coeficientes de generalizabilidad. La Tabla 4 presenta los coeficientes de generalizabilidad para todas estas situaciones.

Las columnas option 1 y option 3 corresponden a los diseños de optimización donde se contemplan 50 momentos mientras que option 2 y option 4 contempla 70. Las columnas option 1 y option 2 consideran la faceta momento como fija mientras que option 3 y option 4 la consideran infinita. En la fila Observ. se indica el número de observaciones totales que requerirá ese diseño. Las filas Coef G rel. y Coef G abs. presentan los coeficientes de generalizabilidad absoluto y relativo en cada optimización y las cuatro últimas filas presentan las varianzas y errores típicos para estas decisiones.

Puede observarse como los valores de los coeficientes de generalizabilidad varíaron entre 0,8703, para una decisión absoluta en la que se registraron 50 momentos que eran considerados como una muestra de la ejecución de los jugadores, y 0,9933, en las que se tomaron decisiones relativas sobre una muestra total de 70 momentos que constituirán el interés final del observador.

Discusión

La principal conclusión que puede extraerse del estudio es que PROTODEBA es una alternativa precisa y fiable para la observación del juego de balonmano en un amplio abanico de situaciones. Tanto los índices Kappa como los coeficientes de generalizabilidad arrojan valores más que satisfactorios. El valor mínimo de generalizabilidad obtenido fue de 0,8703, superior, por ejemplo, al obtenido por Taylor (1979) que resultó de 0,65 y permitió al autor considerar el instrumento de observación como adecuado, y similares a los obtenidos por Blanco et. al (2000) y Gorospe et. al (2005). Quizá, una de las razones de los elevados valores obtenidos radique en la utilización de un software específico para la codificación de las categorías observacionales, tal como señalan Hernández Mendo y Anguera (2002) en su estudio sobre Hockey.

En relación a las facetas en las que se ha estructurado la observación, cabe destacar en primer lugar la poca variabilidad relativa aportada por la faceta dimensión del Juego. Si bien este dato podría aconsejar su eliminación en aras de la sencillez, creemos que esta acción no sería adecuada por dos razones. Por un lado, porque es posible que esta variabilidad sea realmente mayor en otras situaciones y por otro lado porque se trata de tres niveles claramente diferenciados y cada uno con un posible interés individual.

La faceta momento también ha introducido menor variabilidad de la que cabría esperar. Si bien este dato podría interpretarse de forma satisfactoria, en el sentido de posibilitar diseños de recogida de datos más económicos al basarse en menos momentos, creemos que esta interpretación podría resultar problemática. Por un lado, la baja variabilidad puede deberse al alto nivel de los jugadores utilizados para el estudio. Esto conlleva un comportamiento por su parte más regular del que podría encontrarse si se analiza el comportamiento de jugadores de menor nivel y, por tanto, posiblemente más irregulares. Por otro lado, la interpretación de las acciones de cada jugador pretenderá generalizarse, bien a su ejecución total en un partido concreto, bien a un dominio mayor. Ambas situaciones aconsejan un muestreo de momentos cuanto más amplio mejor.

En lo que hace alusión a la faceta observador, de nuevo la variabilidad encontrada es mínima. Este resultado, indiscutiblemente favorable, refleja la claridad de las categorías utilizadas, si bien siempre será conveniente la utilización de observadores expertos en el análisis del juego de balonmano y convenientemente entrenados en el uso de PROTODEBA y del sistema de categorías. Esta mínima variabilidad atribuible a los observadores ha ocurrido también en otros estudios similares. Así por ejemplo, Gorospe et al. (2005) encontraron un efecto nulo debido al observador en el diseño de una herramienta de análisis del juego de tenis.

Por último, y a modo de propuesta de futuros estudios, éstos pasan por el análisis de partidos en los que el nivel de juego no sea alto como ha ocurrido en este para que se produzca mayor variabilidad.

Referencias

1. Anguera, M. T., Blanco Villaseñor, A., Hernández Mendo, A., y Losada, J. L. (2011). Diseños observacionales: ajuste y aplicación en psicología del deporte. Cuadernos de Psicología del Deporte, 11(2), 63-76. [ Links ]

2. Antúnez, A., García, M.M., Argudo, F.M., Ruiz, E. y Arias, J.L. (2010). Programa de entrenamiento Perceptivo-Motor para mejorar la efectividad de la portera de balonmano. Revista de Psicología del Deporte, 19(1), 151-165. [ Links ]

3. Ávila, F. M. (2003). Aplicación de un sistema observacional para el análisis del lanzamiento en balonmano en el Mundial de Francia 2001. Apunts. Educación Física y Deportes, 71, 100-109. [ Links ]

4. Blanco, A. (1989). Fiabilidad y generalización de la observación conductual. Anuario de Psicología, 43, 6-32. [ Links ]

5. Blanco, A., Castellano, J. y Hernández Mendo, A. (2000). Generalizabilidad de las observaciones de la acción del juego en el fútbol. Psicothema, 12 (Supl. 2), 81-86. [ Links ]

6. Bossard, C. (2008). L'activité decisionnelle en situation dynamique et collaborative. Application à la contre-attaque au football. Tesis doctoral no publicada. Université Européenne de Bretagne. Université de Brest. [ Links ]

7. Brennan, R. L. (2001). Generalizability theory. New York: Springer-Verlag. [ Links ]

8. Broglio, S.P., Zhu, W., Sopiarz, K. y Park, Y. (2009). Generalizabitily Theory Analysis of Balance Error Scoring System Reliability in Healthy Young Adults. Journal of Athletic Training, 44(5), 497-502. [ Links ]

9. Cardinet, J., Johnson, S. y Pini, G. (2010) Applying Generalizability Theory using EduG. New York: Routledge. Routledge, Taylor & Francis Group [ Links ]

10. Cardinet, J., y Tourneur, Y. (1978). Le calcul des marges d'erreur dans la théorie de la généralisabilité (Doc. 780.410/CT). Mons: Université de l'Etat, Service d'étude des méthodes et des moyens d'enseignement. [ Links ]

11. Castellano, J., Hernández Mendo, A., Gómez de Segura, P., Fontetxa, E. y Bueno, I. (2000). Sistema de codificación y análisis de la calidad del dato en el fútbol de rendimiento. Psicothema, 12(4), 636-641. [ Links ]

12. Castellano, J., Perea A. y Hernández Mendo, A. (2008). Análisis de la evolución del fútbol a lo largo de los mundiales. Psicothema, 20(4), 928-932. [ Links ]

13. Crocker, L. y Algina, J. (1986). Introduction to classical and modern test theory. Belmont, CA: Wadsworth. [ Links ]

14. Cronbach, L. J., Gleser, G.C., Nanda, H. y Rajaratnam, N. (1972). The dependability of behavioral measurements: Theory of generalizability for scores and profiles. New York: John Wiley & Sons, Inc. [ Links ]

15. Débanne, T. y Fontayne, P. (2009). A study of a successful experienced elite handball coach's cognitive processes in competition situations. International Journal of Sports Science y Coaching, 4(1), 1-16. [ Links ]

16. Fleiss J.L. (1981). Statistical methods for rates and proportions (2^a ed.). New York: Willey. [ Links ]

17. Garay, J. O., Hernández-Mendo, A. y Morales, V. (2006). Sistema de codificación y análisis de la calidad del dato en el tenis de dobles. Revista de Psicología del Deporte, 15(2), 279-294. [ Links ]

18. García, J.; Ibáñez, S.J., Feu, S., Cañadas, M. y Parejo, I. (2008). Estudio de las diferencias en el juego entre equipos ganadores y perdedores en etapas de formación en balonmano. Cultura, Ciencia y Deporte, 9(3), 195-200. [ Links ]

19. Gorospe G., Hernández Mendo, A., Anguera, M.T. y Martínez, R. (2005). Desarrollo y optimización de una herramienta observacional en el tenis de individuales. Psicothema, 17(1), 123-127. [ Links ]

20. Gruić , I., Vuleta, D. y Milanović, D. (2006). Performance Indicators of Teams at the 2003 Men´s World Handball Championship in Portugal. Kinesiology, 38(2), 164-175. [ Links ]

21. Hagtvet, K.A. y Hanin, Y.L. (2007). Consistency of performance-related emotions in elite athletes: Generalizability theory applied to the IZOF model. Psychology of Sport and Exercise, 8, 47-72. [ Links ]

22. Haynes, S.N.; Richard, D.C.S. y Kubany, E.S. (1995). Content validity in psychological assessment: a functional approach to concepts and methods. Psyhological Assessment, 7(3), 238-247. [ Links ]

23. Hergeirsson, T. (2008). Qualitative trend analysis 8th men's European Handball Championship. EHF Publication. [ Links ]

24. Hernández Mendo, A. y Anguera, M. T. (2002). Behavioral Structure in Sociomotor Sports: Roller-Hockey. Quality & Quantity, 36, 347-378. [ Links ]

25. Hernández Mendo, A., Díaz, F. y Morales, V. (2010). Construcción de una herramienta observacional para evaluar las conductas prosociales en las clases de Educación Física. Revista de Psicología del Deporte, 19(2), 305-318. [ Links ]

26. Hernández Mendo, A., Montoro, J., Reina, A. y Fernández, J.C. (2012). Desarrollo y optimización de una herramienta observacional para el bloqueo en voleibol. Revista Iberoamericana de Psicología del Ejercicio y el Deporte, 7(1), 15-32. [ Links ]

27. Hernández-Pérez, J.M., Rodríguez-Fernández, A.J., Hernández-Moreno, J. Álvarez-Armas, P.A., Jiménez-González, F. y Hernández-Mayor, I.M. (2010). Análisis del juego de ataque en balonmano femenino. Ágora para la Educación Física y el Deporte, 12(3), 257-272. [ Links ]

28. Johnson, J.G. y Raab, M. (2003). Tome la primera: la generación de opciones y decisiones resultantes. Comportamiento Organizacional y Procesos Humanos de la Decisión, 91, 215-229. [ Links ]

29. Lago, C., Casáis, L., Domínguez, E., Lago, J. y Rey, E. (2009). Influencia de las variables contextuales en el rendimiento físico en el fútbol de alto nivel. Motricidad. European Journal of Human Movement, 23, 107-121. [ Links ]

30. Martín, I., Cavalcanti, L.A., Chirosa, L.J. y Aguilar, J. (2011). El programa PROTODEBA v1.0: una propuesta para la observación de la Toma de Decisiones en Balonmano. Apunts. Educación Física y Deportes, 104(2), 78-85. [ Links ]

31. Mechling, H. (1988). Zur theorie und praxis des techniktraining. En H. Mechling, J. Schiffer y K. Carl (Comps.), Theorie und praxis des techniktraining (pp. 177-188). Colonia: Sports und Buch Straub. [ Links ]

32. Memmert, D. y Filip, F. (2007). I Spy With My Little Eye! Breadth of Attention, In attentional Blindness, and Tactical Decision Making in Team Sports. Journal of Sport and Exercise Psychology, 29, 365-381. [ Links ]

33. Montoya, M. (2010). Análisis de las finalizaciones de los jugadores extremo en balonmano. Tesis Doctoral no publicada, INEFC, Universidad de Barcelona, Barcelona, España. [ Links ]

34. Morgan, D.L. (1996). Focus group. Annual Review of Sociology, 22, 129-152. [ Links ]

35. Morgan, D.L. (1997). Focus groups as qualitative research (2^o ed.). Thousand Oaks, CA: Sage. [ Links ]

36. Pardo, A., González, L.M. y Mayo, C. (2007). Estudio de la cadena cinética del lanzamiento en salto en balonmano femenino ante situaciones de colaboración entre las defensoras y la portera. Selección: Revista Española de Medicina de la Educación Física y el Deporte, 16(2), 71-77. [ Links ]

37. Pollany, W. (2009). 8th European championship for women fyro Macedonia 2008 qualitative trend analysis. EHF. Publication. [ Links ]

38. Prudente, J., Garganta, J. y Anguera, M.T. (2004) Desenho e validação de um sistema de observação no Andebol. Revista Portuguesa de Ciências do Desporto, 4(3), 49-65. [ Links ]

39. Raab, M. y Laborde, S. (2011). When to Blink and When to Think: Preference for Intuitive Decisions Results in Faster and Better Tactical Choices. Research Quarterly for Exercise and Sport, 82(1), 89-98. [ Links ]

40. Roebroeck, M.E., Harlaar, J. y Lankhorst, G.J. (1993). The Application of Generalizability Theory to Reli. The Application of Generalizability Theory to Reliability Assessment: An Illustration Using Isometric Force Measurements. Physical Therapy, 73(6), 386-395. [ Links ]

41. Román, J.D. (2008). Táctica colectiva grupal en ataque: los modelos en el balonmano español. Revista e-balonmano, 4(2), 29-51. [ Links ]

42. Sáez, F.J., Roldan, A. y Feu, S. (2008). Diferencias en las estadísticas de juego entre los equipos ganadores y perdedores de la copa del rey 2008 de balonmano masculino. Revista e-balonmano, 5(3), 107-114. [ Links ]

43. Sevim,Y. y Bilge, M. (2007). The Comparison of the last Olympic, World and European Men Handball Championships and the Current Developments in World Handball. Research Yearbook, Medsportpress, 13 (1), pp 65-71. [ Links ]

44. Souchon, N., Cabagno, G., Traclet, A., Trouilloud, D. y Maio, G. (2009). Referees' use of heuristics: The moderating impact of standard of competition. Journal of Sports Sciences, 27(7), 695-700. [ Links ]

45. Stamm, C.L y Moore, J.E. (1980). Application of Generalizablity Theory in Estimating the Realibititiy of a Motor Performance Test. Research Quarterly For Exercise and Sport, 50(2), 382-388. [ Links ]

46. Swiss Society for Research in Education Working Group. (2006). EDUG user guide. Neuchatel, Switzerland: IRDP. [ Links ]

47. Taylor, J.L. (1979) Development of the physical education observation instrument using generalizability study theory. Research Quartely, 50 (3), 468-481. [ Links ]

48. Vanek, M. y Cratty, B.J. (1970). Psychology and the superior athlete. New Jersey: Prentice Hall. [ Links ]

49. Welk, G.J., Schaben, J.A. y Morrow, J.R. (2004). Reliability of accelerometry-ased activity monitors: A Generalizability Study. Medicine & Science in Sports & Exercise, 36(9), 1637-1645. [ Links ]

50. Zwierko, T., Glowacki, T. y Osinski, W. (2008). The effect of specific anaerobic exercises on peripheral perception in handball players. UCinek SpecifiCnih anaerobnih vaj na periferno zaznavo pri Rokometaih. Kinesiologia Slovenica, 14(1), 68-76. [ Links ]

Dirección para correspondencia:
Ignacio Martín Tamayo
Dpto. Metodología de las Ciencias del Comportamiento
Facultad de Psicología.
Universidad de Granada.
Campus de Cartuja s/n
18071 Granada
e-mail: imartin@ugr.es

Recibido: 09/07/2012
Aceptado: 20/02/2013