Psicothema

Evidence for test validation: a guide for practitioners

Abstract Background: Validity is a core topic in educational and psychological assessment. Although there are many available resources describing the concept of validity, sources of validity evidence, and suggestions about how to obtain validity evidence; there is little guidance providing specific instructions for planning and carrying out validation studies. Method: In this paper we describe (a) the fundamental principles underlying test validity, (b) the process of validation, and (c) practical guidance for practitioners to plan and carry out sufficient validity research to support the use of a test for its intended purposes. Results: We first define validity, describe sources of validity evidence, and provide examples where each of these sources are addressed. Then, we describe a validation agenda describing steps and tasks for planning and developing validation studies. Conclusions: Finally, we discuss the importance of addressing validation studies from a comprehensive approach.

Resumen Antecedentes: La validez es un tema central en la evaluación psicológica y educativa. A pesar de que la literatura disponible recoge numerosos recursos en los que se describe el concepto de validez, las fuentes de evidencia y se aportan sugerencias sobre cómo obtener evidencias de validez, apenas existen guías que proporcionen instrucciones específicas para planificar y desarrollar estudios de validación. Método: El presente artículo describe (a) los principios fundamentales en los que se sustenta la validez de los test, (b) el proceso de validación, y (c) una guía práctica para planificar y recoger evidencias de validez que apoyen el uso de un test para alcanzar el objetivo previsto. Resultados: En primer lugar, se describe el concepto de validez y las fuentes de evidencia, aportando ejemplos específicos donde se abordan cada una de ellas. A continuación, se describe una agenda de validación en la que se enumeran los pasos y tareas necesarios para planificar y completar un estudio de validación. Conclusiones: Finalmente, se discute la relevancia de adoptar una aproximación comprehensiva al abordar estudios de validación.

Differences in the sexual life of spanish men during the COVID-19 lockdown by sexual orientation

Abstract Background: The pandemic affected the psychological well-being and sexuality of the population, especially among vulnerable groups such as men from sexual minorities. Method: In Spain, a total of 320 heterosexual men and 151 sexual minority men, aged between 18 and 60, answered an ad hoc online questionnaire about sexual behavior during the lockdown. Results: Compared to heterosexual men, during the lockdown, sexual minority men masturbated more, engaged in more sexual activities online, and had more sex with non-cohabitants. Heterosexual men had more sexual relations with their partners. Living with a partner during the lockdown predicted an improvement in sex life, especially for heterosexual men. Furthermore, the emotional impact of lockdown was a predictor of a worsening sex life regardless of sexual orientation. Conclusions: Future interventions should take into account that men's sex lives are mediated by the emotional impact of the moment, especially among sexual minority men, since the quality of their sex life shows a weaker relationship with some of the protective variables studied (living with a partner).

Resumen Antecedentes: La pandemia ha afectado al bienestar psicológico y a la sexualidad de la población, especialmente entre grupos vulnerables como los hombres de una minoría sexual. Método: En España, un total de 320 hombres heterosexuales y 151 hombres de minorías sexuales, de entre 18 y 60 años, respondieron un cuestionario online ad hoc sobre comportamiento sexual durante el confinamiento. Resultados: Durante el confinamiento, respecto a los hombres heterosexuales, los hombres de minorías sexuales se masturbaron más, realizaron más actividades sexuales en línea y tuvieron más sexo con no convivientes. En cambio, los hombres heterosexuales tuvieron más relaciones sexuales con su pareja. El hecho de vivir en pareja durante el confinamiento fue predictor de una mejoría de la vida sexual, sobre todo para los hombres heterosexuales. Además, el impacto emocional del confinamiento fue predictor de un empeoramiento de la vida sexual sin distinción por orientación sexual. Conclusiones: En futuras intervenciones habría que tener en cuenta que la vida sexual de los hombres está mediada por el impacto emocional del momento, especialmente entre los hombres de minorías sexuales, ya que su calidad de vida sexual muestra menor relación con algunas de las variables protectoras estudiadas (vivir en pareja).

Self-efficacy, motivation and academic satisfaction: the moderating role of the number of friends at university

Abstract Background: Academic satisfaction (AS) is a key marker of educational success at university. It is therefore extremely important to investigate any factors that may enhance AS. Drawing on social cognitive theory, Lent's model of life satisfaction, and self-determination theory, the present study examined the roles of academic self-efficacy (ASE) and type of motivation for attending university in AS, while controlling for sex and course year. More specifically, the study investigated whether friendships at university moderated the relationship between AS and ASE, and between AS and the various kinds of motivation for going to university. Method: A survey was completed by 431 Italian university students. Five moderation regression analyses were run. Results: Having friends at university affected the relationship between amotivation and AS and between extrinsic motivation and AS: the more students were motivated or had low extrinsic motivation, the more satisfied they were, if they had a high number of friends at university. Conversely, if students lacked motivation or had high extrinsic motivation, they tended to be less satisfied, regardless of how many friends they had at university. Conclusions: A large number of friends at university maximizes and amplifies the effect of being self-determined on AS. We discuss the educational implications of these findings.

Resumen Antecedentes: La satisfacción académica (SA) es un índice importante del éxito educativo en la universidad. Es importante estudiar qué factores mejoran la AS. Basándose en la teoría cognitiva social, el modelo de Lent y la teoría de la autodeterminación, el presente estudio tuvo como objetivo investigar el papel de la autoeficacia académica (ASE) y las motivaciones para asistir a la universidad en el AS, controlando por sexo y año de curso. Este estudio investigó el efecto moderador de las amistades en la universidad en la relación entre ASE y AS, y entre diferentes motivaciones y AS. Método: 431 estudiantes universitarios italianos completaron una encuesta. Se realizaron cinco análisis de regresión de moderación. Resultados: Tener amigos en la universidad condicionó la relación entre desmotivación y SA y entre motivación extrínseca y SA: cuanto más motivados están los estudiantes o tienen baja motivación extrínseca, más satisfechos están si tienen muchos amigos en la universidad; por el contrario, si los estudiantes están desmotivados o tienen una motivación extrínseca alta, están menos satisfechos independientemente del número de amigos en la universidad. Conclusiones: Un alto número de amigos en la universidad amplifica la importancia de ser autodeterminado en SA. Se discuten las implicaciones educativas.

Parental support and gender moderate the relationship between sexual orientation and suicidal behavior in adolescents

Abstract Background: The scientific literature indicates that people from sexual minorities may be at increased risk for mental health difficulties. Moreover, parental support could play a protective role against poor mental health. The objective of this study was to examine whether a person's sexual orientation was related to a greater risk of mental health problems in a representative sample of adolescents. In addition, the study analyzed the possible moderating effect of parental support in the relationship between sexual orientation and mental health, as also moderated by participant gender. Method: The sample consisted of 1790 secondary-school students. Indicators of emotional and behavioral difficulties, psychotic-like experiences, suicidal behavior, well-being, and self-esteem were assessed. Results: The results indicated significant main effects of gender and sexual orientation. Having a diverse sexual orientation (i.e., lesbian/gay, bisexual and questioning) was related to increased risk of mental health difficulties. Moreover, the results showed a significant interaction effect of gender and sexual orientation on suicidal behavior. Finally, the results showed the moderating effect of parental support and gender in the relationship between sexual orientation and suicidal behavior. Conclusions: These findings highlight the importance of promoting sexual minority youths' mental health and well-being.

Resumen Antecedentes: la investigación indica que las personas pertenecientes a minorías sexuales tienen un mayor riesgo de sufrir problemas de salud mental. Además, el apoyo parental podría desempeñar un papel protector. El objetivo de este estudio fue examinar, en una muestra representativa de adolescentes, si la orientación sexual estaba relacionada con un mayor riesgo de sufrir problemas de salud mental. Se analizó el posible efecto moderador del apoyo parental en la relación entre la orientación sexual y la salud mental, moderado también por el género de los participantes. Método: participaron 1.790 estudiantes de secundaria. Se evaluaron indicadores de dificultades emocionales y conductuales, depresión, experiencias psicóticas, conducta suicida, bienestar y autoestima. Resultados: se encontraron efectos principales significativos de género y orientación sexual. Tener una orientación sexual diversa (es decir, lesbiana/gay, bisexual y questioning) estaba relacionado con mayores dificultades de salud mental. Además, se encontró una interacción significativa del género y la orientación sexual en la conducta suicida. Por último, el apoyo parental y el género moderaron la relación entre la orientación sexual y la conducta suicida. Conclusiones: estos resultados ponen de manifiesto la importancia de promover la salud mental y el bienestar de los jóvenes pertenecientes a minorías sexuales.

Mindfulness parenting and childish play: a clinical trial with parents of children with Autism Spectrum Disorders

Abstract Background: Problems of behaviour, communication, and social interaction associated with Autism Spectrum Disorders can overwhelm parents. Disturbances in parents' psychological well-being (anxiety, depression) affect adherence to treatment, making it less effective. There is a need to investigate how to increase psychological well-being in parents of children with autism. Method: An 8-week brief training programme using the Mindfulness Parenting (MP) intervention was applied to fourteen parents (6 couples and two mothers). Participants were assigned to one of two groups, both groups received the same treatment but at two different time points. Measures of anxiety (SCAARED), parental stress (PSI-4), autism severity level (AIM) and mindfulness awareness (FFMQ), were assessed. Results: Analysis indicates that MP training increased mindfulness awareness, increasing non-judgment and reactivity, and consequently, reduced anxiety (parental, general, social), improving parent-child interaction. This improvement did not influence parents' perception of the severity of the disorder. Conclusions: The small number of participants precludes generalisation of the results. More clinical trials are needed to demonstrate the usefulness of including these programmes in early intervention services, as well as profiles of parents who may potentially benefit from it.

Resumen Antecedentes: Los síntomas asociados a los Trastornos del Espectro Autista pueden abrumar a los padres. Las alteraciones del bienestar psicológico de los padres (ansiedad, depresión) afectan a la adherencia al tratamiento, haciéndolo menos eficaz. Es necesario investigar cómo aumentar el bienestar psicológico de los padres de niños con autismo. Método: Se aplicó un programa de entrenamiento de 8 semanas en Mindfulness Parenting (MP) a catorce padres (6 parejas y dos madres). Los participantes fueron asignados a dos grupos, ambos grupos recibieron el mismo tratamiento, pero en dos momentos diferentes. Se evaluaron medidas de ansiedad (SCAARED), estrés parental (PSI-4), nivel de gravedad del autismo (AIM) y conciencia de la atención plena (FFMQ). Resultados: Se sugiere que el entrenamiento en MP aumenta la atención plena, incrementando el no juicio y la no reactividad y, como consecuencia, reduce la ansiedad (parental, general, social), mejorando la interacción entre padres e hijos pero no influye en la percepción de la gravedad del trastorno. Conclusiones: El reducido número de participantes impide la generalización de los resultados encontrados. Son necesarios más ensayos clínicos para demostrar la pertinencia de incluir estos programas en los servicios de intervención temprana, así como los perfiles de los padres potencialmente beneficiarios.

Telepractice in Early Childhood Intervention: a parent-reported social validity scale

Abstract Antecedents: In recent years, telepractice has become widespread as an intervention strategy in Early Childhood Intervention (ECI) services. However, studies supporting its use in this field remain scarce. Because reliable instruments are needed to evaluate the perceived quality, satisfaction and the acceptability of telepractice from the families' perspective, the present study aims to report the psychometric properties of an ECI-specific instrument that includes a variety of social validity indicators that are also important and consistent with a family-centered approach. Method: This study, with a sample of 738 families, introduces an instrument aimed at evaluating the social validity of telepractice. The scale includes the main indicators of social validity: Usability, Effectiveness; Feasibility, Utility, intervention with natural caregivers, and Future Intentions. The study aims to report its psychometric properties through a split-sample method, conducting both exploratory and confirmatory factor analysis with randomly assigned sub-samples. Results: We found that all seven items fit into one factor measuring social validity of telepractice, with acceptable internal consistency and sensitive enough to capture differences between the type of service delivery families received. Conclusions: In addition, the proposed instrument provides relevant information for professionals to improve the quality of service-delivery in ECI.

Resumen Antecedentes: En los últimos años, la telepráctica se ha generalizado como estrategia de intervención en los servicios de Atención Temprana. Sin embargo, los estudios que avalan su uso en este ámbito siguen siendo escasos. Además, las investigaciones muestran que es necesario disponer de instrumentos fiables para evaluar la calidad percibida, la satisfacción y la aceptabilidad de la telepráctica, tanto desde la perspectiva de los profesionales como de las familias. Método: Este estudio, realizado con una muestra de 738 familias, introduce un instrumento destinado a evaluar la validez social de la telepráctica y analiza sus propiedades psicométricas. La escala integra los principales indicadores de validez social: Usabilidad, Eficacia; Viabilidad, Utilidad, intervención con cuidadores naturales e Intenciones de futuro. Resultados: Los resultados de este estudio mostraron la fortaleza de este instrumento reportado por los padres para medir la validez social de la telepráctica en la Intervención Temprana. Conclusiones: Además, el instrumento propuesto proporciona información relevante para los profesionales que mejoran la calidad de la prestación de servicios en Atención Temprana.

Spanish adaptation of the Need for Affect Questionnaire (NAQ and NAQ-S)

Abstract Background: Need for affect (NA) refers to individual differences in the motivation to approach or avoid emotion-inducing situations and activities. Prior research has demonstrated that NA is a relevant construct for understanding psychological processes related to affect. The present study aimed to adapt and validate the English version of the Need for Affect Questionnaire (NAQ), as well as the short version (i.e., the NAQ-S), to Spanish. We examined evidence of validity and reliability in the NAQ and NAQ-S scores. Method: Study 1 (N = 416) analyzed the psychometric properties of scores from the Spanish adaptation of the NAQ, as well as the relationships with measures of other relevant psychological constructs. Study 2 (N = 118) tested the validity and reliability of scores from the Spanish adaptation of the NAQ-S. Results: We found two main factors (i.e., Emotion Approach and Emotion Avoidance), and the internal consistency of both the NAQ and the NAQ-S scores, as well as their test-retest reliability, were adequate. Relationships with other measures were in line with prior research, providing positive evidence of concurrent validity. Conclusions: Scores from both instruments showed validity and reliability, so should be considered in future research related to NA.

Resumen Antecedentes: La necesidad de afecto (NA) se refiere a las diferencias individuales en la motivación para buscar o evitar situaciones y actividades que inducen emoción. La investigación previa ha demostrado que la NA es un constructo relevante para entender procesos psicológicos relacionados con el afecto. La presente investigación adaptó al castellano el cuestionario de necesidad de afecto (NAQ), así como su versión breve (NAQ-S). Por tanto, examinamos las evidencias de validez y fiabilidad de las puntuaciones en ambos cuestionarios. Método: En el Estudio 1 (N = 416), exploramos las propiedades psicométricas de las puntuaciones en la adaptación del NAQ, así como las relaciones con medidas de otros constructos psicológicos relevantes. En el Estudio 2 (N = 118), analizamos la fiabilidad y la validez de las puntuaciones en la adaptación del NAQ-S. Resultados: Se encontraron dos factores (i.e., Aproximación a la Emoción y Evitación de la Emoción) y la consistencia interna, así como la fiabilidad test-retest, de las puntuaciones en ambos cuestionarios fueron adecuadas. Las relaciones con otras medidas proporcionaron evidencia positiva de la validez concurrente. Conclusiones: Las puntuaciones obtenidas en ambos cuestionarios mostraron validez y fiabilidad, por lo que deberían ser considerados en la investigación futura relacionada con la NA.

Spanish adaptation of the Intensified Job Demands Scale (IDS)

Abstract Background: The Intensification of Job Demands Scale (IDS) is a multidimensional instrument designed to capture the phenomenon of work intensification that characterizes modern Western societies. However, in Spain the instrument has not been validated to assess this phenomenon. The aim of this study was to examine the psychometric properties of the IDS adaptation with a heterogeneous sample of Spanish workers. Method: The sample consisted of 722 Spanish workers (57.8% female, 42.2% male) who completed a survey between January and April 2022. Results: A five-factor correlated model, as in the original IDS, had an optimal fit with 15 items, and displayed invariance across gender, level of education, and organizational tenure. Reliability coefficients were all satisfactory, and scale adaptation showed evidence of convergent, discriminant, and incremental validity. Conclusions: The Spanish adaptation of the IDS is a valid, reliable measure for analyzing the phenomenon of work intensification and intensified job demands in Spain.

Resumen Antecedentes: La Escala de Intensificación de las Demandas Laborales (IDS) es un instrumento multidimensional diseñado para captar el fenómeno de la intensificación laboral que caracteriza a las sociedades occidentales modernas. Sin embargo, en España, el instrumento no ha sido validado para evaluar este fenómeno. Por ello, el objetivo de este estudio fue examinar las propiedades psicométricas de la IDS para su adaptación a una muestra heterogénea de trabajadores españoles. Método: La muestra estuvo formada por 722 trabajadores españoles (57,8% mujeres) que completaron una batería de cuestionarios entre enero-abril de 2022. Resultados: Un modelo correlacionado de cinco factores, como en la IDS original, tuvo un ajuste óptimo con 15 ítems, y mostró invarianza en género, nivel de estudios y antigüedad dentro de la organización. Los coeficientes de fiabilidad fueron satisfactorios, y la adaptación de la escala mostró evidencias de validez convergente, discriminante e incremental. Conclusiones: La adaptación española de la IDS es una medida válida y fiable para analizar el fenómeno de la intensificación laboral en España.

Psychometric properties of the Anxiety Sensitivity Index-3 (ASI-3) in Spanish population

Abstract Background: The Anxiety Sensitivity Index-3 (ASI-3) is the reference instrument for measuring anxiety sensitivity. The psychometric properties of the Spanish version of the ASI-3 have been examined in university students but not in adults from the general population. Whether the ASI-3 subscales provide relevant information has not yet been examined either. Method: The ASI-3's factor structure, internal consistency, temporal stability, and relationship with neuroticism were examined in a Spanish community sample of 919 adults. Results: In two subsamples of participants, the ASI-3 presented a structure of three correlated factors (physical, cognitive, and social concerns) that loaded on a higher-order factor, but the three factors did not explain much item variance. The total scale and subscales of the ASI-3 showed excellent or good indices of internal consistency (alphas and omegas =.81 -.91), and adequate indices of test-retest reliability at two months (r =.57 -.73) and the relationship with neuroticism and its facets (r =.19 -.52). Conclusions: The ASI-3 provides reliable, valid measures of anxiety sensitivity in Spanish adults, but its subscales are not very useful beyond the information provided by the total scale.

Resumen Antecedentes: el Índice de Sensibilidad a la Ansiedad-3 (ASI-3) es el instrumento de referencia para medir la sensibilidad a la ansiedad. Las propiedades psicométricas de la versión española del ASI-3 se han examinado en estudiantes universitarios, pero no en adultos de la población general. Tampoco se ha examinado si las subescalas del ASI-3 aportan información relevante. Método: se examinó la estructura factorial del ASI-3, su consistencia interna, estabilidad temporal y relación con neuroticismo en una muestra comunitaria española de 919 adultos. Resultados: en dos submuestras de participantes, el ASI-3 presentó una estructura de tres factores correlacionados (preocupaciones físicas, cognitivas y sociales) que saturaban en un factor de orden superior, pero los tres factores no explicaban mucha varianza de los ítems. La escala total y las subescalas del ASI-3 mostraron índices excelentes o buenos de consistencia interna (alfas y omegas =.81 -.91) y adecuados de fiabilidad test-retest a los dos meses (r =.57 -.73) y de relación con el neuroticismo y sus facetas (r =.19 -.52). Conclusiones: el ASI-3 proporciona medidas fiables y válidas de la sensibilidad a la ansiedad en adultos españoles, pero sus subescalas no son muy útiles más allá de la información proporcionada por su escala total.

Spanish adaptation of the Support for Economic Inequality Scale (S-SEIS)

Abstract Background: This study presents the adaptation and evidence of the validity of the Spanish version of the Support for Economic Inequality Scale (S-SEIS). This measure evaluates people's tendency to have positive attitudes toward economic inequality. Method: Two correlational studies were conducted, one exploratory (N = 619) and one confirmatory (N = 562). Results: S-SEIS showed good reliability in both studies. The factorial analysis showed a one-factor structure in Study 1 that was confirmed in Study 2. We also found a relationship between S-SEIS and other extensively used measures of attitudes toward inequality, such as intolerance toward inequality. S-SEIS positively correlates with belief in a just world, social dominance orientation (SDO), economic system justification (ESJ), institutional trust, and perceived democracy; it correlates negatively with intolerance toward inequality, perceived inequality, perceived warmth/competence of people in poverty and support for redistribution. Conclusions: The current research findings suggest that S-SEIS is a valuable instrument for evaluating the support of economic inequality in Spanish samples.

Resumen Antecedentes: La versión Española de la Escala de Apoyo a la Desigualdad Económica (S-SEIS) evalúa la tendencia de las personas a tener actitudes positivas hacia la desigualdad económica. Método: Se realizaron dos estudios correlacionales, uno exploratorio (N = 619) y otro confirmatorio (N = 562). Resultados: S-SEIS mostró una buena fiabilidad en los dos estudios. El análisis factorial mostró una estructura unifactorial en el Estudio 1 que se confirmó en el Estudio 2. Igualmente encontramos una relación entre S-SEIS y otras medidas de actitudes hacia la desigualdad ampliamente utilizadas, como la intolerancia hacia la desigualdad. S-SEIS correlaciona positivamente con la creencia en un mundo justo, la orientación hacia la dominancia social (SDO), la justificación del sistema económico (ESJ), la confianza institucional y la democracia percibida; correlaciona negativamente con la intolerancia hacia la desigualdad, la desigualdad percibida, la sociabilidad/competencia percibida de las personas en situación de pobreza y el apoyo a la redistribución. Conclusiones: Los hallazgos sugieren que la S-SEIS es una medida válida para evaluar el apoyo a la desigualdad económica en muestras españolas.

B. F. Skinner revisitado. Porcel, M. y Pérez, M. (editores). Co-presencias Editorial

Manual de Psicología de la Conducta Suicida. Al-Halabí, S. y Fonseca-Pedrero, E. (Coords.). Pirámide