SciELO - Scientific Electronic Library Online

 
vol.39 número2Diferencias sexuales en la reflexión cognitivaRobustez de los Modelos Lineales Mixtos Generalizados para diseños Split-Plot con datos binarios índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Em processo de indexaçãoCitado por Google
  • Não possue artigos similaresSimilares em SciELO
  • Em processo de indexaçãoSimilares em Google

Compartilhar


Anales de Psicología

versão On-line ISSN 1695-2294versão impressa ISSN 0212-9728

Anal. Psicol. vol.39 no.2 Murcia Mai./Set. 2023  Epub 04-Mar-2024

https://dx.doi.org/10.6018/analesps.441181 

Psicología y Práctica Profesional

Construcción, fiabilidad y evidencias de validez de una escala para medir el uso de las nuevas tecnologías por los psicólogos españoles

Rodolfo Ramos-Álvarez1  , Milagrosa Sánchez-Martín2  , Mª-Mercedes Rodríguez-Ruiz3  , Rocío Fausor4 

1Dept. Psicología Social. Facultad de Ciencias de la Educación y del Deporte. Universidad de Granada, Melilla (España)

2Dept. de Psicología. Facultad de Psicología y Educación. Universidad Loyola, Andalucía. Sevilla (España)

3Colegio Oficial de Psicólogos de Álava, Álava, (España)

4Dept. Personalidad, Evaluación y Tratamiento psicológico. Universidad Complutense de Madrid, Madrid (España)

Resumen:

En este estudio presentamos la construcción y análisis de un cuestionario para medir el uso de las nuevas tecnologías (NNTT) por los profesionales de la psicología, basándonos en una muestra de 1759 psicólogos y psicólogas. El conjunto de 36 ítems fue generado a partir de una revisión bibliográfica sobre las nuevas tecnologías aplicadas a la psicología. El análisis factorial exploratorio de los ítems seleccionados, basado en la muestra aleatorizada (n = 853), indicó la presencia de 5 factores: 1.- Almacenamiento online; 2.- Uso de herramientas básicas de ofimática e internet; 3.- Vías de comunicación con el paciente; 4.- Conocimiento básico y avanzado de lenguajes de programación y evaluación; 5.- Intervención psicológica mediante NNTT. La validez de la estructura fue apoyada por el análisis factorial confirmatorio efectuado con la muestra restante (n = 906). Los resultados sobre fiabilidad de la escala (consistencia interna) fueron adecuados. Se encuentran diferencias significativas por sexo, los hombres obtienen mayor puntuación tanto en el factor 1 como en el 3. El cuestionario desarrollado es un instrumento válido y fiable para medir el constructo planteado.

Palabras clave: Nuevas tecnologías; Psicología; Realidad virtual; Terapia online; Uso de tecnologías

Introducción

Cada vez son más los españoles que incorporan la tecnología en su día a día. Según el Instituto Nacional de Estadística (INE), el acceso a Internet desde el hogar se ha incrementado progresivamente desde el 18 % en 2001 hasta el 91.4 % en 2019. Este desarrollo impacta en la Psicología como campo profesional. Las tecnologías digitales no solo han facilitado el contacto online, ampliando las formas en que nos comunicamos y cómo publicitamos nuestros servicios profesionales, sino que también han facilitado el desarrollo de intervenciones con base tecnológica y tratamientos psicológicos online (Kazdin, 2015).

Es difícil encontrar una clasificación estable de las nuevas tecnologías, debido a su propia renovación y transformación. A pesar de ello, en este estudio se consideran las nuevas tecnologías como sistemas y recursos que permiten elaborar, almacenar y difundir información digitalizada a partir del uso de tecnología informática (herramientas ofimáticas, programas de evaluación, programas de intervención, intercambio de archivos, redes, etc.).

Las nuevas tecnologías y su uso generalizado han dado lugar a nuevos servicios, descritos de diversas maneras como ciberterapia, terapia virtual, terapia en línea, asesoramiento en línea, psicosalud, telesalud, etc. (Kazdin, 2015, Stoll, Müller y Trachsel, 2020). Debido a que la tecnología continúa desarrollándose y mejorando, vale la pena que los profesionales sanitarios aprendan sobre ella y sepan cómo usar estos enfoques en el trabajo profesional.

La asistencia psicológica online se ha convertido en un recurso imprescindible. Este enfoque permite llegar a muchas más personas, permitiendo que aquellas que no pueden acudir a una clínica por restricciones de movilidad, las que viven en zonas remotas sin acceso a servicios presenciales, e incluso las personas que temen un encuentro presencial o encuentro psicológico cara a cara puedan tener acceso a tratamiento (Kazdin, 2015). Además, este enfoque en línea también facilita la resolución de conflictos sin abandonar el tratamiento, proporciona un excelente complemento para el tratamiento cara a cara y agiliza las sesiones de seguimiento (Kazdin, 2015; Richards y Richardson, 2012; Wallin, Mattsson y Olson, 2016).

Las intervenciones psicológicas a través del ordenador se pueden llevar a cabo utilizando variedad de formatos, como el correo electrónico, los mensajes de texto en chats, las videollamadas o las llamadas de voz (Andersson, Carlbring y Lindefors, 2016; Perle, Langsam y Nierenberg, 2011). Esta flexibilidad permite que la creación y el mantenimiento de relaciones médico-cliente sean mucho más convenientes para ambas partes. El uso de Internet en un contexto sanitario se está convirtiendo en una tendencia mundial, con numerosos beneficios (Fernández-Luque y Bau, 2015; Gackenbach, 2007; Zaccaria, Casanova y Guaita, 2019). Muchos investigadores y profesionales de la psicología consideran el potencial de esta herramienta para promover cambios y decisiones relacionadas con la salud y el comportamiento, aumentar la probabilidad de seguimiento y la elaboración y cumplimentación de cuestionarios (Kazdin, 2015). Por ejemplo, se sabe que herramientas como el correo electrónico mejoran la inmediatez de la información. En el ámbito clínico, esta herramienta facilita la prescripción de actividades y su recepción en cualquier momento, ayuda a resolver cualquier duda y permite estar en contacto, lo que refuerza la conducta del paciente y facilita la adherencia a la terapia (Pujadas y Machín, 2006). Opciones como los sistemas de videollamada no solo permiten al terapeuta acceder a la comunicación verbal sino también a la no verbal, como observar los movimientos y gestos del paciente que son relevantes en el contexto clínico. Para algunos usos, puede ser beneficioso grabar la sesión para ser analizada más adelante, y esta herramienta permite hacerlo, además de facilitar compartir información psicológica o incluso diseñar contextos de exposición para tratar problemas de fobia, por ejemplo (Banbury et al., 2018; Gassova y Werner-Wilson, 2018; Soto-Pérez, 2010; Vaquerizo, 2019). En esa dirección, la realidad virtual ha avanzado mucho en los últimos años. Esta tecnología brinda la oportunidad de crear contextos 3D por ordenador en los que es posible interactuar con los objetos y personalizar las situaciones, así como cuantificar las respuestas conductuales. Esta herramienta permite desarrollar diferentes enfoques o contextos, pruebas de capacidad, estrategias de aprendizaje o tratamientos psicológicos que de otro modo serían difíciles de implementar. Si bien existen obstáculos cognitivos, conductuales y funcionales, la realidad virtual cuenta con grandes resultados de evidencia científica. Esta tecnología se está utilizando, por ejemplo, para tratar la fobia, ansiedad y estrés (Bouchard y col., 2017), dolor corporal (Wittkopf, Lloyd y Johnson, 2019); en el tratamiento psicológico en oncología (Espinoza et al., 2013) o en los trastornos por estrés postraumático (Beidel et al., 2017).

Las intervenciones en línea, por ejemplo, la realidad virtual, muestran algunas ventajas en comparación con la terapia tradicional. Aunque algunos estudios muestran resultados mixtos (Botella y col., 2017), en general, la investigación indica que es eficiente, asequible económicamente y práctica (Barak et al., 2008; King et al., 2006).

El desarrollo de las psicoterapias basadas en la evidencia (PBE) refleja un avance significativo y cómo el tratamiento podría implementarse siguiendo los mismos estándares éticos que las intervenciones psicológicas tradicionales (APA, 2013; Kramer y Luxton, 2016). En esta dirección, algunas investigaciones han venido analizando distintas variables en este nuevo contexto online de la psicoterapia. Por ejemplo, los estudios que investigan la eficacia de las intervenciones en línea frente a las presenciales (Mallen, Day y Green, 2003; Spijkerman, Pots y Bohlmeijer, 2016; Peter et hall, 2019) indican que generalmente no hay diferencias, y que en algunos casos las intervenciones en línea son más efectivas (Wechsler, Kümpers y Mühlberger, 2019). Otros estudios mostraron la satisfacción de los clientes en ambos formatos sin encontrar diferencias significativas en la satisfacción (Kysely y col., 2020; Richards y Timulak, 2013); las investigaciones encuentran que los pacientes se sintieron en cercanía con su terapeuta al asistir a terapia en línea (Lavorgna y col., 2017). Algunas otras ventajas de la modalidad en línea incluyen que los clientes ofrecen información más amplia y clara (Kysely y col., 2020), además de que la comprensión emocional no está limitada por los recuerdos ni interferida por la cognición (Mallen y col., 2003).

La incorporación exitosa de las tecnologías digitales en las intervenciones depende de diferentes factores, como, por ejemplo, las creencias y actitudes que las personas tienen hacia la tecnología digital y su conocimiento sobre cómo usarla (Palos-Sanchez et al., 2019). Sin embargo, otros autores enfatizan la importancia de las dimensiones de la personalidad y las del sistema tecnológico (Godoe y Johansen, 2012). Así, los profesionales que incorporan la terapia online a sus servicios necesitan una formación específica para ser competentes. Es necesario que adquieran fluidez en el uso de la tecnología y también que sean flexibles y de mente abierta, como requisito para adaptarse con éxito desde un enfoque tradicional a uno digital o a uno híbrido digital-tradicional (Green, 2006; APA, 2013). También hay estudios que encuentran diferencias por género (Ak et al., 2013; Fernández y Alcalde, 2015; Sohn et al. 2019) y otros reportan diferencias entre género y edad (Encinas y González, 2010; Villadangos y Labrador, 2009; INEbase, 2020). Continúa existiendo una brecha de género tanto en el ámbito profesional como académico sobre el uso de la tecnología (Calvo, 2019; Tiainem y Berki, 2019).

Sin embargo, el uso de la tecnología digital es controvertido debido a diferentes limitaciones, como cuestiones relacionadas con el anonimato, la baja credibilidad, la confidencialidad o la seguridad con el consentimiento informado previo a la conexión, por un lado, y el miedo a los efectos secundarios, así como a posibles problemas de comunicación y los conocimientos y competencias necesarios para su uso. Es posible que sea necesario restringir los tipos de psicopatología o problemas tratados en línea. Algunas investigaciones indican que las intervenciones mediante ordenador no son la opción para tratar problemas que requieren una atención inmediata, como, por ejemplo, en una situación de emergencia, en trastornos por abuso de sustancias, en problemas mentales graves o en tendencias suicidas (Mallen, Vogel y Rochlen, 2005; Stoll et al., 2020; Wallin et al., 2016). Algunos autores valoran otras alternativas para hacer frente a esas situaciones de emergencia en formato online, como, por ejemplo, conocer los datos de contacto del cliente o contar con una lista de recursos disponibles en el lugar residencial del cliente (Shore, Hilty y Yellowlees, 2007). De hecho, el teléfono o Internet se ha utilizado en la práctica diaria con personas con tendencia suicida (Barak, 2007; Lai et al., 2014; Witt et al., 2017).

Debido al enorme potencial que representan las tecnologías digitales en la actualidad, es necesario comprender cómo los psicólogos y psicólogas pueden utilizar la tecnología para ayudar a los pacientes. Esta valiosa información nos ayudará a comprender cómo las tecnologías digitales pueden contribuir a nuestro campo profesional. Dicho esto, parece necesario investigar el uso de la tecnología en la práctica clínica en España y también contar con una medida específica. Conocer cómo la tecnología está cambiando nuestro trabajo y los resultados en los pacientes es vital para desarrollar estrategias y proyectos enfocados en futuras mejoras y comprender las necesidades de la comunidad y los pacientes. Este conocimiento nos ayudará a ajustar mejor nuestras intervenciones y prácticas, para que podamos adoptar y adaptar con éxito estrategias, herramientas y políticas.

El objetivo principal del presente estudio fue desarrollar una herramienta sencilla y de fácil aplicación para evaluar el uso o impacto de las nuevas tecnologías en la profesión psicológica en España. Complementariamente, queríamos analizar las diferencias en el uso de las nuevas tecnologías en función de información sociodemográfica, como el sexo o la edad.

Método

Participantes

Utilizamos una muestra de conveniencia, también llamada muestra no probabilística o de oportunidad, para reclutar a los participantes. Una muestra de 2927 psicólogos y psicólogas accedió al cuestionario y completó su información demográfica. En el Anexo 1 se muestran los estadísticos descriptivos de los participantes. Después de eliminar a aquellos participantes que no contestaron el cuestionario, tuvimos una muestra de 1759 participantes de diferentes regiones de España, concretamente del Colegio Oficial de Psicólogos (COP) de Cataluña (n = 306, 17.4 %), COP de Andalucía Occidental Occidental (n = 245, 13.9 %), COP de Comunidad Valenciana (n = 198, 11.3 %), COP de Galicia (n = 184, 10.5 %), COP de Castilla y León (n = 118, 6.7 %), COP de Madrid (n = 100, 5.7 %), COP de Aragón (n = 85, 4.8 %), COP de Murcia (n = 81, 4.6 %), COP de La Rioja (n = 80, 4.6 %), COP de Navarra (n = 71, 4 %), COP de Andalucía Oriental (n = 62, 3.5 %), COP de Gipuzkoa (n = 46, 2.6 %), COP de Las Palmas (n = 46, 2.6 %), COP de Álava (n = 33, 1.9 %), COP de Cantabria (n = 24, 1.4 %), COP del Principado de Asturias (n = 27, 1.5 %), COP de Islas Baleares (n = 18, 1 %), COP de Extremadura (n = 7, .4 %), COP de Ceuta 9 (n = 7, .4 %), COP de Bizkaia (n = 7, .4 %) , COP de Castilla La Mancha (n = 6, 0.3 %), COP Santa Cruz de Tenerife (n = 5, 0.3 %) y COP de Melilla (n = 2, .1 %). El promedio de edad de la muestra y la mediana fueron 43 años (DT = 10.7) con un rango de 21 a 81 años. El 73.1 % eran mujeres, el 26.8 % hombres y el 0.1 % no lo especificaron. El 84.2 % de los psicólogos estaban trabajando en el momento de la evaluación, de los cuales el 45.8 % trabajaban como clínicos; el porcentaje restante trabajaba en diferentes áreas: 12.2 % en educación, 10.6 % en intervención social, 10.1 % en psicología de la salud, 7.7 % en psicología del trabajo, organizaciones y recursos humanos, y el resto de participantes en otras áreas minoritarias.

El 86.2 % de los psicólogos consultados cursó la carrera en el formato tradicional. Respecto a los estudios de posgrado, un 54.7 % asistió a clases presenciales, un 31.1 % cursó diferentes combinaciones de estudios tradicionales, a distancia y/o en línea; y el 14.2 % restante no realizó estudios de posgrado.

Procedimiento

Se envió por correo electrónico un cuestionario para cumplimentarse en línea, a través de la principal asociación de psicólogos en España (Consejo General de la Psicología, COP) a todos sus miembros. En el correo electrónico se solicitaba la participación voluntaria de los miembros y se les informaba que sus respuestas permanecerían anónimas. El correo electrónico incluía un enlace a la plataforma abierta LimeSurvey donde los participantes podían completar el cuestionario. Aparte de la información sociodemográfica, era obligatorio contestar todas las preguntas para finalizar y enviar el cuestionario.

El cuestionario estuvo disponible durante cuatro meses, comenzando en septiembre de 2013 y finalizando en diciembre de 2013. Colaboraron un total de 23 colegios provinciales.

Creación del instrumento

Un grupo de 66 items se generó originalmente a partir de una revisión bibliográfica sobre las nuevas tecnologías utilizadas en psicología y campos científicos relacionados.

La tecnología disponible y cómo se puede usar está cambiando rápidamente, por lo que es difícil predecir cómo los psicólogos usarán la tecnología en el futuro. Por este motivo, durante el proceso de selección de elementos, se utilizaron los criterios y conocimientos del Gartner Symposium ITxpo (Gartner Symposium, 2013) para identificar las tendencias tecnológicas y las áreas con mayor probabilidad de impacto.

Nueve categorías fueron creadas por doce expertos seleccionados de la asociación regional de psicólogos. Estos doce expertos ayudaron a determinar la validez de contenido: cada experto evaluó los ítems utilizando una escala tipo Likert de 5 puntos para analizar el ajuste de cada ítem al constructo dado, donde 1 significaba inadecuado y 5 significaba muy adecuado. También tuvieron la oportunidad de reformular o agregar consideraciones si lo necesitaban. Se codificaron con 0 aquellos ítems con una media inferior a 4 y con 1 aquellos ítems con una media de 5. Posteriormente, calculamos el Índice de Validez de Contenido de cada ítem (I-CVI) y la media de las puntuaciones del I-CVI para todos los ítems (S-CVI/Ave) (Yusoff, 2019). Como resultado de este proceso, 62 ítems resultaron adecuados, con valores de CVI superiores a .78 (Lynn, 1986); en concreto, 56 ítems obtuvieron un I-CVI de 1, 6 ítems mostraron un I-CVI de .92 y 4 ítems fueron descartados porque su I-CVI era 0. El S-CVI/Ave considerando los 62 ítems restantes también fue satisfactorio, con un valor de .99. La distribución final de los ítems y las 9 categorías fueron las siguientes: Herramientas (16 ítems), Redes sociales (6 ítems), Formación en línea (4 ítems), paquete Office -Office IT- (6 ítems), Sistemas operativos (4 ítems), Herramientas para compartir archivos (6 ítems), Lenguajes de programación (7 ítems), Instrumentos de evaluación psicológica (5 ítems) e Intervención psicológica (8 ítems).

Además de los ítems mencionados, se incluyeron algunas preguntas sociodemográficas, como la edad, el género, los años de afiliación a la asociación, la ubicación de la asociación, el principal campo de trabajo, la modalidad en la que se cursó la carrera y formación psicológica de posgrado. Una vez seleccionados los ítems, se adaptaron para su uso en una versión digital de la medida que fue diseñada para ser fácil e intuitiva de usar y compatible con todos los navegadores de internet y plataformas de acceso. Después del análisis factorial se descartaron 26 ítems; quedando el cuestionario final compuesto por 36 ítems (ver Tabla 1). A partir de los resultados de la estructura factorial obtenidos, proponemos calcular la puntuación total en cada dimensión como la media con los ítems correspondientes.

Tabla 1: AFE; método de estimación WLSMV y rotación Promin. 

Nota:NC= Nivel de conocimiento, destreza o uso en su práctica profesional; UPLI=Uso profesional del lenguaje informático; UP= Uso profesional; UIP= Uso de Intervención psicológica EPMIE= Evaluación psicológica mediante instrumentos de evaluación; IPM: Intervención psicológica mediante.

Nota:Las cargas factoriales sobre el factor principal están marcadas en negrita

Análisis de los datos

Estructura factorial

Para analizar las características sociodemográficas utilizamos estadística descriptiva, concretamente, calculamos porcentajes de respuesta para variables nominales y medias y desviaciones típicas para las cuantitativas.

Para la validez de constructo, la muestra de 1759 participantes se dividió aleatoriamente en dos conjuntos de datos analizados de forma independiente mediante análisis factorial exploratorio (EFA, n = 853) y análisis factorial confirmatorio (CFA, n = 906).

En primer lugar, se midió la adecuación de la muestra mediante la significación de la prueba de esfericidad de Bartlett (p ≤ .05), (Bartlett, 1950) y Kaiser-Meyer-Olkin (KMO) (Kaiser, 1970), la cual puede considerarse adecuada a partir de .70 (Osborne, Costello y Kellow, 2014). Complementariamente, se analizó la asimetría y la curtosis multivariada mediante la prueba de Mardia (1970).

El AFE se realizó mediante el método robusto de mínimos cuadrados ponderados y medias y varianzas ajustadas (WLSMV, “Weighted Least Squares Means and Variance adjusted”) (Finney y DiStefano, 2006; Rhemtulla et al. 2012). Además, se realizó la rotación Promax, que permite la correlación entre factores (Brown, 2015; Lorenzo-Seva y Ferrando, 2019). Se evaluó el ajuste del modelo usando: a) la raíz del error cuadrático medio (RMSEA, “Root Mean Square Error of Approximation”) y el error cuadrático medio (RMSR, “Root Mean Square of Residuals”), cuyos valores deben ser inferiores a .08 (Hooper et al., 2008); b) los ítems con una carga factorial mayor a .40 en el factor primario y menor a .30 en factores alternativos (Howard, 2015). La decisión sobre el número de factores extraídos se basó en (Finch, 2020) el Análisis Paralelo basado en el Análisis Factorial de Rango Mínimo (PA-MRFA) con un umbral del 95% (Timmerman y Lorenzo-Seva, 2011), la varianza total explicada y las intercorrelaciones entre las dimensiones (Ferrando y Lorenzo-Seva, 2014).

Posteriormente, confirmamos la estructura factorial resultante mediante un AFC con el método de estimación WLSMV. El ajuste del modelo se evaluó con las bondades de ajuste RMSEA y SRMR comentadas anteriormente y, adicionalmente, el índice de ajuste comparativo (CFI, “Comparative Fit Index”) y el índice de Tucker y Lewis (TLI, “Tucker and Lewis Index”), considerados adecuados cuando los valores oscilan .90 y .95 (Hooper et al., 2008).

Evidencia de validez y fiabilidad

Utilizamos el coeficiente omega (ω) para analizar la consistencia interna, considerándose aceptables valores iguales o superiores a .70 (Dunn et al., 2013; McDonald, 1999; Viladrich et al., 2017). Además, calculamos: a) índices de simplicidad, como el índice de Simplicidad de Bentler (S) (Bentler, 1977) y el índice de Simplicidad de Carga (LS, “Loading Simplicity”) (Lorenzo-Seva, 2003), que miden la tendencia de los ítems a cargar solo en una dimensión y considera que cuanto más altos sean los valores, más simple es la solución ; b) el índice H o replicabilidad del constructo (Hancock y Mueller, 2001); cuyos valores mayores a .70 manifiestan que la variable latente está bien definida por sus indicadores y tendrá más estabilidad entre estudios; c) Factor de Determinación (Gorsuch, 2003); valores superiores a .90 permiten utilizar la puntuación factorial estimada en investigación (Rodriguez et al., 2016).

Para analizar la validez convergente siguiendo el criterio de Fornell-Larcker (Fornell y Larcker, 1981) calculamos: a) la varianza promedio extraída (AVE, “Average Extracted Variance”), esperando una AVE > .5 para concluir que los ítems son efectivos para medir el constructo latente; b) la fiabilidad compuesta (CR, “Composite Reliability”), considerando como aceptable un CR ≥ .7. De acuerdo con los criterios de Fornell-Larcker, la validez discriminante se puede evaluar comparando la cantidad de varianza capturada por el constructo y la varianza compartida con otros constructos. Concretamente, se puede analizar de dos formas equivalentes: a) los niveles de raíz cuadrada del AVE para cada constructo deben ser mayores que la correlación que involucra a los constructos; o b) los niveles del AVE para cada constructo deben ser mayores que la correlación cuadrática que involucra a los constructos. El resultado debe ser el mismo usando a o b.

Análisis multigrupo

Finalmente, evaluamos la invariancia de la solución factorial extraída a través de AFC multigrupo, examinando un conjunto cada vez más restrictivo de modelos con respecto al género (masculino versus femenino) y el rango de edad (la variable edad se recodificó en función del percentil 50 en participantes ≤ 43 y > 43). La idea general era comparar el ajuste del modelo cuando los parámetros individuales del modelo se estimaban por separado para diferentes subpoblaciones con el ajuste cuando ciertos parámetros se establecían para que fueran invariantes entre las subpoblaciones (Byrne, 2012). La invariancia se probó utilizando el estimador WLSMV, debido a la naturaleza categórica de las variables, a través de los siguientes modelos, de menos a más restrictivos (Svetina et al., 2019): Modelo 1, invarianza configural (misma estructura entre grupos: cargas factoriales y umbrales libres en los grupos, varianzas residuales fijadas en 1 en todos los grupos y medias factoriales fijadas a 0 en todos los grupos); Modelo 2, invarianza métrica (cargas factoriales fijadas para que sean iguales, umbrales libres en los grupos, medias factoriales fijadas a 0 y varianzas residuales fijadas a 1 en ambos grupos); Modelo 3, invarianza escalar (cargas factoriales y umbrales fijados para ser iguales, varianzas residuales fijadas a 1 en un grupo y libres en el otro y medias factoriales fijadas a 0 en un grupo y libres en el otro). La invariancia entre modelos se evaluó mediante: a) el cambio en CFI (≤ .01); b) el cambio en RMSEA (.015) (Chen, 2007).

Los programas utilizados fueron: FACTOR v.10.10.03 para el índice de simplicidad y el análisis paralelo (Ferrando y Lorenzo-Seva, 2017; Lorenzo-Seva y Ferrando, 2006); MPLUS para calcular la AFE, AFC y análisis multigrupo (Muthén y Muthén, 2017); una calculadora en línea (Dueber, 2017) para calcular el índice Omega, el índice H y la determinación del factor. Todos los procedimientos estadísticos adoptaron un nivel de significancia ≤ .05.

Variables sociodemográficas relacionadas con el uso de nuevas tecnologías

Se realizaron estadísticos descriptivos (medias y desviación estándar) para analizar el nivel de nuevas tecnologías utilizadas en los participantes. Se utilizaron la prueba T de Student y ANOVA para analizar las diferencias en las dimensiones obtenidas en función de la información sociodemográfica. Ajustamos por comparaciones múltiples aplicando la corrección de Bonferroni en la prueba T y usamos el valor de p corregido cuando no se asumió el supuesto de homogeneidad de la varianza. Con respecto al análisis ANOVA, utilizamos la prueba robusta de Welch si se violó el supuesto de homogeneidad de varianzas (prueba de Levene). De la misma manera, la comparación de medias 2 por 2 se ajustó mediante la corrección de Tukey o Games-Howell (dependiendo del supuesto de homogeneidad de varianzas asumido o violado). Todos estos análisis se complementaron con el correspondiente estadístico del tamaño del efecto, calculado por una calculadora en línea. (Lenhard y Lenhard, 2016); y la d de Cohen considerando valores de .2, .5 y .8 como tamaños pequeño, mediano y grande, respectivamente (Cohen, 1988).

Para los análisis se utilizó IBM SPSS Statistics (IBM, 2017). En general, los resultados se muestran con un nivel de significación de p < .05 y todas las pruebas fueron de dos colas. Para la prueba T de Student se aplicó la corrección de Bonferroni, considerando un nivel de significación de .01 para rechazar la hipótesis nula.

Resultados

Estructura factorial

La matriz fue adecuada para la factorización (Osborne et al., 2014). El KMO verificó la adecuación de la muestra para el análisis (KMO = .87) y la Prueba de Esfericidad de Bartlett fue no significativa (χ2 = 12151.8, df = 630, p < .001). La prueba de Mardia fue significativa para curtosis (Mk = 137.20, p < .001).

Para refinar y mejorar la solución factorial se descartaron algunos ítems, aquellos con cargas factoriales inferiores a .40 (items: 8, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 29 , 31, 35, 36, 37 y 41); aquellos con saturados en dos factores (tales como: 3, 4, 15, 16, 32, 39, 40 y 62); y el ítem 33, que tuvo muy poca variabilidad en su respuesta (Bandalos y Finney, 2018) .

Con esto, se realizó un AFE. El análisis paralelo con un intervalo de confianza del 95% sugirió la retención de 5 factores. El modelo de cinco factores mostró un buen ajuste (RMSEA = .065 y RMSR = .056). Las cargas factoriales se reportan en la Tabla 1, donde se puede observar que cada ítem tuvo una carga factorial mayor a .45 en el mismo factor y menor a .40 en todos los demás factores. La varianza total explicada representó el 60.66 % (.07 del factor 1, .16 del factor 2, .08 del factor 3, .14 del factor 4 y .15 del factor 5) y las intercorrelaciones entre dimensiones fueron adecuadas (F1 - F2 = .35; F1-F3 = .24; F1-F4 = .27; F1-F5 = .31; F2-F3 = .22; F2-F4 = .29; F2-F5 = .32; F3- F4 = .36, F3-F5 = .42 y F4-F5 = .47). La puntuación media de los ítems osciló entre 0.13 (DE = .53) y 4,54 (DE = .86), con valores de asimetría (-2.47, 5.40) y curtosis (-1.47, 35.11) muy alejados de una distribución normal.

Con respecto al Análisis Factorial Confirmatorio, como anteriormente en el AFE, usamos WLSMV debido a la distribución no normal de los ítems. El modelo de cinco factores mostró un ajuste adecuado a los datos (RMSEA = .054, 90% IC = .051 - .056; CFI = .93; TLI = .92; SRMR = .067) y todos los parámetros fueron estadísticamente significativos. Sin embargo, los índices de modificación reportaron dos parámetros que debían incluirse, las correlaciones entre los ítems 2 y 4 del factor 1 (IM = 133.96) así como entre los ítems 29 y 31 del factor 5 (MI = 113.74). El ajuste del modelo mejoró levemente, resultando satisfactorio (RMSEA = .050, 90% IC = .049 - .052; CFI = .94; TLI = .94; SRMR = .064). Todos los parámetros estimados fueron estadísticamente significativos (p < .05), oscilaron entre .52 y .93 (M = .75, DE = .03) para el factor 1, entre .53 y .73 (M = .63, DE = . 02) para el factor 2, entre .74 y .92 (M = .83, DE = .02) para el factor 3, entre .73 y .97 (M = .83, DE = .03) para el factor 4, y entre .53 y .99 (M = .78, DE = .02) para el factor 5. Además, las varianzas residuales oscilaron entre .03 y .73 y la proporción de varianza explicada por ítems (ítem R-cuadrado) osciló entre .28. a .97.

La Figura 1 muestra el modelo final de cinco factores, en el que informamos las cargas y los residuos de los factores estandarizados, así como las covarianzas entre las variables latentes.

Figura 1. Diagrama del AFC resultante. Cargas factoriales estandarizadas con el error estándar de los ítems, y las covarianzas entre los factores. 

Evidencia de validez y fiabilidad

Considerando el índice de Omega, los resultados de consistencia interna fueron satisfactorios para las cinco dimensiones (> .70). Concretamente, para la dimensión 1 “Uso de almacenamiento en línea o en la nube, o sin soporte físico” (ω = .85), para la dimensión 2 “Uso de tecnología de información de oficina básica (Office IT) e internet; o uso de herramientas básicas relacionadas con las nuevas tecnologías” (ω = .89), para la dimensión 3 “Formas de comunicación con el paciente” (ω = .90), para la dimensión 4 “Conocimientos básicos y avanzados de lenguajes de programación” (ω =. 94) y para la dimensión 5 “Evaluación y Tratamiento Psicológicos a través de las nuevas tecnologías” (ω = .93). La correlación ítem-total fue adecuada, superior a .40 (> .30, Field, 2013), variando de .42 a .62 para la dimensión 1, de .43 a .61 para la dimensión 2, de .59 a .67 para la dimensión 3, de .48 a .61 para la dimensión 4, y de .49 a .62 para la dimensión 5. El Índice de Simplicidad de Bentler fue .92 (percentil 100) y el Índice de Simplicidad de Carga fue .39 (percentil 100), lo que indica que cada ítem representa principalmente una sola dimensión, y la solución global mostró un nivel considerable de simplicidad. El índice H fue excelente para todas las dimensiones (> .85), .92, .90, .92, .97 y .98, respectivamente; así como la Determinación Factorial (> .90), que reportó valores de .96, .95, .96, .96 y .99, lo que indica que las puntuaciones factoriales estimadas se pueden utilizar para todas las dimensiones.

Como podemos ver en la Tabla 2, podemos afirmar que la escala tiene una adecuada validez convergente porque: a) el valor de AVE estuvo por encima del mínimo aceptable (> .50) para todas las dimensiones; b) así como las RC son ≥ .70. Del mismo modo, tenemos evidencia de validez discriminante porque la raíz cuadrada del AVE para cada constructo es mayor que la correlación entre constructos y, de manera equivalente, los niveles del AVE para cada constructo son mayores que la correlación al cuadrado que involucra a los constructos. Además, el modelo propuesto mostró una validez discriminante moderada entre correlaciones interfactoriales (<.85) (Brown, 2015) (F1-F2 = .64; F1-F3 = .25; F1-F4 = .36; F1-F5 = .31; F2-F3 = .36; F2-F4 = .51; F2-F5 = .37; F3-F4 = .37; F3-F5 = .48; F4-F5 = .61).

Tabla 2: Evicencias de la validez convergente y discriminante. 

Nota:raíz cuadrada del AVE (negrita);factor de correlación entre construc-tos (valores inferiores de la diagonal); correlaciones al cuadradoque involu-cra a los constructos (valores superiores de la diagonal)

Tabla 3: Test del factor de invarianza. 

Nota:Modelos.

Análisis multigrupo

Como muestra la Tabla 4, el modelo de cinco factores propuesto logró una fuerte invarianza (o invariancia escalar) con respecto al género (mujeres y hombres) y una débil invarianza (o invariancia métrica) con respecto a la edad (≤ 43 y > 43).

Tabla 4: Asociación entre factores y sociodemográficos. 

Variables sociodemográficas relacionadas con el uso de nuevas tecnologías

Los participantes mostraron una media de 1.48 (DE = 1.28) para el factor 1 “Uso de almacenamiento en línea o en la nube, o sin soporte físico”, 3.35 (DE = .87) para el factor 2 “uso de herramientas básicas de ofimática e Internet”, .91 (DE = 1.12) para el factor 3 “opciones de comunicación con los pacientes”, .60 (DE = .75) para el factor 4 “Conocimientos básicos y avanzados de lenguajes de programación” y .80 (DE = .83) para el factor 5 evaluación y tratamiento psicológico utilizando nuevos tecnologías”. El valor de los ítems estuvo entre 0 “nada” y 5 “muy alto” dependiendo del uso y conocimiento de los participantes sobre diferentes técnicas y herramientas, por lo que se podría considerar que, en general, el nivel de uso de las tecnologías es bastante bajo, excepto el factor 2 “Uso de herramientas básicas de ofimática e internet”, que reflejó un nivel moderado de uso y conocimiento.

Como mostramos en la Tabla 4, solo se encontraron diferencias significativas entre grupos de género en los factores 1 “Uso de almacenamiento en línea o en la nube, o sin soporte físico” (p < .001) y 3 “opciones de comunicación con los pacientes” (p = .005) para los cuales los hombres obtuvieron puntajes más altos. Respecto a la edad, se encontraron diferencias estadísticas en el factor 1 “Uso de almacenamiento en línea o en la nube, o sin soporte físico” (p < .001), factor 2 “uso de herramientas básicas de ofimática e Internet” (p < .001) y factor 4 “Conocimientos básicos y avanzados de lenguajes de programación” (p = .011). En cuanto a la modalidad en la que los participantes cursaron la titulación, sólo se encontraron diferencias significativas en el factor 3 en “opciones de comunicación con los pacientes” (p = .005), concretamente entre modalidad presencial y a distancia (p = .001).

Discusiones y conclusiones

El objetivo principal de este estudio fue desarrollar y validar un cuestionario que pudiera ser utilizado para investigar el conocimiento y el uso de las nuevas tecnologías por parte de los psicólogos/as españoles/as en su práctica profesional diaria. A partir de una revisión bibliográfica se elaboró una primera versión del instrumento compuesta por 66 ítems de escala tipo Likert que se redujo a 62 como consecuencia de un proceso de juicio de expertos. Estos elementos se clasificaron originalmente en 9 categorías. Gracias a la principal asociación de psicólogos de España (Consejo General de la Psicología, COP), obtuvimos la colaboración de 23 colegios provinciales y 1759 participantes, lo que es un tamaño de muestra considerable para realizar los análisis. Una vez que probamos que la matriz era adecuada para la factorización, primero eliminamos aquellos elementos con cargas factoriales bajas, baja variabilidad o saturación en dos factores para realizar un AFE. La solución de cinco factores mostró buen ajuste, lo que concuerda con el Análisis Paralelo, mostró una carga factorial mayor a .45 en el mismo factor y menor a .40 en todos los demás factores, explicando una varianza total de 60.66%. Individualmente, el factor que explicó más varianza fue el factor 2 (Uso de tecnología de información de oficina básica (Office IT) e internet; o uso de herramientas básicas relacionadas con las nuevas tecnologías) con un 16 %, el factor 5 con un 15 % (Evaluación y Tratamiento psicológicos a través de nuevas tecnologías), el factor 4 con un 14% (Conocimientos básicos y avanzados de lenguajes de programación), el factor 3 (Vías de comunicación con el paciente) con un 8 % y, por último, el factor 1 (Uso de almacenamiento en línea o en la nube, o sin soporte físico) con un 7 %. Las intercorrelaciones más significativas entre dimensiones fueron entre factor 4 y 5 (.47), factor 3 y 5 (.42), factor 3 y 4 (.36), factor 1 y 2 (.35), factor 2 y 5 (.32), factor 1 y 5 (.31), factor 2 y 4 (.29), factor 1 y 4 (.27), factor 1 y 3 (.24), y factor 2 y 3 (.22). Como destacan estos resultados, los factores 2 (Uso de tecnología de información de oficina básica (Office IT) e internet; o uso de herramientas básicas relacionadas con las nuevas tecnologías), el factor 5 (Evaluación y Tratamiento Psicológicos a través de las nuevas tecnologías) y el factor 4 (Conocimientos básicos y avanzados de lenguajes de programación) son los más representativos para explicar el uso de las nuevas tecnologías por parte de las/los psicologas/os.

Considerando las dimensiones que hipotetizamos, el factor 1 (Uso de almacenamiento en línea o en la nube, o sin soporte físico) estuvo compuesto por ítems de “Herramientas”, “Sistemas operativos” y “Herramientas para compartir archivos”, lo que demuestra que usar el almacenamiento en línea y el compartir información con otros están relacionados y que los participantes que tienen Apple, usan específicamente esas herramientas de Apple. El Factor 2 (Uso de tecnología de información de oficina básica (Office IT) e internet; o uso de herramientas básicas relacionadas con nuevas tecnologías) es una combinación de "Herramientas" generales y " Uso de tecnología de información de oficina básica (Office IT) e internet ", este factor proporciona información sobre la definición más tradicional de nuevas tecnologías. Todos los ítems del Factor 3 (Formas de comunicación con el paciente) pasan a ser de “Intervención psicológica” y describen las formas más comunes de contacto con el paciente o usuario. El Factor 4 (Conocimientos básicos y avanzados de Lenguajes de Programación) incluye todos los ítems elaborados para “Lenguajes de Programación”. El Factor 5 (Evaluación y Tratamiento Psicológicos a través de las nuevas tecnologías) incluye ítems tanto de “Instrumentos de evaluación psicológica” (sus 5 ítems) como de “Intervención psicológica” (aquellos específicos para proveer la terapia). En resumen, el modelo de cinco factores resultante es una combinación coherente con la propuesta teórica del cuestionario, siendo interesante resaltar que las “Redes sociales” y la “Formación en línea” no estuvieron representadas en la escala final, lo que puede interpretarse como que los participantes no utilizaron las redes sociales como parte de su trabajo ni la formación online.

Para confirmar la dimensionalidad de la escala, realizamos un AFC, que reportó un ajuste satisfactorio a los datos (RMSEA = .050, 90 % IC = .049 - .052; CFI = .94; TLI = .94; SRMR =. 064), aunque se tuvo que incluir las correlaciones entre los ítems 2 (KL del sistema operativo IOs -Apple- ) y 4 ( KL de iCloud, la herramienta para compartir documentos ) del factor 1 (MI = 133,96) así como entre los ítems 29 ( PAAQ informatizado (software) fuera de línea ) y 31 ( PAAQ en formato papel con corrección en línea ) del factor 5. Liberamos esos parámetros porque era lógico que estuvieran correlacionados. Por un lado, tanto iOS como iCloud pertenecen a Apple; y, por otro lado, en la evaluación psicológica es muy habitual complementar el formato informático (software) offline y en papel con la corrección online.

Analizando el tamaño de los parámetros en cada dimensión, es relevante notar que a partir del factor 1, 2 de 4 ítems (ítems 1 y 3) tienen cargas > .70; del factor 2, solo un ítem (ítem 14) tiene una carga > .70; en factor 3 y 4, todos los ítems cargan > .70; y en el factor 5, 6 de 8 ítems (ítems 30, 32-36) presentaron cargas > .70. El hecho de que la mayoría de los ítems tengan cargas sustanciales es consistente con la alta fiabilidad reportada por el coeficiente Omega (.85, .89, .90, .94 y .93, respectivamente), lo que puede interpretarse como que los constructos latentes están bien definidos. Los índices de simplicidad destacaron que la solución global tiene un nivel de simplicidad considerable; el índice H confirma que la variable latente está bien definida por sus indicadores y podría tener estabilidad entre estudios; y el factor de determinación nos permite usar las puntuaciones factoriales.

Analizamos la validez convergente y discriminante a través de los criterios de Fornell-Larcker y las correlaciones interfactoriales, y podemos confirmar que los factores son independientes, y no es necesario fusionar dimensiones o incluir una nueva porque los factores son consistentes.

Finalmente, hemos demostrado la equivalencia de los interceptos o umbrales (invarianza escalar) de los ítems de la escala de cinco factores propuesta respecto al género, lo que significa que las diferencias de medias en el constructo latente capturan todas las diferencias de medias en la varianza compartida de los ítems. Con respecto a la edad, las cargas de todos los indicadores son invariantes entre los participantes ≤ 43 y > 43 (invarianza métrica), es decir, cada elemento contribuye al constructo latente en un grado similar en ambos grupos, pero la invariancia completa no se alcanzó en este caso (Putnick y Bornstein, 2016). En consecuencia, podemos estar seguros de que cualquier diferencia estadísticamente significativa en las medias de los grupos no se debe a diferencias en las propiedades de la escala en diferentes géneros; sin embargo, no podemos asumir lo mismo respeto a la edad. En ese caso, la invariancia parcial para la edad podría afectar la generalización de la escala propuesta y debería ser investigada en futuros estudios.

En conclusión, el análisis psicométrico indica que esta escala es un constructo válido y fiable para medir el uso y conocimiento de las nuevas tecnologías en España. En ese sentido, los participantes mostraron las medias más altas en el factor 2, relacionado con el uso de herramientas básicas relacionadas con las nuevas tecnologías (M = 3.35, DE = .87) y el factor 1 “Uso de almacenamiento en línea o en la nube, o sin soporte físico” (M = 1.48, DE = 1.28). Las medias son bajas en el factor 3 “opciones de comunicación con los pacientes” (M = .91, DT = 1.12), factor 5 “evaluación psicológica y tratamiento con nuevas tecnologías” (M = .80, DT = .83) y factor 4 “conocimientos básicos y avanzados de lenguajes de programación” (M = .60, DT = .75), lo que indica que el psicólogo no utiliza estos elementos como parte habitual de su trabajo. Finalmente, podemos observar que hubo diferencia entre sexo y edad respecto al factor 1 “Uso de almacenamiento en línea o en la nube, o sin soporte físico”, obteniendo puntuaciones más altas los hombres más jóvenes. En general, los más jóvenes obtuvieron puntajes más altos en el factor 2 “Uso de herramientas básicas de ofimática e internet. Finalmente, los hombres y los participantes que realizaron la carrera en línea obtuvieron puntajes más altos en el factor 3 “opciones de comunicación con los pacientes”. No se encontraron diferencias significativas por sexo, edad o modalidad de titulación respecto al factor 4 (Conocimientos básicos y avanzados de lenguajes de programación) y 5 (Evaluación y tratamiento psicológico a través de nuevas tecnologías).

Destacamos varias limitaciones del estudio. Primero, no se puedo analizar la validez concurrente o predictiva a través de un criterio externo. En segundo lugar, la invariancia parcial de la edad debe estudiarse en investigaciones futuras.

Como futura investigación, sería interesante analizar el uso de las nuevas tecnologías en la actualidad, sobre todo porque todos los profesionales se han visto obligados a adaptar su puesto de trabajo a causa de la pandemia del COVID-19, lo que se ha traducido en el aumento del uso de las nuevas tecnologías.

REFERENCIAS

Ak, S., Koruklu, N., & Yilmaz, Y. (2013). A study on Turkish adolescent´s internet use: possible predictors of internet addiction. Cyberpsychology, Behavior, and Social Networking, 16, 205-209. [ Links ]

American Psychological Association (APA) (2013). Guidelines for the practice of telepsychology. American Psychologist, 68(9), 791-800. https://doi.org/10.1037/a0035001 [ Links ]

Andersson, G., Carlbring, P., & Lindefors, N. (2016). History and Current Status of ICBT. Guided Internet-Based Treatments in Psychiatry, 1-16. https://doi.org/10.1007/978-3-319-06083-5_1 [ Links ]

Banbury, A., Nancarrow, S., Dart, J., Gray, L., & Parkinson, L. (2018). Telehealth Interventions Delivering Home-based Support Group Videoconferencing: Systematic Review. Journal of Medical Internet Research, 20(2), e25. https://doi.org/10.2196/jmir.8090 [ Links ]

Bandalos, D. L. , & Finney, S. J. (2018). Factor Analysis. The Reviewer’s Guide to Quantitative Methods in the Social Sciences, 98-122. https://doi.org/10.4324/9781315755649-8 [ Links ]

Barak, A. (2007). Emotional support and suicide prevention through the Internet: A field project report. Computers in Human Behavior, 23(2), 971-984. https://doi.org/10.1016/j.chb.2005.08.001 [ Links ]

Barak, A., Hen, L., Boniel-Nissim, M., & Shapira, N. (2008). A Comprehensive Review and a Meta-Analysis of the Effectiveness of Internet-Based Psychotherapeutic Interventions. Journal of Technology in Human Services, 26(2-4), 109-160. https://doi.org/10.1080/15228830802094429 [ Links ]

Bartlett, M. S. (1950). Tests of significance in factor analysis. British Journal of Psychology, 3, 77-85. [ Links ]

Beidel, D. C., Frueh, B. C., Neer, S. M., & Lejuez, C. W. (2017). The efficacy of Trauma Management Therapy: A controlled pilot investigation of a three-week intensive outpatient program for combat-related PTSD. Journal of Anxiety Disorders, 50, 23-32. https://doi.org/10.1016/j.janxdis.2017.05.001 [ Links ]

Bentler, P. M. (1977). Factor simplicity index and transformations. Psychometrika, 59, 567-579. https://doi.org/10.1007/bf02294054 [ Links ]

Botella, C., Fernández-Álvarez, J., Guillén, V., García-Palacios, A., & Baños, R. (2017). Avances recientes en la terapia de exposición a la realidad virtual para las fobias: una revisión sistemática. Current Psychiatry Reports. 19: 42. https://doi.org/10.1007/s11920-017-0788-4 [ Links ]

Bouchard, S., Dumoulin, S., Robillard, G., Guitard, T., Klinger, É., Forget, H., Loranger, C., & Roucaut, F. X. (2017). Virtual reality compared with in vivo exposure in the treatment of social anxiety disorder: A three-arm randomized controlled trial. British Journal of Psychiatry, 210(4), 276-283. https://doi.org/10.1192/bjp.bp.116.184234 [ Links ]

Brown, S. A. (2005). Measuring perceived benefits and perceived barriers for physical activity. American Journal of Health Behavior, 29(2), 107-116. https://doi.org/10.5993/AJHB.29.2.2 [ Links ]

Byrne, B. M. (2012). Structural equation modeling with Mplus: Basic concepts, applications, and programming. Routledge. [ Links ]

Calvo, M. E. (2019). Científicas e inventoras a través de los cuentos. IQUAL, 2, 147-170. https://doi.org/10.6018/iqual.340701 [ Links ]

Chen, F. (2007). Sensitivity of Goodness of Fit Indexes to Lack of Measurement Invariance. Structural Equation Modeling, 14, 464-504. https://doi.org/10.1080/10705510701301834. [ Links ]

Cohen, J. (1988). Statistical Power Analysis for the Behavioural Science (2nd Edition). In Statistical Power Anaylsis for the Behavioral Sciences. Laurence Erlbaum Associates. [ Links ]

Dueber, D. M. (2017). Bifactor Indices Calculator: A Microsoft Excel-based tool to calculate various indices relevant to bifactor CFA models. https://doi.org/10.13023/edp.tool.01 (Also available at http://sites.education.uky.edu/apslab/resources/) [ Links ]

Dunn, T. J., Baguley, T., & Brunsden, V. (2013). From alpha to omega: A practical solution to the pervasive problem of internal consistency estimation. British Journal of Psychology, 105(3), 295-441. https://doi.org/10.1111/bjop.12046 [ Links ]

Encinas, F. J. L., & González, S. M. V. (2010). Menores y nuevas tecnologías: conductas indicadoras de posible problema de adicción. Psicothema, 22(2), 180-188 [ Links ]

Espinoza, M., Baños, R. M., García-Palacios, A., & Botella, C. (2013). La realidad virtual en las intervenciones psicológicas con pacientes oncológicos. Psicooncología, 10(2-3). https://doi.org/10.5209/rev_psic.2013.v10.n2-3.43447 [ Links ]

Fernández, C. S., & Alcalde, J. B. F. (2015). No, sin mi móvil. Diferencias de género y uso de las nuevas tecnologías. ICONO 14, Revista de comunicación y tecnologías emergentes, 13(1), 208-246. [ Links ]

Fernández-Luque, L., & Bau, T. (2015). Health and Social Media: Perfect Storm of Information. Healthcare Informatics Research, 21(2), 67. https://doi.org/10.4258/hir.2015.21.2.67 [ Links ]

Ferrando, P. J. & Lorenzo-Seva, U. (2014). El análisis factorial exploratorio de los ítems: algunas consideraciones adicionales. Anales de Psicología, 30(3), 1170-1175. https://doi.org/10.6018/analesps.30.3.199991 [ Links ]

Ferrando, P. J. & Lorenzo-Seva, U. (2017). Program FACTOR at 10: Origins, development and future directions. Psicothema, 29(2), 236-240. https://doi.org/10.7334/psicothema2016.304 [ Links ]

Finch, W. H. (2020). Using Fit Statistic Differences to Determine the Optimal Number of Factors to Retain in an Exploratory Factor Analysis. Educational and Psychological Measurement, 80(2), 217-241. https://doi.org/10.1177/0013164419865769 [ Links ]

Fornell, C. & Larcker, D. F. (1981). Evaluating structural equation models with unobservable variables and measurement error. Journal of marketing research, 39-50. [ Links ]

Gackenbach, J. (2007). Introduction. Psychology and the Internet, 1-10. https://doi.org/10.1016/b978-012369425-6/50019-9 [ Links ]

Gartner Symposium ITxpo (2013). https://www.gartner.com/enLinks ]

Gassova, Z., & Werner-Wilson, R. J. (2018). Characteristics of e-therapy websites involving marriage and family therapists. American Journal of Family Therapy, 46(1), 27-43. https://doi.org/10.1080/01926187.2018.1428127 [ Links ]

Godoe, P., & Johansen, T. S. (2012). Understanding adoption of new technologies: Technology readiness and technology acceptance as an integrated concept. PsycEXTRA Dataset. https://doi.org/10.1037/e537242013-005 [ Links ]

Gorsuch, R. L. (2003). Factor analysis. In J. A. Schinka & W. F. Velicer (Eds.), Handbook of psychology: Research methods in psychology, Vol. 2 (pp. 143-164). John Wiley & Sons Inc. [ Links ]

Green, D. (2006). Ground rules in online psychotherapy (Doctoral dissertation). University London. [ Links ]

Hancock, G. R., & Mueller, R. O. (2001). Rethinking Construct Reliability within Latent Variable Systems. In R. Cudeck, S. du Toit, & D. S?rbom (Eds.), Structural Equation Modeling: Present und Future-A Festschrift in Honor of Karl Joreskog (pp. 195-216). Scientific Software International. [ Links ]

Hooper, D., Coughlan, J., & Mullen, M. R. (2008). Structural equation modelling: Guidelines for determining model fit. Electronic journal of business research methods, 6(1), 53-60. https://doi.org/10.21427/d7cf7r [ Links ]

Howard, M. C. (2015). A Review of Exploratory Factor Analysis Decisions and Overview of Current Practices: What We Are Doing and How Can We Improve? International Journal of Human-Computer Interaction, 32(1), 51-62. https://doi.org/10.1080/10447318.2015.1087664 [ Links ]

IBM Corp. (2017). IBM SPSS Statistics for Windows. IBM Corp [ Links ]

Instituto Nacional de Estadística (INE) (2019). Encuesta sobre equipamiento y uso de tecnologías de información y comunicación en los hogares. Condiciones de vida. Nivel y condiciones de vida (IPC) . INE. URL: https://www.ine.es/dyngs/INEbase/es/operacion.htm?c=Estadistica_C&cid=1254736176741&menu=ultiDatos&idp=1254735976608Links ]

Kaiser, H. F. (1970). A second generation little jiffy. Psychometrika, 35(4), 401-415. [ Links ]

Kazdin, A. E. (2015). Technology-based interventions and reducing the burdens of mental illness: perspectives and comments on the special series. Cognitive and Behavioral Practice, 22(3), 359-366. https://doi.org/10.1016/j.cbpra.2015.04.004 [ Links ]

King, R., Bambling, M., Reid, W., & Thomas, I. (2006). Telephone and online counselling for young people: A naturalistic comparison of session outcome, session impact and therapeutic alliance. Counselling and Psychotherapy Research, 6(3), 175-181. https://doi.org/10.1080/14733140600874084 [ Links ]

Kramer, G. M., & Luxton, D. D. (2016). Telemental Health for Children and Adolescents: An Overview of Legal, Regulatory, and Risk Management Issues. Journal of Child and Adolescent Psychopharmacology, 26(3), 198-203. https://doi.org/10.1089/cap.2015.0018 [ Links ]

Kysely, A., Bishop, B., Kane, R., Cheng, M., De Palma, M., & Rooney, R. (2020). Expectations and Experiences of Couples Receiving Therapy Through Videoconferencing: A Qualitative Study. Frontiers in Psychology, 10. https://doi.org/10.3389/fpsyg.2019.02992 [ Links ]

Lai, M. H., Maniam, T., Chan, L. F., & Ravindran, A. V. (2014). Caught in the Web: A Review of Web-Based Suicide Prevention. Journal of Medical Internet Research, 16(1), e30. https://doi.org/10.2196/jmir.2973 [ Links ]

Lavorgna, L., Russo, A., De Stefano, M., Lanzillo, R., Esposito, S., Moshtari, F., Rullani, F., Piscopo, K., Buonanno, D., Brescia Morra, V., Gallo, A., Tedeschi, G., & Bonavita, S. (2017). Health-Related Coping and Social Interaction in People with Multiple Sclerosis Supported by a Social Network: Pilot Study With a New Methodological Approach. Interactive Journal of Medical Research, 6(2), e10. https://doi.org/10.2196/ijmr.7402 [ Links ]

Lenhard, W. & Lenhard, A. (2016). Calculation of Effect Sizes. Retrieved from: https://www.psychometrica.de/effect_size.html. Dettelbach (Germany): Psychometrica. https://doi.org/10.13140/RG.2.2.17823.92329 [ Links ]

Lynn, M. R. (1986). Determination and quantification of content validity. Nursing Research, 35(6), 381-5. [ Links ]

Lorenzo-Seva, U. (2003). A factor simplicity index. Psychometrika, 68, 49-60. https://doi.org/10.1007/bf02296652 [ Links ]

Lorenzo-Seva, U., & Ferrando, P. J. (2006). FACTOR: A computer program to fi t the exploratory factor analysis model. Behavior Research Methods, 38(1), 88-91. [ Links ]

Lorenzo-Seva, U., & Ferrando, P. J. (2019). Robust Promin: A method for diagonally weighted factor rotation. Liberabit: Revista Peruana de Psicología, 25(1), 99-106. https://doi.org/10.24265/liberabit.2019.v25n1.0 [ Links ]

Mallen, M. J., Day, S. X., & Green, M. A. (2003). Online versus face-to-face conversation: An examination of relational and discourse variables. Psychotherapy: Theory, Research, Practice, Training, 40(1-2), 155-163. https://doi.org/10.1037/0033-3204.40.1-2.155 [ Links ]

Mallen, M. J., Vogel, D. L., & Rochlen, A. B. (2005). The Practical Aspects of Online Counseling. The Counseling Psychologist, 33(6), 776-818. https://doi.org/10.1177/0011000005278625 [ Links ]

Mardia, K. V. (1970). Measures of Multivariate Skewness and Kurtosis with Applications. Biometrika, 57, 519-530. https://doi.org/10.1093/biomet/57.3.519 [ Links ]

McDonald, R. P. (1999). Test theory: A unified treatment. Lawrence Erlbaum Associates. [ Links ]

Muthén, L. K., & Muthén, B. O. (2017). Mplus User's Guide. Sixth Edition. Muthén & Muthén. Statmodel. https://www.statmodel.com/download/usersguide/MplusUserGuideVer_8.pdfLinks ]

Osborne, J. W., Costello, A. B., & Kellow, J. T. (2014). Best practices in exploratory factor analysis (pp. 86-99). Louisville, KY: CreateSpace Independent Publishing Platform. https://doi.org/10.4135/9781412995627.d8 [ Links ]

Palos-Sanchez, P., Reyes-Menendez, A., & Saura, J. R. (2019). Modelos de Adopción de Tecnologías de la Información y Cloud Computing en las Organizaciones. Información Tecnológica, 30(3), 3-12. https://doi.org/10.4067/s0718-07642019000300003 [ Links ]

Perle, J. G., Langsam, L. C., & Nierenberg, B. (2011). Controversy clarified: An updated review of clinical psychology and tele-health. Clinical Psychology Review, 31(8), 1247-1258. https://doi.org/10.1016/j.cpr.2011.08.003 [ Links ]

Peter, L., Reindl, R., Zauter, S., Hillemacher, T., & Richter, K. (2019). Effectiveness of an Online CBT-I Intervention and a Face-to-Face Treatment for Shift Work Sleep Disorder: A Comparison of Sleep Diary Data. International Journal of Environmental Research and Public Health, 16(17), 3081. https://doi.org/10.3390/ijerph16173081 [ Links ]

Pujadas, M. M., & Machín, A. L. (2006). El correo electrónico en la relación médico-paciente: uso y recomendaciones generales. Atención primaria, 37(7), 413-417. [ Links ]

Putnick, D. L., & Bornstein, M. H. (2016). Measurement Invariance Conventions and Reporting: The State of the Art and Future Directions for Psychological Research. Developmental review, 41, 71-90. https://doi.org/10.1016/j.dr.2016.06.004 [ Links ]

Rhemtulla, M., Brosseau-Liard, P. É., & Savalei, V. (2012). When can categorical variables be treated as continuous? A comparison of robust continuous and categorical SEM estimation methods under suboptimal conditions. Psychological Methods, 17(3), 354-373. https://doi.org/10.1037/a0029315 [ Links ]

Richards, D., & Richardson, T. (2012). Computer-based psychological treatments for depression: a systematic review and meta-analysis. Clinical psychology review, 32(4), 329-342. https://doi.org/10.1016/j.cpr.2012.02.004 [ Links ]

Richards, D., & Timulak, L. (2013). Satisfaction with therapist-delivered vs. self-administered online cognitive behavioural treatments for depression symptoms in college students. British Journal of Guidance y Counselling, 41(2), 193-207. https://doi.org/10.1080/03069885.2012.726347 [ Links ]

Rodriguez, A., Reise, S. P., & Haviland, M. G. (2016). Evaluating bifactor models: calculating and interpreting statistical indices. Psychological Methods 21, 137-150. https://doi.org/10.1037/met0000045 [ Links ]

Shore, J. H., Hilty, D. M., & Yellowlees, P. (2007). Emergency management guidelines for telepsychiatry. General Hospital Psychiatry, 29(3), 199-206. https://doi.org/10.1016/j.genhosppsych.2007.01.013 [ Links ]

Sohn, S. Y., Rees, P., Wildridge, B., Kalk, N. J., & Carter, B. (2019). Prevalence of problematic smartphone usage and associated mental health outcomes amongst children and young people: a systematic review, meta-analysis and GRADE of the evidence. BMC psychiatry, 19(1), 1-10. [ Links ]

Soto-Pérez, F., Franco, M., Monardes, C. y Jiménez, F. (2010). Internet y psicología clínica : revisión de las ciber-terapias. Revista de Psicopatología y Psicología Clínica, 15(1). https://doi.org/10.5944/rppc.vol.15.num.1.2010.4082 [ Links ]

Spijkerman, M. P. J., Pots, W. T. M., & Bohlmeijer, E. T. (2016). Effectiveness of online mindfulness-based interventions in improving mental health: A review and meta-analysis of randomised controlled trials. Clinical Psychology Review, 45, 102-114. https://doi.org/10.1016/j.cpr.2016.03.009 [ Links ]

Stoll, J., Müller, J. A., & Trachsel, M. (2020). Ethical Issues in Online Psychotherapy: A Narrative Review. Frontiers in Psychiatry, 10. https://doi.org/10.3389/fpsyt.2019.00993 [ Links ]

Svetina, D., Rutkowski, L., & Rutkowski, D. (2019): Multiple-Group Invariance with Categorical Outcomes Using Updated Guidelines: An Illustration Using Mplus and the lavaan/semTools Packages. Structural Equation Modeling: A Multidisciplinary Journal, 0, 1-20. https://doi.org/10.1080/10705511.2019.1602776 [ Links ]

Tiainem, T., & Berki, E. (2019). The re-Production process of gender bias: A case of ICT professors through recruitment in a gender-neutral country. Studies in Higher Education, 44(1), 170-184. https://doi.org/10.1080/03075079.2017.1351428 [ Links ]

Timmerman, M. E., & Lorenzo-Seva, U. (2011). Dimensionality assessment of ordered polytomous items with parallel analysis. Psychological Methods, 16(2), 209-220. https://doi.org/10.1037/a0023353 [ Links ]

Vaquerizo, E. J. (2019). Eficacia de las intervenciones online basadas en redes sociales para promover actividades físicas. Lecturas: Educación Física y Deportes, 24(251), 124-136.) [ Links ]

Viladrich, V., Angulo-Brunet, A., & Eduardo, D. (2017). A journey around alpha and omega to estimate internal consistency reliability. Anales de Psicología, 33(3), 755-782. https://doi.org/10.6018/analesps.33.3.268401 [ Links ]

Villadangos, S. M., & Labrador, F. J. (2009). Menores y nuevas tecnologías (NT): uso o abuso. Anuario de Psicología Clínica y de la Salud, 5(1), 75-83. [ Links ]

Wallin, E. E. K., Mattsson, S., & Olsson, E. M. G. (2016). The preference for internet-based psychological interventions by individuals without past or current use of mental health treatment delivered online: a survey study with mixed-methods analysis. JMIR mental health, 3(2), e25. https://doi.org/10.2196/mental.5324 [ Links ]

Wechsler, T. F., Kümpers, F., & Mühlberger, A. (2019). Inferiority or Even Superiority of Virtual Reality Exposure Therapy in Phobias? - A Systematic Review and Quantitative Meta-Analysis on Randomized Controlled Trials Specifically Comparing the Efficacy of Virtual Reality Exposure to Gold Standard in vivo Exposure in Agoraphobia, Specific Phobia, and Social Phobia. Frontiers in Psychology, 10. https://doi.org/10.3389/fpsyg.2019.01758 [ Links ]

Witt, K., Spittal, M. J., Carter, G., Pirkis, J., Hetrick, S., Currier, D., … Milner, A. (2017). Effectiveness of online and mobile telephone applications (“apps”) for the self-management of suicidal ideation and self-harm: a systematic review and meta-analysis. BMC Psychiatry, 17(1). https://doi.org/10.1186/s12888-017-1458-0 [ Links ]

Wittkopf, P. G., Lloyd, D. M., & Johnson, M. I. (2018). Managing limb pain using virtual reality: a systematic review of clinical and experimental studies. Disability and Rehabilitation, 41(26), 3103-3117. https://doi.org/10.1080/09638288.2018.1485183 [ Links ]

Yusoff, M. S. B. (2019). ABC of content validation and content validity index calculation. Education in Medicine Journal, 11(2), 49-54. https://doi.org/10.21315/eimj2019.11.2.6 [ Links ]

Zaccaria, D., Casanova, G., & Guaita, A. (2019). Impact of ICT and social networks sites utilization on older people’s well-being and loneliness: a scoping review. Innovation in Aging, 3(Supplement_1), S530-S530. https://doi.org/10.1093/geroni/igz038.1949 [ Links ]

Apoyo financiero.-sin financiación.

Recibido: 01 de Septiembre de 2020; Revisado: 10 de Enero de 2022; Aprobado: 25 de Febrero de 2022

Conflicto de interés.-

los autores declaran no tener conflicto de interés.

Creative Commons License This is an open-access article distributed under the terms of the Creative Commons Attribution License