SciELO - Scientific Electronic Library Online

 
vol.43 número1Cuestiones abiertas en el uso de las nuevas tecnologías en la evaluación psicológicaLa consecución del funcionamiento psicológico pleno: la dimensión de crecimiento personal índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Papeles del Psicólogo

versión On-line ISSN 1886-1415versión impresa ISSN 0214-7823

Pap. Psicol. vol.43 no.1 Madrid ene./abr. 2022  Epub 27-Jun-2022

https://dx.doi.org/10.23923/pap.psicol.2978 

Sección Monográfica

Comisión de Test: veinticinco años velando por la calidad de los test

Test Commission: twenty five years working on test quality

Ana Hernández1  , Paula Elosua2  , José Ramón Fernández-Hermida3  , José Muñiz4 

1Universidad de Valencia

2Universidad del País Vasco

3Universidad de Oviedo

4Universidad Nebrija

RESUMEN

El objetivo del presente trabajo es mostrar las actividades y proyectos llevados a cabo por la Comisión de Test del Consejo General de Psicología de España para mejorar la calidad y el uso de los test. Se repasan los proyectos más relevantes de la comisión durante sus veinticinco años de existencia, describiendo los trabajos llevados a cabo para a) conocer las opiniones y actitudes de los psicólogos hacia los test, b) evaluar la calidad de los test editados en España, y c) desarrollar estándares, directrices y códigos éticos y deontológicos que mejoren la práctica de los test. También se resaltan otras actividades de la comisión de carácter formativo, así como sus relaciones con otras organizaciones internacionales con fines similares. Finalmente se llevan a cabo algunas refiexiones sobre los retos futuros de la Comisión de Test, haciendo hincapié en el papel clave que tendrán las nuevas tecnologías en la evaluación psicológica.

Palabras clave Test; Psicometría; Evaluación; Calidad de los test; Uso adecuado de los test

ABSTRACT

The objective of this paper is to present the activities and projects carried out by the Spanish Test Commission, established by the Spanish Psychological Association to improve the quality and use of tests. The most relevant projects of the commission during its twenty-five years of existence are reviewed, describing the work carried out: a) to understand the opinions and attitudes of psychologists towards the tests, b) to evaluate the quality of the tests published in Spain, and c) to develop standards, guidelines, and ethical and deontological codes to improve testing practices. The commission's other activities of a formative nature are also highlighted, as well as its relationships with other international organizations with similar purposes. Finally, several refiections on the future challenges of the Test Commission are shared, emphasizing the key role new technologies will have in psychological assessment.

Key words Test; Psychometrics; Evaluation; Test quality; Appropriate test use

ORÍGENES Y OBJETIVOS

La Comisión de Test fue creada en 1995 por la organización colegial de la Psicología española (Colegio Oficial de Psicólogos, después Consejo General de Colegios Oficiales de Psicólogos) y actúa como órgano asesor de la junta de gobierno. Su objetivo central es llevar a cabo todo un conjunto de actividades y proyectos encaminados a mejorar la calidad y el uso de los test en España. Los test constituyen una de las herramientas más utilizadas por los psicólogos, tanto en su labor profesional como investigadora, por tanto, velar por su calidad psicométrica y por su uso adecuado es fundamental para ofrecer un servicio de calidad a los usuarios de la psicología y a la sociedad en general (Hernández et al. 2015; Muñiz et al., 2020). El uso adecuado de un instrumento de medida requiere, en primer lugar, que este tenga calidad psicométrica probada, pero también que se use de forma adecuada, para lo cual los profesionales e investigadores que lo utilizan deben disponer de una formación apropiada. La Comisión de Test durante sus más de veinticinco años de existencia ha desarrollado distintas actividades encaminadas a mejorar esos tres aspectos: calidad de los test, uso adecuado y formación de quienes utilizan los test. En la fecha en la que se estableció la Comisión de Test, la Psicología ya estaba bien asentada en España, tanto profesional como académicamente. Para entonces la carrera de Psicología incluye la Psicometría y la Evaluación Psicológica como asignaturas obligatorias en todas las universidades españolas, hay una regulación profesional de la psicología, y se dispone de una gran variedad de test psicológicos en el mercado. Puede decirse, en suma, que se daban unas condiciones adecuadas para el establecimiento de la comisión de test, como complemento a la formación universitaria reglada.

Con el fin de recoger todos los puntos de vista implicados en la calidad y uso de los test, la Comisión siempre estuvo formada, a lo largo de estos veinticinco años, por expertos en Psicometría y Evaluación Psicológica y por los representantes de las empresas españolas editoras de test. Esta convergencia de los expertos profesionales y académicos y los editores es fundamental para mejorar la calidad y el uso de los test, pues se debe trabajar de forma convergente. También incluye un representante del COP, dado que muchas de las decisiones de la Comisión tienen repercusiones profesionales e institucionales. Desde su fundación hasta 2020 la Comisión fue presidida por José Muñiz, Catedrático de Psicometría, a partir de 2020 la preside Ana Hernández, profesora de Psicometría de la Universidad de Valencia. En la tabla 1 se incluyen todas las personas que formaron parte de la Comisión desde 1995 hasta nuestros días.

TABLA 1.  PERSONAS QUE HAN FORMADO PARTE EN ALGÚN MOMENTO DE LA COMISIÓN DE TEST DEL COP 

Para llevar a cabo sus objetivos la Comisión de Test propone y emprende numerosas iniciativas, colaborando con organizaciones internacionales que comparten objetivos, tales como la Comisión de Test de la Federación Europea de Asociaciones de Psicología (EFPA) (actualmente denominada Board of Assessment), o la Comisión International de Test (International Test Commission -ITC). Cabe señalar que la Comisión Europea de test fue creada a propuesta del COP, y su primer presidente fue José Muñiz, que también presidía la comisión española.

PROYECTOS DE LA COMISIÓN DE TEST

Las actividades y proyectos encaminados a velar por la calidad y el buen uso de los test pueden encuadrarse dentro de dos grandes estrategias, una denominada restrictiva y otra informativa. La restrictiva recoge todas las iniciativas dirigidas a restringir el uso de los test a los profesionales que han recibido formación específica para hacerlo, y que pueden ir desde restricciones de compra y uso de pruebas, hasta disposiciones legales que impidan el uso de test a determinados profesionales. La estrategia informativa incluye la difusión de información para fomentar el buen uso de los test, tales como códigos éticos y profesionales, directrices y recomendaciones, o la divulgación de información sobre la calidad y características de los test disponibles en el mercado (Muñiz y Bartram, 2007; Muñiz y Fernández-Hermida, 2010; Muñiz et al., 2015). Estas dos estrategias se complementan con una tercera igualmente importante, e íntimamente ligada a las anteriores, la formativa, orientada a la actualización de los conocimientos y competencias de los profesionales y a su formación continua (Hernández et al., 2021). Se mencionan a continuación algunos de los proyectos llevados a cabo por la Comisión de Test, los cuales se encuadran en alguna de las estrategias citadas, sobre todo en la formativa e informativa.

OPINIONES Y ACTITUDES DE LOS PSICÓLOGOS HACIA LOS TEST

Si se pretende mejorar el uso de los test es fundamental conocer cuáles son las opiniones y las actitudes que tienen los profesionales sobre ellos, pues eso nos permitirá hacer hincapié en aquellos aspectos que se perciben como más deficitarios. Con ese fin, la Comisión de test lleva a cabo de forma regular una encuesta entre los profesionales. Hasta la fecha se han llevado a cabo tres ediciones, la primera en el año 1999, la segunda en el año 2009, y la tercera en 2019. Los resultados (Muñiz y Fernández-Hermida, 2000, 2010; Muñiz et al., 2020; Hernández et al., 2021) permiten establecer un diagnóstico preciso sobre la percepción de los psicólogos profesionales acerca del uso de los test, que resulta esencial para promover acciones de mejora continua.

El cuestionario usado en estos estudios permite recoger información sobre varias dimensiones, y además se pide a los participantes que indiquen los tres test que más utilizan en su práctica profesional. Con la finalidad de analizar la evolución de las opiniones y actitudes de los psicólogos hacia los test a través del tiempo, el cuestionario empleado siempre ha sido el mismo, aunque con pequeñas variaciones ajustadas a cada momento temporal. Por ejemplo, en el último estudio (Muñiz et al., 2020, Hernández et al., 2021) el cuestionario estuvo compuesto por 31 ítems agrupados en 5 dimensiones: Actitudes hacia los test, Formación y conocimientos sobre los test, Necesidad de control y regulación de los test y su uso, Influencia de las nuevas tecnologías en el uso de los test, y Problemas en el uso de los test. Además, se pidió a los participantes que señalaran los tres test que más se utilizaban en la práctica profesional, y en la edición del 2019 se incluyeron por primera vez ítems sobre el proceso de evaluación anual de test que lleva a cabo la comisión desde el año 2011, tal como se detalla en el apartado siguiente.

Los resultados más relevantes de la última edición indican (a) que los psicólogos reconocen que la formación recibida en el grado de Psicología puede no ser suficiente para la correcta utilización de la mayoría de los test, y reconocen la necesidad de seguir formándose para usar los test adecuadamente; (b) que la actitudes de los psicólogos respecto al uso de los test son positivas; (c) que, en general, los psicólogos están a favor de incrementar el control y la regulación de los test y su uso; (d) que existe cierto escepticismo sobre la incorporación de las nuevas tecnologías en la práctica de los test y, (e) que en su ámbito profesional se reconocen problemas, como el uso indebido de fotocopias, o no estar al día en materia de test, si bien estos problemas se dan con una frecuencia moderada. El trabajo de Muñiz et al. (2020) analiza las diferencias existentes por especialidad y Hernández et al. (2021) profundizan en aquellas diferencias vinculadas a la edad, el sexo y el sector laboral. En cuanto a la evolución de las opiniones y actitudes a lo largo del tiempo, la comparativa ofrece resultados bastante estables, aunque se aprecian cambios positivos relacionados con el incremento del uso de los test en el ejercicio de la profesión, la mejora de la información disponible sobre la calidad de los test, y la disminución de problemas o malas prácticas, como el uso de fotocopias (Muñiz et al., 2020).

Finalmente cabe destacar que los resultados sobre los test más utilizados en España muestran que, con el paso de los años, los test proyectivos han quedado completamente relegados, predominando claramente el uso de test psicométricos. De hecho, en el último estudio, los 25 test más utilizados por los psicólogos españoles son todos psicométricos, bien sean pruebas adaptadas al contexto español, o test de elaboración nacional (24%). Estos datos son un indicador claro de la gran actividad que se lleva a cabo en nuestro país en materia de construcción, adaptación y publicación de test (Muñiz et al., 2020).

EVALUACIÓN DE LA CALIDAD DE LOS TEST EDITADOS EN ESPAÑA

A la hora de seleccionar un test para su uso es importante que el profesional evalúe o pueda acceder a evaluaciones externas sobre la calidad de los test disponibles. Con esta finalidad la Comisión de Test inició el año 2010 un proceso de revisión de los test utilizados en España. Se trata de evaluaciones tanto cuantitativas como cualitativas realizadas por expertos, cuyo objetivo es ayudar a los profesionales a evaluar el test que mejor se adecúa a sus necesidades.

El proceso de revisión ha tenido como referente el modelo de evaluación de test (Cuestionario de Evaluación de Test, CET) propuesto inicialmente por Prieto y Muñiz (2000). El CET se ha utilizado en las tres primeras ediciones del proyecto, con alguna pequeña modificación en la tercera edición. Para la cuarta edición se revisó por Hernández et al. (2016), generando una nueva versión: CET-R. En esta revisión se incorporaron los avances psicométricos y tecnológicos más relevantes recogidos en el modelo de evaluación de test de la EFPA en su revisión del 2013 (Evers et al., 2013). Ambos modelos (CET y CET-R) están disponibles en la página web de la Comisión de Test: https://www.cop.es/index.php?page=evaluar-calidad. Los dos contienen tres grandes apartados: (a). Descripción técnica de la prueba, que incluye aspectos como la finalidad del test, su clasificación, el modo de corrección, la posibilidad de obtener informes automatizados, o el precio, entre otros. (b) Evaluación técnica de las características de la prueba, que incluye cuestiones generales como la calidad del modelo sustantivo, o la calidad de los materiales e informes generados, y cuestiones relacionadas con su calidad psicométrica: análisis psicométrico de ítems, evidencias de validez, fiabilidad y adecuación de las normas o baremos. Para todas estas cuestiones se incluyen preguntas abiertas que permiten razonar las puntuaciones asignadas y proporcionar alguna otra información que pudiera resultar relevante. Y, finalmente, (c) valoración global cuantitativa y cualitativa del test, cuyo resultado cuantitativo queda plasmado en una ficha técnica.

El proceso de revisión se inicia con el nombramiento de un coordinador o coordinadora por parte de la Comisión de Test, y con la selección de las pruebas a evaluar. Cada test es evaluado por dos revisores independientes, habitualmente un psicómetra y un profesional experto en el constructo que mide el test. Las revisiones independientes son integradas por el coordinador en un informe que es enviado a las editoriales para que hagan los comentarios que estimen oportunos. Finalmente, con toda la información a su disposición el coordinador de la evaluación elabora un informe final que se cuelga en la página web de la Comisión de Test, y está a libre disposición de todos los profesionales. En la tabla 2 aparecen los coordinadores de las diferentes evaluaciones.

TABLA 2.  COORDINADORES DE LAS EVALUACIONES DE TEST LLEVADAS A CABO POR LA COMISIÓN DE TEST DEL COP 

Hasta la fecha (noviembre 2021) se han llevado a cabo nueve ediciones de este proceso de revisión, con un total de 89 pruebas revisadas, en sus distintas versiones. En este momento ya está en marcha la décima edición. Todas las revisiones detalladas pueden consultarse en la página web del COP: http://www.cop.es/index.php?page=evaluacion-testeditados-en-espana. A partir de ellas se han llevado a cabo diferentes trabajos que resumen tanto los resultados como el proceso de evaluación, realizando también interesantes aportaciones complementarias e innovadoras (por edición sucesiva: Muñiz et al., 2011; Ponsoda y Hontangas, 2013; Hernández et al., 2015; Elosua y Geisinger, 2016; Fonseca y Muñiz, 2017; Hidalgo y Hernández, 2019; Gómez-Sánchez, 2019; Viladrich et al., 2021).

Creemos que la evaluación de la calidad de los test es un proyecto muy relevante, con repercusiones muy positivas sobre la mejora del uso de los test y, por ende, sobre la práctica profesional de la Psicología. Prueba de ello es que, en la última encuesta de opinión de los psicólogos sobre los test (Muñiz et al., 2020), aquellos que conocen las evaluaciones, en general las consideran importantes y necesarias. Indican además que consultan los informes y que éstos les ayudan a tomar decisiones sobre los test a utilizar. No obstante, se constata que únicamente un 22.5% de los encuestados dijeron conocerlas (Muñiz, et al., 2020), por tanto, queda pendiente una clara labor de difusión.

ESTÁNDARES, DIRECTRICES Y CÓDIGOS ÉTICOS Y PROFESIONALES

Dentro de la labor de diseminación de información, la comisión se encarga de propagar, y para ello en muchos casos ha de traducir y resumir, las directrices internacionales más relevantes en materia de evaluación mediante test. En su página web pone a disposición de los profesionales las siguientes directrices:

  • Una adaptación de los códigos éticos y de buenas prácticas de la Asociación Americana de Psicología (APA, 1992).

  • Las normas mínimas para el uso adecuado de los test (adaptadas de Moreland et al., 1995).

  • Las directrices de la ITC referidas a: (a) uso ético y adecuado de los test; (b) traducción y adaptación de test de unas culturas a otras (ver Muñiz et al., 2013 y Hernández et al., 2020); (c) control de calidad de las puntuaciones de los test, su análisis e informes; (d) seguridad de los test, exámenes y otras evaluaciones; y (e) uso de los test y otros instrumentos de evaluación en investigación. En Muñiz et al. (2015) puede consultarse un resumen de las tres últimas directrices.

Por lo que se refiere al proceso de evaluación psicológica, que incluye a los test como una herramienta fundamental, cabe destacar la participación de la Comisión de test en la elaboración de la Guía europea del Proceso de Evaluación (Fernández-Ballesteros et al., 2001), traducida al español en la web de la comisión, y de la Norma ISO 10667 (ISO, 2011) en cuya redacción colaboró el entonces presidente de la comisión, José Muñiz. La Norma, que ha sido revisada en 2020, entró en funcionamiento en España el año 2013 y es especialmente relevante para el campo de la Psicología del Trabajo y de las Organizaciones, ya que regula todo lo relativo al proceso de evaluación de las personas en el ámbito laboral y organizacional. Aunque, según información proporcionada por AENOR, la agencia responsable de la norma en España (4 de noviembre de 2021), en este momento solo hay 10 empresas certificadas, la encuesta llevada a cabo por el Grupo de Trabajo de Psicología y Buenas Prácticas en Reclutamiento y Selección de Personas del COP de Madrid (COP-Madrid, 2015), sugiere que la norma puede estar siendo adoptada a nivel menos formal por un número mayor de organizaciones. Según esta encuesta, y tal como recomienda la Norma: (a) la mayoría de empresas llevan un registro de la documentación técnica de los métodos de evaluación que utilizan en sus procesos de reclutamiento y selección (56%), (b) las personas que realizan las evaluaciones poseen la formación técnica/específica requerida (74%), (c) se informa a las personas evaluadas sobre las distintas fases del proceso y las implicaciones de cada una de estas fases (90%), y (d) se garantiza la seguridad y la confidencialidad de la información recabada durante el proceso de evaluación (91%). Estos números indican que se va por el buen camino, si bien, en algunos aspectos, todavía queda espacio para la mejora.

OTRAS ACCIONES Y PROYECTOS

La organización de mesas redondas y simposios centrados en la evaluación mediante test en congresos nacionales e internacionales, o la organización de acciones formativas puntuales sobre construcción, utilización y evaluación de pruebas son acciones complementarias organizadas por la comisión de test. En concreto, destacan los cursos organizados por el Consejo General del COP a través del Programa de Formación Continuada a Distancia (FOCAD) (Elosua, 2019; Muñiz y Fonseca, 2017), o los ofrecidos por las principales editoriales de test que operan en España (TEA, Pearson, GiuntiEOS o CEPE). Son estas últimas las que velan por aplicar la única acción restrictiva que se ejerce en nuestro país para el uso de los test: exigir que únicamente las personas cualificadas tengan acceso a los test según su clasificación de acuerdo con las categorías APA (A, B y C) (APA, 2014). Aquellos test clasificados como B (pruebas colectivas de carácter cognoscitivo y de personalidad) o C (pruebas individuales y test proyectivos) únicamente pueden ser adquiridas por psicólogos.

INTERNACIONALIZACIÓN DE LA COMISIÓN DE TEST

Como no podría ser de otra manera en un mundo globalizado, los proyectos en los que trabaja la Comisión traspasan los límites de nuestras fronteras, y se enmarcan en una visión internacional de colaboración y cooperación para la mejora en el uso de los test. La Comisión de Test trabaja regularmente con organismos internacionales como la Federación Europea de Asociaciones de Psicólogos (EFPA, European Federation of Psychologists' Associations), y la Comisión Internacional de Test (ITC, International Test Commission) que ofrecen un marco de referencia y un ámbito de aplicación internacional en la regulación del uso de los test (Bartram, 2011; Muñiz y Bartram, 2007; Muñiz et al., 2001).

En este sentido es importante destacar el trabajo de la ITC en el desarrollo y difusión de directrices relacionadas con diferentes aspectos relacionados con la construcción, adaptación y uso de test. Las directrices tratan de dar respuesta a las demandas y retos a los que se enfrenta el uso correcto de test. Además de las directrices ya mencionadas, la ITC ha realizado recomendaciones sobre: (a) evaluaciones a gran escala en poblaciones lingüísticamente y/o culturalmente diversas (ITC, 2018), (b) uso de actualizaciones de test y test obsoletos (ITC, 2015), (c) evaluación informatizada y a través de internet (ITC, 2005) y a publicar próximamente, (d) evaluaciones apoyadas en la tecnología, desarrolladas de forma conjunta con la Association of Test Publishers (ATP).

La Comisión de Test en su calidad de miembro del Committee on Tests and Testing (desde 2011 denominado Board of Assessment) de la EFPA, ha participado en los estudios internacionales sobre las actitudes y opiniones de los psicólogos hacia los test. En la primera edición del proyecto participaron 6 países europeos (Muñiz et al., 2001), y en la segunda el número de participantes se incrementó hasta 17 (Evers et al., 2012), a los que se añadieron posteriormente 12, que incluían países de Africa, América y Oceania, como Brasil, Líbano, Indonesia, Nigeria o Nueva Zelanda (Evers et al., 2017). En este momento se continúa recopilando información para abordar una tercera edición del proyecto. Los resultados de estos estudios permiten comparar las opiniones de los psicólogos de distintos países. Los últimos datos concluyen que en todos los países en general la opinión hacia los test es positiva, apreciándose un ligero escepticismo con relación al uso de Internet, con excepción de China que puntúa significativamente alto en este aspecto (Evers et al., 2017). Una vez finalice el estudio será interesante analizar la evolución de las opiniones y actitudes durante los últimos 30 años.

Otro proyecto importante de la EFPA que ha calado en la Comisión es el desarrollo y actualización de un modelo para la evaluar la calidad de los test. El primer modelo fue publicado en la página web de la EFPA en 2002 (Bartram, 2002), y posteriormente ha sido revisado en dos ocasiones: 2008 (Lindley et al., 2008) y 2013 (Evers et al., 2013). La última actualización sirvió de inspiración al modelo español CET-R. En este momento la EFPA ha formado un nuevo grupo de trabajo para estudiar una nueva actualización, que incorpore aspectos novedosos, como la gamificación, que están siendo incorporados en la evaluación psicológica y educativa.

Finalmente, destacamos la creación de los estándares de competencias requeridas para poder usar test en los distintos campos de la psicología. Estos estándares son de obligado cumplimiento para los países miembros de EFPA que estén interesados en obtener certificaciones europeas de usuarios de test. Este proyecto se puso en marcha junto con la EAWOP (European Association of Work and Organizational Psychology) para el ámbito de la Psicología del Trabajo y las Organizaciones y, posteriormente, se generalizó a las áreas de Educación y de Salud. Estas certificaciones europeas, que acreditan las competencias de los usuarios de test, están siendo ya emitidas en países como Reino Unido o Suecia.

Toda documentación referida a los distintos proyectos de la EFPA en materia de test, puede consultarse en http://assessment.efpa.eu/documents-/. Las directrices y recomendaciones de la ITC pueden consultarse en https://www.intestcom.org/page/28.

MIRANDO HACIA EL FUTURO

La Comisión de Test ha cumplido veinticinco años, y en sus bodas de plata, además de la mirada a lo ya hecho, queremos hacer algunas reflexiones sobre el futuro. Lo hacemos con suma prudencia, sabedores de que el futuro, como bien nos advirtió Séneca (2013), yace en la incertidumbre, y que su naturaleza es líquida, evanescente y está plagada de cisnes negros, es decir, sucesos altamente improbables e impredecibles que cambian nuestras vidas, la pandemia por COVID-19, fue el último (Bauman, 2002; Taleb, 2008). En los años venideros la comisión va a continuar fortaleciendo y potenciando las líneas de trabajo que ya tienen una sólida trayectoria, y para potenciar su eficacia y utilidad hay que tratar de mejorar su difusión entre los profesionales de la psicología. Como hemos señalado, en el último estudio de opinión sobre los test por parte de los psicólogos (Muñiz, et al., 2020), solo un 22.5% de los encuestados dijeron conocer una actividad central de la comisión como es la evaluación de la calidad de los test que se hacen públicas en la página web del COP. Tampoco la publicación de estándares y recomendaciones sobre el uso de los test parece, en sí misma, suficiente parar cambiar las prácticas evaluativas (Rios y Sireci, 2014). Una vía para mejorar el impacto de las directrices relacionadas con el uso de test sería su inclusión de forma explícita en los planes de estudio de Psicología, principalmente a través de las asignaturas de Psicometría y Evaluación Psicológica. Algunas universidades ya lo hacen, incorporando el modelo CET-R en las prácticas de Psicometría (Viladrich et al., 2021). En cualquier caso, se debe seguir trabajando en aumentar la visibilidad y el impacto de las acciones de la Comisión de Test entre los profesionales, lo que redundará en un acortamiento de la distancia entre el mundo académico y la investigación y la práctica profesional (Elosua, 2012).

Pero seguramente los principales retos futuros de la comisión tienen que ver con la creciente incorporación de las nuevas tecnologías a la evaluación. Los avances tecnológicos están influyendo de forma determinante en las distintas fases de la evaluación y en los propios instrumentos de medida. Por citar solo algunos ejemplos, la elaboración de los ítems, con contenidos multimedia, o basados en juegos, la obtención de puntuaciones y la elaboración de informes, que puede realizarse de forma automatizada, o el modo de aplicación de las pruebas, a través de internet, mediante aplicaciones adaptativas, etc. (Nieto et al., 2018; Parshall et al., 2010; Sanz et al., 2020; Seelow et al., 2019; Sorrel et al., 2021; Wan y Henly, 2012). Todo ello genera nuevas necesidades y situaciones a las que hay que responder. La reciente pandemia originada por la COVID-19 y su impacto en la evaluación psicológica, por ejemplo, muestran la necesidad continua de adaptación a nuevos entornos y el papel que puede jugar la tecnología en ese proceso. El confinamiento y el distanciamiento social forzaron la necesidad de realizar evaluaciones a distancia y de administrar test de forma remota (Elosua, 2021), algo que habría sido impensable hace décadas. Pero no solo eso, la tecnología, especialmente a través de teléfonos móviles y otros portables, también está contribuyendo al aumento de la evaluación ambulatoria, que recoge información sobre las conductas, emociones, pensamientos, etc., de las personas, de una forma personalizada, dinámica, contextual y ecológica (Muñiz y Fonseca-Pedrero, 2019). Y estos avances permiten el uso de nuevos indicadores, tales como respuestas fisiológicas, indicadores físicos, movimientos oculares, o información proporcionada por las redes sociales. Este tipo de indicadores generan tal cantidad de información que las técnicas tradicionales de análisis de datos no son capaces de manejarlos, por lo que emergen nuevas metodologías de análisis agrupadas bajo la denominación de big data (Kosinski et al., 2013). Este tipo de datos también requieren nuevos modelos psicométricos, como los modelos de redes (Borsboom y Cramer, 2013; Fonseca-Pedrero, 2018), o los modelos de sistemas dinámicos (Nelson et al., 2017).

Todos estos avances suponen grandes oportunidades para la evaluación psicológica y tienen importantes ventajas. Tal y como señalan Simmering et al. (2019), en primer lugar, facilitan la recogida de datos dinámicos, en tiempo real, y permiten incluir información contextual. Todo esto puede contribuir a aumentar la validez ecológica de las evaluaciones, y evitar la necesidad de responder de forma retrospectiva o de generalizar a partir de una evaluación puntual mediante un test tradicional. En segundo lugar, facilita el registro de información sobre procesos (tiempos de respuesta a los ítems, mediciones de la pupila, interacciones sociales) que puede resultar muy útil para obtener evidencias de la validez de las medidas de ciertos constructos, como el control de la atención o, a nivel grupal, la confianza o el liderazgo. En tercer lugar, permite no solo crear test adaptativos, sino que también puede dar a los individuos feedback personalizado en función de sus respuestas o de las puntuaciones globales en el test, lo que en sí mismo es una intervención que puede mejorar el aprendizaje y ciertos comportamientos. Asimismo, con la evaluación ambulatoria, la identificación casi inmediata de estados o situaciones de riesgo para la persona permitirá realizar acciones inmediatas que incrementen las posibilidades de éxito de la intervención. Finalmente, la posibilidad de presentar ítems audiovisuales o de realidad virtual permite crear situaciones más realistas que aumenten la validez ecológica de las evaluaciones y disminuyan ciertos sesgos de respuesta como la deseabilidad social (Woods et al., 2020). Además, estos formatos suelen ser más motivadores para las personas, que se involucran más en las pruebas, lo que podría contribuir a reducir el error de medida.

Algunos de los avances tecnológicos mencionados ya se están implementando en nuestro país. Por ejemplo, hay más test adaptativos comercializados (Barrada, 2012), y se están creando aplicaciones móviles para la evaluación ambulatoria, como, por ejemplo, la app para realizar el seguimiento telemático de niños y jóvenes en riesgo de padecer problemas psicológicos durante el reciente confinamiento por COVID-19: https://www.fbbva.es/noticias/una-app-parael-seguimiento-de-jovenes-con-problemas-de-salud-mental-duranteel-confinamiento/). Sin embargo, según la encuesta realizada por Muñiz et al. (2020), la mayoría de los psicólogos colegiados siguen siendo algo reticentes a la incorporación de este tipo avances tecnológicos. Dicha reticencia puede estar justificada por las cuestiones que todavía no están bien resueltas y lo retos que suponen todos los avances mencionados (Iliescu y Greiff, 2019; Simmering et al., 2019; Tonidandel et al., 2002)

Uno de los principales retos es garantizar que estos avances tecnológicos tan prometedores no pongan en peligro lo esencial: la validez de constructo (Iliescu y Greiff, 2019; Simmering et al., 2019; Woods et al., 2020). Por muy motivadoras y realistas que sean las pruebas, por más información objetiva que incorporen, es necesario garantizar la calidad psicométrica de las puntuaciones generadas. Algunas reflexiones y ejemplos del rigor psicométrico que debe acompañar a los test innovadores tecnológicamente pueden encontrarse en los trabajos de este monográfico (Abad et al., 2022; Andrés, et al., 2022; Elosua, 2022; Fonseca-Pedrero et al., 2022; Santamaría y Sánchez-Sánchez, 2022; Suárez-Álvarez et al., 2022). Por su parte, la Psicometría deberá avanzar en el diseño de nuevas formas de evaluar la calidad psicométrica. Además, la incorporación de la tecnología abre toda una serie de cuestiones éticas y de equidad, dependiendo de los recursos tecnológicos y del grado de familiaridad con la tecnología de las personas evaluadas, sin descartar posibles reacciones negativas ante la evaluación. Otro foco de nuevos problemas son las cuestiones de seguridad, tales como el control de ítems expuestos online, la identidad de participantes que son evaluados online, la privacidad (por ejemplo, cuando se emplean datos de redes sociales), el mantenimiento y almacenamiento de gran cantidad de datos, etc.

A pesar de estos problemas y riesgos, los test que emplean algunos de los avances metodológicos presentados (los test informatizados, la obtención automática de puntuaciones, los test adaptativos, los informes automatizados, la evaluación ambulatoria) están teniendo cada vez más presencia en nuestro país. Y no nos cabe duda de que se irán incorporando muchos más. Sin embargo, antes de adoptar una tecnología concreta, los psicómetras, los autores y los editores de test deben valorar los posibles costes y beneficios de dicha tecnología para evaluar un constructo determinado en la población de interés. Y, sobre todo, las pruebas que implementen estos avances deben ir acompañadas de garantías de calidad psicométrica, con estudios rigurosos que las avalen.

La Comisión debe estar muy atenta a cómo los distintos avances se implementan en nuestro país y son adoptados por las casas editoriales y por los profesionales. En la medida en que las distintas tecnologías se incorporen a la práctica profesional de la Psicología, será necesario actualizar el modelo de evaluación de test (CET-R). Por otra parte, la traducción y difusión de las directrices que regulan la evaluación informatizada y a través de internet (ITC, 2005) y de las próximas directrices de la ITC que regulan las evaluaciones basadas en la tecnología, y su seguimiento, permitirán aumentar el rigor en la construcción e implementación de estos test de nueva generación. Sin embargo, hay que tener en cuenta que muchas de estas nuevas formas de evaluación utilizan complejos algoritmos y modelos que escapan con frecuencia a las competencias y conocimientos de los psicólogos, siendo necesario el trabajo colaborativo con otros profesionales, como programadores e ingenieros de software y hardware. La tecnología por sí sola no es garantía de nada (Liem et al., 2018), es crucial que la incorporación de la tecnología al ámbito de la evaluación se haga siempre con garantías psicológicas y psicométricas, no dejándose deslumbrar por los fuegos artificiales de la tecnología por la tecnología. Ni los datos ni la tecnología saben psicología, ese saber lo ponen los psicólogos; la definición clara del constructo psicológico evaluado, la fiabilidad y la validez no son negociables, por citar solo tres cuestiones esenciales. La Comisión de Test del COP, cuan Argos de cien ojos, pondrá todo su empeño para velar para que se cumplan dichas garantías psicológicas y psicométricas.

AGRADECIMIENTOS

Los autores desean expresar su máximo agradecimiento a todas las personas que han colaborado con la Comisión de Test en el desarrollo de sus proyectos y actividades, con especial mención para quienes formaron parte de ella en algún momento. Muchas gracias a todos, sin su ayuda no hubiera sido posible el desarrollo de las actividades descritas en el artículo.

REFERENCIAS

Abad, F. J., Schames, R., Sorrel, M., Nájera, P., García-Garzón, E., Garrido, L. E., y Jiménez, M. (2022). Construyendo tests adaptativos de elección forzosa “on the fly” para la medición de la personalidad. Papeles del Psicólogo, 43(1), 29-35. https://doi.org/10.23923/pap.psicol.2982Links ]

American Psychological Association (1992). Ethical principles of psychologists and code of conduct. American Psychologist, 47(12), 1597–1611. https://doi.org/10.1037/0003-066X.47.12.1597Links ]

American Educational Research Association, American Psychological Association, and National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Psychological Association. [ Links ]

Andrés, J. C., Aguado, D., y de Miguel, J. (2022). ¿Qué hay detras de LinkedIn? Midiendo a través de rúbricas las LinkedIn Big Four Dimensions. Papeles del Psicólogo, 43(1), 12-20. https://doi.org/10.23923/pap.psicol.2979Links ]

Barrada, J. R. (2012). Tests adaptativos informatizados: una perspectiva general. Anales de Psicología, 28(1), 289-302. [ Links ]

Bartram, D. (2002). Review model for the description and evaluation of psychological tests. Brussels: European Federation of Psychologists' Associations (EFPA) [ Links ]

Bartram, D. (2011). Contributions of the EFPA Standing Committee on Test and Testing (SCTT) to standards and good practice. European Psychologist, 16(2), 149-159. https://doi.org/10.1027/10169040/a000093Links ]

Bauman, Z. (2002). Modernidad líquida. México: FCE. [ Links ]

Borsboom D., y Cramer, A. O. J. (2013). Network analysis: An integrative approach to the structure of psychopathology. Annual Review of Clinical Psychology, 9, 91-121. https://doi.org/10.1146/annurevclinpsy-050212-185608Links ]

Colegio Oficiales de Psicólogos de Madrid (COP-Madrid) (2015). II Encuesta del Observatorio de Reclutamiento y Selección de Personas. https://issuu.com/colegioo?cialpsicologosmadrid/docs/presentaci n_de_resultados_2014_deLinks ]

Elosua, P. (2012). Tests publicados en España: Usos, Costumbres y Asignaturas Pendientes. Papeles del Psicólogo, 33(1), 12-21. [ Links ]

Elosua, P. (2019). Los test psicológicos en la práctica profesional. FOCAD. Consejo General de Psicología de España. [ Links ]

Elosua, P. (2021). Aplicación remota de test: riesgos y recomendaciones. Papeles del Psicólogo, 42, 33-37. https://doi.org/10.23923/pap.psicol2021.2952Links ]

Elosua, P. (2022). Impacto de la TIC en el entorno evaluativo. Innovaciones al servicio de la mejora continua. Papeles del Psicólogo, 43(1), 3-11. https://doi.org/10.23923/pap.psicol.2985Links ]

Elosua, P., y Geisinger, K. F. (2016). Cuarta evaluación de tests editados en España: Forma y fondo. Papeles del Psicólogo, 37(2), 82-88. [ Links ]

Evers, A., Muñiz, J., Bartram, D., Boben, D., Egeland, J., Fernández-Hermida, J.R., y col. (2012). Testing practices in the 21st Century: Developments and European psychologists' opinions. European Psychologist, 17(4), 300-319. https://doi.org/10.1027/1016-9040/a000102Links ]

Evers, A., Muñiz, J., Hagemeister, C., Høstmælingen, A., Lindley, P., Sjöberg, A., y Bartram, B. (2013). Assessing the quality of test: Revision of the EFPA review model. Psicothema, 25(3), 283-291. https://doi.org/10.7334/psicothema2013.97Links ]

Evers, A., McCormick, C. M., Hawley, L. R., Muñiz, J., Balboni, G., Bartram, D., ... & Zhang, J. (2017). Testing practices and attitudes toward tests and testing: An international survey. International Journal of Testing, 17 (2), 158-190. https://doi.org/10.1080/15305058.2016.1216434Links ]

Fernández-Ballesteros, R., DeBruyn, E.E.J., Godoy, A., Hornke, L., Ter Laak, J. Vizcarro, C., Westhoff, K., Westmeyer H. y Zacagnini, J.L. (2001) Guidelines for the Assessment Process (GAP): A proposal for Discussion. European Journal of Psychological Assessment, 17(3), 187-200. https://doi.org/10.1027/1015-5759.17.3.187Links ]

Fonseca-Pedrero, E. (2018). Análisis de redes en psicología. Papeles del Psicólogo, 39(1), 1-12. https://doi.org/10.23923/pap.psicol2018.2852Links ]

Fonseca, E., y Muñiz, J. (2017). Quinta evaluación de tests editados en España: mirando hacia atrás, construyendo el futuro. Papeles del Psicólogo, 38(3), 161-168. 7. https://doi.org/10.23923/pap.psicol2017.2844Links ]

Fonseca-Pedrero, E., Ródenas, Gabriel, Pérez-Albéniz, A., AlHalabí, S., Pérez, M., y Muñiz, J. (2022). La hora de la evaluación ambulatoria. Papeles del Psicólogo, 43(1), 21-28 https://doi.org/10.23923/pap.psicol.2983Links ]

Gómez Sánchez, L. E. (2019). Séptima evaluación de test editados en España. Papeles del Psicólogo, 40(3), 205-210. https://doi.org/10.23923/pap.psicol2019.2909Links ]

Hernández, A., Hidalgo, M. D., Hambleton, R. K. y Gómez-Benito, J. (2020). International Test Commission guidelines for test adaptation: A criterion checklist. Psicothema, 32(3), 390-398. https://doi.org/10.7334/psicothema2019.306Links ]

Hernández, A., Hidalgo, M. D., Muñiz, J., y Fernández-Hermida, J. R. (2021). Diferencias de opinión sobre el uso de los test: su relación con la edad el género y el sector laboral. Papeles del Psicólogo, 42(2), 94-104. https://doi.org/10.23923/pap.psicol.2960Links ]

Hernández, A., Tomás, I., Ferreres, A., y Lloret, S. (2015). Tercera evaluación de tests editados en España. Papeles del Psicólogo, 36(1), 1-8. [ Links ]

Hernández, A., Ponsoda, V., Muñiz, J., Prieto, G., y Elosua, P. (2016). Revisión del modelo para evaluar la calidad de los tests utilizados en España. Papeles del Psicólogo, 37(3), 192-197. [ Links ]

Hidalgo, M. D., y Hernández, A. (2019). Sexta evaluación de test editados en España: resultados e impacto del modelo en docentes y editoriales. Papeles del Psicólogo, 40(1), 21-30. https://doi.org/10.23923/pap.psicol2019.2886Links ]

Iliescu, D., y Greiff, S. (2019). The impact of technology on psychological testing in practice and policy. European Journal of Psychological Assessment, 35(2), 151–155. https://doi.org/10.1027/10155759/a000532Links ]

International Test Commission (2005). International Guidelines on Computer-Based and Internet Delivered Testing. [http://www.intestcom.org]. [ Links ]

International Test Commission (2015). International Guidelines for Practitioner Use of Test Revisions, Obsolete Tests, and Test Disposal. [http://www.intestcom.org]. [ Links ]

International Test Commission. (2018). ITC Guidelines for the LargeScale Assessment of Linguistically and Culturally Diverse Populations. [http://www.InTestCom.org] [ Links ]

ISO (2011). Procedures and methods to assess people in work and organizational settings (part 1 and 2). Geneva: Author. [ Links ]

Kosinski, M., Stillwell, D., y Graepel, T. (2013). Private traits and attributes are predictable from digital records of human behaviour. Proceedings of the National Academy of Sciences (PNAS), 110, 5802-5805. https://doi.org/10.1073/pnas.1218772110Links ]

Liem, C. C. S., Langer, M., Demetriou, A., Wicaksana, A.S., Hiemstra, A. M. F., Born, M. P., y König, C. J. (2018). Psychology meets machine learning: Interdisciplinary perspectives on algorithmic job candidate screening. En H. J. Escalante, S. Escalera, I. Guyon, X. Baró, Y. Güçlütürk, U. Güçlü, y M. A. J. v. Gerven (Eds.), Explainable and interpretable models in computer vision and machine learning (pp. 197–251). Springer. https://doi.org/10.1007/978-3-319-98131-4_9Links ]

Lindley, P.A., Bartram, D., & Kennedy, N. (2008). EFPA Review Model for the description and evaluation of psychological tests: Test review form and notes for reviewers: Version 3.42. Brussels: EFPA Standing Committee on Tests and Testing (September, 2008). [ Links ]

Moreland, K. L., Eyde, L. D., Robertson, G. J., Primoff, E. S., y Most, R.B. (1995). Assessment of test user qualifications: A research-based measurement procedure. American Psychologist, 50(1), 14–23. https://doi.org/10.1037/0003-066X.50.1.14Links ]

Muñiz, J., y Bartram, D. (2007). Improving international test and testing. European Psychologist, 12(3), 206-219. https://doi.org/10.1027/1016-9040.12.3.206Links ]

Muñiz, J., y Fernández-Hermida, J.R. (2000). La utilización de los test en España. Papeles del Psicólogo, 76, 41-49. [ Links ]

Muñiz, J., y Fernández-Hermida, J.R. (2010). La opinión de los psicólogos españoles sobre el uso de los test. Papeles del Psicólogo, 31(1), 108-121. [ Links ]

Muñiz, J., y Fonseca, E. (2017). Construcción de instrumentos de medida en psicología. Madrid: FOCAD. Consejo General de Psicología de España. [ Links ]

Muñiz, J., Elosua, P., y Hambleton, R.K. (2013). Directrices para la traducción y adaptación de los test: segunda edición. Psicothema, 25(2), 151-157. https://doi.org/10.7334/psicothema2013.24Links ]

Muñiz, J., Hernández, A., y Ponsoda, V. (2015). Nuevas directrices sobre el uso de los tests: investigación, control de calidad y seguridad. Papeles del Psicólogo, 36(3), 161-173. [ Links ]

Muñiz, J., Hernández, A., y Fernández-Hermida, J. R. (2020). Utilización de los test en España: el punto de vista de los psicólogos. Papeles del Psicólogo, 41 (1), 1-15. https://doi.org/10.23923/pap.psicol2020.2921Links ]

Muñiz, J., Fernández-Hermida, J.R., Fonseca-Pedrero, E., Campillo-Álvarez, A., y Peña-Suárez, E. (2011). Evaluación de test editados en España. Papeles del Psicólogo, 32(2), 113-128. [ Links ]

Muñiz, J., Bartram, D., Evers, A., Boben, D., Matesic, K., Glabeke, K., Fernández-Hermida, J.R., y Zaal, J. (2001). Testing practices in European countries. European Journal of Psychological Assessment, 17(3), 201-211. https://doi.org/10.1027/1015-5759.17.3.201Links ]

Nelson, B., McGorry, P. D., Wichers, M., Wigman, J. T., y Hartmann, J. A. (2017). Moving from static to dynamic models of the onset of mental disorder. JAMA Psychiatry, 74(5), 528-534. https://doi.org/10.1001/jamapsychiatry.2017.0001Links ]

Nieto, M. D., Abad, F. J., y Olea, J. (2018). Assessing the Big Five with bifactor computerized adaptive testing. Psychological Assessment, 30(12), 1678–1690. https://doi.org/10.1037/pas0000631Links ]

Parshall, C. G., Harmes, J. C., Davey, T., y Pashley, P. J. (2010). Innovative Items for Computerized Testing. En W. J. van der Linden, y C. A. W. Glas (Eds.), Elements of Adaptive Testing, Statistics for Social and Behavorial Sciences (pp. 215–230). Springer. https://doi.org/10.1007/978-0387-85461-8Links ]

Ponsoda, V., y Hontangas, P. (2013). Segunda evaluación de test editados en España. Papeles del Psicólogo, 34(2), 82-90. [ Links ]

Prieto, G., y Muñiz, J. (2000). Un modelo para evaluar la calidad de los test utilizados en España. Papeles del Psicólogo, 77, 65-71. [ Links ]

Rios, J. A., y Sireci, S. G. (2014). Guidelines versus practices in cross-lingual assessment: A disconcerting disconnect. International Journal of Testing, 14(4), 289–312. https://doi.org/10.1080/15305058.2014.924006Links ]

Santamaría, P. y Sánchez-Sánchez, F. (2022). Cuestiones abiertas en el uso de las nuevas tecnologías en la evaluación psicológica. Papeles del Psicólogo, 43(1), 48-54. https://doi.org/10.23923/pap.psicol.2984Links ]

Sanz, S., Luzardo, M., García, C., y Abad, F. J. (2020). Detecting cheating methods on unproctored Internet tests. Psicothema, 32(4), 549-558. https://doi.org/10.7334/psicothema-2020.86Links ]

Seelow, D. (2019). The art of assessment: Using game based assessments to disrupt, innovate, reform and transform testing. Journal of Applied Testing Technology, 20(S1), 1-16. [ Links ]

Séneca, L. A. (2013). Sobre la brevedad de la vida, el ocio y la felicidad. Acantilado. [ Links ]

Simmering, V. R., Ou, L., y Bolsinova, M. (2019) What Technology Can and Cannot Do to Support Assessment of Non-cognitive Skills. Frontiers of Psychology, 10, 21-68. https://doi.org/10.3389/fpsyg.2019.02168Links ]

Sorrel, M. A., Abad, F. J., y Nájera, P. (2021). Improving Accuracy and Usage by Correctly Selecting: The Effects of Model Selection in Cognitive Diagnosis Computerized Adaptive Testing. Applied Psychological Measurement, 45(2), 112-129. https://doi.org/10.1177/0146621620977682Links ]

Suárez-Álvarez, J., Fernández-Alonso, R., García-Crespo, F. J., y Muñiz, J. (2022). El uso de las nuevas tecnologías en las evaluaciones educativas: La lectura en un mundo digital. Papeles del Psicólogo, 43(1), 36-47. https://doi.org/10.23923/pap.psicol.2986Links ]

Taleb, N. (2008). El cisne negro. Paidós. [ Links ]

Tonidandel, S., Quiñones, M. A., y Adams, A. A. (2002). Computeradaptive testing: The impact of test characteristics on perceived performance and test takers' reactions. Journal of Applied Psychology, 87(2), 320–332. https://doi.org/10.1037/0021-9010.87.2.320Links ]

Viladrich, C., Doval, E., Penelo, E., Aliaga, J., Espelt, A., García-Rueda, R., y Angulo-Brunet, A. (2021). Octava evaluación de test editados en España: Una experiencia participativa. Papeles del Psicólogo, 42(1), 1-9. https://doi.org/10.23923/pap.psicol2020.2937Links ]

Wan, L., y Henly, G. A. (2012). Measurement properties of two innovative item formats in a computer-based test. Applied Measurement in Education, 25(1), 58-78. https://doi.org/10.1080/08957347.2012.635507Links ]

Woods, S. A., Ahmed, S., Nikolaou, I., Costa, A. C., y Anderson, N. R. (2020). Personnel selection in the digital age: A review of validity and applicant reactions, and future research challenges. European Journal of Work and Organizational Psychology, 29(1), 64-77. https://doi.org/10.1080/1359432X.2019.1681401Links ]

Received: November 01, 2021; Accepted: December 10, 2021

Correspondencia: Ana Hernández. IDOCAL. Universidad de Valencia. Av. Blasco Ibáñez, 21. 46010 Valencia. España. E-mail: Ana.Hernandez@uv.es

CONFLICTO DE INTERESES. Los autores declaran que no existe conflicto de intereses

Creative Commons License Este es un artículo publicado en acceso abierto (Open Access) bajo la licencia Creative Commons Attribution Non-Commercial No Derivative, que permite su uso, distribución y reproducción en cualquier medio, sin restricciones siempre que sin fines comerciales, sin modificaciones y que el trabajo original sea debidamente citado.