Chequeos de Referencias, Habilidad Mental General y Experiencia: Un Estudio de Validez de Constructo

Reference Checks, General Mental Ability, and Experience: A Study of Construct Validity

 

 

Mario Lado

Universidad de Santiago de Compostela

Dirección para correspondencia

 

 

---

RESUMEN

El término "referencias" hace alusión a la información sobre ciertas características personales relacionadas con el comportamiento laboral de una persona y que otra persona (normalmente un jefe directo) aporta sobre la primera. Las referencias se basan en el supuesto de que "el mejor modo de averiguar algo sobre alguien es preguntándole a alguien que lo conozca" y son un método ampliamente utilizado y potencialmente eficaz para la selección de personal. El objetivo general de este artículo es responder a la siguiente pregunta: ¿qué miden realmente las referencias? Para ello se han recogido los estudios primarios existentes en la literatura sobre esta materia y se han aplicado diversas técnicas meta-analíticas. Los resultados indican que las referencias miden principalmente Habilidad Mental General y Experiencia. Asimismo, se hacen sugerencias de estudio para averiguar otros constructos que pudieran estar integrados en las referencias.

Palabras clave: Referencias. Validez de constructo. Habilidad mental general. Experiencia. Meta-análisis.

---

ABSTRACT

Reference check is a term that reports information about personal characteristics related to job performance of one person and that another person (usually a supervisor) provide about the first. References are based on the assumption that "the best way to find out about someone is to ask someone who knows" and they are widely used and potentially effective for personnel selection. The main objective of this paper is to answer the following question: what do the references actually measure? There have been collected the primary studies in the literature on this subject and two meta-analyses were conducted. The results indicate that reference check measure General Mental Ability and Experience. Suggestions for research to find other constructs that could be integrated in the references are provided.

Key words: References. Construct validity. General mental ability. Experience. Meta-analysis.

---

 

Bajo la denominación de "referencias", en la literatura científica existe una serie de términos que hacen alusión a las mismas, aunque presentan algunas diferencias y variaciones. Así por ejemplo, se suelen utilizar como sinónimos o equivalentes los siguientes términos: referencias personales, carta de recomendación, formulario de recomendación, informes de referencia, control de referencia, comprobantes de referencia, solicitud de referencia, hoja de servicios, voucher, perif, etc. Aún así, la misma literatura (Heneman y Heneman, 1994, por ejemplo) tiende a distinguir el conjunto de las referencias en dos grandes apartados, "Cartas de Recomendación" e "Informes o Chequeos de referencias".

Las referencias personales constituyen uno de los tres métodos más utilizados para el reclutamiento y la selección de personal. Los otros dos métodos son el historial profesional o currículo y la entrevista de selección. Estudios basados en muestreos realizados tanto en Europa como en Estados Unidos y Canadá como en Australia y Nueva Zelanda han puesto de manifiesto que las referencias se han utilizado y se utilizan en más del 90% de los procesos de selección de personal. Esto es debido a diversas razones entre las que se encuentran que es un método de fácil uso y bajo coste, que permite recoger y manejar una gran cantidad de información sobre las personas que están siendo evaluadas y que es un método muy flexible. Si la recogida de información se realiza de una manera adecuada, se podrá conocer cuál ha sido el comportamiento y rendimiento pasado del candidato en su puesto de trabajo y dicha información podrá servir también para pronosticar de un modo relativamente válido el futuro rendimiento del candidato en el puesto de trabajo al que aspira.

Cualquier persona, sin necesidad de formación específica, puede recoger o tratar de conseguir información sobre un posible candidato consultando a sus anteriores empleadores y además se puede hacer mediante una simple llamada telefónica, con lo cual su coste es muy bajo. En segundo lugar, la información solicitada puede versar sobre múltiples conceptos y variables, tales como el desempeño laboral, los conocimientos profesionales, las actitudes hacia el trabajo y la organización, las relaciones con los jefes y compañeros, las características de personalidad o la presencia de comportamientos contra-productivos. Una tercera razón para la utilización de las referencias es que sirven absolutamente para todas las ocupaciones y no están restringidas a ocupaciones y puestos específicos, en otras palabras, es un método muy flexible. Además, las referencias, como método de recogida de información, son habituales en los contextos cotidianos y otros contextos ajenos al ámbito de la selección de personal, ya que permiten adquirir conocimientos acerca de algo o alguien y que son conocimientos que consideramos más o menos válidos en función de la fuente de información. En este sentido, y dado que las referencias constituyen un método ampliamente utilizado y potencialmente eficaz para la selección de personal, el objetivo general de este artículo es responder a la siguiente pregunta: ¿qué miden realmente las referencias? No obstante antes de centrarnos directamente en esta pregunta, se presenta seguidamente un examen de la literatura sobre la utilización de las referencias para la selección de personal, los problemas que se generan en su recogida y los diversos métodos de recogida de referencias existentes.

 

Las referencias y la selección de personal

El término genérico de "referencias" hace alusión a uno de los métodos más utilizados en los procesos de selección de personal y consiste en la recogida de información sobre ciertas características personales o laborales que una persona (normalmente un supervisor) aporta sobre el comportamiento laboral de un sujeto (normalmente un candidato). Comparando las referencias con otros instrumentos habituales en selección de personal (p. ej., las entrevistas o las hojas de solicitud de empleo), se puede afirmar que, mientras que las entrevistas permiten al candidato hablar por sí mismo sobre el principio de que "el mejor modo de saber algo sobre alguien es preguntándole", las referencias se basan en que "el mejor modo de averiguar algo sobre alguien es preguntándole a alguien que lo conozca" (Cook, 1988). Más aún, así como la entrevista o, incluso las hojas de solicitud de empleo, nos permiten saber "qué" hizo el candidato, las referencias nos permiten saber "cómo" lo hizo.

Sondeos realizados desde los años 50 sobre el uso de los instrumentos de selección muestran que las referencias son uno de instrumentos preferidos por las organizaciones para el reclutamiento y la selección de su personal (Beason y Belt, 1976; Bevan y Fryatt, 1988; Clark, 1992; Hyde, 1982; Kingston, 1971; Marsden, 1994; Milkovich y Boudreau, 1994; Mosel y Goheen, 1958; National Industrial Conference Board, 1965; Robertson y Makin, 1986; Ryan, McFarland, Baron y Page, 1999; Shackleton y Newell, 1994 ). En resumen, dichos sondeos indican que los chequeos de referencias son un instrumento ampliamente utilizado en las organizaciones dentro del proceso de selección de personal y persiguen dos objetivos principales; comprobar la veracidad de la información aportada por el candidato en las otras fases del proceso y obtener información adicional no proporcionada por los otros instrumentos. Asimismo, la utilización de las referencias en el proceso de selección es habitual tanto para puestos directivos como para los puestos operativos. Además, los estudios no muestran diferencias significativas teniendo en cuenta tanto el tamaño de las empresas como el volumen de contrataciones.

Aún teniendo en cuenta su amplio uso, durante el proceso de recogida de información sobre referencias personales, se pueden producir algunos problemas que deben ser tenidos en cuenta con el fin de que no incidan en la validez. Estos posibles problemas pueden surgir por cuatro motivos principales: (1) resistencia a la aportación de referencias, (2) sobrevaloración o indulgencia, (3) dificultades en la recogida de la información e (4) impacto de las características del suministrador de referencias.

La resistencia a la aportación de referencias suele ser la mayor dificultad que aparece en el proceso, dificultad que se hace mayor cuando el candidato en cuestión ha tenido problemas laborales con la persona que aporta la información. Es posible que el anterior empleador sólo proporcione datos acerca de la actividad general y cargo del empleado. En algunos países, en Estados Unidos, por ejemplo, donde existe una estricta legislación al respecto, esta resistencia a aportar información se ve incrementada por el temor a incurrir en responsabilidad penal, difamación o invasión de la privacidad por parte de la empresa que aporta información sobre antiguos empleados. No obstante, este tipo de resistencia puede ser minimizada si el solicitante presenta una autorización expresa por parte del candidato en la que éste autoriza a aquél a solicitar la información laboral que estime oportuna.

La indulgencia, bondad o sobrevaloración consiste en la tendencia a proporcionar referencias extremadamente positivas de un candidato. Provocan que la mayoría de las cartas de recomendación e informes de referencia sean positivos. Esta sobrevaloración es posible debido a varios motivos, como por ejemplo que los candidatos eligen a las personas que pueden aportar referencias acerca de ellos. Por otra parte, la confidencialidad de la información aportada va a determinar que ésta sea más positiva cuando el que proporciona la información sabe que el candidato va a tener acceso a su lectura, que cuando sabe de antemano que el candidato no va a tener acceso a ella (Ceci y Peters, 1984; Shaffer y Tomarelli, 1981).

La recogida de la información es otro de los problemas existentes en el proceso de chequeo. dicho proceso pasa por el envío a los anteriores empleadores de un formato impreso en el que se les solicita información acerca de un antiguo empleado. Por diversas causas esa información no siempre llega de vuelta al seleccionador. Existen pocos datos disponibles que indiquen la cantidad de cuestionarios que son completados y luego enviados de vuelta (Bingham, 1926; Mosel y Goheen, 1959; Nash, 1970; Nash y Carroll, 1970a). En general, la tasa de repuesta se sitúa en torno a un 35%. Con el fin de mejorar la tasa de respuesta, Nash y Carroll aconsejan incluir en los envíos un sobre franqueado para la vuelta, una copia del cuestionario, así como una carta individualizada, firmada a mano y dirigida al director de personal. No existen datos actualmente sobre la eficacia de otros métodos de recogida de información a tener en cuenta en la actualidad, como son el correo electrónico y las redes sociales vinculadas a colectivos profesionales de momento.

Las características del suministrador de referencias, del candidato, del receptor y las relaciones existentes entre ellos pueden incidir también en la validez de las referencias (Browning, 1968; Carroll y Nash, 1970; Kryger y Shikiar, 1978; Mosel y Goheen, 1959). Por ejemplo, en cuanto al sexo, los individuos tienden a ser más condescendientes en las valoraciones con aquellos de su mismo sexo (Carroll y Nash, 1970). Aun así, las referencias proporcionadas por mujeres tienden a ser más positivas que las proporcionadas por hombres y tienden a ser más benévolas que los hombres cuando valoran tanto a los antiguos empleados como a los actuales (Carroll y Nash, 1970, 1972; Kryger y Shikiar, 1978). En cuanto a la raza, existe una tendencia a dar una valoración superior a los individuos de la misma raza que a los de otra (Bryan, 1992). Otro factor importante es el conocimiento que el proveedor de referencias tenga del antiguo empleado. Carroll y Nash concluían que las referencias dadas por los supervisores sobre empleados que han estado menos de dos meses junto a ellos, carecen de validez predictiva. Por otra parte, también carecen de validez predictiva si, además, la ocupación del antiguo empleado no se corresponde con la ocupación actual. Las referencias dadas por una persona de un país carecen de validez para predecir trabajo en otro.

 

Tipos de métodos de recogida de información de referencias

Los métodos de recogida de las referencias suelen agruparse en dos grandes grupos: (a) cartas de recomendación y (b) chequeos de referencias. Las cartas de recomendación son documentos en los que un supervisor anterior (por ejemplo, el responsable del equipo de trabajo o del departamento en el que ha trabajado el candidato) expone una valoración de las características laborales de un empleado con el fin de facilitarle la incorporación a una nueva organización. El uso de Cartas de Recomendación plantea problemas como los siguientes (Ceci y Peters, 1984; Knouse, 1983; Loher et al., 1997; Mehrabian, 1965; Peres y Garcia, 1962; Heneman y Heneman, 1994; Wiens, Jackson, Manaugh y Matarazzo, 1969): (a) una elevada restricción del rango de sus puntuaciones como predictor, (b) la ausencia de una estructura-modelo o patrón estándar y (c) la presencia de sesgos (p. ej., el efecto de los estereotipos ocupacionales) tanto en los escritores como en los lectores de las cartas. Por su parte, el chequeo de referencias es quizás la técnica de recogida de información personal más frecuentemente incluida por las organizaciones en los procesos de selección de personal. Se lleva a cabo principalmente para comprobar la veracidad y precisión de la información que un candidato aporta a lo largo del proceso. de hecho, la información que se verifica con más frecuencia en los chequeos de referencias es aquella relacionada con las características del trabajo que ha realizado el candidato, las valoraciones del anterior empleador, los resultados académicos, datos clínicos y otros datos personales (Beason y Belt, 1976; Hyde, 1982). Otros objetivos de los chequeos de referencias son, por una parte, la comprobación de ausencias de problemas disciplinarios, recabando información acerca de conductas anteriores relacionadas con el absentismo, casos de negligencia en el trabajo o violencia (Hyde, 1982; Aamodt, Nagy y Thompson, 1998) y, por otra parte, conseguir información nueva acerca del candidato, como por ejemplo sobre sus hábitos de trabajo, sus destrezas, habilidades o características de personalidad, con el fin de mejorar la predicción del rendimiento del candidato en el trabajo (Carroll y Nash, 1970).

En general, los chequeos de referencias se llevan a cabo en las últimas fases del proceso de selección. Ahora bien, es necesario distinguir entre el ámbito de la investigación y la práctica profesional. Sería deseable para la investigación que la información obtenida mediante el chequeo de referencias estuviese disponible con los demás datos del proceso, esto es, los resultados de la entrevista, las puntuaciones de los tests y otros procedimientos (p. ej., cuestionarios de personalidad). Eso permitiría averiguar las relaciones existentes entre los procedimientos, así como el papel que juega cada uno de los instrumentos utilizados en el proceso de selección de personal. Sin embargo, en la práctica profesional esto no ocurre siempre así. En este sentido es habitual que, desde una perspectiva de ahorro de costes, los chequeos de referencias se lleven a cabo cuando ya se han obtenido los resultados de las demás pruebas del proceso y solamente se soliciten referencias de aquellos candidatos que han obtenido buenos resultados en dichas pruebas (Beason y Belt, 1976). Si bien esto permite comprobar y verificar la información obtenida previamente y bajo un criterio de ahorro de costes, estos resultados cuando se trasladan al ámbito de la investigación aparecen sesgados y con una importante restricción del rango que dificulta estimar adecuadamente la fiabilidad y la validez de este instrumento en la selección de personal. En conclusión, sería deseable en ambos casos disponer de la información sobre los chequeos de referencias al mismo tiempo que se obtiene la información proveniente de otros instrumentos.

También hay diferencias en cuanto a la forma de realizar los chequeos de referencias. Este proceso suele realizarse principalmente de cuatro maneras: (a) por correo, (b) por teléfono, (c) una visita personal o (d) por medio de agencias de investigación. El chequeo por correo y mediante un cuestionario es una forma relativamente frecuente y presenta una amplia variedad en función del tipo de preguntas que contenga; por ejemplo, preguntas con respuestas dicotómicas, en escala, con comentarios, etc., y su eficacia depende del tipo de cuestionario utilizado. El chequeo por teléfono, es quizás el más utilizado en la actualidad. Se caracteriza por aportar rapidez, menor costo, flexibilidad y por permitir la indagación directa. Es el método preferido por los seleccionadores debido a la facilidad y rapidez de obtención de referencias, a la facilidad para probarlas, a la relación personal que crea el medio y a la información adicional que suministra, por ejemplo, el tono de voz del valorador o la posibilidad de información más reservada (Nash y Carroll, 1970a; Pyron, 1970). La visita personal aporta mayor calidad y precisión en la recogida de información y, creando un clima adecuado, asegura su fiabilidad. Por otra parte, exige un coste de tiempo superior a cualquier otro medio, lo que supone un inconveniente cuando los candidatos son numerosos. Además, es prácticamente inviable cuando quien proporciona las referencias vive a considerable distancia del seleccionador. Actualmente, y debido al auge de la comunicación vía internet, cabe pensar que es posible adaptar este nuevo medio al proceso de chequeo de referencias y quizás releve en cierta medida a otros métodos como el correo o el teléfono. Todavía existen algunas dudas acerca de la idoneidad de este medio en cuanto a la autenticidad y confidencialidad y de cómo superar estas limitaciones.

 

La validez de constructo de las referencias

La validez de constructo trata de aclarar en qué medida la respuesta observada en las pruebas tiene un determinado significado, valorando el grado en que la relación empírica de las pruebas es consistente con este significado. Se podría definir como la correlación entre las puntuaciones verdaderas en la medida y el constructo que se intenta medir con ella (Schmidt, 1993) o como "el grado en que ciertos conceptos o constructos psicológicos explican el rendimiento en una medida, es decir, si realmente estamos midiendo lo que pretendemos medir con un instrumento" (Moscoso, 1999). de acuerdo a Cronbach y Meehl (1955), en su artículo original sobre la "validez de constructo", el establecimiento de la validez de constructo de una medida requiere que se desarrolle la "red nomológica" de dicha medida. Se entiende por red nomológica una red completa de leyes que relacionan una medida con otras variables, en otras palabras, que esa medida presente una correlación apreciable con otras que sean teóricamente relevantes. En consecuencia, para establecer la validez de constructo es imprescindible seguir los siguientes pasos (Schmitt y Klimoski, 1991):

1. La formulación de una definición teórica del constructo o constructos incluidos en la medida, así como la especificación de sus manifestaciones y de las interrelaciones entre los conceptos.

2. La verificación empírica de esas relaciones.

3. La inferencia y explicación que dé sentido a la validez de constructo de una cierta medición o de una prueba en particular.

Ahora bien, en el caso de las referencias personales debe tenerse en cuenta la diferencia planteada por Hunter y Hunter (1984) entre método y contenido. En efecto, las referencias son un método de evaluación de información para la toma de decisiones de empleo, pero también es necesario considerar qué es lo que están midiendo. Tanto el análisis del contenido de las cartas de recomendación realizado por Peres y García (1962), como los informes sobre el contenido de las referencias muestran dos aspectos: (a) las referencias personales no son un constructo psicológico y (b) pueden incluir información correspondiente a diversos constructos psicológicos. Al tener presente estas dos circunstancias, es posible plantear conjeturas fundamentadas sobre cuáles pueden ser los constructos medidos por las referencias.

Considerando conjuntamente la diferenciación entre método y contenido realizada por Hunter y Hunter y los tres pasos necesarios para el establecimiento de la validez de constructo de una medida, lo restante de esta introducción estará destinado a: (1) establecer posibles hipótesis sobre las relaciones entre la información contenida en las referencias (medida) y diversos constructos teóricos; (2) reunir, examinar y analizar la evidencia empírica disponible sobre tales relaciones y (3) tratar de explicar el por qué de dichas relaciones o la falta de las mismas.

 

Variables psicológicas relacionadas o contenidas en las referencias

Ya se ha señalado que las referencias en sí mismas no son una variable psicológica, pero que la información contenida en ellas pueden ser indicadora de diversos constructos, los cuales finalmente permiten que las referencias sean predictores válidos de conductas laborales de interés (p. ej., desempeño en el trabajo, promociones, éxito en la formación o permanencia en el puesto). Varios autores han planteado hipótesis o conjeturas sobre qué pueden estar midiendo las referencias. Por ejemplo, Hunter y Hunter (1984) sugieren que las referencias pueden estar midiendo tres tipos de conceptos: (a) inteligencia, (b) habilidades sociales, y (c) experiencia laboral. Lamentablemente, Hunter y Hunter no van más allá de tal sugerencia y tampoco presentan un desarrollo de qué es lo que están entendiendo por habilidades sociales. La experiencia laboral ha sido también sugerida por Mosel y Goheen (1959) como uno de los constructos medidos por las referencias. Otro constructo que podría estar incluido en las referencias es la personalidad. La línea iniciada por Peres y Garcia (1962) y continuada por Aamodt (1999; Aamodt, Bryan y Wintcomb 1993) sugiere que las referencias y, especialmente, las cartas de recomendación contienen información relativa a la personalidad de los candidatos y, por tanto, las referencias estarían evaluando la personalidad. de hecho, la clasificación de rasgos de personalidad encontrada por Peres y Garcia (1962) guarda un gran paralelismo con el modelo de los cinco grandes factores de personalidad (Goldberg, 1990, 1992; Block, 1995, John, 1989; McCrae y Costa, 1991).

A partir de la búsqueda de la literatura para este artículo, se ha podido constatar que el número de estudios primarios que se han ocupado de presentar algún tipo de relación de las referencias con otras variables psicológicas (p. ej., inteligencia o personalidad) es extremadamente reducido y que únicamente un número escaso de estudios permiten avanzar en el conocimiento de la red nomológica de la validez de constructo de las referencias. Uno de tales estudios sobre la validez de constructo de las referencias fue hecho hace ya más cinco décadas por Mosel y Goheen (1959). Estos autores señalaban que existía una creencia acerca de las limitaciones del ERQ (su instrumento de recogida de información sobre de las referencias) en cuanto al tipo y variedad de información recogida. El ERQ servía como instrumento para valorar a los candidatos en una amplia variedad de factores de personalidad, destrezas, conocimientos, relaciones humanas, y desarrollo ocupacional. Mosel y Goheen encontraron correlaciones de .22 (economistas), .54 (examinador de presupuestos) y .45 (director de formación) entre el ERQ y las entrevistas para recoger referencias. Para poder obtener una interpretación más precisa de los resultados de Mosel y Goheen (1959), lo más conveniente es integrar cuantitativamente los tres resultados y corregir el promedio por el error de medida en ambas variables. Para ello se toman los resultados del estudio de Lado (2001) que indican que la fiabilidad promedio de las referencias es .70. Por tanto, se puede utilizar este valor para corregir la validez observada por error de medida. El resultado de la integración cuantitativa de los tres resultados muestra una correlación promedio .55 corregida por fiabilidad. Los resultados indican que las dos medidas de recogida de las referencias están altamente correlacionadas y, por lo tanto, están midiendo constructos similares. Además, los resultados informan también que toda la variabilidad que habían observado Mosel y Goheen era de naturaleza artifactual, puesto que cuando se eliminan de la varianza observada los efectos de la varianza de error de muestreo y del error de medida en X e Y, la varianza resultante es 0. debe tenerse en cuenta, sin embargo, que la validez corregida alcanzada en este re-análisis es una subestimación de la verdadera correlación entre ambos métodos, puesto que las puntuaciones obtenidas tanto en el ERQ como en la entrevista de información están sometidas a restricción del rango y no se ha hecho ninguna corrección en este sentido, pero es obvio que con una muestra tan limitada lo más probable es que exista restricción del rango.

Este estudio de Mosel y Goheen (1959) es informativo de que dos métodos diferentes de recogida de la información de las referencias, que incluyen diferente contenido, alcanzan una gran convergencia en lo que están midiendo. Por tanto, es una aportación relevante para la literatura. Sin embargo, no lo es desde un punto de vista teórico. En efecto, tal estudio no nos informa sobre qué están midiendo las referencias. En este sentido, no es un estudio muy informativo sobre la naturaleza psicológica de las referencias, puesto que no nos indica si la correlación alcanzada se debe a que ambos métodos miden inteligencia, personalidad, experiencia previa, conocimientos del puesto o una combinación de éstas y otras variables. Por ello en los apartados que siguientes se tratará específicamente la relación de las referencias con tales variables.

a) Las Referencias y la Habilidad Mental General

La relación entre las referencias y la habilidad mental general es de interés por varias razones. En primer lugar, algunos autores han manifestado que las referencias incluyen preguntas sobre la habilidad mental de los candidatos y, por tanto, podrían estar midiendo esta variable. En segundo lugar, múltiples investigaciones primarias y meta-análisis han demostrado que la habilidad mental general es la variable psicológica que presenta la validez predictiva más elevada del rendimiento ocupacional y del éxito en la formación (Salgado, 1998; Schmidt y Hunter, 1998; Salgado et al., 2003a, 2003) y, puesto que la habilidad mental general es el mejor predictor del rendimiento, es necesario conocer si toda o parte de la validez de criterio de las referencias se debe a que miden habilidad mental general.

Existen varias investigaciones que relacionaron las puntuaciones de las referencias con medidas de habilidad mental general o con medidas de habilidades cognitivas y que permiten especular sobre la relación entre estas variables. Por ejemplo, Rhea (1966), en varias muestras de oficiales de la marina de Estados Unidos, la mayoría de las cuales contenían a un amplio número de individuos, encontró relaciones que van de -.01 hasta .26. Otros estudios en los que las referencias fueron relacionadas con la habilidad mental general fueron realizados por Mehrabian (1965), Handyside y duncan (1954) y Murden, Galloway, Reid y Colwill (1978). En el primero de tales estudios, Mehrabian encontró una correlación de .19 entre una medida de la habilidad mental general y la valoración de las cartas de recomendación. Por su parte, Handyside y duncan (1954) también incluyeron la correlación entre las referencias y la inteligencia. de acuerdo a sus resultados, estas dos medidas son esencialmente independientes una de la otra y su correlación es 0. Murden et al., (1978) también encontraron una correlación de 0 entre la valoración de las cartas de recomendación y una medida de habilidad mental general.

Haciendo un resumen de la evidencia empírica anterior se puede afirmar que la correlación entre las referencias y la habilidad mental general ha mostrado un cierto grado de variabilidad pues los coeficientes han ido desde -.01 hasta .26. No obstante, es preciso tener en cuenta que todas las correlaciones mencionadas son correlaciones observadas, es decir, ninguna ha sido corregida ni por error de medida ni por restricción en el rango en X e Y. Teniendo en cuenta que tales correlaciones contienen error de medida, error de muestreo y restricción en el rango de las puntuaciones, es lógico pensar que la relación entre la habilidad mental y las referencias es positiva y que la variabilidad observada puede ser debida a errores artifactuales. Por tanto, se plantea la siguiente hipótesis:

H1. Las referencias personales incluyen información sobre la habilidad mental de los candidatos. Por ello predecimos que existirá una correlación positiva entre las valoraciones de las referencias y la habilidad mental general.

b) Las Referencias y la Experiencia Laboral

La experiencia laboral ha sido considerada una variable que está incluida en las puntuaciones derivadas de las referencias (Hunter y Hunter, 1984). La base de tal especulación es que el contenido de las referencias, tanto de los chequeos como de las cartas de recomendación y de los antecedentes laborales, incluye información sobre el tipo de experiencia y la duración de la misma. Tan sólo dos estudios empíricos han tratado la relación entre estas dos variables. El primero de ellos fue realizado por Mosel y Goheen (1958), quienes exploraron la relación entre las referencias y la valoración de la experiencia en cinco muestras de otras tantas ocupaciones. Estos dos autores encontraron que las correlaciones tenían un rango que iba desde -.09 a .11. En otro estudio, Salgado et al. (2001) encontraron una correlación de .10 entre la experiencia y las referencias. Estos coeficientes, como ocurría en el caso de la relación entre las referencias y la habilidad mental general, son subestimaciones de las verdaderas correlaciones. Ante esta información, parece que quienes valoran las referencias también están valorando, en cierto grado, la información sobre la experiencia, por ello está fundado teóricamente plantear la siguiente hipótesis:

H2. Las referencias personales incluyen información sobre la experiencia laboral/profesional de los candidatos. Por ello predecimos que existirá una correlación positiva entre las valoraciones de las referencias y la experiencia laboral.

Puesto que existe un cierto número de investigaciones sobre la relación entre las referencias y la habilidad mental general y sobre la relación entre las referencias y la experiencia, el resultado de un meta-análisis psicométrico, que integre cuantitativamente los resultados de dichas investigaciones, será la aproximación más precisa disponible de la distribución de dicha relación. No obstante, el meta-análisis a realizar debe contener dos diferencias importantes con respecto al meta-análisis psicométrico conducido habitualmente para conocer la validez predictiva de un procedimiento de selección de personal. En este último, el interés reside en conocer la validez operativa, es decir el tamaño del efecto que X ejerce sobre Y. Por ello, la corrección del error de medida de validez se ejerce solo sobre Y, pero no sobre X. Tampoco se corrige por restricción del rango en Y, puesto que se desconoce si se ha producido tal restricción en el criterio. Sin embargo, en un meta-análisis dirigido a conocer la relación entre dos medidas teóricas deben efectuarse dos correcciones adicionales. En efecto, siguiendo la definición de Schmidt (1993), según la cual la validez de constructo viene reflejada por la correlación entre las puntuaciones verdaderas en la medida y el constructo que se intenta medir con ella, la correlación resultante de un meta-análisis tiene que ser la correlación verdadera entre X e Y. Se entiende por correlación verdadera aquella que se produce entre las puntuaciones verdaderas de las dos variables y las puntuaciones verdaderas son aquellas que se dan con ausencia de error de medida y con ausencia de restricción del rango. Por tanto, para estimar la correlación verdadera entre los constructos o dos medidas teóricas, la correlación observada se debe corregir tanto por error de medida en X e Y como por restricción en el rango de las puntuaciones de X e Y.

Hasta hace pocos años no existían fórmulas para tratar directamente el caso del doble truncamiento (doble restricción en el rango) y su efecto solo se podía estimar de forma aproximada. Pearson (1908) había hallado una solución parcial al problema del doble truncamiento, pero no una fórmula exacta. Posteriormente, Wells y Fruchter (1970) desarrollaron un procedimiento aproximativo, pero de elevada complejidad dado el número de fórmulas y el número de iteraciones que se requerían. Más recientemente, Alexander, Carson, Alhiger y Carr (1987) desarrollaron una fórmula relativamente simple para tratar el problema de la doble restricción. Los estudios de simulación indicaron que dicha fórmula era completamente precisa en el caso de truncamiento unidimensional, y muy precisa en el caso de que el truncamiento fuese bidimensional. de hecho, en más del 90% de los casos el error de estimación era menor que +/- 0.02.

 

Método

Búsqueda de Literatura

La búsqueda de la literatura se realizó a través de diferentes bases de datos (PsycInfo, Web of knowledge, Google Scholar) utilizando las siguientes palabras clave: Reference check, letter of reference, letter of recommendation, references. Asimismo, todas las revisiones y artículos clásicos sobre chequeos de referencias fueron inspeccionados para localizar artículos que no lo hubieran sido por algunos de los procedimientos anteriores. El resultado fue un conjunto de 9 estudios que incluían una correlación entre una medida de habilidad mental general y una medida de referencias. Las mismas estrategias de búsqueda de la literatura utilizadas para la relación entre referencias y habilidad mental general se aplicaron para encontrar estudios sobre la relación entre referencias y experiencia. El resultado fue el hallazgo de 6 correlaciones obtenidas con muestras independientes y que relacionaban las referencias y la experiencia.

 

Procedimiento

La aplicación del meta-análisis psicométrico y la doble corrección por truncamiento hace que cinco fuentes artifactuales de error se tuvieran en cuenta en el presente análisis. Tales fuentes son: error de medida en X (referencias), error de medida en Y (habilidad mental general, experiencia), restricción del rango de puntuaciones de X, restricción del rango de puntuaciones de Y y error de muestreo. Las cuatro primeras fuentes de error producen subestimación del valor verdadero de la relación entre X e Y, así como variabilidad en dicha relación. Por su parte, el error de muestreo hace que los valores varíen aleatoriamente de su valor verdadero. Para poder llevar a cabo el meta-análisis se requiere conocer la distribución de los valores de las cuatro primeras fuentes de error y tales distribuciones las tomamos de las siguientes fuentes: (1) la distribución del error de medida en X la tomamos del estudio de Lado (2001), (r_xx = .70; Sd = .07); (2) la distribución del error de medida de la habilidad mental general se toma del estudio de Salgado et al. (2003b), r_yy = .83; Sd = .09; (3) la distribución de la restricción del rango en las referencias la tomamos del estudio de Lado (2001), (u = .51; Sd = .14); (4) la distribución de la restricción del rango de las puntuaciones de habilidad mental general se obtuvo del promedio de las distribuciones utilizadas en los meta-análisis de Hunter y Hunter (1984) y Salgado et al. (2003b) y que finalmente proporcionan un valor estimado de u = .64 (Sd = .09); y (5) por último, la distribución de la restricción del rango de las puntuaciones de la experiencia, se considera en este artículo que es semejante a la distribución de la habilidad mental general.

 

Resultados

Correlación entre Referencias y Habilidad Mental General

Un primer objetivo del presente meta-análisis es poner a prueba la hipótesis de que las valoraciones de las referencias están correlacionadas con la habilidad mental general o, en otras palabras, si las valoraciones incluyen varianza de habilidad mental general. Los resultados del meta-análisis se presentan en la Tabla 1. Como ya se señalaba con anterioridad, el valor de interés es la correlación verdadera entre las referencias y la habilidad mental general (Q) y el mejor estimador de la correlación verdadera es la correlación observada corregida por error de medida en X e Y y por truncamiento en X e Y. En la Tabla 1 aparecen la correlación observada (r), la correlación corregida por error de medida (r_c) y la correlación corregida por doble truncamiento (Q).

 

 

Como puede apreciarse y conforme a la hipótesis 1, las referencias están parcialmente relacionadas con la habilidad mental general, con una correlación corregida igual a .25. Por consiguiente, los resultados empíricos apoyan la hipótesis planteada de que las referencias incluyen varianza de habilidad mental general, que en este estudio se estima en un 6.25%. Estos resultados también indican que la correlación observada subestima de un modo muy elevado la verdadera relación entre las referencias y la habilidad mental general, hasta el punto de que si se hiciera caso a la correlación observada, ambas variables prácticamente no tendrían relación. Igualmente, los resultados indican que la variabilidad observada se debe totalmente a errores artifactuales y que la variabilidad real es inexistente.

Correlación de las Referencias y la Experiencia en el Trabajo

Un segundo objetivo de este meta-análisis era poner a prueba la hipótesis sobre la relación entre las referencias y la experiencia laboral (hipótesis 2) y, por tanto, que las medidas de referencias incluyen varianza de presentan en la Tabla 2. Como en el caso del meta-análisis presentado en la sección anterior, el valor de interés es la correlación verdadera entre las referencias y la experiencia, y el mejor estimador de la correlación verdadera es la correlación observada corregida por error de medida en X e Y y por truncamiento en X e Y (Q).

 

 

En la Tabla 2 puede comprobarse que la relación verdadera entre las referencias y la experiencia es de .17, una correlación que, aunque modesta, apoya la hipótesis planteada más arriba. Los resultados también indican que toda la variabilidad observada en las correlaciones no corregidas se debía a causas artifactuales y que cuando dichas causas se eliminan, la variabilidad real es igual a cero. Finalmente, los resultados indican que casi el 3% de varianza de las referencias es varianza debida a la experiencia laboral de los candidatos.

Análisis conjunto de las referencias, habilidad mental general y la experiencia

Con los anteriores meta-análisis hemos visto cual es la relación de cada una de las variables, consideradas singularmente y las referencias. Pero para conocer la cantidad de varianza de las referencias explicada por la habilidad mental general y la experiencia conjuntamente, lo más adecuado es incluirlas en un análisis de regresión múltiple. Para efectuar tal análisis, además de la correlación bivariada entre las referencias y cada una de las variables singulares, es preciso conocer también la correlación entre las mismas. A este respecto, diferentes meta-análisis y estudios con muestras grandes realizados hace pocos años, han proporcionado la información necesaria sobre las relaciones entre tales variables. Moscoso (1999) ofrece una síntesis de tales meta-análisis y tales estudios y de esa síntesis se han sacado los datos oportunos para crear la siguiente matriz de correlaciones que será sometida a un análisis de regresión múltiple. En la Tabla 3 todas las correlaciones son correlaciones verdaderas (por tanto corregidas por error de muestreo y restricción en el rango).

 

 

El análisis de regresión múltiple, utilizando las referencias como variable dependiente y la habilidad mental general y la experiencia como variables como independientes, produjo una correlación múltiple igual a .30 y una R² igual a .09, lo que significa que las anteriores variables explican conjuntamente el 9.1% de la varianza de las referencias. Aunque esta cantidad de varianza explicada es relevante, es también verdad que todavía queda algo más del 90% de la varianza sin explicar. Cabe especular que en parte dicha varianza podría ser explicada por tres variables adicionales: (a) conocimientos profesionales, (b) habilidades sociales, (c) dimensiones de personalidad (p. ej., extraversión, conciencia). Lamentablemente, no se han encontrado estudios suficientes en el que se hubiese explorado estas posibilidades y que hubiesen servido para comprobar cuánta varianza de las referencias se explica en conjunto por todas las variables sugeridas en la literatura.

 

Discusión

El objetivo de este artículo era estudiar la validez de constructo de las referencias para su posterior aplicación en los procesos de selección de personal. En otras palabras, qué constructos o variables miden las referencias. Con este propósito, se realizaron dos metaanálisis para tratar de averiguar la relación existente entre la habilidad mental general, la experiencia profesional y las referencias. de este modo, por un lado se examinó la relación entre las referencias y la habilidad mental general y la experiencia laboral, y por otro lado, se examinó la cantidad de varianza de las referencias que explicaban conjuntamente la habilidad mental general y la experiencia. En las revisiones previas de la literatura sobre las referencias, revisiones de carácter narrativo, no se tuvo en cuenta que las referencias personales son un método de recogida de información y no un constructo psicológico y, como tal, pueden estar midiendo diversos constructos o variables. dicho en otros términos, ninguna de las revisiones de la literatura publicada hasta el momento estudiaron o consideraron la validez de constructo de la referencias.

La metodología general utilizada ha sido el metaanálisis psicométrico desarrollado por Hunter y Schmidt (2004) y para la aplicación de dichos método se creó una base de datos que incluyó el mayor número de estudios primarios del que se tienen noticias hasta el presente. Los resultados de dichos meta-análisis indicaron que las referencias están relacionadas con la habilidad mental general (Q = .25) y con la experiencia laboral (Q = .17). A partir de los resultados de los análisis efectuados y de la revisión de la literatura se pueden plantear las siguientes conclusiones: (a) las referencias incluyen varianza relacionada con la habilidad mental general y experiencia profesional; (b) en conjunto, tales variables permiten explicar cerca del 10% de la varianza de las referencias.

Los resultados del presente estudio tienen implicaciones para la teoría y la práctica de la selección de personal. desde el punto de vista de la teoría, los resultados indican que las referencias laborales son un método de obtención de información que contiene varianza correspondiente a múltiples constructos, entre los cuales la habilidad mental general y la experiencia explican una pequeña proporción de la varianza de las referencias. La presencia de varianza de tales constructos (y otros no identificados en este estudio) en las referencias supone que la predicción del desempeño en el trabajo en la que se empleen múltiples instrumentos de medida deberá tener en cuenta la característica multi-constructo de las referencias. desde el punto de vista práctico, la utilización de la referencias en los procesos de selección de personal, cuando se hayan utilizado previamente tests de habilidad mental general y medidas de experiencia laboral, supone que su contribución a la predicción no será absoluta. En la medida en que se empleen más instrumentos que aporten varianza explicada a las referencias, el valor de las mismas se reducirá proporcionalmente. Los profesionales de la selección de personal deberán tener en cuenta este hecho la diseñar los programas de selección.

Este estudio, como todos los estudios empíricos, presenta también algunas limitaciones que deben se tenidas en cuenta para un mejor consideración de los resultados. En primer lugar debe tenerse en cuenta que el número de estudios incluidos en los meta-análisis, aunque suficientes, son un número pequeño y sería deseable que un futuro se realizasen nuevos estudios. Además, algunos de ellos son bastante antiguos y pudiera ser que en la actualidad algunas relaciones encontradas en los mismos hayan variado. Una segunda limitación es que no se ha podido establecer la relación de las referencias con otras variables psicológicas como las habilidades sociales, la personalidad o el conocimiento del puesto. En este sentido, son necesarios estudios que relacionen las referencias con medidas de habilidades sociales, personalidad, y otras variables psicológicas.

En resumen, las referencias laborales son un método de de obtención de información sobre los solicitantes que, parcialmente, incluye varianza de habilidad mental general y de la experiencia laboral. Nuevos estudios son considerados necesarios para establecer la red nomológica completa de las referencias.

 

Extended Summary

Personal references are one of the procedures more frequently used in personnel selection. The other two methods are interviews and curricula. Personal references consist in collecting information about professional and personal characteristics of an individual. Typically, supervisors and colleagues provide this information. Surveys conducted since the 50's showed that the references are one of the methods that organizations prefer for recruitment and personnel selection (Beason & Belt, 1976; Bevan & Fryatt, 1988; Clark, 1992; Hyde, 1982; Kingston, 1971; Marsden, 1994; Milkovich & Boudreau, 1994; Mosel & Goheen, 1958; National Industrial Conference Board, 1965; Robertson & Makin, 1986; Ryan et al., 1999; Shackleton & Newell, 1994). Basically, there are two methods of references: (a) letters of recommendation and (b) reference checks. In the rest of this article, the term reference check will be used for both methods.

Reference checks are not a psychological construct but also a measurement method (Hunter & Hunter, 1984). However, reference checks can include variance corresponding to various psychological constructs that subsequently allow references predict relevant organizational behaviors (e.g., job performance, promotions, training success, tenure and so on). With regards to what constructs are included within the reference checks, several authors (e.g., Aamodt, 1999; Aamodt et al., 1993; Hunter & Hunter, 1984; Peres & García, 1962) have suggested that they can be measuring three types of concepts: (a) intelligence or general mental ability (GMA), (b) social skills, (c) job experience and (d) personality. Unfortunately, no systematic research was devoted to the examination of the construct validity of the reference checks. In this metaanalytic study the relationships of the reference checks with general mental ability and job experience are examined.

a) Reference Checks and General Mental Ability

The relationship between reference checks and GMA is relevant for several reasons. Firstly, some authors have suggested that reference checks include questions related to candidate intelligence and, therefore, they can be indirectly measuring GMA. Secondly, several primary studies and meta-analyses have demonstrated that GMA is the psychological variable with the largest predictive validity for predicting job performance and training success (Salgado, 1998; Schmidt y Hunter, 1998; Salgado et al., 2003a, 2003b) and, due to the fact that GMA is the best predictor of job performance, it is necessary to know if all or a part of the reference check validity is due to GMA.

Several studies have correlated GMA and cognitive ability measures with reference checks (e.g., Handyside & duncan, 1954; Mehrabian, 1965; Murden et al., 1978; Rhea, 1966). In summary, the empirical evidence shows a degree of variability, with observed correlations ranging from -.01 to .26. Consequently, we posit the following hypothesis:

H1. Reference checks include information on candidate GMA. Therefore, it is predicted that there will exist a positive correlation between these two measures.

b) Reference Checks and Job Experience

Hunter and Hunter (1984) suggested that job experience information is included in reference checks. This suggestion is based on the content of both reference checks and letters of recommendations, which include information on job experience and the length of tenure. Only two studies have examined the relationship between job experience and reference checks (Mosel & Goheen, 1958; Salgado et al., 2001b). Based on the results of these two studies, the following hypothesis is posited:

H2. Reference checks include information on job experience. Therefore, we predict that a positive correlation between these two variables will be found.

A psychometric meta-analysis, using the methods developed by Hunter and Schmidt (2004), was conducted in order to test the two hypotheses. A specific characteristic of the present study is that a correction for double range restriction was applied, using the formula developed by Alexander et al. (1987).

Method

Literature Search

The search for literature was conducted using several databases, including, PsycInfo, Web of knowledge and Google Scholar. The following key words were used: Reference check, letter of reference, letter of recommendation, references. Moreover, all classic articles and literature reviews were inspected in order to locate additional studies. The results of these searches were 9 studies that included a correlation between a reference check measure and a GMA measure and 6 studies that reported a correlation between job experience and a measure of reference check.

Procedure

Psychometric meta-analysis with the double correction for range restriction in X and Y was applied. Consequently, five error sources were taken into account: measurement error in X (references), measurement error in Y (GMA or job experience), range restriction in X, range restriction in Y, and sampling error. The first four error sources produce underestimation of the true value of the correlation between reference checks and GMA and job experience. For its part, sampling error produces an increase the variability of the observed coefficients. The following distributions were used in the meta-analysis: (1) the reliability of reference checks was taken from Lado (2001), (r_xx = .70; Sd = .07); (2) the reliability of GMA was taken from Salgado et al. (2003a; 2003b), r_yy = .83; Sd = .09; (3) the distribution of X range restriction was taken from Lado (2001), (u = .51; Sd = .14); (4) the distribution of range restriction of GMA was the average of the distributions used by Hunter y Hunter (1984) and Salgado et al. (2003a; 2003b) (u = .64; Sd = .09); and (5) the distribution of range restriction of job experience was assumed that it is similar to the GMA range restriction distribution.

Results

Correlation between References and General Mental Ability

The first objective of this meta-analysis is to check the hypothesis that the reference checks are correlated with GMA; in other words, if variance of GMA is included in the reference checks. The results of the meta-analysis are reported in Table 1. As was mentioned before, the value of interest is the true correlation between reference check and GMA (Q) and the best estimator of the true correlation is the observed correlation corrected for the measurement error in X and Y and corrected for range restriction in X and Y. The observed correlation (r), the correlation corrected for measurement error (r_c) and the true correlation (Q) appear in Table 1.

As can be seen, and in agreement with Hipothesis 1, reference check are related to GMA, with a true correlation of .25. Therefore, the empirical results support the hipothesis that reference check includes variance of GMA. The results indicate that 6.25% of reference check variance is GMA variance. The results also indicate that the observed correlation underestimates in a large extent the true relation between reference check and GMA. The results also show that the observed variability is totally explained by artifactual errors and that there is no real variance.

Correlation of Reference Check and Job Experience

The second objective of this meta-analysis was to test the hypothesis on the relationship between reference check and job experience (Hypothesis 2), and therefore, that the reference check include job experience variance. The results of the meta-analysis are reported in Table 2. As in the case of the previous meta-analysis, the figure of interest is the true correlation between reference check and job experience, and the best estimator of the true correlation is the observed correlation corrected for measurement error in X and Y and for double truncation in X and Y (Q).

It can be seen in Table 2 that the true correlation between reference check and job experience is .17, a modest size of correlation but which supports Hypothesis 2. The results also show that all observed variability is due to artifactual errors. When the variance of artifactual errors is taken into account the true variance equals to 0. Finally, the results also show that almost 3% of reference check variance is explained by candidate job experience.

Joint Analysis of Reference Check, General Mental Ability, and Job Experience

In order to know the total amount of reference check variance jointly explained by GMA and job experience, a multiple regression analysis was conducted. To carry out such analysis, together with the bivariate correlation among reference check and GMA and job experience, it is necessary to know the correlation between GMA and job experience. To this respect, several meta-analyses and primary large-sample studies provide the information needed on the relationship between GMA and job experience. Moscoso (1999) has summarized those meta-analytic results. The correlation matrix of the three variables appears in Table 3 (the correlations are corrected for measurement error and range restriction).

The multiple regression analysis was conducted using reference check as dependent variable and GMA and job experience as independent variables. The results showed a multiple correlation of .30 (R²= .09). This means that the two variables jointly explain 9.1% of reference check variance. Although this amount of explained variance is relevant, it is also true that over 90% of variance remains unexplained. It is possible to speculate that, in part, the rest of variance might be explained by three additional variables: (a) job knowledge, (b) social skills, and (c) personality dimensions (e.g., extraversion, conscientiousness). Unfortunately, there are no enough studies to explore this potential relations.

Discussion

The findings of the current study have implications for the theory and the practice of personnel selection. From the theoretical point of view, the findings showed that reference checks are a method of collecting information that contains variance related to multiple constructs, including, among others, GMA and job experience. These two variables explain a small amount of reference check variance. This fact implies that the prediction of job performance using reference check together with other procedures must take into account the multi-construct characteristic of the reference checks. From the point of view of the application of reference checks to the personal selection processes, it should be taken into account that the contribution of the reference check to the prediction of job performance will not be absolute when cognitive tests and job experience measures have been previously used.

The current study has some limitations that should be considered in order to have better understanding of the results. Firstly, the number of studies was small and it would be desirable that new primary studies were conducted. A second limitation is that the relationship between reference checks with other variables was not established. In this sense, new studies on the relationship among reference checks and measures of social skills, personality, and other psychological variables would be necessary.

In summary, reference checks are a method for obtaining information on candidates that, partially, include GMA and job experience variance. In the future, new studies should be conducted in order to establish the full nomological network of reference checks.

 

Referencias

(^*) Estudios primarios que contienen los datos de esta investigación.

1. Aamodt, M. G. (1999). Applied Industrial / Organizational Psychology. Belmont, CA; Wadsworth Publishing Company.         [ Links ]

2. Aamodt, M. G., Bryan, d. A., & Whitcomb, A. J. (1993). Predicting performance with letters of recommendation. Public Personnel Management, 22, 81-90.         [ Links ]

3. Aamodt, M. G., Nagy, M. S., & Thompson, N. (1998). Employment References: who are we talking about? Paper presented at the Annual Meeting of the International management Association. Assessment Council. June, 22, 1998. Chicago, Il.         [ Links ]

4. Alexander, R. A., Carson, K. P., Alliger, G., & Carr, L. (1987). Correcting doubly truncated correlations: An improved approximation for correcting the bivariate normal correlation when truncation has occurred on both variables. Educational and Psychological Measurement, 47, 309-315.         [ Links ]

5. Beason, G., & Belt, J. A. (1976). Verifying applicants´ backgrounds. Personnel Journal, 55, 345-348.         [ Links ]

6. Bevan, S., & Fryatt, J. (1988). Employee selection in the UK. Brighton, UK: Institute of Manpower Studies.         [ Links ]

7. Bingham, W. V. (1926). The three functions of the interview in employment. Management Review, VX, 36.         [ Links ]

8. Block, J. (1995). A contrarian view of the five-factor approach to personality description. Psychological Bulletin, 117, 187-215.         [ Links ]

9. Browning, R. C. (1968). Validity of reference ratings from previous employers. Personnel Psychology, 21, 389-393.         [ Links ]

10. Bryan, d. A. (1992). differences in trait interpretation between Black and White professional when evaluating letters of recommendation. Applied Human Resources Management Research, 3, 130-161.         [ Links ]

11. Carroll, S. J., & Nash, A. N. (1970). The evaluation of performance. University of Maryland. Unpublished manuscript.         [ Links ]

12. Carroll, S. J., & Nash, A. N. (1972). Effectiveness of a forced- choice reference check. Personnel Administration, March-April, S. 42-46.         [ Links ]

13. Ceci, S. J., & Peters, d. (1984). Letters of reference. A naturalistic study of the effects of confidentially. American Psychologist, 39, 29-31.         [ Links ]

14. Clark, T. (1992). Management selection by executive recruitment consultancies. Journal of Managerial Psychology, 7, 3-10.         [ Links ]

15. Cook, M. (1988). Personnel selection and productivity. London. Wiley.         [ Links ]

16. Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52, 281-302.         [ Links ]

17. Goldberg, L. R. (1990). An alternative "description of personality": The Big-Five factor structure. Journal of Personality and Social Psychology, 59, 1216-1229.         [ Links ]

18. Goldberg, L. R. (1992). The development of markers for the Big-Five factor structure. Psychological Assessment, 4, 26-42.         [ Links ]

19. ^*Handyside, J. d., & duncan, d. C. (1954). Four years later: a follow-up of an experiment in selecting supervisors. Occupational Psychology, 28, 9-23.         [ Links ]

20. Heneman, H. G., & Heneman, R. (1994). Staffing Organizations. Homewood, IL: Austen. Press-Irwin.         [ Links ]

21. Hunter, J. E., & Hunter, R. F. (1984). Validity and utility of alternative predictors of job performance. Psychological Bulletin, 96, 72-95.         [ Links ]

22. Hunter, J. E., & Schmidt, F. L. (2004). Methods of metaanalysis: correcting for error and bias in research findings (2^nd edition). Newbury Park, CA; Sage.         [ Links ]

23. Hyde, B. (1982). First job references: a different ballgame. Personnel Management, 14, 5.         [ Links ]

24. IRS (1991). The state of selection: 1. Current practices and main results. Industrial Relations Services. Recruitment and Development Report, 16, 2-9.         [ Links ]

25. John, O. P. (1989). Towards a taxonomy of personality descriptors. En d. M. Buss & N. Cantor (Eds.), Personality Psychology: Recent Trends and Emerging Directions (pp. 261-271). New York: Springer-Verlag.         [ Links ]

26. Kingston, N. (1971). Selecting managers. a survey of current practice in 200 companies. London, UK: British Institute of Management.         [ Links ]

27. Knouse, S. B. (1983). The letter of recommendation: Specificity and favorability of information. Personnel Psychology, 36, 331-341.         [ Links ]

28. Kryger, B. F., & Shikiar, R. (1978). Sexual discrimination in the use of the letters of recommendation: A case of reverse discrimination. Journal of Applied Psychology, 63, 309-314.         [ Links ]

29. Lado, M. (2001). Validez de constructo y de criterio de las referencias personales. Tesis doctoral. Universidad de Santiago de Compostela.         [ Links ]

30. Loher, B. T., Hazer, J. T., Tsai, A., Tilton, K., & James, J. (1997). Letters of reference: A process approach. Journal of Business and Psychology, 11, 339-356.         [ Links ]

31. Marsden, P. V. (1994). Selection methods in U.S. establishments. Acta Sociologica, 37, 287-301.         [ Links ]

32. McCrae, R. R., & Costa, P. T., Jr. (1991). Adding Liebe und Arbeit: The full five-factor model and well-being. Personality and Social Psychology Bulletin, vol 17, No 2, 227-232.         [ Links ]

33. ^*Mehrabian, A. (1965). Communication length as an index of communication attitude. Psychological Reports, 17, 519-522.         [ Links ]

34. Milkovich, G. T., & Boudreau, J. W. (1994). Dirección y Administración de Recursos Humanos: Un enfoque de estrategia. Bogotá, Colombia: Addison-Wesley Iberoamericana, Wilmington.         [ Links ]

35. Moscoso, S. (1999). Validez de constructo de la entrevista de selección. Tesis doctoral. Universidad de Santiago de Compostela.         [ Links ]

36. ^*Mosel, J. N., & Goheen, H. W. (1958). The validity of the employment recommendation questionnaire in personnel selection: I. Skilled Traders. Personnel Psychology, 11, 4, 481-490.         [ Links ]

37. Mosel, J. N., & Goheen, H. W. (1959). The employment recommendation questionaire: III. Validity of different types of references. Personnel Psychology, 12, 469-477.         [ Links ]

38. ^*Murden, R., Galloway, G. M., Reid, J. C., & Colwill, J. M. (1978). Academic and personal predictors of clinical success in medical school. Journal of Medical Education, 53, 711-719.         [ Links ]

39. Nash, A. L. (1970). A methodological suggestion for constructing forced choice scales. Experimental Journal of the APA.         [ Links ]

40. ^*Nash, A. N. y Carroll, S. J., Jr. (1970a). A hard look at the reference check: its modest worth can be improved. Business Horizons, 13, 43-49.         [ Links ]

41. ^*Nash, A. N., & Carroll, S. J., Jr. (1970b). Improving the validity of a forced choice reference check with rater and job characteristics moderators. Proceedings of the 78th Annual Convention. American Psychological Association, pp. 577-578.         [ Links ]

42. National Industrial Conference Board (1965): Personnel practices in factory and office: Nonmanufactoring. Studies in personnel policy, no. 197. New York: NICB.         [ Links ]

43. Pearson, K. (1908). On the influence of double selection on the variation and correlation of two characteristics. Biometrika, 8, 437-443.         [ Links ]

44. Peres, S. H., & Garcia, J. R. (1962). Validity and dimensions of descriptive adjectives used in reference letters for engineering applicants. Personnel Psychology, 15, 279-296.         [ Links ]

45. Pyron, H. C. (1970). The use and misuse of previous employer references in hiring. Management of Personnel Quarterly, 9, 15-22.         [ Links ]

46. ^*Rhea, B. d. (1966). Validation of O.C.S. selection instruments. The relationship of OCS selection measures to OCS performance. U.S. Naval Personnel Research Activity. Technical Bulletin STB 66-18, San diego, California.         [ Links ]

47. Robertson, I. T., & Makin, P. J. (1986). Management selection in Britain: A survey and a critique. Journal of Occupational Psychology, 59, 45-57.         [ Links ]

48. Ryan, A. M., McFarland, L., Baron, H., & Page, R. (1999). An international look at selection practices: nation and culture as explanations for variability in practice. Personnel Psychology, 52, 359-391.         [ Links ]

49. Salgado, J. F. (1998). Big five personality dimensions and job performance in army and civil occupations: A European perspective. Human Performance, 11, 271-288.         [ Links ]

50. Salgado, J. F., Anderson, N., Moscoso, S., Bertua, C., & de Fruyt, F. (2003a). International Validity Generalization of GMA and Cognitive Abilities: A European Community Meta-analysis. Personnel Psychology, 56, 573-605.         [ Links ]

51. Salgado, J. F., Anderson, N., Moscoso, S., Bertua, C., de Fruyt, F., & Rolland, J. P. (2003b). A Meta-Analytic Study of General Mental Ability Validity for different Occupations in the European Community. Journal of Applied Psychology, Vol 88(6), dec 2003, 1068-1081.         [ Links ]

52. ^*Salgado, J. F., Lado, M., Alvarez, Y. y Moscoso, S. (2001). Relationship between GMA and experience with personal references. departamento de Psicología Social y Básica. Universidad de Santiago de Compostela. Manuscrito no publicado.         [ Links ]

53. Schmidt, F. L. (1993). Personnel Psychology at the cutting edge. In N. Schmitt & W. Borman (Eds.), Personnel Selection in organizations (pp. 497-515). San Francisco, CA: Jossey Bass.         [ Links ]

54. Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274.         [ Links ]

55. Schmidt, F. L., & Rader, M. (1999). Exploring the boundary conditions for interview validity: meta-analytic validity findings for a new interview type. Personnel Psychology,52(2), 445-464.         [ Links ]

56. Schmitt, N. W., & Klimoski, R. J. (1991). Research methods in human resources management. Cincinnati, OH: South-Western Publishing.         [ Links ]

57. Shackleton, V., & Newell, S. (1994). European management selection methods: A comparison of five countries. International Journal of Selection and Assessment, 2, 91-102.         [ Links ]

58. Shaffer, d. R., & Tomarelli, M. (1981). Bias in the ivory tower: An unintended consequence of the Buckley Amendment for graduate admissions? Journal of Applied Psychology, 66, 7-11.         [ Links ]

59. Wells, d. G., y Fruchter, B. (1970). Correcting the correlation coefficient for explicit restriction on both variables. Educational and Psychological Measurement, 30, 925-934.         [ Links ]

60. Wiens, A. N., Jackson, R. H., Manaugh, T. S., & Matarazzo, J. d. (1969). Communication length as an index of communicator attitude: a replication. Journal of Applied Psychology, 53, 4, 264-266.         [ Links ]

 

 

Dirección para correspondencia:
Mario Lado
Departamento de Psicología Social, Básica y Metodología
Facultad de Psicología, Universidad de Santiago de Compostela
Campus Vida, 15782, Santiago de Compostela
E-mail: mario.lado@usc.es

Manuscrito Recibido: 10/02/2012
Revisión Recibida: 16/03/2012
Aceptado: 20/03/2012