Cluster analysis* and artificial neural networks for residency candidates classification and selection
Raúl A. Borracci y Eduardo B. Arribalzaga
Hospital de Clínicas, Departamento de Cirugía, Facultad de Medicina, Universidad de Buenos Aires, Argentina.
Facultad de Ciencias Biomédicas, Bioestadística, Universidad Austral, Pilar, Buenos Aires, Argentina
| Introducción: Los programas educacionales han recurrido a distintos modelos de regresión lineal múltiple, de selección asistida por computadora y más recientemente, de redes neuronales artificiales para la confección de listados preliminares de mérito entre los postulantes a la residencia. Palabras clave: residencia, análisis cluster, redes neuronales | Introduction: Multiple linear regression models, computer-assisted selection and recently, artificial neural networks have been used at educational programs to produce preliminary rank lists of residency applicants. Key Words: residency, cluster analysis, artificial neural network |
Correspondencia:
La Palma 3030, 1ºB-1428 ]]>
Buenos Aires, Argentina
FAX: 54-11-4822-6458
e-mail: piedralta@hotmail.com
LAS EXPERIENCIAS
Los directores o responsables de la admisión de candidatos a los programas de residencias médicas habitualmente seleccionan un conjunto de factores como la edad, los antecedentes personales y de la escuela secundaria del aspirante, el promedio de la carrera de grado, el puntaje obtenido en el examen de ingreso a la residencia, los antecedentes del internado, las entrevistas y las cartas de referencia o recomendación, a fin de generar un ranking final de selección en base al mérito. En diferentes estudios, estos programas educacionales han recurrido a distintos modelos de regresión lineal múltiple, de selección asistida por computadora y más recientemente, de redes neuronales artificiales para la confección de listados preliminares de mérito entre los postulantes a la residencia 1, 2. La comparación de los métodos empleados, de los criterios y de la importancia relativa dada a cada variable de admisión muestran diferencias importantes en el proceso de evaluación del candidato entre los distintos programas de residencia. Algunos evaluadores responsables de los programas toman en cuenta especialmente el puntaje obtenido en el examen de ingreso, asumiendo implícitamente que este resultado ayudará a predecir el desempeño futuro del residente 3. Por su parte, otros comités de admisión consideran al resultado de la entrevista o, en otros países, a las recomendaciones o cartas de referencias como las variables de selección más importantes4. Habitualmente, los criterios más influyentes considerados para la elección de residentes muestran diferencias significativas entre los programas, y estas variaciones pueden correlacionarse también con la localización geográfica y el tipo de programa educativo 5. En el caso del proceso de selección de residentes en el ámbito de la Universidad de Buenos Aires y de la Municipalidad, el puntaje obtenido en el examen de ingreso a la residencia representa más del 60% del puntaje teórico total que un candidato podría sumar con todas las variables consideradas en la confección del listado de mérito (ranking).
El objetivo de este estudio fue evaluar y rediseñar un sistema para la selección y clasificación de aspirantes a un programa de residencias universitarias por medio de la aplicación de modelos de análisis multivariante y de redes neuronales artificiales, comparando a su vez estos métodos con los usados en la actualidad en nuestra institución.
MATERIAL Y MÉTODOS
Se evaluó una muestra al azar de 213 aspirantes a un programa de residencias médicas universitarias teniendo en cuenta el promedio de la carrera de grado, el resultado del examen de ingreso a la residencia, los antecedentes curriculares y biográficos, el internado y el puntaje de las entrevistas. Para ello se usó la base de datos conjunta del programa de ingreso a las residencias de la Universidad de Buenos Aires y la Municipalidad para los aspirantes evaluados en 2001 y 2002. Se aplicó un análisis de conglomerados (clúster análisis) jerárquico para la clasificación y selección de los candidatos en un orden de mérito en base a los puntajes estandarizados de las 5 variables.
Además, se entrenaron y probaron dos redes neuronales artificiales a fin de imitar los resultados obtenidos con el análisis cluster. Tanto el modelo estadístico como el conectivista se usaron para confeccionar un ranking provisional de candidatos agrupados en conglomerados. Finalmente, se comparó el resultado del análisis cluster con el actual método de selección de la Universidad de Buenos Aires, que consiste en la suma total directa de los resultados no estandarizados de las mismas variables por cada aspirante.
]]> Métodos estadísticosAnálisis de conglomerados es la denominación de un grupo de técnicas multivariantes cuyo principal propósito es agrupar individuos u objetos de acuerdo a las características que poseen. Esta metodología reúne a los individuos en conglomerados (clusters), de tal forma que los elementos de un mismo agrupamiento son más parecidos entre sí que a los elementos de otros conglomerados. Lo que se intenta de esta forma es maximizar la homogeneidad de los objetos dentro de los conjuntos mientras que a la vez se maximiza la heterogeneidad entre los agregados. Con esta técnica, uno de los métodos de aglomeración de los elementos consiste en la construcción de una estructura jerárquica en forma de árbol denominada dendrograma. En este caso, cada nuevo individuo evaluado se va incorporando dentro de un conglomerado de acuerdo a la similitud de los valores que tomaron sus variables (promedio de la carrera, puntaje del examen, datos biográficos, etc.) con los de otros individuos. Cada conglomerado a su vez puede agregarse a otro conformando uno nuevo, y así sucesivamente hasta la obtención de un único conjunto (que representa lógicamente la misma muestra original). Una vez obtenida la solución de conglomerados (solución cluster) separada en cada grupo por los valores promedios de cada variable, se realizó una clasificación descriptiva basada en las principales características de cada conglomerado. De la misma forma, se confeccionó un ranking de admisión de aspirantes de acuerdo al mérito obtenido con la solución de conglomerados.
De una población inicial de 330 candidatos se tomó una muestra representativa al azar de 213 aspirantes. Esta reducción en el tamaño de la muestra fue necesaria para adaptar los recursos computacionales de cálculo, habida cuenta que el método de clustering jerárquico tiene requerimientos excesivos de almacenamiento de datos intermedios cuando se usan muestras más grandes. El análisis previo de datos incluyó la prueba de normalidad para la distribución de cada variable, la determinación de casos atípicos (outliers) y la estandarización de los datos. La normalidad univariada se determinó con el test de Kolmogorov-Smirnov para cada distribución. Los datos con valores más allá de 1.5 cuartilos al analizar los gráficos de caja (boxplot) se consideraron atípicos extremos, y 4 de ellos fueron identificados y eliminados tras evaluaciones individuales (4/213, 1.9% de los candidatos). No fue necesario eliminar ningún dato atípico después del análisis de conglomerados ni realizar tratamiento de datos ausentes, dado que la base de datos se encontraba completa. Con el objetivo de homogeneizar las escalas de las distintas variables se procedió a la estandarización de sus valores con la transformación z. Para identificar entre los aspirantes, los grupos previamente no definidos en base a las 5 variables métricas de entrada, se usó el análisis cluster jerárquico por casos. La distancia euclídea al cuadrado se utilizó como medida de similitud, y la comparación de las distancias entre los grupos se efectuó con el método del encadenamiento medio. La cantidad inicial de conglomerados se estableció en 12 y se calcularon para cada uno de ellos el coeficiente de aglomeración y el cambio porcentual en el coeficiente de cada etapa siguiente. Finalmente, se calcularon y compararon los valores estandarizados promedios de las variables para los 12 conglomerados. Estos fueron además representados en forma de dendrograma para observar gráficamente la asignación de cada candidato a un conglomerado y para la detección de nuevos atípicos. La colinearidad y multicolinearidad entre las variables fueron determinadas con una matriz de coeficientes de correlación, índices de condicionamiento con umbral de 15 y proporción de las varianzas. No se encontró relación de colinearidad ni multicolinearidad al nivel de significación de 0.90 ni superior al determinar los coeficientes r.
Para comparar la solución de conglomerados con el método usado en la actualidad en nuestra institución (suma directa de los puntajes), cada grupo de la solución fue reordenado dentro de sí mismo en base a los puntajes del examen de ingreso. El ordenamiento secuencial por mérito de cada conglomerado y a su vez, el reordenamiento de acuerdo al examen dentro de cada conjunto, permitieron crear una único ranking que pudo ser contrastado con el método tradicional de suma directa de los valores no estandarizados. La comparación entre estas dos series de datos ordinales (orden de mérito) se realizó con el coeficiente de correlación rho no paramétrico de Spearman. Se usó el paquete estadístico SPSS 7.5® para los cálculos.
Análisis con redes neuronales
Una red neuronal es un sistema computarizado artificial hecho de un número finito de unidades (neuronas) unidas por conectores (sinapsis) capaz de encontrar relaciones funcionales entre un grupo de datos de entrada y un valor esperado en la salida. En la actualidad, estos sistemas están siendo usados como métodos alternativos para el análisis de grandes cantidades de datos, y como una técnica emergente del área de la estadística. Para este estudio se empleó una red del tipo perceptrón multicapa (PMC) con aprendizaje de retropropagación supervisado, configurada con 5 unidades de entrada que representaron respectivamente los valores estandarizados del promedio de la carrera, del puntaje del examen, y de los resultados de la evaluación de los antecedentes, el internado y las entrevistas. Asimismo, se especificaron 9 unidades en la capa oculta y 9 nodos de salida para los resultados esperados, de acuerdo a la solución cluster previamente obtenida. La configuración de la red incluyó funciones de transferencia tangente hiperbólica, pesos iniciales aleatorios y aprendizaje en lote (batch), todo implementado con el software de simulación de redes neuronales NeuroSolutions 4.2®. Por otra parte, se construyó una red neuronal híbrida con un módulo inicial del tipo Mapa de Rasgos Autoorganizados (MRA o Self Organizing Feature Map) con aprendizaje no supervisado, y una PMC con aprendizaje supervisado como sistema de salida (Figura 1). El MRA se elaboró con una capa de entrada de 5 nodos conectada hacia delante (feedforward) con una matriz de 10x10 neuronas para todos los datos de entrada. El algoritmo de aprendizaje empleó una función de vecindad del tipo Kohonen-cuadrado con radio de inicio y finalización de 2 y 0 respectivamente. A su vez, esta matriz constituyó la capa de entrada de una red de perceptrones contigua, construida con la misma arquitectura que la PMC original. Los datos de toda la muestra (los conglomerados con menos de 3 individuos fueron descartados) de 204 aspirantes fueron divididos al azar en dos subconjuntos de entrenamiento y prueba,con 109 y 95 candidatos respectivamente. El desempeño de cada red (PMC e híbrida) con el conjunto de prueba se calculó con errores cuadrado medio, mínimo absoluto y máximo absoluto, y con los coeficientes de correlación lineal, sensibilidad, especificidad, y valores predictivos positivos y negativos para la predicción de cada evento final.
RESULTADOS
El análisis de conglomerados jerárquico clasificó 209 aspirantes en 12 conglomerados en base al promedio estandarizado de los valores obtenidos de las 5 variables. La Tabla 1 muestra los coeficientes de aglomeración y sus cambios porcentuales para las 12 soluciones, mientras que a través de un dendrograma se representó la asignación de cada individuo a cada conglomerado. Después que se asignó cada candidato a un conjunto, se calcularon por cada conglomerado los promedios de cada variable. Los promedios estandarizados con valores positivos o negativos indicaron las posiciones relativas por encima o por debajo de la media total de la muestra (Tabla 2). Tras el análisis de la Tabla 2 se construyó una clasificación descriptiva de los grupos de acuerdo a la posición relativa de sus puntajes promedios. De esta forma, un posible ordenamiento por mérito para la selección de candidatos podría considerar una clasificación descendente desde aquellos candidatos con todos sus puntajes por encima del promedio (conglomerado Nº11) hasta los que tienen todos sus puntajes por debajo del promedio de la muestra (conglomerado Nº5) (Tabla 3). Para simplificar esta clasificación, algunos conglomerados de los individuos con peores resultados fueron fusionados en nuevos conglomerados únicos.
El desempeño de las 2 redes neuronales para la clasificación de los 95 candidatos del subgrupo de prueba se muestra en la Tabla 4. La sensibilidad y especificidad promedio de la red PMC fue 94.1% y 99.1% respectivamente, mientras que los valores obtenidos con la red híbrida fueron 89.9% y 98.9% (p=NS). Fue necesario excluir los conglomerados 6, 8 y 11 (5 casos) del análisis a causa del pequeño tamaño de la muestra de los grupos para el entrenamiento y prueba de las redes; por lo tanto cada red se entrenó y probó con los datos de 9 conglomerados. En resumen, la red PMC imitó la solución de conglomerados con un buen nivel de precisión.
Para comparar la solución de conglomerados con el método tradicional, en el gráfico de dispersión de la Figura 2 se muestra la relación entre ambos rankings. A pesar haberse obtenido un buen coeficiente de correlación (rho de Spearman = 0.868, t = 24.8, p < 0.0005), el análisis del gráfico reveló un diseño estratificado debido al agrupamiento por conglomerados. De cualquier forma, la elección del puntaje del examen como criterio de ordenamiento dentro de cada conglomerado justificó la buena correlación encontrada y en consecuencia, la elección de otra variable para el ordenamiento intraconglomerado podría modificar significativamente la relación encontrada entre los métodos.
DISCUSIÓN
El análisis de conglomerados jerárquico sirvió para clasificar un grupo de aspirantes a la residencia en 12 conglomerados ordenados por mérito, de acuerdo a la posición relativa de cada candidato por encima o por debajo de la media poblacional de cada variable. Aunque los puntajes estandarizados permiten una ponderación uniforme de las variables para la clasificación inicial en conglomerados, la importancia dada a cada variable podría modificar la posición relativa de cada conglomerado. De esta forma, el orden de los conglomerados de la Tabla 3 es simplemente un ranking tentativo y no el único posible. Los conglomerados número 11 (todos los puntajes sobre el promedio) y 5 (todos los puntajes por debajo del promedio) ocupan sin duda la posición más alta y más baja respectivamente, pero todos los conglomerados intermedios podrían reagruparse en distintas secuencias de acuerdo al criterio o importancia relativa dadas a las variables. De la misma manera, el orden de los candidatos dentro de cada conglomerado podría ser estipulado en base a los valores de cualquier otra variable; por ejemplo, los aspirantes del conglomerado superior podrían ordenarse por sus puntajes de las entrevistas. Por lo tanto, el método ayuda a la clasificación de los aspirantes aunque no soluciona la "subjetividad" del establecimiento del ranking dentro de cada conglomerado. En principio, el análisis de conglomerados permite realizar un examen exploratorio de los datos de los candidatos con el fin de crear una preselección en base al mérito; esta lista a su vez puede usarse para obtener un ranking final de acuerdo al criterio de ordenamiento intraconglomerado elegido por el comité examinador.
Los criterios de selección de candidatos empleados por los directores responsables de los programas de residencias varían significativamente entre los programas educacionales. Las primeras comunicaciones en EEUU indicaban que la mayoría de los programas de residencias no admitían entre sus aspirantes a ninguno que no hubiera aprobado el examen del National Board of Medical Examiners (NBME) 4. A pesar de ello, una publicación reciente ha demostrado la falta de correlación entre los puntajes obtenidos por los candidatos a una residencia en ‘imágenes' en el NBME y los resultados posteriores conseguidos en los exámenes del American Board of Radiology 3. Por otro lado, algunos autores consideran al promedio de la carrera y al ranking dentro de su promoción como las variables más importantes para la evaluación de candidatos, mientras que otros investigadores han propuesto al desempeño en el internado durante el último año de la carrera como una forma de selección del mejor candidato. Un factor importante para la selección de las variables de admisión es la presencia de colinearidad entre ellas. A pesar que era esperable cierto grado de relación entre el promedio de la carrera y el puntaje del examen de ingreso, en este estudio no se encontró colinearidad en el nivel exigido de 0.90 (alta colinearidad), lo que no descarta este tipo de relación a un nivel de correlación más bajo. En este aspecto se ha descripto la influencia de conocer el puntaje obtenido en el examen de ingreso en el resultado de las entrevistas 6. Cuando estos puntajes son accesibles a los entrevistadores se produce un sesgo en la evaluación del candidato y en consecuencia se reduce el valor de la entrevista como medio independiente de estimación. Todo este grupo complejo de relaciones y criterios podría ser mejor expresado en término de conglomerados como lo permite el análisis y la solución cluster.
]]> Tanto la elección del tamaño de la muestra como el de la cantidad de conglomerados no se debió a un hecho casual. Para el tamaño de la muestra, 213 fue el valor máximo condicionado por los recursos computacionales del software utilizado. En el caso de la elección de 12 conglomerados, esto se debió a que con este número se alcanzó a separar los aspirantes con los mejores puntajes o méritos. La construcción de grupos extras no aportó mejoras en la selección de los candidatos. De todas formas, si se considera que sólo el 10 % de los candidatos conseguirá un puesto, probablemente no sea necesario especificar todos los conglomerados para definir los aspirantes.Por otro lado, una red PMC entrenada fue capaz de imitar los resultados del análisis de conglomerados con el suficiente nivel de precisión como para ser considerada un método automatizado alternativo al clúster análisis en el proceso de selección de residentes. La métodos de selección asistida por computadora de los candidatos a la residencia incluyen a las aplicaciones de bases de datos y a las redes neuronales artificiales. Ambas métodos permiten tratar grandes volúmenes de información como la que se originan de los datos del creciente número de candidatos a los sistemas de residencia 1,7. Por ejemplo, la cantidad total de aspirantes a la residencia en el Hospital Escuela de la Universidad de Buenos Aires es de 800 candidatos anuales, y menos del 10% (medicina interna más especialidades quirúrgicas) conseguirá un puesto. En este caso, un sistema automatizado de clasificación de candidatos basado en una red neuronal podría generar un ranking preliminar para la posterior selección final de los aspirantes.
Los modelos de redes neuronales son métodos emergentes relacionados con las técnicas estadísticas e incluidas dentro del área de la inteligencia computacional. En investigación médica se están comenzando a usar para la clasificación de tareas, clustering y problemas de predicción y tomas de decisiones en oncología clínica, cardiología, cirugía y más recientemente en programas educacionales 2,4,7-8. Las redes neuronales artificiales son sistemas de procesamiento de datos paralelos, distribuidos y adaptativos que desarrollan su funcionalidad al ser expuestas a la información. Las del tipo PMC aprenden por la exposición repetitiva a los datos de entrada (iteraciones), comparando dichas entradas con la correspondiente salida deseada. Este aprendizaje supervisado le permite a la red reconocer y corregir errores con el llamado algoritmo de retropropagación del error. Después de aprender el patrón (pattern) del conjunto de datos de entrenamiento, estos sistemas están listos para identificar y clasificar Un nuevo conjunto de datos y predecir las salidas esperadas 10. El desempeño de la red PMC para la clasificación de los candidatos mostró buenos niveles de sensibilidad y especificidad para cada conglomerado. El peor valor de sensibilidad se obtuvo con los candidatos que tuvieron todos sus puntajes por debajo del promedio (conglomerado 5), que en último caso no perjudicó el ranking de esos aspirantes. Por su parte, un MRA transforma la entrada desde una dimensión arbitraria a un mapa discreto bidimensional sujeto a la topología de vecindad de los datos (preserva la distancia o vecindad entre los datos de entrada). Este mapa de rasgos se confecciona usando el aprendizaje no supervisado de Kohonen, y a su vez, la salida de este MRA puede usarse como entrada a una red de clasificación supervisada como es la PMC. La principal ventaja de esta red híbrida es la clasificación en conglomerados que produce el módulo MRA, el cual reduce el espacio de entradas a grupos representativos por medio de un proceso auto-organizativo. A pesar de las ventajas teóricas, la red híbrida no logró tan buen desempeño como la PMC. Esto se debería a diferentes factores como la elección de la dimensión de la matriz, o una función de vecindad o radio inapropiado en la composición del MRA. De cualquier forma, sería posible mejorar el desempeño de la red híbrida ajustando alguno de los parámetros del MRA.
La verdadera eficacia de este método de selección basado en el análisis de conglomerados no ha sido demostrada en este estudio. La misma requeriría conocer si este proceso de selección producirá efectivamente graduados de mejor calidad que los obtenidos con el criterio tradicional al final del período de entrenamiento de la residencia. Una posible limitación es no poder definir si podría darse el caso de que un sujeto con valores bajos de alguna variable, quedara mejor situado que otro con valores más elevados dentro de otro conglomerado. Otra de las limitaciones del trabajo se relaciona con la metodología del tratamiento de los atípicos. Sin una cuidadosa evaluación, podrían descartarse accidentalmente ciertos atípicos extremos, entre los que se hallarían aquellos candidatos ‘brillantes o sobresalientes' que justamente el método no debería desechar. Por lo tanto, el estudio y análisis riguroso de estos atípicos del extremo superior de los puntajes, tendrán que tenerse especialmente en cuenta para no dejar de lado estos aspirantes.
Es evidente que la calidad de los graduados de un programa de residencias se encuentra fuertemente afectado por la calidad de los candidatos seleccionados, lo que hace a la evaluación y selección de aspirantes a la residencia una de las tareas más importantes de la educación médica. La creencia actual de los responsables de estos programas es que los criterios académicos tradicionales no son lo suficientemente predictores del desempeño clínico y de las habilidades interpersonales del candidato. Otro tipo de investigaciones relacionadas con la personalidad de los aspirantes, el estilo de aprendizaje y otros factores neuropsicológicos agregará más datos sobre los perfiles cognitivos y no cognitivos de los candidatos 1. Esta es una más de las razones que justifican una aproximación más amplia para la selección de candidatos a la residencia, y es en este nuevo enfoque que el análisis de conglomerados y las redes neuronales permiten una ponderación equitativa y sistémica de las variables. De la misma manera, los modelos de redes neuronales basados en lógica difusa podrían servir para incorporar los resultados de las variables no métricas de las investigaciones sobre perfiles no cognitivos al proceso de selección de residentes 11.
En conclusión, el análisis de conglomerados jerárquico fue un método útil y novedoso para clasificar una muestra de aspirantes a la residencia en conglomerados de acuerdo a la posición relativa de sus puntajes estandarizados por encima o por debajo de la media de todo el conjunto. Además, se entrenó una red PMC que permitió imitar los resultados del análisis cluster con la suficiente precisión como para ser considerado un método alternativo de selección asistida por computadora cuando se trabaja con datos masivos. En definitiva, la solución cluster constituye una aproximación alternativa a la selección de candidatos a la residencia, teniendo en cuenta una ponderación diferente de las variables académicas.
REFERENCIAS BIBLIOGRÁFICAS
1. Baker JD, Bailey MK, Brahen NH et al. Selection of anesthesiology residents. Acad Med 1993; 68: 161-163 [ Links ]
2. Pilon S, Tandberg D. Neural network and linear regression models in residency selection. Am J Emerg Med 1997;15:361-364 [ Links ]
3. Gunderman RB, Jackson VP. Are NBME examination scores useful in selecting radiology residency candidates? Acad Radiol 2000;7:603-606 [ Links ]
4. Wagoner NE, Suriano JR, Stoner JA. Factors used by programs directors to select residents. J Med Educ 1986;61:10-21 [ Links ]
5. Grantham JR. Radiology resident selection: results of a survey. Invest Radiol 1993;28:99-101 [ Links ]
6. Smilen SW, Funai EF, Bianco HT. Residency selection: should interviewers be given applicants' board scores? Am J Obstet Gynecol 2001;184:508-513 [ Links ]
7. Baxt WG. Application of artificial neural networks to clinical medicine. Lancet 1995;346:1135-1138 [ Links ]
8. Sargent DJ. Comparison of artificial neural networks with other statistical approaches. Results from medical data sets. Cancer 2001;91:1636-1642 [ Links ]
9. Freeman RV, Eagle KA, Bates ER et al. Comparison of artificial neural networks with logistic regression in prediction of in-hospital death after percutaneous transluminal coronary angioplasty. Am Heart J 2000;140:511-520 [ Links ]
10. Steimann F. On the use and usefulness of fuzzy sets in medical AI. Artificial Intelligence in Med 2001;21:131-137 [ Links ]
11. Dayhoff JE, DeLeo JM. Artificial neural networks. Opening the black box. Cancer 2001; 91: 1615-1635 [ Links ] ]]>