REVISIÓN

---

Utilización de los modelos multinivel

en investigación sanitaria

M.J. Catalán-Reyes ^a /M.P. Galindo-Villardón ^b
aDepartamento de Estadística. Instituto de Matemáticas y Física. Universidad de Valparaíso. Valparaíso. Chile.
^bDepartamento de Estadística. Universidad de Salamanca. Salamanca. España.

Correspondencia: M.J. Catalán Reyes. Departamento de Estadística. Universidad de Valparaíso.
Avenida Gran Bretaña, 1111. Valparaíso. Chile. 
Correo electrónico: monica.catalan@uv.cl

Recibido: 2 de mayo de 2002.
Aceptado: 26 de junio de 2003.

(Use of multilevel models in health research)

---

Resumen Objetivo: El propósito de este artículo es analizar el uso de la metodología multinivel en las ciencias de la salud. Diseño: Se llevó a cabo una búsqueda bibliográfica en Medline de los artículos publicados entre 1995 y 2001, utilizando 15 palabras de búsqueda, entre las que se encuentran «multilevel model», «multilevel analysis», «hierarchical linear model», «mixed model» y «random effects model», obteniéndose un total de 1.288 resúmenes de artículos. Se examinaron los 222 artículos teóricos y/o aplicaciones realmente relacionadas con métodos multinivel, para determinar el nivel de uso actual, el tipo de modelo, el número de niveles, las unidades de análisis y las variables de respuesta a través de las especialidades en salud. Resultados: El 66,7% de los artículos estudiados se encontraron con las palabras de búsqueda «multilevel analysis», «multilevel modelling» y «multilevel model». El 56% de los artículos son aplicaciones de multinivel en diferentes áreas de la salud; no obstante, merece destacar que un 10% de los trabajos tienen como objetivo exponer y difundir la metodología en un lenguaje comprensible para los no especialistas. Conclusiones: El uso de los modelos multinivel en salud ha aumentado con los años, aplicándose en diferentes áreas o especialidades de salud, pero aún no se los considera una técnica de uso habitual.  Palabras clave: Análisis multinivel. Modelo multinivel. Modelización multinivel. Modelo lineal jerárquico. Modelos estadísticos.

Abstract Objective: The aim of this study was to analyze the use of multilevel methodology in health sciences. Design: A literature search was performed in Medline for articles published between 1995 and 2001. Fifteen search words were used, some of which were «multilevel model», «multilevel analysis», «hierarchical linear model», «mixed model», and «random effects model». A total of 1288 abstracts were retrieved. Two hundred twenty-two of the articles on theoretical and/or applied issues related to multilevel methods were examined to determine their current use, the type of model, the number of levels, the units of analysis and the outcome variables related to health sciences. Results: 66.7% of the articles studied was found with the keywords: «multilevel analysis», «multilevel modelling» and «multilevel model». Fifty-six percent of the articles were multilevel applications in different health sciences. However, in 10% of the articles, the main objective was to present and disseminate the methodology in a language comprehensible to non-specialists. Conclusions: The use of multilevel modelling in health has increased with time and is being applied in different health areas and specialties. However, it is still not considered a commonly used technique.  Key words: Multilevel analysis. Multilevel model. Multilevel modelling. Hierarchical linear model. Statistical models.

---

Introducción

En diversas áreas de investigación se ha observado la existencia de estructuras jerárquicas en los datos, producto de la agrupación de unidades dentro de otras unidades en diferentes niveles que conforma una jerarquía. En educación, por ejemplo, una estructura jerárquica en 3 niveles está dada por los alumnos (unidad de nivel 1) agrupados dentro de cursos (unidad de nivel 2), y éstos a su vez dentro de colegios (unidad de nivel 3); en el campo de las ciencias sociales, los votantes agrupados dentro de distritos o áreas de votación conforman una estructura jerárquica de 2 niveles. En el área de la salud un ejemplo son los pacientes en el nivel 1, dentro de hospitales (nivel 2) y éstos a su vez agrupados dentro de áreas geográficas (nivel 3). Las unidades dentro de cada grupo pueden presentar características similares y, a la hora de evaluar una o varias respuestas, el efecto que tendrá el grupo sobre las unidades individuales puede ser de gran importancia. Las observaciones dentro de cada grupo no serán independientes y, al aplicar los métodos de regresión clásicos, como la estimación por mínimos cuadrados, se violará el supuesto de independencia.

Supongamos un caso hipotético en el que se quiera estudiar a escala nacional la calidad de vida de los ancianos que viven en una residencia de forma permanente. En este caso se puede establecer una estructura jerárquica de 2 niveles, donde los ancianos se sitúan en el nivel 1 y las residencias en el 2. Podemos suponer que dentro de cada residencia los ancianos tienden a ser más similares en sus comportamientos y características, o más aún, las residencias presentan características propias, lo que puede afectar a la calidad de vida de los ancianos. Si la calidad de vida se considera una variable de respuesta de tipo continua (y), a la que se le ajusta un modelo de regresión, considerando una variable independiente (x), que representa alguna característica de los ancianos, podríamos encontrar como resultado una de estas 3 situaciones, tal como se observa en la figura 1: a) las rectas de regresión para cada residencia son iguales, lo que llevaría a considerar un único nivel en el análisis de los datos; b) las rectas de regresión difieren sólo en el intercepto, o c) difieren tanto en el intercepto como en la pendiente, lo que nos lleva a pensar en construir un modelo que considere los distintos niveles en la jerarquía de los datos.

Figura 1. Ajuste de rectas de regresión para la calidad de vida de los ancianos en cuatro residencias; ejemplo hipotético.

Para hacer frente a esta problemática, aparece el análisis multinivel o análisis de niveles múltiples como una metodología estadística para el análisis de datos que presentan una estructura jerárquica. Sus primeras aplicaciones se desarrollan en el campo de las ciencias sociales, específicamente en el área de la educación^1,2. En la década de los ochenta se publicaron los primeros trabajos donde se proponen y desarrollan estas técnicas, y con la implementación de programas computacionales se permitió la utilización de los modelos para un uso práctico³. Los modelos multinivel^4-6, desarrollados para variables de respuesta de tipo continua y discreta, también se aplican en datos de medidas repetidas, donde un individuo es medido en más de una ocasión o en datos longitudinales. Otras aplicaciones son los estudios de supervivencia y los metaanálisis.

Existe una amplia gama de nombres con los que se denomina a estos modelos, pero las palabras básicas dentro de la metodología son multinivel, niveles y jerarquía. Se habla de un modelo multinivel de 2 niveles cuando se aplica sobre datos que presentan una estructura jerárquica de 2 niveles. La definición de las estructuras jerárquicas, la unidad de análisis con la que se trabaja en cada nivel y el número de niveles en el modelo dependerán del conocimiento que se tenga sobre la población en estudio y de los objetivos de la investigación.

En el campo de la salud se reconoce la existencia de estructuras jerárquicas en los datos^7-9, como por ejemplo en la evaluación de indicadores de salud que se distribuyen por áreas; en la satisfacción de los usuarios en relación con los especialistas que los asisten y el centro de salud donde se atienden; en pruebas clínicas donde se aplican diferentes tratamientos, y en la evolución de la salud de un paciente en el tiempo, entre otros. La necesidad de aplicar metodologías más allá de las puramente individualistas ha sido reconocida por diferentes autores^10-12, lo que se ve reflejado en las recientes publicaciones de textos sobre multinivel en salud^4-6.

Si bien existen trabajos que presentan las técnicas multinivel a modo de revisión de la metodología con énfasis en su aplicación en áreas específicas de salud, no hemos encontrado artículos que reúnan información sobre los modelos que se emplean con mayor frecuencia en este área, la evolución respecto del número de publicaciones, los tipos de estructuras jerárquicas que se analizan y los temas de salud en que se han aplicado. Sobre esta base, nuestro propósito es proporcionar una descripción de las investigaciones sobre los modelos multinivel en salud, ya sea en el análisis de datos específicos o en la difusión de la metodología, por medio de una revisión bibliográfica de los artículos registrados en el período de enero de 1995 a diciembre de 2001 en la base de datos Medline, que contiene referencias bibliográficas de más de 4.000 revistas biomédicas publicadas en Estados Unidos y en otros 70 países, entre los que se encuentran Reino Unido, Países Bajos, Alemania, Italia, España, Canadá, Noruega, Suecia, Brasil y Grecia.

Los objetivos específicos de este trabajo son determinar la evolución del número de publicaciones sobre modelos multinivel en salud durante los últimos años, obtener datos sobre las revistas donde se publican los artículos, describir qué tipo de modelos se aplican y el número de niveles en la estructura jerárquica de los datos que se analizan, así como referir las unidades de análisis en los distintos niveles de la jerarquía, las variables de respuesta involucradas en los análisis y los temas de salud en que se aplican.

Material y métodos

Búsqueda de trabajos

El estudio se basa en una búsqueda bibliográfica, selección y descripción de los trabajos de investigación sobre modelos multinivel publicados en Medline entre enero de 1995 y diciembre de 2001.

Se procedió a la búsqueda en Medline mediante el servidor LWW-LIPPINCOTT, publicado por Lippincott Williams & Wilkins, disponible en la red de la Universidad de Salamanca desde su página web, ingresando en el Servicio de Biblioteca. Desde el listado de bases de datos se seleccionaron Medline 1996 to december Week 3 2002 y Medline 1993 to 1995, lo que llevó posteriormente a especificar el período exacto establecido para el estudio (1995 a 2001).

Para identificar los artículos sobre modelos multinivel dentro de las bases de datos, se utilizaron 15 palabras de búsqueda: «multilevel model», «multilevel analysis», «hierarchical model», «multilevel modelling», «hierarchical linear model», «multi-level analysis», «multi-level model», «multi-level modelling», «mixed model», «mixed linear model», «mixed no-linear model», «random effects model», «random coefficient models», «random coefficient model» y «panel data model». Las palabras de búsqueda que contienen los términos multilevel o multi-level y hierarchical, son palabras más específicas que hacen referencia a la metodología, descritas en algunos de los textos publicados sobre multinivel^3-5,13-14; las restantes son nombres más generales que abarcan un conjunto más amplio de modelos que el constituido por la técnica multinivel, pero que pueden tener intersección con las primeras.

Los límites establecidos en el proceso de búsqueda de los artículos sólo se refieren al año de publicación de los artículos (1995-2001) y a cada una de las palabras de búsqueda (15 palabras); no se establecieron otros límites. Para proceder a la indagación de los artículos, se escribió cada una de las palabras de búsqueda y el período de publicación, obteniendo así las referencias (autor, título, revista, año de publicación) y el resumen de cada una de las investigaciones, que fue grabado en formato de texto.

La selección de los artículos que pasaron finalmente a formar parte del estudio se realizó de la siguiente forma: por medio de la lectura de cada uno de los resúmenes de los artículos se seleccionaron las investigaciones que estaban realmente relacionadas con los modelos multinivel de nuestro interés, descartando los trabajos en que se aplicaban sólo modelos jerárquicos bayesianos, artículos repetidos por haberse identificado con diferentes palabras de búsqueda o por no pertenecer específicamente al área de salud de las personas.

El total de artículos encontrados en el procedimiento de búsqueda fue de 1.288. El total de artículos seleccionados para el estudio fue de 222 (tabla 1).

Variables

Haciendo una lectura minuciosa del resumen y las referencias de cada una de las investigaciones seleccionadas, se registraron las siguientes variables: palabra de búsqueda, año de publicación, revista, país de la revista, modelo, número de niveles, unidad nivel 1, unidad nivel 2, unidad nivel 3, unidad nivel 4, variable respuesta, tema de salud.

La palabra de búsqueda corresponde a la palabra utilizada en la búsqueda en Medline de los trabajos seleccionados para el estudio; tiene 12 categorías: multilevel model, multilevel analysis, hierarchical model, multilevel modelling, hierarchical linear model, multi-level analysis, multi-level model, multi-level modelling, mixed model, random effects model, random coefficient models, random coefficient model. Año de publicación es el año en que se publicó el trabajo en la correspondiente revista: 1995, 1996, 1997, 1998, 1999, 2000, 2001. Revista es la revista en que se publicó la investigación. País de la revista, es el país de origen de la revista donde fue publicado el trabajo. Modelo se refiere al tipo de modelo multinivel aplicado a los datos en la investigación o a la explicación de la metodología multinivel en el campo de la salud, identificándose 12 categorías: lineal, donde hay una variable de respuesta continua; logístico, para variable de respuesta dicotómica; longitudinal, para una respuesta medida en diferentes tiempos u ocasiones, donde lo fundamental es la evolución en el tiempo; medidas repetidas, donde la respuesta se mide en diferentes ocasiones, pero lo fundamental no es el tiempo; multinomial, la respuesta tiene más de 2 categorías; Poisson, para recuento de eventos; multivariante, cuando se estudian varias respuestas; multivariante-longitudinal, para varias respuestas medidas en diferentes tiempos; supervivencia, donde la respuesta es la aparición de un evento; clasificación cruzada, para unidades que pertenecen a diferentes grupos; metaanálisis, para el análisis del tamaño del efecto de varios estudios; metodología, cuando el interés principal de la investigación es dar a conocer la metodología multinivel; la categoría no especifica se utiliza cuando el resumen y las referencias no proporcionan información sobre el tipo de modelo.

Número de niveles se refiere al número de niveles de la estructura jerárquica de los datos a los que se aplicó un modelo multinivel. Aquí las categorías son de 2, 3 y 4 niveles, y no especifica se utiliza para los artículos que no mencionan este dato.

Unidad en el nivel 1 es el nombre de la unidad en el nivel 1 en la jerarquía de los datos. Las categorías de esta variable son diversas, y entre ellas cabe destacar: individuo, que engloba un conjunto de nombres de unidades, como persona, paciente, niño, embarazada, adulto, trabajador, etc.; ocasión se utiliza en modelos para datos de medidas repetidas o longitudinales, donde en el nivel 1 de la estructuras jerárquica de los datos se sitúan las mediciones u ocasiones de medida sobre los individuos. Unidad en el nivel 2 es el nombre de la unidad en el nivel 2 en la jerarquía de los datos; esta unidad agrupa a las unidades en el nivel 1. Unidad en el nivel 3 es el nombre de la unidad en el nivel 3 en la jerarquía de los datos; esta unidad agrupa a las unidades en el nivel 2. Unidad en el nivel 4 es el nombre de la unidad en el nivel 4 en la jerarquía de los datos; esta unidad agrupa a las unidades en el nivel 3.

Variable respuesta se utiliza en los casos en que se logra identificar la variable de respuesta desde el resumen de la investigación, que viene a ser una aproximación al nombre real que se asigna a la respuesta en el estudio respectivo, generando múltiples categorías, como consumo de cigarrillos, satisfacción del paciente, índice de calidad de cuidado, tiempo de consulta, etcétera.

Tema de salud se utiliza para clasificar en grandes grupos las investigaciones donde se identifica la variable de respuesta. Las categorías de esta variable se seleccionaron de acuerdo con el objetivo principal de la investigación, por ejemplo salud dental, enfermedad respiratoria, etc. La categoría metodología estadística en salud se utiliza cuando el objetivo se centra en comparar modelos o cuando se trata de explicar la metodología multinivel y se hace una aplicación a datos específicos.

Análisis

Dadas las características de este trabajo, en la construcción de la base de datos se utilizó el programa Excel de Microsoft Office. Para la comprobación y la identificación de categorías similares en las variables con mayor número de categorías o posibles errores en el ingreso se utilizó el programa EpiInfo versión 6.04d. Las correcciones se efectuaron en Excel y, una vez obtenida la base de datos definitiva, se procedió al análisis con EpiInfo.

El análisis de los datos fue descriptivo, se calcularon frecuencias absolutas y porcentajes y, por las características de la información, la mejor forma de representarla fue por medio de tablas. En el caso de la variable Año de publicación se utilizó una representación gráfica para destacar su comportamiento.

Resultados

El 37,4% de los artículos en estudio se identificaron con las palabras de búsqueda multilevel analysis, 17,1% con multilevel modelling, 12,2% multilevel model, 10,4% hierarchical model, y el 22,9% restante se repartió en orden decreciente entre hierarchical linear model, multi-level modelling, multi-level analysis, multi-level model, mixed model, random coefficient models, random coefficient model y random effects model (tabla 1).

Los artículos publicados en Medline sobre modelos multinivel en el campo de salud presentan una tendencia de aumento, observada entre 1995 y 2001 (fig. 2).

Figura 2. Número de artículos sobre modelos multinivel en 
la investigación sanitaria por año de publicación. 
Fuente: Medline; año de publicación: 1995-2001.

 

Los trabajos fueron publicados en 134 revistas: 108 (48,6%) publicados en revistas del Reino Unido, 82 (36,9%) en revistas de Estados Unidos, 7 (3,2%) en revistas de los Países Bajos; 23 (10,4%) distribuidos en revistas de Irlanda, Dinamarca, Suiza, Alemania, Canadá, Italia, Noruega, Suecia, Brasil, Grecia y República Checa, y 2 (0,9%) artículos publicados en una revista de España.

El 55,9% (124) de los artículos se refieren a la aplicación de los modelos multinivel sobre un conjunto de datos; el 9,9% (22) corresponde a los trabajos donde más allá de la aplicación de un modelo se habla de la metodología multinivel, y en el 34,2% (76) no se logra identificar por medio de la lectura del resumen sobre qué tipo de análisis se trata. En la tabla 2 se puede observar con detalle la distribución de los artículos según el tipo de modelo y las referencias.

El número de niveles en la estructura jerárquica de los datos fue identificado en 170 publicaciones (76,6%), donde se observaron hasta 4 niveles; su distribución y referencias se observan en la tabla 2. De los 170 artículos se registró la unidad en el nivel 1 y la unidad en el nivel 2, de los 26 artículos que analizaban más de 2 niveles se registró la unidad en el nivel 3 y de los 6 artículos que analizaban 4 niveles también se recogió la unidad en el nivel 4. Las categorías para estas variables con sus respectivos porcentajes y referencias se observan en la tabla 3.

En 153 (68,9%) artículos fue posible identificar la variable de respuesta en estudio; la clasificación de estas variables de acuerdo con el tema de salud se puede observar en la tabla 4. Las categorías de la variable respuesta dentro de cada tema se salud se observan en el anexo 1.

Las referencias bibliográficas de los 222 artículos sobre modelos multinivel, publicados entre enero de 1995 y diciembre de 2001 y revisados en este trabajo, se encuentra disponible en el anexo 2.

Discusión

En la bibliografía, la metodología multinivel recibe diferentes nombres; los que se utilizan con mayor frecuencia en los artículos publicados en el campo de la salud son: multilevel analysis («análisis multinivel»), multilevel modelling («modelización multinivel»), hierarchical model («modelo jerárquico») y hierarchical linear model («modelo lineal jerárquico»), y se observa un conjunto de artículos en que se emplea el término multi-level. Si bien los términos mixed model, random coefficient model, random coefficient models, random effects model nos permiten identificar otro conjunto de artículos, son una forma más general con la que se denomina a la metodología, dado que abarcan un conjunto de modelos más amplio que los desarrollados dentro de la técnicas multinivel desde la perspectiva frecuentista.

El aumento de las publicaciones sobre aplicación de las técnicas multinivel en datos de salud nos lleva a establecer una base que fundamenta su utilización en este campo; además del interés de algunos autores por difundir la metodología en áreas específicas de salud, por medio de la publicación de trabajos esencialmente metodológicos.

Observamos que los modelos utilizados en las aplicaciones a datos de salud son diversos, abarcando gran parte de los modelos descritos en la teoría multinivel. De todos modos, los que se utilizan con mayor frecuencia son los modelos lineal, logístico, para datos de medidas repetidas o longitudinales, que son los modelos más descritos teóricamente.

En los estudios multinivel, una información relevante que debería reflejarse a la hora de describir a la población en estudio y los objetivos de una investigación es el número de niveles en la estructura jerárquica de los datos y la unidad de análisis que se estudia en cada nivel. Esta información no fue posible obtenerla desde el resumen de todos los artículos revisados.

Observando el desarrollo y aplicación de algunos procedimientos estadísticos en salud, somos conscientes que se requiere un tiempo para establecer las bases fundamentales, un lenguaje fluido y un uso habitual. Muchos autores están en esta tarea, con la publicación de artículos^7-9,11,12 y textos^4-6 sobre multinivel en salud y también con el desarrollo y la divulgación de software específico^15,16 sobre la metodología y aplicaciones en programas generales^17-19, que son totalmente necesarios para utilizar los modelos. Es aquí donde queremos hacer nuestro aporte, proporcionando a los investigadores de la salud una revisión bibliográfica que destaca los principales términos utilizados en la metodología multinivel, las áreas donde se ha aplicado y las respectivas referencias que puedan facilitar la labor de los investigadores que tienen una primera aproximación a estas técnicas.

Sin duda, la razón por la que esta metodología no se ha extendido de forma generalizada es la dificultad de comprender los fundamentos desde los textos estadísticos. Los 22 artículos metodológicos que presentan los modelos multinivel en un lenguaje comprensible para los no iniciados en estos temas suponen una importante contribución que facilitará el uso de estos modelos de forma general, convirtiéndose de esta manera en referencias obligadas.

Los trabajos metodológicos muestran en parte una revisión de algunos modelos multinivel específicos, pero su énfasis está orientado al beneficio de su aplicación en determinadas áreas de salud. No se encontraron referencias que contemplen revisiones bibliográficas sobre modelos multinivel y que proporcionen una visión general del nivel de aplicación de esta metodología en el campo de la salud, por lo que consideramos este trabajo un aporte en este campo.

Entre las limitaciones de este estudio debe mencionarse que hemos recopilado los artículos sobre modelos multinivel en el campo de la salud, publicados en revistas que se incluyen en la base de datos Medline, lo que deja fuera los trabajos publicados en otras revistas. Este estudio se basa exclusivamente en la información proporcionada por el resumen de los artículos, por lo que información relevante podría no haberse incluido. Finalmente, la clasificación y los nombres utilizados para identificar los temas de salud y las variables de respuesta son una aproximación, por lo que se los podría considerar subjetivos.

En conclusión, el uso de los modelos multinivel en investigación en ciencias de la salud ha aumentado con los años, aplicándose en diferentes áreas o especialidades, pero aún no se los considera una técnica de uso habitual.

---

Bibliografía

1. Burstein L, Fischer KH, Miller MD. The multilevel effects of background on science achievement: a cross national comparison. Sociology of Education 1980;53:215-25.         [ Links ]

2. Aitkin M, Anderson D, Hinde J. Statistical modelling of data on teaching styles (with discussion). J Royal Stat Soc 1981; 144:148-61.         [ Links ]

3. Goldstein H. Multilevel statistical models. 2nd ed. London: Edward Arnold, 1995 [versión electrónica disponible en: http://www.arnoldpublishers.com/support/goldstein.htm].         [ Links ]

4. Leyland AH, Goldstein H. Multilevel modelling of health statistics. New York: Wiley, 2001.         [ Links ]

5. Hox JJ. Applied multilevel analysis, Amsterdam: TT, 1995.         [ Links ]

6. Hox JJ. Multilevel analysis, techniques and applications. New York: Lawrence Erlbaum Associates, 2002.         [ Links ]

7. Diez-Roux AV, Nieto F, Muntaner C, Tyroler H, Comstock G, Shahar E, et al. Neighborhood environments and coronary heart disease: a multielvel analysis. Am J Epidemiol 1997; 146:48-63.         [ Links ]

8. Duncan C, Jones K, Moon G. Health-related behaviour in context: a multilevel modelling approach. Soc Sci Med 1996;42: 817-30.         [ Links ]

9. Kreft IG. An illustration of item homogeneity scaling and multilevel analysis techniques in the evaluation of drug prevention programs. Eval Rev 1998;22:46-77.         [ Links ]

10. Rico A. New statistical methods to compare the performance of public institutions: Applications of multi-level modelling techniques to the measurement of outcome in the education and health care sectors. MSc. Dissertation. York: University of York, 1994.         [ Links ]

11. Diez-Roux AV. Bringing context back into epidemiology: variables and fallacies in multilevel analysis. Am J Public Health 1998;88:216-22.         [ Links ]

12. Sánchez-Cantalejo E, Ocaña-Riola R. Los modelos multinivel o la importancia de la jerarquía. Gac Sanit 1999;13: 391-8.         [ Links ]

13. Bryk AS, Raundenbush SW. Hierarchical linear models. London: Sage, 1992.         [ Links ]

14. Snijders TAB, Bosker RJ. Multilevel Analysis. An introduction to basic and advanced multilevel modelling. London: Sage, 1999.         [ Links ]

15. Scientific Software International. HLM 5 student edition [consultado 14/01/2003]. Disponible en: http://www.ssicentral.com/other/hlmstu.htm        [ Links ]

16. Centre for Multilevel Modelling. Downloads: MLwiN manuals, MLwiN macros y MLwiN 1.10.0007 upgrades [consultado 14 /01/2003]. Disponible en: http://multilevel.ioe.ac.uk/download/ index.html

17. S-PLUS 2000, Analytical software [consultado 14/01/2003]. Disponible en: http://www.insightful.com        [ Links ]

18. SPSS, versión 10. Analytical software [consultado 14/01/2003]. Disponible en: http://www.spss.com\spss10        [ Links ]

19. STATA. Statistical software [consultado 14/01/2003]. Disponible en: http://www.stata.com        [ Links ]