Análisis del portafolio como herramienta evaluativa de las prácticas clínicas de enfermería comunitaria en estudiantes de pregrado

Portfolio analysis as evaluation tool of Community Nursing Clinical Practice Learning in undergraduates

P. Serrano-Gallardo^a, M. Martínez-Marcos^a, M.P. Arroyo-Gordo^a, D. Lanza-Escobedo^b

^a Escuela de Enfermería Puerta de Hierro. Universidad Autónoma de Madrid (UAM).
^b Departamento de Psicología Evolutiva y de la Educación. Facultad de Psicología. UAM. Majadahonda, Madrid, España.

Financiación: Oficina para la Convergencia Europea de la Universidad Autónoma de Madrid (B6-07, n.^o 200700003837).

RESUMEN

Objetivos. Analizar la implementación y la utilidad del portafolio como herramienta evaluativa de las prácticas clínicas en enfermería comunitaria en la Escuela de Enfermería Puerta de Hierro de la Universidad Autónoma de Madrid (UAM) y valorar la influencia de variables sociodemográficas y académicas en el proceso de evaluación continua del portafolio.
Sujetos y métodos. Estudio descriptivo en el marco de un proyecto de innovación docente financiado por la UAM. La población objeto de estudio fueron estudiantes de segundo y tercer curso de enfermería de la escuela Puerta de Hierro (UAM), que realizaron sus prácticas clínicas de enfermería comunitaria en el medio de la atención primaria de salud (n = 38). Variables principales: calificaciones intermedias y finales en los trabajos que componían el portafolio (diario reflexivo, caso clínico, análisis de salud de la comunidad), puntualidad en las entregas, dificultad, utilidad y mejora del aprendizaje percibida, horas dedicadas a la semana, autoevaluación de las prácticas clínicas, calificación de la tutora, evaluación final del portafolio. Para el análisis bivariante se usaron pruebas no paramétricas. Se calcularon intervalos de confianza para un 95% de seguridad.
Resultados. Se analizaron 38 estudiantes con una edad media 21,5 ± 4,3 años, 81,6% mujeres. Para el 56,7%, la dificultad fue alta. La utilidad se señaló como alta en el 72,9% de los casos. La media en la autoevaluación del estudiante fue de 7,68; la evaluación de la tutora, de 8,31, y la calificación definitiva del portafolio final por parte de las profesoras, de 7,07.
Conclusiones. La implementación del portafolio ha puesto de manifiesto la dificultad sentida por los estudiantes en un proceso que requiere escritura reflexiva, trabajo diario y autoevaluación. Ahora bien, estas dificultades se traducen en una alta percepción de utilidad y de mejora para el aprendizaje.

Palabras clave. Aprendizaje. Atención primaria. Educación enfermera de pregrado. Enfermería comunitaria. Espacio Europeo de Educación Superior. Portafolio. Prácticas clínicas.

ABSTRACT

Key words. Clinical practice learning. Community nursing. European Higher Education Area. Learning. Nursing education. Portfolio. Primary care.

Introducción

En la década de los años noventa se emprendió en Europa un proceso para la convergencia de la educación superior que, entre otras cuestiones relevantes, remarcaba la necesidad de innovar en los procesos de enseñanza-aprendizaje. Las universidades españolas inician entonces un camino de transformación para ajustarse a lo señalado en la Declaración de la Sorbona de 1998 y la Declaración de Bolonia, firmada el 19 de junio de 1999 por ministros con competencias en educación superior de 29 países europeos y que da su nombre al "Proceso de Bolonia", proyecto de carácter intergubernamental con participación de universidades, estudiantes, la Comisión Europea y otras organizaciones, que tuvo como meta el establecimiento de un Espacio Europeo de Educación Superior y que culmina en el año 2010, plazo máximo otorgado para poner en marcha las nuevas enseñanzas de grado [1-3].

Las propuestas de reformas universitarias impulsadas por las nuevas directrices se han desarrollado en función del establecimiento de las competencias finales que los estudiantes deben conseguir en cada titulación y que constituyen el eje de todo proceso de enseñanza-aprendizaje, modificando sustancialmente la manera en la que el docente ha de planificar la enseñanza.

Algunas técnicas pedagógicas, entre las que se encuentra el portafolio, integran los parámetros de evaluación del aprendizaje y de desarrollo competencial, dado que es una herramienta de construcción de conocimientos que incorpora una dinámica de reflexión y autoevaluación. Se convierte de esta manera en una metodología de enseñanza y de evaluación [4].

• Logros que debe alcanzar el estudiante en su proceso de aprendizaje [5].

• Colección de trabajos del estudiante elaborados a partir de sus experiencias reales, que pueden ser acordados con el profesor y también seleccionados por el propio alumno [6].

• Ha de contener también una parte de escritura reflexiva del estudiante en torno a estos trabajos [7].

• Se han de producir encuentros sistemáticos entre las figuras implicadas en el proceso educativo (profesor-estudiante, tutor-estudiante, profesor-tutor), con la finalidad de que se produzca feedback en el proceso evaluativo [8].

• Recoge los juicios de evaluación a partir de la observación y de los informes de un experto clínico y del tutor de prácticas clínicas [8].

Existes pocas experiencias con estas nuevas herramientas pedagógicas en nuestro entorno, especialmente en el ámbito de la formación de pregrado de enfermería [8-12], y sobre todo hay una carencia en el área de las prácticas clínicas.

En el curso académico 2006-2007, la Escuela de Enfermería Puerta de Hierro comenzó a desarrollar un proyecto de innovación docente, financiado por la Universidad Autónoma de Madrid (UAM) en el marco del Espacio Europeo de Educación Superior, centrado en la evaluación de las prácticas clínicas a través del portafolio en la materia de enfermería comunitaria.

Los objetivos del presente trabajo fueron analizar la implementación y la utilidad del portafolio como herramienta evaluativa de las prácticas clínicas en enfermería comunitaria en la Escuela de Enfermería Puerta de Hierro (UAM), y valorar la influencia de variables sociodemográficas y académicas en el proceso de evaluación continua mediante el portafolio.

Sujetos y métodos

Se llevó a cabo un estudio observacional descriptivo transversal con componentes longitudinales para el análisis.

La población objeto de estudio fueron los estudiantes de segundo y tercer curso de Enfermería de la Escuela Puerta de Hierro (UAM), que realizaron su primer periodo de prácticas clínicas de enfermería comunitaria, en el medio de la atención primaria de salud, en tres áreas de salud de la Comunidad de Madrid, en el año académico 2007-2008 (n = 38). El periodo de prácticas tenía una duración de cinco semanas. Tanto a estudiantes como a tutores se les entregó la guía de prácticas clínicas de cada uno de los cursos y en la que se reflejaban, entre otras cuestiones, las competencias a desarrollar durante su estancia y los objetivos pedagógicos que les ayudarían para tal propósito. Las competencias generales comunes a ambos cursos eran:

• Brindar cuidados integrales, integrado y continuos a individuos y familias.

• Identificar las necesidades de cuidados enfermeros, establecer objetivos, ejecutar y evaluar los cuidados enfermeros a los grupos de pacientes incluidos en los diversos programas de salud.

• Aplicar en la práctica un método sistemático y organizado, que le permita definir problemas y seleccionar intervenciones.

• Ser capaz de tomar decisiones con autonomía.

]]> • Comunicarse con los pacientes respetando sus valores, creencias y condiciones culturales, así como su condición intelectual y emocional.

• Mantener relaciones, comunicarse con los usuarios y familia en una atmósfera de confidencialidad y empatía que favorezca la comunicación.

• Trabajar en equipo, colaborar con otros sectores e instituciones, y asumir roles de liderazgo.

• Ser capaz de realizar intervenciones con la comunidad en diversos ámbitos de actuación: escuela, domicilio, asociaciones, centro de salud.

• Ser capaz de gestionar intervenciones de educación para la salud.

• Utilizar adecuadamente los soportes documentales que existan en el centro de salud.

• Realizar intervenciones enfermeras en los principales programas de salud, una competencia específica para segundo curso.

• Analizar la situación de salud de una comunidad, utilizando herramientas epidemiológicas, una competencia específica para tercer curso.

Para la elaboración del portafolio, además de la revisión bibliográfica [4-9,13-15], se realizó un envío por correo electrónico a todas las escuelas universitarias de enfermería españolas con la intención de recoger las experiencias que se estuvieran llevando a cabo con el portafolio como herramientas de evaluación. Esta recogida de información se completó con la visita programada a dos escuelas de universidades catalanas (Universitat de Manresa, adscrita a la Universitat Autònoma de Barcelona, y Universitat Pompeu Fabra), las cuales estaban llevando a cabo experiencias muy aplicables al proyecto que se quería poner en marcha en nuestra escuela.

Todo el proceso descrito permitió el diseño del portafolio de prácticas clínicas, que siguió las siguientes etapas:

1. Elección del tipo de portafolio.

2. Construcción de la hoja de presentación del portafolio a los estudiantes.

3. Selección de los contenidos a incluir en el portafolio.

4. Forma de presentación del portafolio.

5. Propuesta de criterios de evaluación a estudiantes y tutores clínicos.

6. Definición de estrategias de comunicación.

La herramienta desarrollada fue un portafolio cerrado que comprendía los siguientes trabajos: diario reflexivo, caso clínico realizado sobre un paciente, un documento de análisis de la salud de la comunidad (ASC) y un documento de autoevaluación del estudiante. Como herramienta evaluativa adicional se incluía el informe de evaluación de la tutora de prácticas clínicas. Se pretendió que el portafolio contribuyera tanto a una evaluación sumativa (contenía trabajos que certificaban el nivel de competencia en el aprendizaje), formativa (incluía informes acerca del progreso de los estudiantes que posibilitaban la retroalimentación), como formadora (la metodología del portafolio permitía dar luz del proceso de aprendizaje con estrategias reflexivas y de autoevaluación) [14].

Respecto al proceso de implementación, cada alumno tenía asignado una tutora de prácticas en los centros de Atención Primaria y cuatro profesoras estaban encargadas de la supervisión y evaluación de las prácticas clínicas (10 estudiantes por cada profesora) a través del portafolio. A lo largo del periodo de prácticas clínicas, el estudiante debía realizar al menos tres entregas (vía correo electrónico) del diario, dos del caso y una de ASC. La profesora debía devolverle su evaluación en el plazo máximo de cuatro días (vía correo electrónico). Tanto para la evaluación de trabajos intermedios como para la del portafolio final, se crearon indicadores que de manera sistemática eran utilizados por las cuatro profesoras. Para la generación de dichos indicadores se partió de los propuestos por la Escuela de Ciencias de la Salud (Fisioterapia) de Manresa (Universitat Autònoma de Barcelona-Fundació Universitària del Bages), los cuales se adaptaron al proyecto de la Escuela Puerta de Hierro y se consensuaron entre las cuatro profesoras mencionadas. Dichos indicadores se operacionalizaron inicialmente mediante una escala ordinal de cinco categorías (1, incompleto, a 5, excelente) (Tabla I); la puntuación obtenida en cada trabajo era la suma del valor obtenido de cada indicador. Posteriormente se recodificaron dichas puntuaciones totales a una escala de calificación estándar de 0 a 10. También se planificó un encuentro grupal estudiantes-profesor al inicio de las prácticas clínicas y uno individual tras finalizar dichas prácticas, una vez que ya había entregado el portafolio final (en modalidad de carpeta). Por otra parte, se llevaron a cabo al menos dos contactos por periodo con los tutores clínicos. Las profesoras también tuvieron tres reuniones a lo largo del desarrollo del proyecto, y contactos semanales vía correo electrónico.

En el curso académico 2006-2007 fue pilotado el portafolio con un estudiante de segundo curso y dos de tercero, quienes realizaron sus prácticas clínicas de enfermería comunitaria en el último periodo. Dicho pilotaje permitió precisar el diseño definitivo, así como las cuestiones logísticas para su puesta en marcha.

Para la calificación final de las prácticas clínicas se creó un índice sintético que incluía todas las calificaciones finales ponderadas (portafolio, 70%, e informe de evaluación de la tutora clínica, 30%). Dentro del portafolio, el diario reflexivo aportaba un 30%, el caso clínico un 20%, el ASC un 20%, y la autoevaluación del estudiante un 30%. El peso otorgado a cada calificación se decidió mediante consenso del equipo de profesoras y tomando en consideración las experiencias de la Universitat de Manresa y de la Universitat Pompeu Fabra.

Respecto al tratamiento y análisis de los datos, se calcularon índices de estadística descriptiva en el análisis univariante. Para el análisis bivariante se hizo uso de pruebas no paramétricas, tanto para datos independientes (coeficiente de correlación de Spearman, U de Mann-Whitney, test de Kruskal-Wallis) como para datos apareados (test de rangos de Wilcoxon, prueba de Friedman). Se calcularon intervalos de confianza para un 95% (IC 95%) de seguridad. Se utilizó el programa SPSS v. 15.0 para llevar a cabo el tratamiento estadístico.

Resultados

Participaron en el estudio 38 estudiantes, con una media de edad de 21,5 ± 4,3 años, y el 63,2% (n = 24) se encontraba entre los 18 y 20 años. El 81,6% eran mujeres (n = 31). Realizaron sus prácticas en turno de mañana el 71% (n = 27) y procedía un 50% (n = 19) de cada curso (Tabla II).

Respecto a las entregas intermedias de trabajos incluidos en el portafolio, fueron puntuales el 92% (n = 35), el 78,9% (n = 30) y el 65,8% (n = 25) en su primera, segunda y tercera entregas de trabajos, respectivamente (p = 0,005). Si bien este descenso en la puntualidad también se observó tanto para segundo como para el tercer curso, sólo fue significativo en segundo (p = 0,021). Para el 64,8% (n = 24) la dificultad fue alta (> 3 en la escala de 1 a 5). La utilidad fue señalada como alta (> 3 en la escala de 1 a 5) en el 73% (n = 27). Mejoró el aprendizaje para el 100% (n = 35; tres personas no contestaron) de los estudiantes. La media de horas dedicadas a la semana a la elaboración del portafolio fue de 8,1 ± 4,0 h (IC 95% = 6,6-9,5 h). La media de la evaluación de la tutora fue 8,1 ± 1,1 (IC 95% = 7,7-8,5); la autoevaluación de los estudiantes fue de 7,6 ± 0,7 (IC 95% = 7,4-8,0), y la calificación definitiva del portafolio final por parte de las profesoras, de 7,2 ± 0,8 (IC 95% = 6,9-7,4). Las calificaciones de las tutoras fueron estadísticamente más altas para los estudiantes de tercero: segundo curso, 7,7 (IC 95% = 7,0-8,3); tercer curso, 8,6 (IC 95% = 8,2-9,0); p = 0,003. No había diferencias estadísticamente significativas entre los cursos para ninguna de las restantes variables exploradas (Tabla III).

En el análisis longitudinal se pudo observar un aumento significativo (p = 0,000) de la calificación del diario reflexivo a lo largo de las entregas. En el caso clínico y el ASC se produjo un descenso significativo (p = 0,000) entre la primera entrega y la final (Tabla IV).

Existía una correlación significativa entre la evaluación final del portafolio y la autoevaluación de los estudiante (rho = 0,624; p = 0,000), la evaluación final del portafolio y la calificación de la tutora (rho = 0,505; p = 0,002) y la autoevaluación del estudiante y la calificación de la tutora (rho = 0,488; p = 0,004). La edad se correlacionaba positivamente con las tres calificaciones (Tabla V).

No se mostraron diferencias estadísticamente significativas entre hombres y mujeres en la calificación del tutor, en la autoevaluación ni en la calificación del portafolio final. Tampoco existían diferencias en estas calificaciones atendiendo al turno (mañana/tarde) en el que se realizaron las prácticas clínicas.

Discusión

La implementación del portafolio ha puesto de manifiesto la dificultad sentida por los estudiantes en un proceso que requiere escritura reflexiva, trabajo diario y autoevaluación. Es de destacar el paralelismo entre "dificultad" y "utilidad", de manera que ambos indicadores se incrementan de forma similar, pero lo verdaderamente reseñable es que todos los estudiantes reflejaron que el portafolio mejoraba su aprendizaje. La dificultad se traduce en una alta percepción de utilidad y de mejora para el aprendizaje. Estos resultados son consistentes con los señalados en otros trabajos [10-12], así como en una reciente revisión sistemática [16] que pone de manifiesto que el uso de portafolio mejora el conocimiento y la comprensión e incrementa la autoconciencia, la participación y la reflexión. Pero también se refleja en la bibliografía que el tiempo que se precisa para la elaboración del portafolio puede ser una dificultad para otros aprendizajes clínicos [17].

El hecho de que el número de borradores se fuera incrementando a medida que transcurría el periodo de prácticas puede explicar la disminución de la puntualidad a lo largo de las entregas.

Las calificaciones del diario reflexivo fueron mejorando significativamente a lo largo de las entregas. El hecho de no evidenciar esta tendencia en las calificaciones del caso clínico y el ASC puede relacionarse con la insuficiente monitorización y consiguiente proceso de devolución por parte de las profesoras en estos trabajos. Se pidieron menos entregas que en el diario reflexivo para no sobrecargar al estudiante. Fundamentalmente se les exigía que entregaran un borrador o una presentación de lo que iban a ser esos trabajos. En dichos borradores no se podían evaluar gran parte de los indicadores propuestos y, por lo tanto, la media obtenida estaba prácticamente impregnada de los indicadores A (ortografía), B (sintaxis) y C (uso de lenguaje adecuado). Es obvio que esto supone un sesgo en la medición y, por lo tanto, resta validez a las calificaciones intermedias de estos dos trabajos.

Si bien las calificaciones de todos los actores (profesoras, tutoras y estudiantes) que intervienen en el proceso evaluativo del portafolio mostraron una aceptable correlación, es entre el estudiante y la profesora donde esta correlación es más fuerte. Un reciente estudio refleja que la concordancia entre estudiante y profesor es del 60% [18].

El portafolio, como técnica pedagógica de construcción de conocimientos que incorpora una dinámica de reflexión y autoevaluación, integra parámetros de evaluación del aprendizaje y del desarrollo competencial, lo cual es una demanda tanto del ámbito académico como del ámbito clínico, con la finalidad última de contar con enfermeros y enfermeras competentes para brindar cuidados a la comunidad.

Bibliografía

1. Ley Orgánica 4/2007, de 12 de abril, por la que se modifica la Ley Orgánica 6/2001 de Universidades. Boletín Oficial del Estado, n.^o 89, de 13 de abril de 2007.        [ Links ]

2. Real Decreto 1393/2007, de 29 de octubre, por el que se establece la ordenación de las enseñanzas universitarias oficiales. Boletín Oficial del Estado, n.^o 260, de 30 de octubre de 2007.         [ Links ]

3. De la Cruz-Tomé MA. El proceso de convergencia europeo: ocasión de modernizar la universidad española si se produce un cambio de mentalidad en gestores, profesores y estudiantes. Aula Abierta 2003; 82: 191-216.        [ Links ]

4. Barragán-Sánchez R. El portafolio, metodología de evaluación y aprendizaje de cara al nuevo EEES. Una experiencia práctica en la Universidad de Sevilla. Revista Latinoamericana de Tecnología Educativa 2005; 4: 121-39.        [ Links ]

5. Artel JA, Spandel V. Using portfolios of students work in instruction and assessment. Portland, OR: Northwest Regional Education Laboratory; 1991.        [ Links ]

6. Villarini A. Primer seminario taller sobre fundamentos y principios de evaluación auténtica. República Dominicana: Facultad Autónoma de Santo Domingo; 1996.        [ Links ]

7. Vizcarro C. Algunas aportaciones para la evaluación mediante portafolios. Documentación aportada en el Diploma en Innovación y Nuevas Tecnologías en Educación Superior. Curso 2001/02. Madrid: Centro de Aprendizaje e Instrucción. Universidad Autónoma de Madrid; 2002.        [ Links ]

8. Beckley WL. Creating a classroom portfolio system. A guide to assist classroom teachers in kindergarten through eighth grade. Dubuque, Iowa: Kendall/Hunt Publishing; 1997.        [ Links ]

9. Olivé-Ferrer MC. Implementación del portafolio del estudiante en la asignatura "Fonaments d'infermeria" como instrumento para el aprendizaje reflexivo y crítico. Educare21 2004; 13. URL: http://enfermeria21.com/educare/educare13/ensenando/ensenando4.htm.        [ Links ]

10. Vera-Cortés M, Canalejas-Pérez C. El portafolio como recurso de aprendizaje e instrumento de evaluación de estudiantes repetidores de enfermería. Educ Med 2007; 10: 114-20.        [ Links ]

11. López-Ortega J, López-Sánchez FJ, Sánchez-Jurado LI, Calero-García MJ. El uso del portafolio para la enseñanza en Enfermería. Experiencia de tres cursos académicos. Ini Inv 2008 (revista electrónica de la Universidad de Jaén). URL: http://virtual.ujaen.es/ininv/images/ficheros/art_investigacion/num_e3_1008/e3a26.pdf.        [ Links ]

12. Canalejas-Pérez C, Cid-Galán ML, Martínez-Martín ML, Martín-Salinas C. El portafolios como instrumento de aprendizaje y evaluación de competencias en los estudiantes de enfermería. Enferm Clin 2009; 19: 16-23.        [ Links ]

13. Farr R, Tone B. Portfolio and performance assessment: helping students evaluate their progress as readers and writers. 2 ed. Orlando, FL: Harcourt Brace; 1998.        [ Links ]

14. Bordas I, Cabrera FA. Estrategias de evaluación de los aprendizajes centrados en el proceso. Revista Española de Pedagogía 2001; 218: 25-48.        [ Links ]

15. Castelló-Badía M, Monereo-Font C. L'avaluació per car-petes en el pràcticum de psicopedagogia. Barcelona: Universitat Autònoma de Barcelona; 2000.        [ Links ]

16. Buckley S, Coleman J, Davison I, Khan KS, Zamora J, Malick S, et al. The educational effects of portfolios on undergraduate student learning: a Best Evidence Medical Education (BEME) systematic review. BEME Guide No. 11. Med Teach 2009; 31: 282-98.        [ Links ]

17. Davis MH, Ponnamperuma GG, Ker JS. Student perceptions of a portfolio assessment process. Med Educ 2009; 43: 89-98.        [ Links ]

18. Chamorro-Rebollo E, Sendino-Revuelta A, San José-Valiente B. Concordancia entre alumnos y profesores en las puntuaciones de exámenes teóricos. Metas Enferm 2007; 10: 25-30.        [ Links ]

Dirección para correspondencia:
Pilar Serrano-Gallardo.
Escuela de Enfermería Puerta de Hierro.
Joaquín Rodrigo, 2.
E-28222 Majadahonda (Madrid). ]]> E-mail: pserranohpth@salud.madrid.org