Serviços customizados
Espanhol (pdf)
Artigo em XML
Referências do artigo
Tradução automática
Enviar este artigo por email
Citado por SciELO 
Citado por Google 
Similares em
SciELO 
Similares em Google 
Permalink
Introducción
Desde hace unos años, las pruebas de evaluación clínica objetiva estructurada (ECOE) se han generalizado en prácticamente todas las facultades de medicina de España [1]. Esta prueba ha sido seleccionada por la Conferencia Nacional de Decanos de Facultades de Medicina de España como un método de evaluación fiable de la competencia clínica de sus estudiantes de Medicina [2]. Como describió van der Vleuten [3], la ECOE es un instrumento adecuado para evaluar el tercer nivel competencial de la pirámide de Miller [4], donde el alumno debe ‘demostrar’ cómo se utilizan determinadas competencias clínicas en un entorno simulado que garantice la seguridad del paciente. En esencia, la ECOE no es otra cosa que una evaluación con casos clínicos estandarizados en los que los estudiantes deben mostrar su competencia práctica en áreas como la anamnesis, la exploración física, el manejo clínico o las habilidades de comunicación, entre otras [5 6 7-8].
Uno de los aspectos más tediosos de la ECOE es el proceso de obtención de la calificación de los alumnos examinados. Para ello, hay que analizar y, habitualmente, pasar a una hoja de cálculo el contenido de las hojas de evaluación o checklists que los evaluadores de cada estación han rellenado para cada uno de los evaluados. Imaginemos 100 estudiantes y 20 estaciones; esto supone 2.000 hojas de evaluación para anotar. Para mejorar este aspecto han surgido multitud de paquetes de software y aplicaciones electrónicas que solucionan este problema, aunque la mayoría de ellas, si no todas, son bastante caras, cerradas y no permiten incluir las especificidades implementadas en cada una de nuestras facultades [9].
En este documento mostramos un método sencillo y gratuito con el que poder realizar todo el proceso de evaluación de la ECOE para la obtención prácticamente inmediata de los resultados obtenidos por los examinandos. El método permite, además, que todo el proceso se haga online, eliminando, por tanto, la necesidad de rellenar listados evaluativos en papel y, lo que es más tedioso, la transcripción posterior de todos estos resultados. Lógicamente, todo el proceso necesario para la preparación de los casos o estaciones no puede automatizarse, y es misión de los autores responsables de cada estación la redacción de los casos. Nosotros recomendamos seguir la norma dictada por la Conferencia Nacional de Decanos de Facultades de Medicina para la redacción de los casos [2].
Métodos
El método que aquí se plantea comienza con la preparación de los listados evaluativos o checklists que, una vez acabados, permitirán su rellenado online desde ordenadores portátiles o tabletas, incluso desde los teléfonos móviles actuales o smartphones. Para ello usaremos el sistema de Google Forms (https://www.google.es/intl/es/forms/about/). El único requisito es que la persona que prepare los formularios online a partir de los listados evaluativos del caso debe tener una cuenta de Google, con su Drive activado. Las cuentas de Google son fáciles de obtener, gratuitas y permiten utilizar hasta 15 Gb de almacenamiento en el llamado Drive, la nube de Google (si necesita crear una cuenta de Google, copie en el navegador el siguiente enlace: https://support.google.com/accounts/answer/27441?hl=es). Para los usuarios de Microsoft hay una herramienta similar, el denominado Microsoft Forms (https://forms.office.com/). Nuestro método consta de tres procedimientos:
– Creación del formulario de listado evaluativo de cada una de las estaciones de la ECOE.
– Cumplimentación del formulario y obtención de respuestas de cada alumno en cada una de las estaciones.
– Evaluación de las respuestas y obtención de las puntuaciones parciales de cada estación y de la puntuación global de la ECOE.
Procedimiento de creación del formulario de listado evaluativo
– Inicio de sesión en Google.
– En la esquina superior derecha, pulse en el icono de aplicaciones de Google y luego en el icono de ‘Drive’ (Fig. 1).
– Una vez en Drive, en la esquina superior izquierda, pulse en ‘Nuevo’, luego en ‘Más’ y por fin en ‘Formularios de Google’.
– Se abrirá una nueva ventana con la página inicial del formulario (Fig. 2). Lo primero que haremos es darle nombre al formulario. Supongamos que vamos a preparar el listado evaluativo de la estación número 1. Tras pulsar en ‘Formulario sin título’, escribiremos, por ejemplo, ‘Listado evaluativo de la estación 1’, ‘ListEvalEst1’ o como queramos llamarlo.
– Debajo de la línea de título hay otro espacio en el que podemos, si queremos, asignar una pequeña descripción del documento. Es útil escribir alguna advertencia que queramos que la persona que use el formulario tenga presente. Por ejemplo, ‘No olvide que no puede comentar nada con el estudiante’.
– Lo siguiente que debemos poner en nuestro formulario es una pregunta que identifique al examinando. Ya que la ECOE se realiza de forma anónima, los estudiantes deben tener un código individual que muestren al evaluador. En ‘Pregunta sin título’ escribiremos ‘Código de prueba ECOE’, y a la derecha seleccionaremos que el tipo de pregunta es ‘Respuesta corta’. Un poco más abajo seleccionaremos que esta pregunta es obligatoria (Fig. 2), lógicamente. Así nos aseguramos de que ninguna encuesta quedará sin identificación. Si no se responde, no se puede continuar.
– Iniciaremos ahora la confección del listado evaluativo en sí. Lo ideal es hacer secciones según las áreas competenciales que evaluemos. En nuestro ejemplo, nuestro listado tiene anamnesis, exploración física y manejo clínico. Empezaremos, pues, con la sección 1 de anamnesis. Para ello, pulsaremos en el icono de la derecha ‘Añadir sección’
y escribiremos el nombre de la sección, ‘Anamnesis’, en este caso.– Ahora añadiremos uno a uno los ítems que vamos a evaluar (Fig. 3). Para añadir un ítem, se hace clic en ‘Añadir’
. Al lado del título de la pregunta hay que elegir el tipo de pregunta que se quiere añadir. En nuestro caso, como sólo queremos que el evaluador anote cuando el ítem coincide con una pregunta del estudiante, seleccionaremos ‘Cuadrícula de varias opciones’, y en ‘Columna 1’ escribiremos ‘Sí’. Si quisiéramos que el evaluador anotara siempre una respuesta (sí o no) en todos los ítems, escribiríamos ‘No’ en ‘Columna 2’. Creemos más útil, sobre todo para la corrección posterior, rellenar sólo si el estudiante hace esa pregunta. Si no la hace, no se rellena nada, queda en blanco. Evidentemente, podríamos poner más columnas, como bien, regular o mal. – Ahora, en la parte izquierda del cuadro del formulario empezaremos a rellenar los ítems que queramos, uno en cada fila. También habrá que rellenar algo en el título de la pregunta, por ejemplo, una sentencia que sirva para todos los ítems, aunque bastaría con un símbolo de interrogación o un espacio. Como vemos en la figura 3, hemos incluido 10 ítems en las filas y sólo una columna, la del sí.
– Es el momento de comprobar cómo va saliendo el formulario. Pulsamos en el icono del ojo ‘Vista previa’, en la parte superior de la pantalla, y se abrirá una nueva pantalla con la vista del formulario hasta el momento.
– Una vez de vuelta a la pestaña anterior, seguiremos editando el documento. Crearemos una nueva sección, a la que llamaremos ‘Exploración física’, y crearemos otros tantos ítems, de la misma forma que hemos visto antes (Fig. 4).
– Finalmente, crearemos otra sección llamada ‘Manejo clínico’, introduciremos los ítems y prácticamente habremos terminado el diseño del listado evaluativo.
– También es importante que la presentación y apariencia del formulario sea agradable. Para ello, iremos a ‘Paleta de colores’
y elegiremos el color que más nos guste para el formulario. Si se quiere añadir un tema o una de nuestras propias fotos, haremos clic en ‘Insertar imagen’ 
, arrastrando una foto a la ventana o haciendo clic en ‘Selecciona una foto de tu ordenador’.
Con esto ya debemos tener el formulario completo, con todas sus secciones y sus preguntas. Si detectamos cualquier error o queremos añadir o eliminar algo, basta con que pulsemos con el ratón en la zona de interés y editar. Debería ser como el archivo del siguiente enlace: https://goo.gl/forms/ok95jLl15E2RHZRD2.
En todo este proceso no hemos tenido que grabar ni una sola vez, ya que Google guarda automáticamente el documento. Lo podemos comprobar yendo a la pestaña del Drive, donde constataremos la existencia de nuestro formulario.
El archivo está completo. Ahora es conveniente comprobar que el archivo funciona correctamente y registra, de forma adecuada, las respuestas. El sistema permite probarlo nosotros directamente o asignarlo a un evaluador o a alguien de confianza para que lo compruebe.
Procedimiento de cumplimentación y obtención de respuestas
Una vez que el formulario se asigna a una determinada persona, por ejemplo, al evaluador encargado de la estación, éste podrá empezar a recibir estudiantes y rellenará un formulario para cada uno de ellos. Para ello, las respuestas tienen que estar habilitadas en el formulario y hay que asignar el documento de hoja de cálculo donde todas las respuestas se almacenarán.
– En la ventana del formulario, pulse en ‘Respuestas’, donde veremos que no hay ninguna todavía y que el sistema está ‘Esperando respuestas’. En la parte superior de esta ventana pulse en ‘Más’ y luego en ‘Seleccionar destino de las respuestas’. Ahora tendremos que elegir entre crear una hoja de cálculo nueva o usar una ya existente. En nuestro caso, como es la primera vez, elegiremos ‘Crear una hoja de cálculo’, que llevará el mismo nombre del formulario, con el añadido ‘(respuestas)’. Pulsamos entonces en ‘Crear’. Una vez hecho esto, podremos encontrar la hoja de cálculo de las respuestas del formulario en la pantalla del Google Drive. Es conveniente revisar el formato y apariencia del formulario.
-
– Ahora debemos comprobar que la configuración del formulario se ajusta a lo que queremos:
Por ejemplo, podríamos limitar a los usuarios a una sola respuesta, haciendo clic en la rueda dentada
(arriba a la derecha) y marcando la casilla situada junto a ‘Limitar a 1 respuesta’, y luego ‘Guardar’. Lógicamente, esta característica sería para los formularios de tipo encuesta en los que sólo permitiremos una respuesta por persona; para la ECOE no es una característica práctica.También podríamos permitir editar las respuestas a los que las han rellenado. Esto podría ser útil en el caso de que un evaluador se equivoque y desee rectificar alguna respuesta. Para ello, se hace clic en la rueda dentada
y se marca la casilla situada junto a ‘Editar después de enviar’. Nuevamente, no aconsejamos esta posibilidad, pero el usuario la tiene a su disposición.Igualmente, cuando una persona ha terminado de rellenar un formulario, puede ver un enlace a los resultados. Para ello hay que marcar la casilla situada junto a ‘Ver un resumen de las respuestas’.
En nuestra experiencia, lo ideal para la ECOE es mantener marcado únicamente ‘Mostrar enlace para enviar otra respuesta’, en la pestaña ‘Presentación’ del botón de configuración (rueda dentada). De esta manera, el evaluador o la persona que rellene los formularios siempre tiene dispuesto un formulario vacío para responder y enviar.
-
– Ahora sí es el momento de probar el formulario, añadir unas cuantas respuestas y analizar la hoja de cálculo con ellas. Para ello hay varias posibilidades. Comentaremos las más útiles:
Enviar un formulario por correo electrónico: en la parte superior derecha de la ventana del formulario, si pulsamos en ‘Enviar’, añadiremos las direcciones de correo electrónico de los que van a tener acceso al formulario, junto con el asunto del correo y el mensaje. Luego, pulsamos ‘Enviar’.
Obtener un enlace a un formulario: es muy útil simplemente compartir el formulario enviando un enlace web a los interesados. En la parte superior derecha pulsamos en ‘Enviar’, y en la zona superior de la ventana, hacemos clic en ‘Enlace’
y luego en ‘Copiar’. El enlace puede entonces enviarse por correo electrónico, colocarse en una página web, etc. Éste es probablemente el mejor sistema, ya que nos permitirá tener siempre el mismo enlace al formulario y, al mismo tiempo, modificar el formulario cuando sea necesario sin tener que reenviarlo cada vez a nuestros contactos.
– Una vez hayamos enviado los formularios o los enlaces, empezaremos a recibir respuestas, que se irán almacenando según su orden de llegada en la hoja de cálculo que habíamos seleccionado antes. Si abrimos la hoja de cálculo, comprobaremos cómo las respuestas se han grabado sin problemas, en filas consecutivas, según el día y la hora en los que los mensajes han llegado. En las columnas de la hoja de cálculo veremos las respuestas marcadas con el ‘Sí’ y las que han quedado en blanco. También se puede ver un resumen de las respuestas en el propio formulario, seleccionando en la parte superior ‘Respuestas’.
– Ya hemos terminado el formulario. Podremos ahora, si hemos estado haciendo antes pruebas, eliminar todas las respuestas para dejar la hoja de cálculo en blanco. En la parte superior de esta ventana haremos clic en ‘Más’ y elegimos ‘Eliminar todas las respuestas’. Otra opción sería preparar una nueva hoja de cálculo, que habrá que enlazar con el formulario como hemos explicado.
Procedimiento de evaluación de las respuestas y obtención de las puntuaciones de la estación
Una vez completada la hoja de cálculo con los datos obtenidos de cada una de las hojas de evaluación enviadas por los diferentes evaluadores, procederemos a obtener las puntuaciones, para lo cual es necesario seguir una serie de pasos, aquí resumidos.
Crear una copia de seguridad
Una vez abierta nuestra hoja de cálculo, lo primero que deberíamos hacer es crear una copia de trabajo para mantener siempre el archivo original intacto. Para ello, pulsaremos en ‘Archivo’ y luego en ‘Crear una copia’. En este archivo ‘Copia de listado evaluativo de estación 1’ es en el que trabajaremos.
Asignar un valor a cada uno de los ítems
En primer lugar, asignaremos valor a cada uno de los ítems del formulario. Para ello nos situaremos en la fila 1 y, pulsando con el botón derecho del ratón, seleccionaremos ‘Inserta 1 encima’. Ahora, en la casilla A1 escribiremos ‘Puntuaciones’, justo encima de la casilla ‘Marca temporal’. En la columna B deberíamos tener el código del estudiante y a partir de la columna C podemos insertar la puntuación de cada uno de los ítems. En nuestro caso, en la sección de anamnesis tenemos 10 ítems, y cada uno de ellos vale 5 puntos, para un total de 50 puntos de toda la anamnesis. Entonces, empezaremos a rellenar en la fila 1, encima de cada ítem, su puntuación. Haremos lo mismo para el resto de ítems.
Transformar las respuestas (sí/no/bien/mal) en números
Ahora tenemos que convertir en números cada uno de los ‘Sí’ de nuestra hoja de cálculo. Es muy fácil. Por ejemplo, supongamos que tenemos 60 filas de respuestas. Nos colocaremos con el cursor, por ejemplo, en la fila 65, columna C, justo en la columna del primer ítem, y añadiremos la fórmula que cambiará el texto ‘Sí’ por números: ‘=IF (C3=“Sí”;C$2;0)’; donde C3 es la celda del primer ítem de la primera respuesta y C$2 es la celda que contiene la puntuación de ese primer ítem. Esta fórmula sencillamente dice ‘si la celda C3 tiene un ‘Sí’, escribe el número de la celda C$2 o, si no, escribe cero’. Ahora copiaremos la fórmula al resto de columnas y filas y de inmediato tendremos los puntos de todos los formularios.
Sumar las puntuaciones de cada competencia
Ahora lo que interesa, probablemente, es sumar todas las puntuaciones en cada competencia. Nada más fácil en la hoja de cálculo. Nos situaremos en la última columna, después del último ítem, dejaremos una columna en blanco y añadiremos una fórmula para sumar las puntuaciones de todas las columnas que contienen ítems de ‘Anamnesis’, ‘=SUM(C65:L65)’; haremos lo mismo para las otras dos competencias.
Discusión
Hemos presentado un sistema sencillo, online y gratuito para preparar los listados evaluativos de una prueba ECOE. No hemos podido comparar este sistema con los ya presentes en el mercado (Tabla), ya que la compra de todos y cada uno de los sistemas disponibles no está al alcance de nuestra economía, pero nos gustaría reseñar varios aspectos en los que destaca el sistema que hemos presentado.
Tabla Algunos sistemas electrónicos de la evaluación clínica objetiva y estructurada.
| Clinquest | www.clinquest.com |
|
| |
| eOSCE | www.e-osce.ch |
|
| |
| ECOE CHG 2.0 | https://www.amazon.es/ECOE-Aplicaci%C3%B3n-Evaluaci%C3%B3n-Simulaci%C3%B3n-Cl%C3%ADnical/dp/8460666425 |
|
| |
| iOSCE | https://itunes.apple.com/us/app/iosce/id1091592379?mt=8 |
|
| |
| iOSCE beta | http://iosce.herokuapp.com/#/ |
|
| |
| MOSCEe | www.moscee.com |
|
| |
| OSCEonline | www.osceonline.com |
|
| |
| Qpercom | www.qpercom.com |
El primero es la posibilidad de adaptación a las peculiaridades de cada uno de nuestros distintos tipos de listados evaluativos. Jugando un poco con las diferentes posibilidades de Google Forms, encontraremos que la mayoría de lo que nuestros compañeros desean hacer cuando preparan los listados evaluativos de sus casos o estaciones se puede hacer de forma sencilla. Creemos que es muy difícil, por no decir imposible, que los sistemas disponibles comercialmente de ECOE electrónicas se ajusten exactamente a lo que el autor de la estación pretende diseñar, aunque seguro que funcionan bien en una preparación estándar.
La segunda característica es la inmediatez, lo que es compartido con los sistemas comerciales. El hecho de que la aplicación sea online hace que todo el proceso se realice en un espacio de tiempo muy corto, de tal manera que la obtención de las puntuaciones de los evaluados es prácticamente instantánea.
Otra importante característica de nuestro sistema de formularios es que es independiente de la plataforma informática que usemos. Tanto si somos usuarios de Windows, de Apple o de Linux, el sistema funcionará en cualquier ordenador y, lo que es más importante, también lo hará en teléfonos y tabletas con iOS o Android. El único requisito es la conexión a Internet.
Finalmente, destacamos que el sistema aquí propuesto es completamente gratuito. Sabemos que en el mundo online de hoy en día nada es totalmente gratuito y que el precio que hay que pagar es cierto control sobre nuestra privacidad. Pero podemos protegernos. Así, no es necesario incluir los nombres de los examinandos en la aplicación de Google, ya que se pueden usar sistemas de codificación que preserven el anonimato. Como se ha comentado, la inclusión del código del evaluado hace que todo el proceso sea perfectamente asumible y opaco para Google. Ya en nuestro ordenador, y una vez offline, relacionaremos el listado con nombres y apellidos de los examinados con su correspondiente código.
