Introducción
En el ámbito de la salud y seguridad en el trabajo, es habitual la utilización de indicadores de resultados, centrados fundamentalmente en el registro de accidentes. No obstante, cada vez está más extendido el convencimiento de las limitaciones de dichos indicadores para valorar la calidad de la gestión preventiva de las organizaciones. Las tendencias más avanzadas en gestión preventiva ponen el foco en estrategias de mejora continua bajo criterios de eficacia, teniendo en cuenta los aspectos determinantes, condicionantes y antecedentes de los resultados indeseados. Este enfoque requiere medir el esfuerzo preventivo.
Los Indicadores Positivos de Esfuerzo Preventivo (IPEP), (“leading indicators” en la literatura anglosajona) miden estos aspectos de la gestión de la prevención y pueden monitorizar el desempeño de la organización en seguridad atendiendo a diversos elementos de su Cultura Preventiva1; además, tienen relación con unos buenos resultados en salud y seguridad2. En contraposición, los indicadores de resultados, centrados casi exclusivamente en la incidencia de accidentes, se consideran indicadores negativos (“lagging indicators”), ya que informan sobre todo del fracaso de la prevención y siempre de una manera reactiva cuando el daño ya se ha materializado.
El mantenimiento de unos buenos IPEP en una organización constituye la objetivación de un esfuerzo preventivo continuado, que garantizaría (siempre en términos de probabilidad) la sostenibilidad del sistema preventivo, en especial en términos de Cultura Preventiva3. Por el contrario, unos malos indicadores IPEP señalarían una situación problemática con anterioridad a su traducción en daños y a pesar, incluso, de que en un momento determinado aún no tengan un reflejo en altas tasas de siniestralidad.
La propuesta de trabajar con indicadores positivos como estrategia para gestionar la mejora de la seguridad y como alternativa complementaria a la gestión del registro de accidentes e incidentes está cada vez más extendida4, identificándose como una opción más racional que la centrada exclusivamente en la gestión de los accidentes y, en todo caso, considerada como necesaria para el avance5. Dadas las oportunidades que esta estrategia proporciona para gestionar los cambios que se necesitan6-8, se considera que el uso de IPEP facilita incrementar el potencial de las organizaciones por la seguridad3.
La utilización de indicadores positivos, o “leading indicators” se basa en la evidencia de su relación con los antecedentes de los errores que conducen a accidentes (cualidad proactiva y predictiva), identificando fallos o errores latentes en aspectos vitales de los sistemas de control9-10.
Entre los indicadores considerados como “leading”, los referidos a cultura preventiva cuentan con una aceptación generalizada, dada su relación con eventos negativos futuros6,11, como se ha puesto de evidencia en la práctica12-13, habiéndose identificado de forma repetida la relación positiva entre el clima de seguridad (cultura de seguridad percibida) y los buenos resultados intermedios y finales de la misma3,14-16.
Aunque existen numerosas herramientas predictivas y de mejora, como la escala corta de medición del clima preventivo17 de sólo 6 ítems y validada en múltiples muestras, o la escala de medición del sistema de gestión de seguridad18 cuya capacidad predictiva ha sido también evaluada positivamente19, el Institute for Work & Health (IWH) de Canadá ha sido pionero en el desarrollo de este tipo de herramientas; en concreto el OPM (Organizational Performance Metric) (anexo I) o “Medida del Esfuerzo Organizacional”20 contiene solo 8 ítems y ha sido ampliamente validada como herramienta universal, es decir, para entornos diversos como la educación, la industria o la atención sanitaria20-21.
El departamento de seguridad y salud en el trabajo de Australia ha realizado también un completo proceso de estudio y validación del OPM liderado por la Monash University22 con resultados satisfactorios sobre su validez como “leading indicator” y su valor predictivo.
El OPM ha sido incluido dentro de otro grupo de ítems utilizado como conjunto de indicadores positivos en el proyecto Ontario Leading Indicator Proyect (OLIP)23 para la medida del rendimiento organizacional en seguridad.
La elección del OPM para este estudio responde a su previa validación por diferentes autores en diferentes países como Estados Unidos y Australia20-22 y a su predictibilidad demostrada respecto a los accidentes de trabajo en diversos escenarios22, se ha mostrado útil para promover y gestionar necesidades de mejora y, además, se trata de una herramienta corta de sólo 8 ítems, lo que facilita su aplicación.
El objetivo de este estudio es realizar la adaptación transcultural y la validación de la nueva herramienta, analizando la fiabilidad, la consistencia interna, las correlaciones entre ítems así como el estudio de su estructura interna como paso previo a su utilización.
Métodos
El primer paso fue realizar una primera traducción de la herramienta original en inglés al castellano por dos expertos en cultura preventiva nativos en español y elevado nivel de inglés.
Posteriormente se procedió a desarrollar un panel con 7 personas expertas en prevención de riesgos laborales y usuarias habituales de la lengua inglesa, una de ellas además lingüista y experta en cuestiones de lenguaje inclusivo, con el fin de validar esta primera versión. Las tareas que se solicitaron a los expertos fueron: 1) valorar las traducciones realizadas para cada uno de los 8 ítems mediante una puntuación de 0 (ninguna dificultad) a 10 (máxima dificultad) y 2) proponer, en su caso, frases o palabras alternativas que mejor se ajustaran al lenguaje cotidiano empresarial, manteniendo el contenido original del instrumento. También se les pidió valorar la escala de respuesta más adecuada. Estas aportaciones fueron agrupadas y discutidas por los firmantes de este estudio. El resultado del panel fue una segunda versión del cuestionario.
Con el fin de asegurar el mantenimiento del contenido original, los dos expertos iniciales realizaron una nueva traducción al inglés que fue remitida a otros dos expertos en cultura preventiva cuya lengua materna es el inglés, a los que se pidió una valoración de la equivalencia de esta versión respecto a la original, considerando sus aportaciones se efectuaron pequeños cambios en el cuestionario en castellano.
Al cuestionario de 8 preguntas y a efectos del estudio de validación y con objeto de comparar las propiedades del instrumento según el tipo de informante, se incluyó un ítem sobre la ocupación de la persona que cumplimenta el cuestionario y unas breves instrucciones de cumplimentación.
Para la validación métrica de la nueva herramienta se realizó un pre-test en 4 empresas, recogiendo un total de 30 cuestionarios; se desarrolló un estudio de las correlaciones entre los diferentes ítems del IPEP (ítems 1-8) sobre el total. Tras este análisis surgió la necesidad de modificar ligeramente el ítem nº 6; la correlación elemento-total corregida del análisis de fiabilidad de este ítem era la más baja de todas (0,333) y la variación de esta pregunta hacía subir el valor del alfa de Cronbach, por lo que se procedió a modificar la redacción de la misma simplificando el lenguaje. En el anexo II puede encontrarse la versión final de la herramienta (OPM-Esp).
La validación del cuestionario se ha desarrollado en la Comunidad Foral de Navarra durante el segundo trimestre de 2018. El Instituto de Salud Pública y Laboral de Navarra (ISPLN) aportó una base de datos del Instituto de Estadística de Navarra24 de empresas incluidas en las 7 divisiones de actividad según la Clasificación Nacional de Actividades Económicas (CNAE) con mayor siniestralidad registrada y número de personas trabajadoras en 2017, ordenadas bajo criterios de tamaño del establecimiento, división de actividad e índice de incidencia de accidentes de trabajo en jornada de trabajo (ATJT) para cada sexo. Se realizó un procedimiento de depuración exhaustivo de la base de datos, realizando sucesivos controles que garantizaran la eliminación completa de duplicados y los registros sin datos válidos. A partir de este marco depurado se elaboró una muestra aleatoria por cuotas según estrato del número de trabajadoras/es de la empresa e índice de incidencia de ATJT y división CNAE de actividad con un total de 184 empresas. En esta etapa se constató la escasa representación de empresas medianas y grandes, en línea con la distribución de empresas según tamaño y actividad en el territorio.
Se preparó una plataforma online para la recogida de datos que garantizaba un control adecuado de los mismos. La tipología de las 87 empresas que han participado, según tamaño y sector está descrita en la Tabla 1.
Se recogieron un total de 396 cuestionarios: 51 de directivos, 90 de supervisores, 36 de personal técnico y 219 de trabajadores.
Al margen de esta muestra se han obtenido otros 82 cuestionarios, cumplimentados por delegados de prevención con el fin de añadir más valor a los resultados. Dichos delegados acudieron al ISPLN para participar en actividades de formación y accedieron a responder el cuestionario de forma voluntaria y anónima, lo que ha permitido aumentar la muestra total a 478 cuestionarios.
Tamaño | n | % |
---|---|---|
<25 | 29 | 33,3 |
26-50 | 26 | 29,9 |
51-100 | 15 | 17,3 |
>100 | 17 | 19,5 |
Total | 87 | 100 |
División de actividad | n | % |
10: Industria de la alimentación | 23 | 26,4 |
22: Fabricación de productos de caucho y plástico | 7 | 8,1 |
24: Metalurgia, fabricación de productos de hierro, acero y ferroaleaciones | 10 | 11,5 |
25: Fabricación de productos metálicos, excepto maquinaria y equipo | 16 | 18,4 |
29: Fabricación de vehículos a motor, remolques y semirremolques | 19 | 21,8 |
43: Actividades de Construcción especializada | 6 | 6,9 |
87: Asistencia en establecimientos residenciales | 6 | 6,9 |
Total | 87 | 100 |
Para la valoración de la fiabilidad del cuestionario se ha empleado el coeficiente alfa de Cronbach como medida de la consistencia interna de la herramienta y de cada uno de los factores que lo componen. Sus valores oscilan desde 0 (nada fiable) hasta 1 (plena fiabilidad). Se basa en la correlación interelementos promedio y asume que los ítems (medidos en escala de Likert) miden un mismo constructo y están altamente correlacionados. Se considera que un valor superior a 0,7 es aceptable25. Además, se ha realizado este estudio de fiabilidad de forma separada para cada uno de los estratos de empleados estudiados, obteniéndose los correspondientes coeficientes de fiabilidad.
Para estudiar la capacidad de discriminación de los ítems y la consistencia interna del cuestionario se han calculado las correlaciones bivariadas para cada ítem y la suma total de las puntuaciones obtenidas como la suma de los puntos dados en los 8 ítems. Para ello se ha calculado el Coeficiente Tau-b de Kendall al ser una medida no paramétrica apropiada para datos ordinales que no verifican la normalidad. El Coeficiente de Correlación Intraclase (ICC) ayuda a cuantificar la concordancia general de los resultados. Oscila entre 0 (ausencia de concordancia) y 1 (concordancia o fiabilidad absoluta). Se define como la proporción de variabilidad total explicada por los individuos.
Para estudiar la validez del cuestionario de forma que permita confirmar la estructura interna, y las dimensiones latentes en los 8 ítems se ha realizado un análisis factorial exploratorio. Para estudiar la bondad del modelo analizaremos el valor de Kaiser-Meyer-Olkin (KMO), medida de adecuación muestral, que oscila entre 0 y 1 y que debe ser superior a 0,8, siendo muy bueno si es superior o igual a 0,9. Este índice relaciona los coeficientes de correlación observados entre las variables y los coeficientes de correlación parcial. También se estudia la prueba de esfericidad de Bartlett que indicará si el modelo es adecuado o no. Cuando se obtenga un p-valor inferior a 0,05 será adecuado realizar el modelo factorial pues en este caso se rechaza la hipótesis nula (la matriz de correlaciones es una matriz identidad).
Por último, para estudiar las diferencias encontradas en las puntuaciones medias totales obtenidas en cada estrato (tipología de empleados), se han realizado contrastes no paramétricos, el test de Kruskal Wallis, cuya hipótesis nula indica que la distribución de la puntuación total es la misma entre las categorías de puestos y la prueba de la mediana para muestras independientes, cuya hipótesis nula es que la mediana de puntuación total es la misma entre las categorías de puestos, pues no se ha podido asumir normalidad en las distribuciones estudiadas.
Resultados
El valor alfa de Cronbach que hemos obtenido en nuestro estudio, en el conjunto de datos es 0,863, superando el límite establecido para considerar fiable la nueva herramienta (Tabla 2).
Tipo de puesto | Tamaño de muestra | Alfa de Cronbach |
---|---|---|
Delegado | 82 | 0,911 |
Directivo | 51 | 0,715 |
Supervisor | 90 | 0,802 |
Técnico | 36 | 0,576 |
Trabajador | 219 | 0,827 |
Total | 478 | 0,863 |
Se observa cómo el valor de alfa para los técnicos de prevención desciende y el análisis de fiabilidad confirma que el coeficiente es reducido, debido fundamentalmente a la primera pregunta pues el valor del alfa de Cronbach aumenta a 0,690 si dicha pregunta es eliminada. Por otra parte, hay que decir que es el grupo con menor tamaño de muestra, aspecto que también puede influir en este resultado.
Con el análisis de las correlaciones bivariadas del coeficiente Tau-b de Kendall para datos ordinales, entre los 8 ítems y la suma total (Tabla 3) se observa que la puntuación menor de las correlaciones es 0,508 y corresponde al ítem 1, siendo el ítem 3 el que mayor correlación presenta con la suma, 0,665.
Ítem 1 | Ítem 2 | Ítem 3 | Ítem 4 | Ítem 5 | Ítem 6 | Ítem 7 | Ítem 8 | Suma de los ítems 1 al 8 | |
---|---|---|---|---|---|---|---|---|---|
Ítem 1 | 1,000 | ,396** | ,373** | ,352** | ,336** | ,333** | ,264** | ,330** | ,508** |
Ítem 2 | ,396** | 1,000 | ,508** | ,514** | ,450** | ,452** | ,344** | ,403** | ,609** |
Ítem 3 | ,373** | ,508** | 1,000 | ,503** | ,459** | ,466** | ,342** | ,404** | ,665** |
Ítem 4 | ,352** | ,514** | ,503** | 1,000 | ,442** | ,494** | ,307** | ,521** | ,636** |
Ítem 5 | ,336** | ,450** | ,459** | ,442** | 1,000 | ,437** | ,382** | ,378** | ,622** |
Ítem 6 | ,333** | ,452** | ,466** | ,494** | ,437** | 1,000 | ,328** | ,421** | ,592** |
Ítem 7 | ,264** | ,344** | ,342** | ,307** | ,382** | ,328** | 1,000 | ,300** | ,524** |
Ítem 8 | ,330** | ,403** | ,404** | ,521** | ,378** | ,421** | ,300** | 1,000 | ,576** |
Suma de los ítems 1 al 8 | ,508** | ,609** | ,665** | ,636** | ,622** | ,592** | ,524** | ,576** | 1,000 |
**La correlación es significativa al nivel 0’01 (bilateral).
El Coeficiente de Correlación Intraclase, ICC=0,842, indica muy buena variabilidad interna de la herramienta, con un valor próximo a 1.
Realizado el análisis factorial exploratorio a los ítems, de forma que se puedan identificar las dimensiones latentes en el conjunto de datos a partir de las relaciones que puedan existir entre las variables, se observa que en este caso solo hay un factor (Tabla 4).
Comunalidades | P1 | P2 | P3 | P4 | P5 | P6 | P7 | P8 | ||
---|---|---|---|---|---|---|---|---|---|---|
0,38 | 0,60 | 0,62 | 0,63 | 0,56 | 0,55 | 0,36 | 0,49 | |||
Varianza total explicadaa | Componente | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | |
Autovalores iniciales | Total | 4,19 | 0,75 | 0,69 | 0,58 | 0,51 | 0,49 | 0,42 | 0,37 | |
% de la varianza | 52,36 | 9,36 | 8,61 | 7,30 | 6,34 | 6,17 | 5,25 | 4,62 | ||
% acumulado | 52,36 | 61,72 | 70,32 | 77,62 | 83,96 | 90,13 | 95,38 | 100,00 | ||
Sumas de las saturaciones al cuadrado de la extracción | Total | 4,19 | ||||||||
% de la varianza | 52,36 | |||||||||
% acumulado | 52,36 | |||||||||
Matriz de componentesb | P1 | P2 | P3 | P4 | P5 | P6 | P7 | P8 | ||
Componente | 1 | 0,62 | 0,78 | 0,79 | 0,79 | 0,75 | 0,74 | 0,60 | 0,70 |
a Método de extracción: Análisis de Componentes principales
b 1 componentes extraídos
Este análisis factorial es considerado válido debido a una medida de adecuación muestral de Kaiser-Meyer-Olkin, KMO=0’918, siendo significativa la prueba de esfericidad de Bartlett (p-valor<0’000).
La media de la suma de puntos obtenida para los 478 cuestionarios analizados alcanza los 15,20 puntos sobre un máximo posible de 24 puntos. El grupo que obtiene menor media en la suma global en los 8 ítems es el de delegados, con una puntuación media de 11,98 puntos, seguida de los trabajadores con 15,20 puntos, los técnicos de prevención con 16,44 puntos, supervisores con 16,72 puntos y por último el grupo de directivos cuyo promedio en la suma alcanzada es la más alta, ascendiendo a 17,39 puntos.
Tras realizar el test no paramétrico de Kruskal-Wallis y posteriormente la prueba de la mediana para muestras independientes, se observan diferencias estadísticas significativas entre todos los grupos, considerando un nivel de significación de 0,01, tanto en la distribución de la variable suma en los 5 grupos analizados (p-valor <0,000) como en el valor de la mediana (p-valor=0,001). Sin embargo, no hay diferencias significativas para las categorías profesionales de directivos, supervisores y técnicos, ni en la distribución de la suma de puntuaciones totales obtenidas en el cuestionario IPEP (p-valor = 0,695) y ni en el estudio de sus medianas (p-valor = 0,950).
El valor medio obtenido para cada ítem, según el tipo de puesto refleja un patrón muy similar (figura 1) para cada una de las preguntas. El grupo de delegados de prevención de riesgos laborales es el que alcanza menores valores medios en todos los ítems.
Discusión
Una vez realizada la revisión bibliográfica de los Indicadores Positivos de Esfuerzo Preventivo (IPEP) se elige la herramienta OPM (organizational performance metric) que contiene únicamente 8 ítems y tiene reconocido prestigio internacional tanto en su utilidad como medida del esfuerzo preventivo de la empresa como en su valor predictivo respecto a los accidentes de trabajo.
Este cuestionario ha sido sometido a un proceso de traducción y adaptación transcultural al castellano y se le ha realizado un exhaustivo análisis estadístico de validación que ha resultado favorable. Se ha confirmado su fiabilidad, así como una muy buena consistencia interna pues los coeficientes Alfa de Cronbach en la mayoría de los ítems fueron superiores a 0,7. El análisis de las correlaciones bivariadas entre cada ítem y la suma total de las puntuaciones obtenidas por cada informante, confirma la capacidad de discriminación de todos y cada uno de los ítems que lo conforman.
Al igual que en un estudio previo de validación26, nuestros resultados confirman que el análisis factorial exploratorio muestra un modelo adecuadamente ajustado, en el que todos los ítems del OPM-Esp forman un único factor, es decir, todos los ítems del conjunto que lo conforman son necesarios para medir el desempeño en seguridad. Los datos estadísticos muestran que la herramienta tiene la capacidad de extraer una única medida del esfuerzo preventivo, aportando más fuerza a la herramienta como constructo-indicador del esfuerzo preventivo de las empresas.
Entre las limitaciones de la investigación destaca el hecho de que la cumplimentación de los cuestionarios, incluso habiendo firmado un acuerdo de participación con las empresas, no ha sido fácil y solo 87 de ellas han participado finalmente en el estudio. La dificultad encontrada para la cumplimentación en empresas grandes y medianas ha respondido fundamentalmente a la distribución de los establecimientos según tamaño en el territorio; el 93,6% de las empresas de Navarra disponen de menos de 10 empleados, el 5,3% entre 10 y 49 y sólo el 1,2% más de 50. Esta última categoría incluye el 51,8% de las y los trabajadores del territorio.
También como limitación debe considerarse que no se han seguido de manera estricta todas las recomendaciones metodológicas para los procesos de traducción, adaptación cultural y validación (TACV) para los cuestionarios de salud27) ;en nuestro caso, teniendo en cuenta la sencillez del instrumento y la ausencia de preguntas relativas a la salud, optamos por seguir los pasos esenciales28, asegurando la intervención de nativos en inglés y castellano en las diversas etapas de traducción y retro-traducción, la revisión por un grupo de expertos en la materia en las diferentes etapas, pre-test con 30 personas legas y sobre todo un importante esfuerzo estadístico para la validación de los atributos esenciales del cuestionario.
Este proceso de validez de la herramienta ha sido reafirmado en los 5 estratos de tipología de informantes incluidos, aunque se ha encontrado que los delegados de prevención aportan las menores puntuaciones. Se puede considerar que éstos se apoyan en una visión crítica en su papel de defensa de los intereses de la prevención de las plantillas29 probablemente en conflicto con las direcciones de las empresas, algo que puede explicar esta diferencia de valoración.
El cuestionario obtenido (OPM-Esp) constituye un instrumento válido como indicador positivo de esfuerzo preventivo en las empresas españolas, pero también como herramienta para la activación de la cultura de seguridad en ellas. Su reducido tamaño y fácil aplicación lo hacen especialmente útil en el ámbito laboral. Su predictibilidad respecto a los accidentes de trabajo deberá valorarse en el entorno español en próximos estudios.