Concordancia entre observadores: Kappa de Fleiss en SPSS 26

El estadístico kappa de Fleiss (Fleiss et al., 2003) indica el grado de acuerdo entre tres o más observadores/evaluadores,  sobre una variable en escala categórica, siendo una generalización de la prueba π de Scott (1955) y una de las alternativas más conveniente entre todas las pruebas del mismo tipo (Gwet, 2014). Por otra parte, indicar que es tan importante calcular el acuerdo global, como los acuerdos individuales en cada nivel de la variable estudiada. 

El estadístico puede variar de -1 a +1, donde el valor negativo (κ) indica que el acuerdo entre los  evaluadores fue menor que el acuerdo esperado por casualidad. Con -1 estamos indicando que no hubo acuerdo en nada de lo observado, mientras 0 indica que el acuerdo no es mejor que el azar, y los valores mayores que 0 representan un acuerdo cada vez mayor para los evaluadores, hasta un valor máximo de +1 , lo que indica un acuerdo perfecto.

Es importante señalar ahora, que el acuerdo no significa que su decisión sea correcta (por ejemplo, los psicólogos podrían estar diagnosticando erróneamente a los pacientes en problemas de aprendizaje,  quizás haciendo demasiada incidencia en pequeñas alteraciones en las tareas a que son sometidos los pacientes). 

Coeficiente Alfa ordinal en R

Frecuentemente vemos que cuando se intenta obtener la fiabilidad de una escala se utiliza el estadístico conocido como alfa de Cronbach. No obstante, este uso tan generalizado puede tener objeciones (Osburn, 2000; Gadermann, Guhn, & Zumbo, 2012; Contreras y Novoa-Muñoz, 2018), cuando la escala de medida usada es ordinal (Elosua y Zumbo,2008), como puede ser en el uso de items likert, ya que uno de los supuestos del estadístico es la naturaleza continua de los datos. 

Cuando esto ocurre podemos usar como estadísticos alternativos tanto Omega ordinal (Dunn, Baguley & Brunsden, 2014; Viladrich, Angulo-Brunet and Doval, 2017) como el alfa ordinal de Cronbach (Contreras y Novoa-Muñoz, 2018), pudiendo dar tanto a una infraestimación como sobreestimación de los resultados respecto al estadístico clásico.