Índice kappa con "pesos"
Una solución que puede verse como intermedia entre las anteriores (un único kappa global o K kappas individuales para cada categoría), pero que, en general, sólo tiene sentido para variables ordinales, es el denominado kappa ponderado, también propuesto por Cohen, en el cual se asignan unos pesos para cuantificar la importancia relativa entre los desacuerdos. Pensando en el ejemplo anterior, no tiene la misma importancia un desacuerdo en la clasificación entre las categorías leve y moderada que entre leve y grave, obviamente la última representa un mayor desacuerdo que la primera.
La idea de este índice ponderado es asignar a cada celda de la tabla un peso wij comprendido entre 0 y 1 que represente la importancia del desacuerdo. Dando el máximo peso al acuerdo perfecto, y pesos proporcionalmente menores según la importancia del desacuerdo
además, obviamente wij = wji.
Las proporciones ponderadas de acuerdos observados y esperados se definen
y a partir de aquí, el kappa ponderado
Nótese que, en el caso extremo, si se definen los pesos como
el kappa ponderado coincide con el kappa global.
La principal ventaja del kappa ponderado reside en la posibilidad de cuantificar diferentes grados de desacuerdo. Los valores de los pesos dependerán, en cada caso, de la importancia que se conceda a cada desacuerdo, hay que tener presente, sin embargo, que ello añade cierta dificultad a su interpretación: si en dos estudios diferentes, se calcula el kappa ponderado con dos sistemas de pesos distintos, es difícil realizar comparaciones entre ellos. Los más usados en este sentido son, por su sencillez, los denominados pesos lineales, propuestos inicialmente por Cohen
y los denominados pesos bicuadrados, propuestos posteriormente por Fleiss y Cohen
Pesos lineales y bicuadrados para 3 categorías
| Peso | lineal (wl) | bicuadrado (wb) | |||||
| Obs. | A | A | |||||
| Cat | 1 | 2 | 3 | 1 | 2 | 3 | |
| B | 1 | 1 | 1/2 | 0 | 1 | 3/4 | 0 |
| 2 | 1/2 | 1 | 1/2 | 3/4 | 1 | 3/4 | |
| 3 | 0 | 1/2 | 1 | 0 | 3/4 | 1 | |
Para
los datos del ejemplo de los reumatólogos
los kappas usando estos sistemas de pesos son respectivamente 
y
,
más altos que sin pesos.
Múltiples observadores
Este índice se puede extender a múltiples observadores, con lo que las fórmulas se complican pero sin apenas cambios conceptuales.
Referencias
Cohen J. (1968) Weighted kappa: Nominal scale agreement with provision for scaled disagreement or parcial credit Psychol Bull 70: 213-220.
 |
 |
 |
 |