Estatísticas - coeficiente kappa de Cohen

Cohen's kappa coefficienté uma estatística que mede a concordância entre avaliadores para itens qualitativos (categóricos). É geralmente considerada uma medida mais robusta do que o cálculo de concordância percentual simples, uma vez que k leva em consideração a concordância que ocorre por acaso. O kappa de Cohen mede a concordância entre dois avaliadores que classificam cada um N itens em C categorias mutuamente exclusivas.

O coeficiente kappa de Cohen é definido e dado pela seguinte função:

Fórmula

Onde -

• $ {p_0} $ = concordância relativa observada entre avaliadores.

• $ {p_e} $ = a probabilidade hipotética de concordância casual.

$ {p_0} $ e $ {p_e} $ são calculados usando os dados observados para calcular as probabilidades de cada observador dizendo aleatoriamente cada categoria. Se os avaliadores estiverem em total acordo, então $ {k} $ = 1. Se não houver acordo entre os avaliadores além do que seria esperado ao acaso (como dado por $ {p_e} $), $ {k} $ ≤ 0 .

Exemplo

Problem Statement:

Suponha que você esteja analisando dados relacionados a um grupo de 50 pessoas se candidatando a uma bolsa. Cada proposta de financiamento foi lida por dois leitores e cada leitor disse "Sim" ou "Não" à proposta. Suponha que os dados de contagem de desacordo sejam os seguintes, onde A e B são leitores, os dados na diagonal inclinada para a esquerda mostram a contagem de concordâncias e os dados na diagonal inclinada para a direita, discordâncias:

		B
		sim	Não
UMA	sim	20	5
	Não	10	15

Calcule o coeficiente kappa de Cohen.

Solution:

Observe que houve 20 propostas que foram concedidas pelo leitor A e pelo leitor B e 15 propostas que foram rejeitadas por ambos os leitores. Assim, a concordância proporcional observada é

Para calcular $ {p_e} $ (a probabilidade de acordo aleatório), observamos que:

• O leitor A disse "Sim" para 25 candidatos e "Não" para 25 candidatos. Assim, o leitor A disse "Sim" 50% das vezes.

• O leitor B disse "Sim" para 30 candidatos e "Não" para 20 candidatos. Assim, o leitor B disse "Sim" 60% das vezes.

Usando a fórmula P (A e B) = P (A) x P (B), onde P é a probabilidade de ocorrência do evento.

A probabilidade de que ambos digam "Sim" aleatoriamente é 0,50 x 0,60 = 0,30 e a probabilidade de que ambos digam "Não" é 0,50 x 0,40 = 0,20. Assim, a probabilidade geral de concordância aleatória é $ {p_e} $ = 0,3 + 0,2 = 0,5.

Então, agora aplicando nossa fórmula para o Kappa de Cohen, obtemos: