SPSS[비모수] 신뢰도 분석 방법 및 해석 [3] / 카파계수 & 켄달의 일치계수 (Kappa Coefficient & Kendall's coefficient of concordance)

SPSS[비모수] 카파계수 & 켄달 순위 상관계수 (Kappa Coefficient & Kendall's rank Correlation Coefficient)

목차
1. 신뢰도
    - 상관관계와 신뢰도의 차이
    - 상대 신뢰도
2. 카파계수
    - Cohen's Kappa
    - Fleiss's Kappa
3. 켄달의 일치도 계수 (Kendall's W )

728x90

1. 신뢰도 (Reliability)

※ 2번 이상 측정했을 때 측정값이 일정한지 확인하기 위한 방법이다.
   e.g) 관절가동범위 측정 시 2명의 연구자가 따로 측정하여 측정자 간 신뢰도를 확인한다. 

상관관계와 신뢰도의 차이

• 상관관계는 즉 변수 1이 증가할 때 변수 2가 같이 증가하거나 반대로 감소하는 '경향'에 대한 것이다.
• 신뢰도는 2번 이상 측정 시 경향이 아닌 동일한 값이 나오는 '일관성'에 대한 것이다.

상대 신뢰도 (Relative Reliability)

※ 실험과 같이 특정 조건에서 수집된 측정값 간의 신뢰도를 확인하는 것이다
 - 서로 다른 조건에서의 신뢰도를 직접 비교할 수는 없다. 

 e.g) 내적 일치도, 평가자 간 신뢰도, 평가자 내 신뢰도, 

 

평가자 간 신뢰도 & 평가자 내 신뢰도 (Inter & Intra-rater Reliability)

• 평가자 간 신뢰도 : 2명 이상의 평가자가 측정한 측정값에 대한 신뢰도
• 평가자 내 신뢰도 : 동일한 평가자가 2번 이상 측정한 측정값에 대한 신뢰도
• 공통된 통계 방법 : 급내상관계수, 카파계수, 켄달 순위 상관계수 

2. 카파계수 (Kappa Coefficient)

※ 2명 이상의 평가자에 대한 신뢰도를 구한다(명목척도).
   - Cohen's Kappa : 2명의 평가자에 대한 신뢰도 분석
   - Fleiss's Kappa : 3명 이상의 평가자에 대한 신뢰도 분석
 e.g) 2명의 평가자가 바빈스키반사 검사(양성 or 음성)를 시행한 후 평가자 간 신뢰도를 구한다.

• 변수 : 명목척도

코헨 카파계수(Cohen's Kappa Coefficient)

분석방법

검정위치
분석 -> 기술통계량 -> 교차분석

검정 설정
'행'과 '열'에 각 1개씩 평가자의 측정값을 입력 ->  '통계량' 클릭 -> '카파' 클릭 -> 계속 -> 확인

 

결과해석

 

일치 측도(값)
* 대체로 0.80부터 신뢰도가 좋다고 본다.
- 0.81 ~ 1.00 : 매우 높은 신뢰도
- 0.61 ~ 0.80 : 높은 신뢰도
- 0.41 ~ 0.60 : 보통의 신뢰도
- 0.21 ~ 0.40 : 낮은 신뢰도
- < 0.20 : 매우 낮은 신뢰도

 

'근사 유의확률' = p값
- p ≤ 0.05 : 신뢰도가 유의미하다.
- p > 0.05 : 신뢰도가 유의미하지 않다.

 

플레이스 카파계수(Fleiss's Kappa Coefficient)

분석방법

검정위치
분석 -> 척도분석 -> 신뢰도 분석

검정 설정
'등급'에 3명 이상의 측정값을 입력 ->  '통계량' 클릭 -> '개별 범주에 대한 합치도 표시' 클릭 -> 계속 -> 확인

결과해석

 

 

전체 카파계수
* 대체로 0.80부터 신뢰도가 좋다고 본다.
- 0.81 ~ 1.00 : 매우 높은 신뢰도
- 0.61 ~ 0.80 : 높은 신뢰도
- 0.41 ~ 0.60 : 보통의 신뢰도
- 0.21 ~ 0.40 : 낮은 신뢰도
- < 0.20 : 매우 낮은 신뢰도

 

'근사 유의확률' = p값
- p ≤ 0.05 : 신뢰도가 유의미하다.
- p > 0.05 : 신뢰도가 유의미하지 않다.

조건부 확률
- 각 응답별(양성=1, 음성=2)로 한 평가자가 다른 평가자와 일치할 확률

 

개별 카파계수 및 유의확률 해석방법

- 전체 합치도와 동일

 

2. 켄달의 일치도 계수(Kendall's coefficient of concordance)

※ 2명 이상의 평가자에 대한 신뢰도를 구한다(서열척도).
 e.g) 2명의 평가자가 버그균형척도(0~4점)를 시행한 후 각 항목에 대한 평가자 간 신뢰도를 구한다.

• 변수 : 서열척도

분석방법

검정위치
분석 -> 비모수검정 -> 레거시 대화상자 -> K-대응표본

검정 설정
'검정 변수'에 2명 이상의 평가자 측정값을 입력 ->  'Kendall의 W' 클릭 -> 확인

결과해석

켄달 일치도 계수(Kendall의 W)
* 대체로 0.80부터 신뢰도가 좋다고 본다.
- 0.81 ~ 1.00 : 매우 높은 신뢰도
- 0.61 ~ 0.80 : 높은 신뢰도
- 0.41 ~ 0.60 : 보통의 신뢰도
- 0.21 ~ 0.40 : 낮은 신뢰도
- < 0.20 : 매우 낮은 신뢰도

 

'근사 유의확률' = p값
- p ≤ 0.05 : 신뢰도가 유의미하다.
- p > 0.05 : 신뢰도가 유의미하지 않다.

반응형

첨부파일

SPSS 데이터 파일_신뢰도_질적변수sav.sav

0.00MB

 

관련 참고 자료

 Landis, J. R., & Koch, G. G. (1977). The Measurement of Observer Agreement for Categorical Data. Biometrics, 33(1), 159. doi: 10.2307/2529310

 

관련 글

2024.03.21 - [SPSS] - SPSS 신뢰도 분석 방법 및 해석 [1] / 크론바흐 알파 계수 (Cronbach's α Coefficient)

2024.03.24 - [SPSS] - SPSS 신뢰도 분석 방법 및 해석 [2] / 급내상관계수 (Intraclass Correlation Coefficient; ICC)