SPSS 급내상관계수 신뢰도 분석 (Intraclass Correlation Coefficient)
목차
1. 신뢰도
- 상관관계와 신뢰도의 차이
- 상대 신뢰도
2. 급내상관계수
- 급내상관계수 모델
- 일치도와 절대 합치도의 차이
- 일치도와 피어슨 상관분석의 차이
- 분석방법
- 결과해석
1. 신뢰도 (Reliability)
※ 2번 이상 측정했을 때 측정값이 일정한지 확인하기 위한 방법이다.
e.g) 관절가동범위 측정 시 2명의 연구자가 따로 측정하여 측정자 간 신뢰도를 확인한다.
상관관계와 신뢰도의 차이
- 상관관계는 즉 변수 1이 증가할 때 변수 2가 같이 증가하거나 반대로 감소하는 '경향'에 대한 것이다.
- 신뢰도는 2번 이상 측정 시 경향이 아닌 동일한 값이 나오는 '일관성'에 대한 것이다.
상대 신뢰도 (Relative Reliability)
※ 실험과 같이 특정 조건에서 수집된 측정값 간의 신뢰도를 확인하는 것이다
- 서로 다른 조건에서의 신뢰도를 직접 비교할 수는 없다.
e.g) 내적 일치도, 평가자 간 신뢰도, 평가자 내 신뢰도,
평가자 간 신뢰도 & 평가자 내 신뢰도 (Inter & Intra-rater Reliability)
- 평가자 간 신뢰도 : 2명 이상의 평가자가 측정한 측정값에 대한 신뢰도
- 평가자 내 신뢰도 : 동일한 평가자가 2번 이상 측정한 측정값에 대한 신뢰도
- 공통된 통계 방법 : 급내상관계수, 카파계수, 켄달 순위 상관계수
2. 급내상관계수 (Intraclass Correlation Coefficient)
※ 2회 이상의 측정 또는 2명 이상의 평가자에 의한 측정에 대한 신뢰도를 구한다.
e.g) 3명의 평가자가 동일한 대상자의 관절가동범위를 측정한 후 평가자 간 신뢰도를 구한다.
- 각 측정이 모두 독립적이어야 한다.
- e.g) 다음 평가자가 이전 평가자의 측정값을 확인하는 등 이전 평가자에 의한 영향을 받지 않도록 독립적으로 측정되어야 한다. - 각 측정이 모두 정규분포여야 한다.
- 변수 : 양적변수 (비척도, 등간척도)
급내상관계수 모델
- 모델 1 (일차원 변량) : 각각의 대상자가 전체 평가자 중 무작위 추출된 일부 평가자에게 평가되는 형태이다.
※ 각각의 대상자가 서로 다른 평가자 집단에게 평가된다.
- ICC (1,1) : 각각의 대상자가 서로 다른 1명의 평가자에게 평가된다.
- ICC (1,n) : 각각의 대상자가 서로 다른 2명 이상의 평가자에게 평가된다
e.g) ICC (1,3) : 3명의 평가자에게 평가된다. - 모델 2 (이차원 변량) : 대상자 및 평가자 모두 무작위 추출되는 형태이다.
※ 일반화에 적합하다.
- ICC (2,1) : 무작위 추출된 대상자가 무작위 추출된 1명의 평가자에게 평가된다.
- ICC (2,n) : 무작위 추출된 대상자가 무작위 추출된 2명 이상의 평가자에게 평가된다 - 모델 3 (이차원 혼합) : 대상자는 무작위 추출되며, 평가자는 특정 연구원으로 고정된 형태이다.
※ 해당 연구에서의 평가자 간 신뢰도 및 평가자 내 신뢰도를 확인할 수 있다.
- ICC (3,1) : 무작위 추출된 대상자가 임의로 정해진 1명의 평가자에게 평가된다.
- ICC (3,n) : 무작위 추출된 대상자가 임의로 정해진 2명 이상의 평가자에게 평가된다
일치도와 절대 합치도의 차이
- 일치도 (Consistency) : 측정값들이 동일한지, 서로 얼마나 가까운지 경향의 일치를 평가한다.
※ y=x+c : 한 측정값이 다른 측정값과 오차를 더한 값과 일치하는지 평가한다. - 절대 합치도 (Absolute agreement) : 측정값들이 서로 정확히 일치하는지 평가한다.
※ y=x : 한 측정값이 다른 측정값과 일치하는지 평가한다.
- 관절가동범위 측정 시 사용되는 측정도구 등 측정값들이 정확히 일치하는지 평가해야 하는 경우
일치도와 피어슨 상관분석의 차이
- 일치도 : 가산성 지수(additivity index)로 상수를 더해서 다른 측정값과 일치할 수 있는지 평가한다.
※ y=x+c : 한 측정값이 다른 측정값과 오차를 더한 값과 일치하는지 평가한다. - 피어슨 상관분석 : 선형 지수(linearity index)로 선형 변환으로 다른 측정값과 일치할 수 있는지 평가한다.
※ y=ax+c : 한 측정값이 다른 측정값과 오차를 더한 값과 일치하는지 평가한다.
분석방법
1. 검정 위치
분석 -> 척도분석 -> 신뢰도 분석
2. 검정 설정
'항목'에 측정값 추가 -> 통계량 클릭 ->
'급내상관계수'에서 체크 -> '모형' 및 '유형' 수정 -> 계속 ->확인
e.g) 이차원 혼합 & 절대 합치도
결과 해석
단일 측도 및 평균 측도
- 단일 측도 : 1번 측정한 값에 대한 신뢰도
e.g) 3명의 평가자가 각각 1번씩 측정한 값에 대한 평가자 간 신뢰도
- 평균 측도 : 2회 이상 측정한 값의 평균값을 사용한 신뢰도
e.g) 3명의 평가자가 각각 2번씩 측정한 값의 평균값에 대한 평가자 간 신뢰도
급내상관계수 해석 기준
※ 대체로 0.80부터 신뢰도가 좋다고 본다.
- 0.90~1.00 : 매우 높은 신뢰도
- 0.75~0.89 : 높은 신뢰도
- 0.50~0.74 : 보통의 신뢰도
- 0.00~0.50 : 낮은 신뢰도
'유의확률' = p값
- p ≤ 0.05 : 신뢰도가 유의미하다.
- p > 0.05 : 신뢰도가 유의미하지 않다.
첨부파일
관련 참고 자료
Koo, T. K., & Li, M. Y. (2016). A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research. Journal of Chiropractic Medicine, 15(2), 155–163. doi: 10.1016/j.jcm.2016.02.012
Liljequist, D., Elfving, B., & Skavberg Roaldsen, K. (2019). Intraclass correlation – A discussion and demonstration of basic features. PLOS ONE, 14(7), e0219854. doi: 10.1371/journal.pone.0219854
McGraw, K. O., & Wong, S. P. (1996). Forming inferences about some intraclass correlation coefficients. Psychological Methods, 1(1), 30–46. doi: 10.1037/1082-989X.1.1.30
Shrout, P. E., & Fleiss, J. L. (n.d.). Intraclass Correlations: Uses in Assessing Rater Reliability.
관련 글
2024.03.21 - [SPSS] - SPSS 신뢰도 분석 방법 및 해석 [1] / 크론바흐 알파 계수 (Cronbach's α Coefficient)