R STUDIO 신뢰도 분석 / 급내상관계수 (Intraclass Correlation Coefficient; ICC)

R STUDIO 신뢰도 분석 / 급내상관계수 
(Intraclass Correlation Coefficient; ICC)

목차
1. 신뢰도
    - 상관관계와 신뢰도의 차이
    - 상대 신뢰도
2. 급내상관계수

728x90

1. 신뢰도 (Reliability)

※ 2번 이상 측정했을 때 측정값이 일정한지 확인하기 위한 방법이다.
   e.g) 관절가동범위 측정 시 2명의 연구자가 따로 측정하여 측정자 간 신뢰도를 확인한다. 

상관관계와 신뢰도의 차이

• 상관관계는 즉 변수 1이 증가할 때 변수 2가 같이 증가하거나 반대로 감소하는 '경향'에 대한 것이다.
• 신뢰도는 2번 이상 측정 시 경향이 아닌 동일한 값이 나오는 '일관성'에 대한 것이다.

상대 신뢰도 (Relative Reliability)

※ 실험과 같이 특정 조건에서 수집된 측정값 간의 신뢰도를 확인하는 것이다
 - 서로 다른 조건에서의 신뢰도를 직접 비교할 수는 없다. 

 e.g) 내적 일치도, 평가자 간 신뢰도, 평가자 내 신뢰도, 

 

평가자 간 신뢰도 & 평가자 내 신뢰도 (Inter & Intra-rater Reliability)

• 평가자 간 신뢰도 : 2명 이상의 평가자가 측정한 측정값에 대한 신뢰도
• 평가자 내 신뢰도 : 동일한 평가자가 2번 이상 측정한 측정값에 대한 신뢰도
• 공통된 통계 방법 : 급내상관계수, 카파계수, 켄달 순위 상관계수 

2. 급내상관계수 (Intraclass Correlation Coefficient)

※ 2회 이상의 측정 또는 2명 이상의 평가자에 의한 측정에 대한 신뢰도를 구한다.
 e.g) 3명의 평가자가 동일한 대상자의 관절가동범위를 측정한 후 평가자 간 신뢰도를 구한다.

• 각 측정이 모두 독립적이어야 한다.
  - e.g) 다음 평가자가 이전 평가자의 측정값을 확인하는 등 이전 평가자에 의한 영향을 받지 않도록 독립적으로 측정되어야 한다.
• 각 측정이 모두 정규분포여야 한다.
• 변수 :  양적변수 (비척도, 등간척도)

급내상관계수 모델

• 모델 1 (일차원 변량) : 각각의 대상자가 전체 평가자 중 무작위 추출된 일부 평가자에게 평가되는 형태이다.
  ※ 각각의 대상자가 서로 다른 평가자 집단에게 평가된다.
  - ICC (1,1) : 각각의 대상자가 서로 다른 1명의 평가자에게 평가된다.
  - ICC (1,n) : 각각의 대상자가 서로 다른 2명 이상의 평가자에게 평가된다
    e.g) ICC (1,3) : 3명의 평가자에게 평가된다.
• 모델 2 (이차원 변량) : 대상자 및 평가자 모두 무작위 추출되는 형태이다.
  ※ 일반화에 적합하다.
  - ICC (2,1) : 무작위 추출된 대상자가 무작위 추출된 1명의 평가자에게 평가된다.
  - ICC (2,n) : 무작위 추출된 대상자가 무작위 추출된 2명 이상의 평가자에게 평가된다
• 모델 3 (이차원 혼합) : 대상자는 무작위 추출되며, 평가자는 특정 연구원으로 고정된 형태이다. 
  ※ 해당 연구에서의 평가자 간 신뢰도 및 평가자 내 신뢰도를 확인할 수 있다.
  - ICC (3,1) : 무작위 추출된 대상자가 임의로 정해진 1명의 평가자에게 평가된다.
  - ICC (3,n) : 무작위 추출된 대상자가 임의로 정해진 2명 이상의 평가자에게 평가된다

일치도와 절대 합치도의 차이

• 일치도 (Consistency) : 측정값들이 동일한지, 서로 얼마나 가까운지 경향의 일치를 평가한다.
  ※ y=x+c : 한 측정값이 다른 측정값과 오차를 더한 값과 일치하는지 평가한다.
• 절대 합치도 (Absolute agreement) : 측정값들이 서로 정확히 일치하는지 평가한다.
  ※ y=x : 한 측정값이 다른 측정값과 일치하는지 평가한다.
  - 관절가동범위 측정 시 사용되는 측정도구 등 측정값들이 정확히 일치하는지 평가해야 하는 경우

일치도와 피어슨 상관분석의 차이

• 일치도 : 가산성 지수(additivity index)로 상수를 더해서 다른 측정값과 일치할 수 있는지 평가한다. 
  ※ y=x+c : 한 측정값이 다른 측정값과 오차를 더한 값과 일치하는지 평가한다.
• 피어슨 상관분석 : 선형 지수(linearity index)로 선형 변환으로 다른 측정값과 일치할 수 있는지 평가한다.
  ※ y=ax+c : 한 측정값이 다른 측정값과 오차를 더한 값과 일치하는지 평가한다.

분석방법

Code 1) :
icc(dataset, model = "twoway", type = "agreement", unit = "single")

• icc() : dataset에 있는 모든 열을 반복 측정된 데이터로 보고 각 설정에 맞춰서 신뢰도 분석을 시행한다.
  * irr 패키지
  - model : oneway -> 일차원 모델 / twoway -> 이차원 모델
  - type : agreement -> 절대 합치도 / consistency -> 일치도
  - unit : single -> 단일 측정값 사이의 신뢰도를 분석 / average -> 각 평균값 사이의 신뢰도를 분석

Code 2) :
ICC(dataset, missing=TRUE, alpha=.05, lmer=TRUE, check.keys=TRUE)

• ICC() : dataset에 있는 모든 열을 반복 측정된 데이터로 보고 각 설정에 맞춰서 신뢰도 분석을 시행한다.
  * psych 패키지
  - missing : TRUE -> 결측값이 있으면 계산이 멈춘다 / FALSE -> 결측값이 있어도 무시하고 분석한다.
  - alpha : 신뢰구간을 구하기 위한 알파 수준
  - lmer : TRUE / FALSE -> lme4 패키지의 lmer 함수 사용 여부를 설정 (선형혼합모델)
  - check.keys : TRUE / FALSE -> 총점과 상관관계가 없는 항목의 반전 여부 설정

결과해석

급내상관계수 해석 기준
※ 대체로 0.80부터 신뢰도가 좋다고 본다.
 - 0.90~1.00 : 매우 높은 신뢰도
 - 0.75~0.89 : 높은 신뢰도
 - 0.50~0.74 : 보통의 신뢰도
 - 0.00~0.50 : 낮은 신뢰도

 

 '유의확률' = p값
- p ≤ 0.05 : 신뢰도가 유의미하다.
- p > 0.05 : 신뢰도가 유의미하지 않다.

반응형

2024.05.10 - [R] - R studio에서 Excel 파일 불러오기

2024.05.11 - [R] - R STUDIO TIP 옵션 (scipen, digits, max.print)

2024.05.12 - [R] - R STUDIO 상자도표(Box plot) / ggsignif(ggplot2, ggsignif)

2024.05.13 - [R] - R STUDIO 그룹 분할 및 변수 설정 / dplyr

2024.05.15 - [R] - R STUDIO 정규성 검정 (Kolmogorov-Smirnov test & Shapiro-Wilk test)

2024.05.21 - [R] - R STUDIO 단순선형회귀분석 (Simple Linear Regression)

2024.05.23 - [R] - R STUDIO 다중선형회귀분석 (Multiple Linear Regression)

2024.05.25 - [R] - R STUDIO 등분산 검정 (Levene 검정 & Bartlett 검정 & F 검정)

2024.05.26 - [R] - R STUDIO 독립 표본 t 검정 (Independent t test)

2024.06.02 - [R] - R STUDIO 대응 표본 t 검정 (Paired-Samples T Test)

2024.06.03 - [R] - R STUDIO 상관분석 / Correlation Analysis (Pearson correlation & Spearman's rank correlation )

2024.06.04 - [R] - R STUDIO 일원배치 분산분석 / One-way Analysis of Variance (one way ANOVA)