Survival Manual for Statistical Analysis
(통계분석 생존지침서)


by Byung Gil Choi, MD, PhD.
SPSS ROC curve (Receiver Operating Characteristic curve)
개념
검사방법의 유용성 및 cut-off value 판단
예제1
Peritoneal carcinomatosis를 Peritoneal tuberculosis와 감별 진단하는데 유용한 CT finding을 알아 보고자 한다. DownLoad ROC_curve.sav
즉, maligancy를 시사하는 소견을 알아보고자 한다.

1. Enlarged LN count (커진 LN의 숫자를 센다)
2. Diameter of largest LN (가장 큰 LN의 diameter를 잰다)

두가지 finding중 어떤 finding이 더 의미있는 finding(for malignant) 일까?

만일 enlarged LN count가 더 의미있는 finding이라면 몇 개 일 때 further study를 권장하여야 하는가? (cut-off value)
만일 diameter of largest LN가 더 의미있는 finding 이라면 몇 mm 일 때 further study를 권장하여야 하는가? (cut-off value)
예제2
유방암을 진단하는데 적절한 screening study는 어떤 것인지 알아보고자 한다.

1. mammogram (grading 0, 1, 2, 3, 4, 5, 6, 7, 8, 9) (benign=0, malignant=9)
2. US (grading 0, 1, 2, 3, 4, 5, 6, 7, 8, 9) (benign=0, malignant=9)
3. MRI (grading 0, 1, 2, 3, 4, 5, 6, 7, 8, 9) (benign=0, malignant=9)

어떤 검사가 screening study로서 좋을까?
전제 조건
1. 반드시 Confirm diagnosis 또는 이에 상응하는 Gold Standard 결과가 있어야 함.

2. Finding이나 검사 방법의 결과값이 반드시 연속변수일 필요는 없으나, 비연속변수일 경우 최소 4개 이상의 순위(ordinal)변수는 되어야 curve가 그려지고, 이상적으로는 7개 이상일 경우 curve의 모양이 그럴 듯하다.
방법 (예제1을 기준으로)

1. Data 입력

confirm (Confirm Dx., Negative=0, Positive=1)

... Peritoneal tuberculosis로 확진된 환자 (negative) = 0,
... Peritoneal carcinomatosis로 확진된 환자 (positive) = 1로 입력

count (LN Count)

diameter (LN Longest Diameter)
2. 선택

[MENU]

-[Analyze]

-[ROC Curve]

3. 설정

[Test Variable]에 분석하고자 하는 검사(Finding)을 넣고,

[State Variable]에 확진(Confirm Dx.)을 넣는다.

[Value of State Variable]을 1로 한다.
... 1의 의미는 positive
... 즉 peritoneal carcinomatosis 이다.

[Display]의 항목을 모두 선택하고

[OK]를 누른다.
결과해석
요약 정보

Peritoneal carcinomatosis(Positive) 가 54 case

Peritoneal tuberculosis(Negative)가 46 case

Graph가 상단, 좌측에 위치할수록 유용한 finding 또는 검사 방법이다.

그러므로 빨간색 그래프 즉, LN count가 LN diameter에 비해 더 유용함을 의미함.


Area(=AUC)가 클수록 더 유용한 방법이다. ... (Area under the curve[AUC] = ROC curve 아랫부분의 면적)

이상적으로 1.0 이 되는 경우 완벽한 검사 방법이다. 즉, sensitivity, specificity 모두 100% 인 경우를 의미한다.

Area는 Accuracy와 같은 의미이며, 보통 다음과 같이 구분하여 사용하기도 한다.

0.90 - 1.00 excellent
0.80 - 0.90 good
0.70 - 0.80 fair
0.60 - 0.70 poor
0.50 - 0.60 fail

Asymptotic Sig.(p)가 0.05보다 작은 경우 검사 방법은 유용하다고 볼 수 있다. 즉 이 예제의 경우 두 검사 모두 유용한 검사이다.

Asymptotic 95% Confidence IntervalLower BoundUpper Bound모두 0.5 이상인 경우 유용한 검사라 할 수 있다.

만일 0.5 이하인 경우가 있다면(Reference Line 보다 작은 경우), 그 검사 방법은 무의미한 검사 방법으로 간주한다.


각각의 검사방법에 대한 sensitivity, 1-specificity를 표로 나타낸 것이다.

이 표를 참조하여 연구자가 원하는 적절한 point를 선택하여 cut-off value를 결정하면 된다.


예를 들어 LN count의 cut-off value10.50으로 선택하게 된다면,

... LN가 10개이하 case는 (-) 즉, peritoneal tuberculosis 로 진단하고
... LN가 11개이상 case는 (+) 즉, peritoneal carcinomatosis로 진단을 하게 될 경우
... sensitivity가 79.6% 이고 specificity가 1-0.022 = 0.978 즉 97.8%가 되는 것이다.


만일 9.50을 선택하게 되는 경우

... sensitivity는 94.4%,
... specificity는 1 - 0.239 = 0.761 즉 76.1%가 되는 것이다.
... 그러므로 사안에 따라 적절한 cut-off value를 선택하여 이용하면 된다.
유의사항
3가지 ROC curve의 예를 보여주는 그래프로

빨간색 그래프가 가장 좋은 검사 방법이며,

오렌지색 그래프는 중등도 좋은 검사 방법,

파란색 그래프는 검사방법으로서 의미가 없음을 알 수 있다.

Area under the curve[AUC]
= ROC curve 아랫부분의 면적


0.90 - 1.00 excellent
0.80 - 0.90 good
0.70 - 0.80 fair
0.60 - 0.70 poor
0.50 - 0.60 fail
by Byung Gil Choi, MD, PhD.   cbg@catholic.ac.kr  Department of Radiology, College of Medicine, The Catholic University of Korea.