在前一篇文章中,我們介紹了整體表現(overall performance)的各項指標以及使用上的限制,在這篇文章中,我們繼續介紹區別/鑑別(discrimination)、校正/校準(calibration)以及風險重新分組(reclassification)此三組指標。

(二)區別/鑑別(discrimination

區別/鑑別的常見指標的有2個,首先是最常見的Receiver Operating CharacteristicROC)的曲線下面積(Area under the curve, AUC),而關於ROC的介紹與使用限制,我們已於過去文章介紹過,在此不再贅述。

2個指標則是Discrimination slope,概念很簡單,就是比較實際發生事件者的平均預測機率(或預測值)與實際沒有發生事件者的平均預測機率(或預測值),一個完美模型的Discrimination slope最大值是1,不過倘若兩個族群的平均預測機率(或預測值)若無明顯重疊,就已經表示目前此模式已經非常具有鑑別力了。

下圖為Steyerberg2010)的圖2A-2B,盒型圖左邊是良性腫瘤(沒有發生事件),右邊是惡性腫瘤(發生事件)。圖A是指舊模式,亦即不包括腫瘤標記LDH的模式,圖B是新模式,包括了LDH以及其他舊模式的解釋變項。由圖A可知兩個族群的預測機率仍有稍微重疊(實線為平均數,兩組相減為0.3),圖B顯示加上LDH之後,兩組的預測機率變得比較不重疊,Discrimination slope稍微較大,變成0.34

 

1.jpg

 

然而,如同之前文章所提,AUCc-statistic or c-index)對於絕對風險的多寡並不敏感,例如對於發生與沒有發生事件者的預測機率分別是1%5%(差5倍)以及分別是10%50%(也是差5倍),對於c-statistic而言這兩種情況的貢獻是一樣的。

因此必須再往下詢問兩個問題,即(1)新模式是否比舊模式更能預測結果變項/事件發生?或新模式的預測是否準確?(2)在新模式的預測之下,是否可以改變治療決策(medical decision)?為了回答以上兩個問題,分別要再採用校正/校準(calibration)以及風險重新分組(reclassification)此兩組指標,我們將於下篇文章予以介紹。

 

參考文獻

1.     Alba AC, Agoritsas T, Walsh Met al. Discrimination and calibration of clinical prediction models: Users’ guides to the medical literature. Jama 2017; 318:1377-1384.

2.     Han K, Song K, Choi BW. How to develop, validate, and compare clinical prediction models involving radiological parameters: study design and statistical methods. Korean journal of radiology 2016; 17:339-350.

3.     McGeechan K, Macaskill P, Irwig L, Liew G, Wong TY. Assessing new biomarkers and predictive models for use in clinical practice: a clinician's guide. Archives of Internal Medicine 2008; 168:2304-2310.

4.     Steyerberg EW, Vickers AJ, Cook NRet al. Assessing the performance of prediction models: a framework for some traditional and novel measures. Epidemiology (Cambridge, Mass) 2010; 21:128.

arrow
arrow
    全站熱搜

    晨晰部落格新站 發表在 痞客邦 留言(0) 人氣()