晨晰統計部落格新站（統計、SPSS、BIG DATA討論園地）

五、使用「PredictABEL」得到其他 Calibration 及 Discrimination 指標

             在「PredictABEL」套件中，有許多關於 Calibration 及 Discrimination 的指標。下方為常用的 Hosmer-Lemeshow goodness-of-fit，其中「predRisk= predRisk2」使用完整模型（預測變項包括Proteinuria + SOFA + Age + Male + DM + SBP）的預測機率。

                 下圖X軸與Y軸分別為預測機率與實際機率（該分組中的 AKI 比例），每一個黑點代表十分之一的樣本數，是以預測機率最低到最高等分為十組（decile）。若黑點在線的下方，代表模式「高估」預測機率；反之，若黑點在線的上方，代表模式「低估」預測機率。

                  在下方的報表中，會列出每一組的人數與預測機率的分布，以及平均預測機率（meanpred）以及該組別的 event 比例（meanobs）。最下方有 Hosmer-Lemeshow test 的顯著性考驗，不顯著代表「模式預測機率與實際觀察機率之間無顯著差異」，不過需注意此檢定易受樣本數與切點分組的影響，因此僅供參考。

接著可以產生 discrimination 的圖形，圖中分別是 AKI 與 Non-AKI 的模式預測機率，從圖中可以觀察到兩個盒子幾乎沒有重疊，表示該模式可以區別有或沒有發生結果變項。圖中黑點是「平均預測機率」，報表會有一個數字「$Discrim_Slope」代表 Discrimination slope，其實就是 AKI 組預測機率減 non-AKI 組的預測機率。這個數字越大越好，但是沒有明確的切點。

另外還可以繪製另外一種 Calibration 的圖形，下方圖形 X 軸為模式預測機率，黑色長條為發生事件者（AKI），灰色長條則為未發生事件者（non-AKI）。由圖可明顯發現灰色長條都集中在圖形左邊，這很合理，因為 X 軸數字越小代表模式預測的發生事件機率越低。反之，黑色長條相對分布比較平均。因此這結果顯示，本預測模式對於 non-AKI 的預測相當準確，但是對於 AKI 的預測能力則是沒有很突出。

六、使用「PredictABEL」得到 IDI 與 NRI

接著使用「reclassification」指令來得到 IDI 跟 NRI。如果對於「預測風險的分組」已有臨床有意義的分組，可以指定「cutoff」的切點。譬如以冠狀動脈疾病而言， guideline 已建立了 10 年預測風險的分組為：low (<5%), borderline (5 to <7.5%), intermediate (≥7.5 to <20%), or high (≥20%)，請參考說明（https://reurl.cc/M73yAX）。

                   倘若不是有像是 guideline 這樣的建議分組方式，建議那後面的切點的數字可以隨意輸入，之後報表的「category NRI」直接忽略即可。按照本例而言，對於 AKI 的風險，並沒有權威論文或約定成俗的ˋ預測風險分組的建議，因此先隨意輸入數值。

倘若預測風險分組具有文獻證據與臨床意義，那麼就可以繼續看 Reclassification table，報表上方是「沒有發生事件（AKI）」的數據，「Initial Model」是指沒有「Proteinuria」時的預測機率分組，「Updated Model」則是包括「Proteinuria」時的預測機率分組。

紅線框起來的區域代表「將實際尚未發生事件者，從較低風險分組錯誤地歸類到較高風險分組」，這是 Proteinuria 對於預測模式會扣分的部分；反之，藍線框起來的區域代表「將實際尚未發生事件者，從較低風險分組正確地到較高風險分組」，這是 Proteinuria 對於預測模式會加分的部分。

                  報表下方是「發生事件（AKI）」的數據，紅線框起來的區域代表「將實際發生事件者，從較高風險分組錯誤地歸類到較低風險分組」，這是 Proteinuria 對於預測模式會扣分的部分；反之，藍線框起來的區域代表「將實際發生事件者，從較低風險分組正確地到較高風險分組」，這是 Proteinuria 對於預測模式會加分的部分。

報表最下方則是顯著性及信賴區間的資訊。可看到 NRI（Categorical）達顯著，不過再次提醒 Categorical NRI 極容易受到風險分組方式的影響，以本例子而言是不應該採用的。

反之 Continuous NRI 達顯著，順便一提 NRI 的範圍是「0 to 2」，因為發生事件與未發生事件各別的 NRI 最大值都是 1（100%）。最後一個則是 IDI 的結果，此結果與前述 AUCs 的差異檢定（DeLong’s test）很類似，達邊緣顯著。

最後則是可以用圖示的方式來呈現 Continuous NRI 或 Categorical NRI 的結果。語法中先繪製出散佈圖，X 軸是簡單模型的預測機率，Y 軸則是複雜模型的預測機率。繪製完成後，所有的點都是黑點，無法區分是發生事件或未發生事件者，因此再挑出 AKI==1 的個案，將其黑點更換為藍點。

我們在圖形自己手工畫一條 45 度線，由於點若在線的下方是代表『簡單模型的預測機率高於複雜模型的預測機率』，因此對於藍點（發生事件者）來說，這是錯誤分類；反之對於黑點（未發生事件者）來說這是正確分類。

                   相同地，點若在線的上方是代表『簡單模型的預測機率低於複雜模型的預測機率』，因此對於藍點（發生事件者）來說，這是正確分類；反之對於黑點來說這是錯誤分類。這是 Continuous NRI 的圖示部分。

.

                   倘若是 Categorical NRI，則分別在 X 軸跟 Y 軸針對風險分組的切點劃水平線與垂直線。相同的道理，只是這個時候看的是「跨越區域」的部分，舉九宮格右邊中間為例，該藍點（發生事件者）在簡單模型是最高風險那一組，但卻在複雜模型被錯誤歸類到風險次高那一組。