電腦化適性測驗
～引用自師大陳柏熹老師的文章（出處考選部國家菁英期刊）
第ㄧ節 CAT的原理與概念
電腦化適性測驗（以下簡稱CAT）是由電腦根據受試者的答題反應立刻估計出其能力，並且馬上選出適合於受試者能力的題目來施測。由於所選出來的題目難度較符合受試者的程度，因此只要傳統非適性測驗的1/2~1/3題數就能達到與傳統非適性測驗相同的測量精準度。此外，電腦化測驗的多媒體特性可以讓試題以色彩、聲音、動畫、互動、操作等方式來呈現，提高測驗的真實性與生動感。
CAT的主要理論依據是試題反應理論（以下簡稱IRT）。IRT主要是描述題目參數、受試者能力與其作答反應機率的數學模式。基於IRT的單向性（unidimensionality）與局部獨立性（local independency）假定，只要試題符合IRT的模式，則接受不同難度試題的受試者其能力是可以互相比較的（Hambleton & Swaminathan, 1985）。
第二節 CAT的程序
在進行CAT時，由於題目是根據每個人的能力所選取出來的，因此每個人所接受的試題都不相同，如果計算出來的能力無法互相比較則進行CAT就失去意義了。所幸基於IRT的單向度與局部獨立性（local independency）假定，只要試題符合IRT的模式，則接受不同難度試題的受試者其能力是可以互相比較的。
要進行CAT需要下列幾個步驟：
1.建立題庫（item bank）
題庫建立的程序與一般測驗編製程序相同，主要有「建立測驗雙向細目表」、「根據命題原則設計試題」、「修整與審查試題」、「預試與試題分析」、「篩選試題」、「將試題內容與試題參數輸入電腦資料庫」等幾個步驟﹙Wainer et al., 1990﹚。其中「雙向細目表」是所欲測量特質的架構，它能使命題時有範圍與目標可循。在進行CAT選題時，也要使各內容或題型的題數比例符合雙向細目表的架構，如此測量到的能力才能符合測驗建構。為了使題庫的適用範圍擴大，對不同能力的人都能進行CAT，題庫中試題的難度範圍也應該盡量擴大。在難度分布型態方面，有研究者建議題庫中的難度分布最好呈均等分布﹙Urry,1977﹚。但何榮桂﹙1991﹚的研究則顯示，難度為均等分配的題庫其被選出來施測的題目有集中在少數幾題的現象，這些經常被施測的題目曝光率過高，容易外洩。因此他建議題庫中的b參數要以中難度者居多，a參數是愈高愈好，c參數則是愈低愈好。
2.估計試題參數與連結
由於CAT的選題是根據試題參數來進行，而且施測的題數都不多，因此題庫中試題參數的精確性很重要。一般而言，欲使估計出來的試題參數是穩定可靠的，單參數模式最好能有200人以上，三參數模式最好能有1000人以上，而且受試者的能力要夠分散。由於無法針對同一批人施測題庫中的所有試題，因此預試時通常是給予不同批受試者不同的題目﹙其中包含一些共同題﹚，再進行試題參數的連結。進行試題參數連結時，受試者的能力愈分散其效果愈好﹙洪碧霞，1993﹚。常用的試題參數連結方式有平均數標準差法、強韌平均數標準差法、特徵曲線法等，其中特徵曲線法的效果較好，但是也比較麻煩。此外，如果各群體的測驗中安排有共同試題，也可以用同時估計法直接對所有試題進行參數估計，如此題目參數就已經是在同一個量尺上，就不需要再進行連結了。
3.能力估計與選題
在能力估計方面，目前常用的能力估計方法主要有最大概率法（Maximum Likelihood; ML）與貝氏估計法兩類，貝氏估計又分為最大後驗法（maximum a posteriori, MAP）與期望後驗法（expected a posteriori, EAP）。其中EAP法與MAP法的估計誤差較小，對各種答題反應的受試者皆可進行估計，但是會有迴歸性的偏誤；而ML比較沒有迴歸性偏誤，但估計誤差較大，且受試者的答題反應中必須有答對也有答錯的反應才能進行估計，全部答對或全部答錯者無法進行﹙洪碧霞，吳裕益，吳鐵雄，陳英豪，1992; Bock & Mislevy, 1982; Weiss & Mcbride, 1984）。
選題分為起始選題與適性選題（adaptive item selection）。剛開始進行CAT時，由於不瞭解受試者的能力，通常會選擇中難度試題作為起始試題。後續的選題則是根據受試者在先前題目上的答對或答錯情況來估計其暫時的能力值，並選擇能對此暫時能力值提供最高訊息量的下一個適性題目。
CAT在進行能力估計時，是以受試者所作答過的n個試題反應型態來進行暫時的能力估計，並根據暫時的能力估計值來選擇能提供最高訊息量的第n + 1題，再根據受試者對前n + 1個試題的答題反應計算新的能力估計值，並繼續選出能對新的能力值提供最高訊息量的下一題，直到能力估計誤差或試題數量到達某個預設的目標為止。
4.CAT的測驗結束方式
在正式施測之前，還要決定CAT的測驗結束方式。測驗結束方式最常見的有固定題數終止與目標訊息量終止。固定題數終止是當受試者做完某個既定的試題數量就停止，不過每個人的測量精準度可能會不同；目標訊息量中止是當受試者的能力估計訊息量達到一個既定的標準後就停止，這種方式可以確保對每個人能力的測量精準度都差不多，但每個人所接受的測驗題數可能會不同。由於訊息量的概念較難被大眾所理解，因此固定題數終止法是較多人採用的方式。
5.規劃軟體與硬體
CAT必須要有適當的軟、硬體設施才能實際的來進行。從硬體來說，以目前電腦科技的進步情形，只要有一台速度較快的電腦（約2.4G的CPU與512 mega-bit的ram）作為伺服器，再加上幾台電腦作為使用者端來連線，就能進行到50~100人左右的CAT。但是當人數增加時，其選題速度就會開始變慢，因此就需要更高速的電腦作為伺服器，或者同時準備多台伺服器同時來進行。
CAT的軟體通常需要有下列幾項功能：
(一)命題功能
CAT的命題功能最好要能結合電腦的多媒體優勢，如果都與一般紙筆測驗的文字型題目無異，就失去測驗電腦化的意義了。CAT的命題功能最好能做出下列幾種試題類型(陳柏熹，2005)：
(1)文字題型：這種題型與一般紙筆測驗相同，只是改成在電腦螢幕中呈現罷了，完全沒有利用到電腦的多媒體優勢。很可惜目前的電腦化測驗試題大多為此種題型。
(2)彩色照片或圖片題：這是在題目中包含解析度較高的彩色照片，以作為作答時的判斷依據。例如：植物照片的判斷，岩石土壤照片的判斷，醫療時所使用的X光片……等。由於螢幕的解析度與立體感優於紙本印刷，因此這類題型出現在電腦化測驗中會比出現在測驗卷上效果好。
(3)動畫影像題：這種題目主要是讓受試者看完一小段動畫或影片，接著再讓受試者回答問題；或是使用動畫人物來說明試題以吸引小朋友注意。例如：可以用動畫呈現力學概念，再要求受試者答出該項概念的名稱或預測後續的發展。甚至可以用在動態天氣圖的判斷上，要求受試者預測氣象。
(4)聲音題：這種題目主要是以聲音作為問題呈現的主體，要求受試者根據所聽到的聲音來回答問題。例如：英語的聽力測驗，機師對引擎問題的判斷，或醫師對心跳、呼吸、胃腸蠕動等聲音的判斷等。
(5)互動式實作題或模擬操作題：這種題型需要受試者實際在電腦上操作以完成題目的要求。例如，中英文打字技術，建築師或設計師的繪圖，航海或飛行人員的模擬駕駛測驗，醫師的模擬手術……等。
(6)寫作式測驗題：電腦化的寫作能力測驗與一般紙筆的寫作能力測驗大致相同，主要的差別是電腦化的寫作能力測驗讓受試者用打字的方式來完成句子修改，句子重組，或甚至於完成一篇文章。其優點是可以避免在閱卷時受到字跡美醜所影響，甚至可以電腦來進行批改。缺點是每個人的打字速度不同，對打字速度較慢者不利。
(二)題庫管理功能
題庫管理功能主要是讓測驗編製者能夠管理試題的品質，瞭解以及調整現有題庫，並且設定選題或組成測驗卷的條件，以使CAT所選出來的題目不但符合受試者的能力水準，也能夠符合雙向細目表的要求，讓每位受試者所接受的試題在各內容上的比例不至於差異太大。這些功能通常包含題庫中的試題數量統計，各項試題參數資料統計，以及選題限制與選題條件設定等項目。
(三)適性選題功能
適性選題功能主要是將先前提到的適性選題算則與能力估計算則寫成電腦程序，供測驗編製者在建置測驗時選用。目前常見的主要有最大概似估計法（ML），貝氏期望後驗法（EAP）與貝氏最大後驗法（MAP）等。詳細程序可以參見洪碧霞等（1992）或Hambleton與Swaminathan（1985）。
(四)作答與作答輔助功能
CAT軟體中用量最大的莫過於作答功能。作答功能指的是答題所需要的介面，例如：試題呈現方式的規劃，作答區域的設計，題幹與選項區域的設計，圖表的呈現方式，題組的呈現方式……等。目前的CAT試題呈現方式都是單題式的，因為無法確定下一道適性試題是哪一題，必須等到受試者回答某一試題，並估計出其能力後，才能選出下一道適性試題。如果是非適性的電腦化測驗，則可以一次將所有試題都呈現出來，受試者可以利用下拉式捲軸來控制答題進度，甚至可以進行答案檢查，或修改之前所作答的題目，等到全部試題都答完後才將資料送出計分。這種作法與台灣目前大部分的測驗情境較為相似。
(五)計分與成績報表
將測驗電腦化的優點除了是使試題多樣性、情境控制標準化以及作答方便之外，另一項重要的優勢就是計分迅速。幾乎是受試者作答完所有題目並將資料送出後，成績就能立即計算出來。因此，如果要達到電腦化測驗一貫化目的，最好是能將成績計算與產生成績單的系統也規劃到測驗軟體中。最常見的成績單通常包含所作答的題目編號、答題反應與參考答案、原始分數或量尺分數等，較好的功能甚還有測驗成績的解釋。
整體而言，人性化的設計是軟體功能的最重要考量因素。由於測驗編製者或受試者對於電腦操作的熟悉程度不同，因此在設計上要盡量作到即使從來沒使用過電腦，也能經由簡單的說明就能在電腦上編製試題或作答。
留言列表
{{ article.title }}