2016-03-19

PISA 國際學生能力評量計劃/臺灣PISA國家研究中心

PISA (the Programme for International Student Assessment) 國際學生能力評量計劃,為OECD (Organisation for Economic Co-operation and Development) 經濟合作暨發展組織自1997年起籌劃,此跨國評量計劃從終身學習的面向來看待教育的真諦;包含正式與非正式的環境,諸如正規課程,課外社團,家庭環境,學校氣氛等。有超過一百萬名學生接受評量,除了紙筆測驗外亦有開發線上評量系統。本計劃重點在評估接近完成基礎教育的十五歲學生,對於未來生活可能面對的問題情境,準備的程度以及他們習得多少必備的知識和技能。之所以選擇十五歲學生,是因為多數OECD國家這個年齡的學生正處於義務教育完備的階段,此時的評量可以獲得教育在技能及態度方面累積近十年的成果。

所謂的知識技能包括;溝通、適應性、學習策略、彈性、時間管理、自我信念、問題解決、資訊技巧等。發展這些跨課程的技能需要一個廣泛跨課程的評量。PISA的調查,以教育品質和均等指標作為跨國比較的主軸。各國報告中,也多以學生社會經濟背景及性別差異作為分析教育表現差異是否涉及機會均等議題的主要變項。由於PISA是持續進行的計畫,長期下來他可以發展出豐富的數據訊息,以監督各國學生知識與技能趨勢,以及每個國家(地區)不同人口學次群體的發展。

問:PISA 測驗和一般測驗,例如基測、月考有什麼不同?
答:PISA和國人熟知的基測、月考等測驗最大的不同處在於後兩項測驗內容主要是以課程綱要為依據。 而PISA主要焦點為15歲學生面對未來生活所需的知識、技能,檢核學生是否能學以致用,有校參與學校或社會生活, 因此,測量內涵以應用層面的比重較高。PISA為關聯知識應用的真實而新穎情境,題目閱讀量相對比較高, 題型包含選擇式、封閉式建構反應題(例如:填充、簡答),以及開放式建構反應題各約三分之一左右。

問:可以報名PISA考試嗎?
答:PISA每三年一輪的考試無法自行報名。
PISA 考生抽樣是依據國際總部規範,從所有包含15歲學生的學校名單中以等比例抽樣方式,抽取適當數量的學校。 然後,再由學校提供的15 歲學生名單,隨機抽取40名進行施測。

問:PISA 如何算分數?
答:臺灣學生 PISA素養分數計算,與所有參與國家或地區的學生一樣,乃依循國外PISA 總部測驗實務的決定。 PISA素養的測驗題目型態含有選擇題及需學生建構反應的簡答題或問答題,選擇題由電腦自動計分,每題的計分編碼為答對1,答錯0, 簡答題及問答題則需由經過訓練評分老師評分,每題的計分從不適切答案至完全適切止,可能編碼為0、1,0、1、2,或0、1、2、3。 學生答題反應的編碼工作由各國(或地區)完成,學生的分數計算工作則由PISA總部統一進行。每位學生的PISA分數非採傳統的加總方式, 而是根據學生在其所有受測題目的反應組型,並考量題目的難易度計算而成。此外,為確保跨國比較或跨年比較的合理性,還需經由共同試題, 校準不同國家及不同年度的量尺。PISA的量尺分數平均數定在500,標準差則定在100。

問:PISA閱讀素養評量的「問答題」有什麼特點?PISA閱讀素養評量題型的特色是什麼?PISA閱讀素養評量都是問答題嗎?
答:PISA閱讀素養評量約有三分之一採用開放式題型。
問答題對臺灣學生而言並不是陌生的題型,他們手邊的習作或參考書並不缺問答題型。但PISA閱讀素養評量所採用的問答題,充分展現這項題型的優質適切應用。
就應用情境的適切性而言,PISA閱讀素養評量多數的問答題用來評量學生形成立場或推論時,能否有效呈現論述依據的充分性或論述邏輯的一致性。比如說:「針對兩位作者不同的觀點,讀者同意哪一位?理由(文本依據)為何?」的問題類型。因為這類情境下,選擇題很難與問答題達到相同廣度和深度的資訊蒐集功能,因此只能採用評分成本較高的問答題。
就評分信效度品質管控而言,PISA的評分規準,例行透過內容專家的邏輯審查和代表性樣本預試的實徵統計檢核,因此評量的焦點相當明確,不同分數答案的區辨依據也高下分明。

問:PISA數學素養評量的「問答題」有什麼特點?
答:PISA數學素養評量的重點為測量學生在日常生活運用數學知識的能力,透過不同情境的問題呈現,主要的目的是要評量15歲學生需要具備的數學知識和能力,因此在 PISA 2012的數學架構中強調,試題必須與學生本身的 興趣與生活相關,才能評量出學生是否能為具積極性、投入性及反思能力的現代公民。PISA 數學試題使用四種題型:選擇題、多重是非題、封閉式問答題以及開放式問答題,其中選擇題、多重是非題+封閉式問答題、開放式 問答題的比例各約為1/3。
開放式問答題的主要目的在於測量較高階的數學思考、推理及較複雜的數學歷程,學生需要自己建構答案,提出自己的觀點以及支持的理由和論證。此類題目的特點有時没有標準答案,而是要求學生根據題目所提供的數學資訊,進行合理的解釋或論述。 因為是依學生所提供的答案的合理程度給分,這些試題需要評分者根據具有專業判斷的評量基準來進行編碼。開放式問答題由數學領域專家進行人工閱卷,根據學生的作答反應進行評分。評分時, 依據學生理解的程度,評判為滿分、部分分數、或零分,不會因為書寫表達能力不好而扣分。PISA也會進行評分者信度來監控評定時的一致性。

問:PISA科學素養評量的「問答題」有什麼特點?
答:大部份國中的段考甚至基測的自然科,是成就評量取向的,題目型式多以選擇題、填充題、或有正確答案的簡答題為主,學生必須熟悉各種定理或公式等,才可能有良好的表現。PISA科學素養評量的重點為測量學生在日常生活運用科學知識的能力, 即在評估學生是否能運用科學知識辨認問題、獲得 新知、解釋科學現象,並針對科學議題使用證據進行推論。在如此的定義下,為達其評量目的,PISA科學素養的測驗題目型態除了含有選擇題、及有正 確答案的簡答題外,還包含了1/3的開放性問答題。PISA的開放性試題的特點是通常没有標準答案,而是要求學生根據題目所提供的資訊以及已內化的科學知識,就其所觀察到的科學現象,做合理的解釋或論述。
因為是依學生所提供的答案之合理程度給分,評分可能較為主觀,因此PISA採用標準化的評分程序,提高評分的客觀性。PISA在評分的管控上,透過內容專家的邏輯審查和實徵預試的統計檢核,因此評量的焦點相當明確,評 分者是否要給0分、部分分數、或滿分的區辨依據也相當明確。此外,為確保在此類問題的評分品質,評分者在評分前要經過嚴謹的訓練,在達到與國際評分一致且與其他國內評分者具有一致性之後,才能開始評分,且評分過程亦由監督單位隨時抽驗其評分的可靠性。

問:每所學校會有幾位學生應試?他們是如何被選出的?
答:本研究中心會從所有可能包含15歲學生的學校名單中以等比例抽樣方式,抽取出適當數量的學校。然後,再向學校索取各參試學校的15 歲學生名單。之後,再從已獲確認的名單中,以隨機抽樣方式從各學校的學生名單中選出大約 40 位學生進行施測。

問:被抽選出的學生將如何獲得通知?
答:被抽選出的學生會於測試日期約 2-3 星期前收到參試邀請函及家長同意回條。學生和家長可自行決定是否參與測驗,並於指定日期前將該同意回條交回學校。

問:如被抽選出的 40 位學生當中有人回覆拒絕參加測驗,是否需要再重新進行抽樣選出其他學生參試?
答:如果部分學生回覆拒絕參加測驗,本研究中心不會再重新抽樣選出其他學生取代。然而,在測試當天,如答應參加測驗的學生臨時缺席,以致於總出席率低於指 定標準,本研究中心便需要與學校商議補測的日期及時間。通常補測會在測試日起一星期內進行。

問:測試是否由校方負責主持?
答:本中心會自行委派主試人員到學校主持施測。然而,每所參試學校均須指派一位學校協調主任作為學校與本中心連絡的橋樑,以保持緊密連繫。

問:閱讀、數學及科學能力的測驗是否分開進行?測試需時多少?
答:以一份包含閱讀、數學及科學能力試題的試卷而言,會給予學生兩小時完成試卷,另外再給予學生30分鐘完成一份學生問卷。根據以往經驗,整個測試過程一般約需三小時。

問:學校、家長和學生是否能夠得知個別學生的測驗成績?
答:PISA 測試結果只作本研究之用。學生的測試成績和問卷答案(包括學生、學校及家長問卷)均絕對保密。以上摘自臺灣PISA國家研究中心(許世穎)