標準設定之效度評估－以2010年臺灣八年級學生國語文學習成就資料為例

Exploring Standard Setting in Chinese for the 2010 Taiwan Assessment of Student Achievement in Grade Eight

吳慧珉(Huey Min Wu)；蘇珊玉(Shan-Yu Su)

Yes/No Angoff方法 ； 八年級 ； 臺灣學生學習成就評量資料庫 ； 標準設定 ； 國語文 ； chinese ； grade eight ； standard setting ； TASA ； Yes/No Angoff

測驗統計年刊

22期_下（2014 / 12 / 01）

1 - 21

繁體中文

本研究是使用臺灣學生學習成就資料庫2010年收集之臺灣八年級學生實徵數據，進行八年級國語文學習成就的標準設定。本研究經學科專家確立政策定義及國語文表現標準描述後，邀請北、中、南、東及離島等區之19名標準設定成員，使用Yes/No Angoff方法執行標準設定，從效度的內部證據、效度的過程證據和效度的外部證據，探討TASA國語文八年級標準設定之適切性。本研究從極端判斷值、標準設定成員內設定結果的一致性和標準設定成員間設定結果的一致性評估效度的內部證據，本研究內部證據來源顯示本研究之標準設定結果具有一致性。從標準設定技術的選擇及執行，包含會議執行方式之評估、標準設定成員的選擇、標準設定方法、回饋訊息的影響等面向進行效度的過程證據評估。整體而言，八年級國語文科標準設定具有相當水準的過程效度。效度的外部證據檢視方面，本研究從切截分數設定與分類的一致性，Angoff法對於基礎水準切截分數設定較低，而在進階水準切截分數設定是較高的，但以Angoff方法為基礎，其他三種方法與Angoff方法之分類具有一致性。本研究能為實務應用者提供良好參考範例。

The purpose of this study is to conduct standard setting in Chinese for the 2010 Taiwan Assessment of Student Achievement (TASA) of grade eight. The specific definitions of the basic, proficient, and advanced achievement levels are defined by the subject matter experts. The nineteen panelists coming from north, middle, south, and east areas of Taiwan are invited to conduct the standard setting procedures with Yes/No Angoff method. This study evaluates the internal evidence for validity using the extreme value method, standard setting consistency within and between panelists. Such internal evidence then reports that the results of the standard settings in this study are consistent. Meanwhile, we also evaluate the procedural evidence of validity in the choice and execution of the standard settings which collect the assessment of panel meeting, the recruitment of panelists, standard setting methods, and the impact of feedbacks. And the procedural validity of the standard setting in Chinese for grade eight performs quite well as an entirety. Finally, the external evidence of validity is collected from the consistency between the cut-scores setting and the classification. Yes/No Angoff's method may tend to set low cut-scores for the basic level while it poses high cut-scores for the advanced level. Based on the Yes/No Angoff method, its classification would be consistent with the three other methods. Based on the internal, procedural, and external evidences, the standard setting procedures for the 2010 TASA of grade eight has its validity. This study shall provide a great reference for those who wish to conduct standard setting methods into practical use.

1. 謝進昌、謝名娟、林世華、林陳涌、陳清溪、謝佩蓉(2011)。大型資料庫國小四年級自然科學習成就評量標準設定結果之效度評估。教育科學研究期刊，56(1)，1-32。
   連結：
2. 臺灣學生學習成就資料庫（2014）。資料檢索自http://tasa.naer.edu.tw/。http://tasa.naer.edu.tw/
3. Cizek, G. J.(Ed.)(2001).Standard setting: Concepts, methods, and perspectives.Mahwah, NJ:Erlbaum.
4. Cizek, G. J.,Bunch, M. B.(2007).Standard setting: A guide to establishing and evaluating performance standards on tests.Thousand Oaks, California:Sage Publication Ltd.
5. Hansen, M. A.,Lyon, S.T.,Heh, P,Zigmond, N.(2013).Comparing Panelists' understanding of standard setting across multiple levels of an alternate science assessment.Applied Measurement in Education,26,298-318.
6. Impara, J. C.,Plake, B.S.(1997).Standard setting: An alternative approach.Journal of Educational Measurement,34,355-368.
7. Kane, M. T.(1994).Validating the performance standards associated with passing scores.Review of Educational Research,64(3),425-461.
8. Thorndike, R. L.(Ed.)(1971).Educational Measurement.Washington, D.C.:American Council on Education.
9. Zieky, M. J.,Livingston, S. A.(1977).Manual for setting standards on the Basic Skills Assessment Tests.Princeton, NJ:Educational Testing Service.
10. 吳裕益(1986)。博士論文(博士論文)。台北市，國立政治大學教育研究所。
11. 曾建銘、王暄博(2012)。標準設定之效度評估：以TASA 國語科為例。教育學刊，39，77-118。
12. 曾建銘、王暄博(2012)。臺灣學生學習成就評量資料庫標準設定探究：以2009年國小六年級社會科為例。教育與心理研究期刊，35(3)，115-149。

1. 曾芬蘭、張銘秋、邱佳民(2018)。Yes/No Angoff標準設定結果之效度檢核：應用群聚分析分類法。測驗學刊，65(2)，151-180。