結合輔助訊息之單向度試題反應理論能力值估計探究

Exploring the Quality of Ability Estimates through Incorporation of Ancillary Variables based on Unidimensional Item Response Theory

吳慧珉(Huey-Min Wu)；楊智為(Chih-Wei Yang)；辛柏緯(Po-Wei Hsin)

可能值方法 ； 能力值估計 ； 試題反應理論 ； 臺灣學生學習成就評量資料庫 ； 輔助訊息 ； ability estimation ； ancillary variables ； item response theory ； plausible value ； Taiwan Assessment of Student Achievement

測驗學刊

64卷1期（2017 / 03 / 01）

1 - 25

繁體中文

本研究旨在以單向度試題反應理論的三參數模式為基礎，探討結合輔助訊息之不同參數估計方法對於群體能力值之估計效益。文獻顯示在估計過程中，若能加入輔助變數，將有助於提升能力參數估計精準度。本研究採用之參數估計方法有期望後驗估計法、納入輔助訊息之期望後驗估計法與可能值方法三種，等化連結設計採平衡不完全區塊設計，題本長度共設計為15題與30題兩種，並使用TASA 2010國二數學科之實徵資料，探討納入背景變項後對於能力值估計之影響。研究結果顯示：在估計群體能力值之平均數方面，納入輔助訊息之期望後驗估計法與可能值方法皆遠優於期望後驗估計法；在群體標準差方面，可能值方法優於期望後驗估計法與納入輔助訊息之期望後驗估計法，故可能值方法較適用於群體能力值之估計；在估計群體能力參數部分，增加試題長度有助於提升估計精準度；在實徵資料部分，納入輔助訊息之期望後驗估計法與可能值方法於受試者群體能力平均數估計時有相近的估計結果。

The purpose of this study was to explore the influence of different estimation methods based on a unidimensional three parameter logistic model. Many researches have showed that incorporating student’s background variables such as gender, age, race, and grade level into the estimation process can lead to unbiased and more precise ability estimates. This study was to explore the performance in ability estimation under different estimation methods (expected a-posteriori method, expected a-posteriori method with ancillary variable and plausible value method), and test length (15 and 30 items). In addition, the usefulness of the estimation methods was examined through its application to the Taiwan Assessment of Student Achievement 2010 eighth-grade mathematics test. The results showed that the performance of the expected a-posteriori method with ancillary variable and plausible value methods are better than that of the expected a-posteriori method when estimating the group means. The plausible value method gets better results than other methods in estimating group standard deviations. The result showed that when the test lengths increased, the estimation accuracy in abilities increased. In the real data experiment, the expected a-posteriori method with ancillary variable and plausible value method have similar result in estimating group means.

1. 陳柏熹(2006)。能力估計方法對多向度電腦化適性測驗測量精準度的影響。國立臺灣師範大學教育心理與輔導學系教育心理學報，38(2)，195-211。
   連結：
2. 曾玉琳、王暄博、郭伯臣、許天維(2005)。不同BIB設計對測驗等化的影響。測驗統計年刊，13(2)，209-229。
   連結：
3. Yates, F. (1936). A new method of arranging variety trials involving a large number of varieties. J. Agric. Sci., 26, 424-455.
4. NAEP Technical Documentation (2009). The Nation's Report Card. Retrieved June 13, 2013, from http://nces.ed.gov/nationsreportcard/tdw/
5. 楊孟麗、譚康榮、黃敏雄（2003）。台灣教育長期追蹤資料庫：心理計量報告：TEPS2001 分析能力測驗【第一版】。中央研究院調查研究專題中心學術調查研究資料庫，臺北市。
6. 張郁雯（2009）。國際教育成就評比的心理計量議題：以PIRLS為例。2013年5月19 日，取自http://www.tmue.edu.tw/~adeva/activity_photo/photo/nation/98/981109Pirls/file/981109p.pdf
7. 陳柏熹（2006a）。IRT 在量表（測驗）編製上的應用（上）。2013 年7 月19日，取自http://www.rcpet.ntnu.edu.tw/download.htm
8. Adams, R. J.,Wilson, M.,Wu, M.(1997).Multilevel item response models: An approach to errors in variables regression.Journal of Educational and Behavioral Statistics,22,47-76.
9. Bock, R. D.,Mislevy, R. J.(1982).Adaptive EAP estimation of ability in a microcomputer environment.Applied Psychological Measurement,6,431-444.
10. de la Torre, J.,Song, H.(2009).Improving the quality of ability estimates through multidimensional scoring and incorporation of ancillary variables.Applied Psychological Measurement,33,465-485.
11. Embreston, S. E.,Reise, S. P.(2000).Item response theory for psychologists.Mahwah, NJ:Lawrence Erlbaum Associates.
12. Kuehl, R. O.(2000).Design of experiments: Statistical principles of research design and analysis.CA:Duxbury Press.
13. Lee, J.,Grigg, W.,Dion, G.(2007).The Nation's Report Card: Mathematics 2007.Washington, DC:National Center for Education Statistics, Institute of Education Sciences, U.S. Department of Education.
14. Mislevy, R. J.(1991).Randomization-based inference about laten variable from complex samples.Psychometrika,56(2),177-196.
15. Mislevy, R. J.,Beaton, A. E.,Kaplan, B.,Sheehan, K. M.(1992).Estimating population characteristics form sparse matrix samples of item response.Journal of Educational Measurement,29,133-161.
16. Mislevy, R. J.,Sheehan, K. M.(1989).Information matrices in latent-variable models.Journal of Educational Statistics,14(4),335-350.
17. Organisation for Economic Co-operation and Development=OECD(2009).PISA 2006 technical report.Paris, France:Author.
18. Rubin, D. B.(1987).Multiple imputation for nonresponse in surveys.NewYork, NY:JohnWiley & Sons.
19. Rust, K. F.,Johnson, E. G.(1992).Sampling and weighting the national assessment.Journal of Educational Statistics, Special Issue: National Assessment of Educational Progress,17(2),111-129.
20. von Davier, M.,Gonzalez, E.,Mislevy, R. J.(2009).What are plausible values and why are they useful?.IERA Monograph Series: Issues and Methodologies in Large-Scale Assessment,2,9-36.
21. Wu, M.(2005).The role of plausible values in large-scale surveys.Studies in Educational Evaluation,31(2-3),114-128.
22. 王敏嫻(2011)。碩士論文(碩士論文)。臺中市，國立臺中教育大學。
23. 王暄博(2006)。碩士論文(碩士論文)。臺中市，國立臺中教育大學。
24. 林陳涌編(2014)。,臺北市:國立臺灣師範大學科學教育中心。
25. 國家教育研究院(2010)。TASA2010 年資料使用手冊。新北市:作者。
26. 張鈺卿(2007)。碩士論文(碩士論文)。臺中市，國立臺中教育大學。
27. 郭伯臣編、曾建銘編、吳慧編(2012)。大型標準化測驗建置流程應用於TASA 之研究。新北市:國家教育研究院。
28. 郭伯臣、王暄博(2008)。大型測驗中同時進行垂直與水平等化效果之探討。教育研究與發展期刊，4，87-120。
29. 郭伯臣、吳慧珉、陳俊華(2012)。試題反應理論在教育測驗上之應用。新竹縣教育研究集刊，12，5-40。
30. 郭伯臣、曾建銘(2010)。,新北市:國家教育研究院籌備處。
31. 曾玉琳(2005)。碩士論文(碩士論文)。臺中市，國立臺中師範學院。
32. 黃美芳(2006)。碩士論文(碩士論文)。臺中市，國立臺中教育大學。
33. 黃國清、吳寶桂(2006)。七年級數學標準化成就測驗之編製與其相關之研究：以IRT模式分析。教育研究與發展期刊，2(4)，109-142。
34. 葉昶成(2012)。碩士論文(碩士論文)。臺中市，國立臺中教育大學。
35. 蘇怡婷(2009)。碩士論文(碩士論文)。臺南市，國立臺南大學。