中學生現代公民核心素養之測驗編製

Development of a Modern Citizen Core Literacy Test for Middle School Students

陳彥君(Yen-Chun Chen)；洪素蘋(Su-Pin Hung)

現代公民核心素養 ； 試題反應理論模式 ； 試題差異功能 ； differential item functioning ； item response theory ； modern citizen core literacy

教育實踐與研究

32卷2期（2019 / 12 / 01）

39 - 79

繁體中文

本研究旨在編製一信、效度良好的中學生現代公民核心素養測驗，以評估臺灣中學生現代公民核心素養狀況。測驗編製係參考現代公民核心能力指標以及國際公民教育與素養調查研究（International Civic and Citizenship Education Study [ICCS]）的評量架構，編擬符合中學生生活場域與經驗的試題。試題編製完成後經學科專家確認內容效度與試題預試，於正式施測階段，採分層便利取樣，蒐集來自全臺北、中、南、東（含離島）各區共22所學校的中學生共1479份有效樣本，以多向度部分給分試題反應理論模式（multidimensional partial credit model [MPCM]）進行資料分析。結果發現：中學生現代公民核心素養測驗具有良好試題內部一致性，認知題與情感行為題的試題區分信度係數（item separation reliability）皆高於.9，五向度的受試者區分信度係數（person separation reliability），介於.593至.882之間，測驗折半信度為.883。效度驗證程序採用試題反應理論效度驗證架構進行，結果顯示本測驗符合五向度測量建構，同時並提供測驗的內容、結構、本質、類推效度與效標關聯效度，顯示本研究所發展的測驗工具具有良好信度與效度。

The purpose of this study was to design the Modern Citizen Core Literacy Test with well reliability and validity for middle school students. To develop the test, the core competency index as well as the assessment framework of the International Civic and Citizenship Education Survey were used as references. The Modern Citizen Core Literacy Test is developed to reflect the life experiences of middle school students. To establish content validity of the test, a panel of experts from middle schools were invited to review the first version of the test. After a pilot study, the test was administered to a total of 1,479 students from 22 middle schools in Taiwan; they were recruited with stratified purposive sampling. Multi-dimensional Partial Credit Model was used to assess the model-data fit. Five-core literacy were identified: moral literacy, democracy literacy, scientific literacy, media literacy and aesthetic literacy. Moreover, the test showed sufficient internal consistency with person separation reliability ranging from .593 to .882. The Split-half reliability is .883. In addition, the present study adopted item response theory based validation procedure. The results revealed that five dimensions of the Modern Citizen Core Literacy Test exhibited an acceptable model-data fit. Criterion-related validity, interpretability evidence, generalizability evidence, and substantive evidence were all supported, indicating that the test has good reliability and validity.

1. 王佳琪, C. -C.,何曉琪, H. -C.,鄭英耀, Y. -Y.(2014)。「科學創造性問題解決測驗」之發展。測驗學刊，61(3)，337-360。
   連結：
2. 王佳琪, C. -C.,鄭英耀, Y. -Y.,劉昆夏, K. -H.,何曉琪, H. -C.(2011)。以 Rasch 分析檢驗「多向度幽默感量表」之信效度。測驗學刊，58(4)，691-713。
   連結：
3. 呂秀蓮, H. -L.(2019)。課綱為本課程設計經驗之研究：以國中教師為對象。教育實踐與研究，32(1)，1-32。
   連結：
4. 巫博瀚, P. -H.,賴英娟, Y. -C.,施慶麟, C. -L.(2013)。「Rosenberg 自尊量表」之試題衡鑑：評等量尺模型的應用。測驗學刊，60(2)，263-289。
   連結：
5. 侯雅齡, Y. -L.(2010)。「國民中學自然科學性向測驗」之編製。測驗學刊，57(1)，29-58。
   連結：
6. 張貴琳, K. -L.(2013)。青少年線上閱讀素養評量工具之發展。教育實踐與研究，26(2)，29-66。
   連結：
7. 陳柏熹, P. -H.,黃馨瑩, H. -Y.,陳郁欣, Y. -H.,葉泰廷, T. -T.,蘇少祖, S. -T.(2015)。大學生基本素養測驗的發展及信度效度分析。教育科學研究期刊，60(3)，95-126。
   連結：
8. 黃宏宇, H. -Y.,洪素蘋, S. -P.(2007)。中文網路成癮量表之等級反應模式分析。測驗學刊，54(2)，331-353。
   連結：
9. 董秀蘭, H. -L.(2016)。社會領域：一個培養現代公民素養與核心能力的關鍵領域。教育脈動，5，1-12。
   連結：
10. 趙子揚, T. -Y.,黃嘉莉, J. -L.,宋曜廷, Y. -T.,郭蕙寧, H. -N.,許明輝, M. -H.(2016)。教師情境判斷測驗之編製。教育科學研究期刊，61(2)，85-117。
    連結：
11. 歐宗霖, T. -L.,邱皓政, H. -C.,孫國勛, K. -H.(2013)。當測驗碰上情境：情境判斷測驗與自陳量表在量表發展上之比較。測驗學刊，60(2)，239-262。
    連結：
12. Adams, R. J.,Wilson. M.,Wang, W. C.(1997).The multidimensional random coefficients multinomial logit model.Applied Psychological Measurement,21,1-23.
13. Ajzen, I.,Czasch, C.,Flood, M. G.(2009).From intentions to behavior: Implementation intention, commitment, and conscientiousness.Journal of Applied Social Psychology,39,1356-1372.
14. Andrich, D.(1978).A rating formulation for ordered response categories.Psychometrika,43,561-573.
15. Assessment & Teaching of 21st Century Skills [ATC21S]. (2010). 21st century skills white paper. Retrieved from ATCS Web site: http://atc21s.org/index.php/resources/white-papers/
16. Bock, R. D.,Aitkin, M.(1981).Marginal maximum likelihood estimation of item parameters: Application of an EM algorithm.Psychometrika,46,443-459.
17. Bock, R. D.,Mislevy, R. J.(1982).Adaptive EAP estimation of ability in a microcomputer environment.Applied Psychological Measurement,6,431-444.
18. Commission of the European Communities(2005).Communication from the commission, COM (2005) final/2, modernizing education and training: A vital contribution to prosperity and social cohesion in Europe.Brussel, Kingdom of Belgium:Author.
19. Ebel, R. L.,Frisbie, D. A.(1991).Essentials of educational measurement.Englewood Cliffs, NJ:Prentice-Hall.
20. Embretson S. E.,Reise, S. P.(2000).Item response theory for psychologists.Mahwah, NJ:Erlbaum.
21. Guion, R. M.,Ironson, G. H.(1983).Latent trait theory for organizational research.Organizational Behavior and Human Performance,31,54-87.
22. Holland, P. W.,Wainer, H.(1993).Differential item functioning.Hillsdale, NJ:Lawrence Erlbaum Associates.
23. Hung, S. P.(2018).Validating the creative self-efficacy student scale with a Taiwanese sample: An item response theory-based investigation.Thinking Skills and Creativity,28,190-203.
24. Hung, S. P.,Huang, P. S.,Chen, H. C.(2016).Cognitive complexity in the remote association test-Chinese version.Creativity Research Journal,28(4),442-449.
25. Jensen, A. R.(1980).Bias in mental testing.New York, NY:The Free Press.
26. Karabatsos, G.(2000).A critique of Rasch residual fit statistics.Journal of Applied Measurement,1,152-176.
27. Linacre, J. M.(1997).KR-20 / Cronbach alpha or Rasch person reliability: Which tells the "Truth"?.Rasch Measurement Transactions,11(3),580-581.
28. Linacre, J. M.(2002).What do infit and outfit, mean-square and standardized mean?.Rasch Measurement Transactions,16,878-878.
29. Masters, G. N.(1982).A Rasch model for partial credit scoring.Psychometrika,47,149-174.
30. McFadden C.,Skaggs, G.(2013).Development and validation of the Sense of competence Scale-revised.Journal of Applied Measurement,14,318-331.
31. Messick, S.(1995).Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning.American Psychologist,50,741-749.
32. Oana, N. S.,Pop, E. I.(2016).Longitudinal links between career adaptability and academic achievement in adolescence.Journal of Vocational Behavior,93,163-170.
33. Organization for Economic Cooperation and Development [OECD]. (2019). PISA 2018 Global Competence. Retrived from OECD Web site: https://www.oecd.org/pisa/pisa-2018-global-competence.htm
34. Paek, I.(2002).Berkeley, California,University of California.
35. Rasch, G.(1960).Probabilistic models for some intelligence and attainment tests.Chicago, IL:The University of Chicago Press.
36. Reckase, M. D.(1997).The past and future of multidimensional item response theory.Applied Psychological Measurement,21,25-36.
37. Rychen, D. S.(Ed.),Salganik, L. H.(Ed.)(2003).Competence priorities in policy and practice.Cambridge, MA:Hogrefe & Huber Publishers.
38. Schulz, W.,Ainley, J.,Fraillon, J.,Losito, B.,Agrusti, G.(2016).IEA international civic and citizenship education study 2016: Assessment framework.Paris, France:IEA Publications.
39. Schulz, W.,Fraillon, J.,Ainley, J.,Losito, B.,Kerr, D.(2009).International civic and citizenship education study: Assessment framework.Paris, France:IEA Publications.
40. Taiwan International Large-Scale Study Center [TILSSC]. (2019). Trends in International Mathematics and Science Study (TIMSS). Retrived from Taiwan International Large-Scale Study Center Web site: https://tilssc.naer.edu.tw/timss
41. Wilson, M.(2005).Constructing measure: An item response modeling approach.Mahwah, NJ:Lawrence Erlbaum.
42. Wright, B. D.(1977).Solving measurement problems with the Rasch model.Journal of Educational Measurement,14,97-116.
43. Wright, B. D.,Stone, M. H.(1999).Measurement Essentials.Wilmington, DE:Wide Range.
44. Wu, M. L.,Adams, R. J.,Wilson, M. R.(2007).ConQuest (Computer software and manual).Victoria, Australia:Australian Council for Educational Research.
45. 王文中, W. -C.(2004)。Rasch 測量模式與其在教育與心理之應用。教育與心理研究，27(4)，637-694。
46. 余民寧, M. -N.(2009).試題反應理論（IRT）導論與應用.台北=Taipei:心理=Psychological Publishing.
47. 吳京玲, C. -L.(2011)。建構大學生核心能力架構之研究：分析學術界與產業界的觀點。通識教育學刊，7，9-33。
48. 吳京玲, C. -L.,林妙容, M. -J.,李信, -H.(2009)。大學生核心能力培育之研究－以「探索、體驗與自我成長」通識課程爲例。通識教育學刊，4，121-144。
49. 李俊湖, C. -H(2009)。公民素養與公民教育。教育人力與專業發展，26(1)，1-2。
50. 林永豐, Y. -F(2014)。素養的概念及其評量。教育人力與專業發展，31(6)，35-47。
51. 洪裕宏, Y. -H.(2011)。定義與選擇國民核心素養的理論架構。教育人力與專業發展，28(4)，15-24。
52. 張鈿富, T. -F.,吳慧子, H. -T.,吳舒靜, S. -C.(2010)。歐盟、美、澳「公民關鍵能力」發展及其啟示。教育資料集刊，48，273-299。
53. 教育部（2015B）。現代公民素養內涵。取自http://ms3.ntcu.edu.tw/pey/public_html/citizen.htm [Ministry of Education. (2015B). Modern citizen literacy. Retrieved from Ministry of Education Web site: http://ms3.ntcu.edu.tw/pey/public_html/citizen.htm]
54. 教育部（2012）。現代公民核心能力養成計畫。教育部人文社會科學相關領域計畫入口網。取自http://hss.edu.tw/wSite/lp?ctNode=342&mp=4&idPath=&nowPage=1&pagesize=300 [Ministry of Education. (2012). Modern citizen core ability development plan. Retrieved from Ministry of Education, Institute for Humanities and Social Sciences Web site: http://hss.edu.tw/wSite/lp?ctNode=342&mp=4&idPath=&nowPage=1&pagesize=300]
55. 教育部（2011）。公民素養塑陶計畫。教育部人文社會科學相關領域計畫入口網。取自 http://hss.edu.tw/wSite/mp?mp=1 [Ministry of Education. (2011). Citizen literacy plastic pottery plan. Retrieved from Ministry of Education, Institute for Humanities and Social Sciences Web site: http://hss.edu.tw/wSite/mp?mp=1]
56. 教育部（2014）。十二年國民基本教育課程綱要總綱。國家教育研究院。取自http://www.naer.edu.tw/files/15-1000-7944,c639-1.php?Lang=zh-tw [Ministry of Education. (2014). Outline of the Twelve-year National Basic Education Curriculum. Retrieved from National Academy for Educational Research Web site: http://www.naer.edu.tw/files/15-1000-7944,c639-1.php?Lang=zh-tw]
57. 教育部=Ministry of Education.(2015)。教育部（2015A）。十二年國民基本教育領域課程綱要核心素養發展手冊。國家教育研究院課程及教學研究中心核心素養工作圈，未出版。[Ministry of Education. (2015A). Twelve-year National Basic Education Curriculum outline core literacy development manual. National Institute of Education Curriculum and Teaching Research Center core literacy work circle.]。
58. 莊富源, F. -Y.(2013)。建構與釋義：大學生公民素養內涵探析。教育研究月刊，227，75-88。
59. 陳伯璋, P. -C.(2010)。臺灣國民核心素養與中小學課程發展之關係。課程研究，5，1-25。
60. 陳佳欣, C. -H.(2012)。教育部資訊及科技教育司現代公民核心能力養成計畫總計畫教育部資訊及科技教育司現代公民核心能力養成計畫總計畫,未出版
61. 歐慧敏, H. -M.(2013)。大學生公民素養量表簡介及信度、效度分析。教育研究月刊，227，89-102。
62. 蔡清田, C. -T.(2014).國民核心素養：十二年國教課程改革的 DNA.台北=Taipei:高等教育=Higher Education.
63. 蔡清田, C. -T.,洪若烈, R. -L.,陳延興, Y. -H.,徐彬瀚, P. -H.,葉雅卿, Y. -C.(2012)。國家教育研究院委託中正大學之總計畫期末報告國家教育研究院委託中正大學之總計畫期末報告,未出版
64. 鄧毓浩, Y. -H.(2013)。臺灣公民教育的發展。現代教育論叢，193，37-50。

1. 賴彥良,趙臨軒,黃建彰,曾博淵,許程迪,張仁壽,林淑梤,李俊穎,吳隆枝(2021)。利用Rasch模式評估高中物理素養試卷過程：教師發展素養試題之啟示。教育實踐與研究，34(1)，121-154。
2. (2023)。國小高年級學生本土語文核心素養量表之發展。教育學刊，60，51-93。