學生評鑑教師教學題目安排順序不同對學生評鑑教師的影響：MI與MMI分析取向

The Effects of Question Order Difference on Student Ratings of Instruction: MI and MMI Analysis Approaches

10.7108/PT.201203.0131

曾明基(Ming-Chi Tseng)；張德勝(Te-Sheng Chang)；羅寶鳳(Pao-Feng Lo)；邱于真(Yu-Zhen Qiu)

多層次測量恆等性 ； 測量恆等性 ； 學生評鑑教師教學 ； Measurement Invariance ； Multilevel-Measurement Invariance ； Student Ratings of Instruction

測驗學刊

59卷1期（2012 / 03 / 01）

131 - 156

繁體中文

本研究主要探討學生評鑑教師教學量表的題目在安排順序不同時，對學生評鑑教師教學的影響。研究對象為東部某大學的大學部182班學生，各班級人數介於11和92人之間，總樣本數為6,568人。每班學生隨機分為A組和B組，A組學生填寫學生評鑑教師教學題目安排在總量表之前的問卷，簡稱A組；B組則剛好相反。經測量恆等性檢定發現，題目安排順序不同對學生評鑑教師教學的分數在學生層次保持恆等，在班級層次因為聚合後產生的共線性而出現無法解釋的現象，因此後續分成兩部分加以深入探究。首先，在控制母體組間變異數的情況下，發現因素構念及學生填答分數仍具有恆等性；其次，在跨層級的分析架構下，其結果依舊保持恆等。本研究依照研究發現，對學生評鑑教師教學提出相關建議。

The purpose of this study is to investigate the effects of question order difference on student ratings of instruction. The sample consisted of 182 undergraduate classes from a university in the east coast of Taiwan, class size ranging between 11 and 92, and the total sample were 6,568 students. There were two forms (Form A and Form B) of the Student Ratings of Instruction (SRI) Instrument. Form A, the student ratings of instruction items were placed before the student self-evaluation items. On Form B, the question order was opposite to the order of Form A.The measurement invariance test revealed that subjects in a different order on the SRI at the student level scores remain identical, but at the class level the result was influenced by a high degree of polymerization of linear without clear explanations. Therefore, the follow-up analysis was discussed in two parts to explore them in depth.First, in the case of the model in the control group variance, SRI construct factors and scores were found to be identically equal. Second, in cross-level analysis framework, the results also remain identical. Based on the results of this study, some suggestions were provided for the practice and the future study as well.

1. 李仁豪、余民寧(2008)。二層次結構方程式模型的應用：以教育心理學為例。師大學報：教育類，53(3)，95-123。
   連結：
2. 邱皓政(2007)。脈絡變數的多層次潛在變數模式分析：口試評分者效應的多層次結構方程模式應用。中華心理學刊，49(4)，383-405。
   連結：
3. 張德勝、邱于真、羅寶鳳(2011)。題目順序對學生評鑑教師教學與學生自評影響之探索性研究。測驗學刊，58(2)，367-389。
   連結：
4. 許崇憲(2009)。「學生評鑑教師教學量表」的效度與共變異量穩定度。測驗學刊，56(2)，179-205。
   連結：
5. 曾明基、邱于真、張德勝、羅寶鳳(2011)。學生認知歷程對學生評鑑教師教學的影響：階層線性模式分析。課程與教學，14(3)，157-180。
   連結：
6. 曾明基、羅寶鳳、張德勝、邱于真(2011)。學生評鑑教師教學量表跨層級構念的分析。教育科學研究，56(3)，31-60。
   連結：
7. 游森期、余民寧(2006)。網路問卷與傳統問卷之比較：多樣本均等性方法學之應用。測驗學刊，53(1)，103-128。
   連結：
8. 黃瓊蓉(2004)。使用階層線性模式分析學生評量教學績效之資料。測驗學刊，51(2)，163-184。
   連結：
9. Bollen, K. A.(1989).Structural equations with latent variables.NewYork, NY:John Wiley & Sons.
10. Burns, G. L.,Walsh, J. A.(2006).Measurement and structural invariance of parent ratings of ADHD and ODD symptoms across gender for American and Malaysian children.Psychological Assessment,18(4),452-457.
11. Dyer, N. G.,Hanges, P. J.,Hall, R. J.(2005).Applying multilevel confirmatory factor analysis techniques to the study of leadership.The Leadership Quarterly,16,149-167.
12. Greenwald, A. G.,Gillmore, G. M.(1997).Grading leniency is a removable contaminant of student ratings.American Psychologist,52(11),1209-1217.
13. Jöreskog, K. G.,Sörbom, D.(1996).LISREL 8 user's reference guide.Chicago, IL:Scientific Software.
14. Kaplan, D.(2000).Structural equation modeling: Foundation and extensions.Thousand Oaks, CA:Sage.
15. Kim, S.,Kim, S. H.,Kamphaus, R.W.(2010).Is aggression the same for boys and girls? Assessing measurement invariance with confirmatory factor analysis and item response theory.School Psychology Quarterly,25(1),45-61.
16. Kline, R. B.(2005).Principles and practice of structural equation modeling.New York, NY:The Guilford Press.
17. Li, H.,Lee, D.,Pfeiffer, S. I.,Kamata, A.,Kumtepe, A. T.,Rosado, J.(2009).Measurement invariance of the gifted rating scales: School form across five cultural groups.School Psychology Quarterly,24(3),186-198.
18. Mangione, T. W.(1995).Mail surveys: Improving the quality.Beverly Hills, CA:Sage.
19. Marsh, H. W.,Roche, L. A.(1997).Making students' evaluations of teaching effectiveness effective: The critical issues of validity, bias, and utility.American Psychologist,52(11),1187-1197.
20. McDonald, R. P.,Ho, M. R.(2002).Principles and practice in reporting structural equation analysis.Psychological Methods,7,64-82.
21. Meade, A.W.,Lautenschlager, G. J.(2004).A monte-carlo study of confirmatory factor analytic tests of measurement equivalence/ invariance.Structural Equation Modeling,11,60-72.
22. Muthén, B. O.(1989).Latent variable modeling in heterogeneous population.Psychometrika,54,557-585.
23. Muthén, B. O.(1991).Multilevel factor analysis of class and student achievement components.Journal of Educational Measurement,28(4),338-354.
24. Muthén, B. O.(1994).Multilevel covariance structure analysis.Sociological Methods and Research,22,376-398.
25. Muthén, L. K.,Muthén, B. O.(2006).Mplus user's guide.Los Angeles, CA:Muthen & Muthen.
26. O''Connell, A. A.(Ed.),Mccoach, D. B.(Ed.)(2008).Multilevel analysis of educational data.Charlott, NC:Information Age Publishing.
27. Raudenbush, S. W.,Bryk, A. S.(2002).Hierarchical linear models: Applications and data analysis methods.Thousand Oaks, CA:Sage.
28. Sudman, S.,Schwarz, N.(1989).Contributions of cognitive psychology to advertising research.Journal of Advertising Research,2,43-53.
29. Thorndike, R. L.(Ed.)(1971).Educational measurement.Washington, DC:American Council on Education.
30. Vlachopoulos, S. P.(2008).The basic psychological needs in exercise scale: Measurement invariance over gender.Structural Equation Modeling,15,114-135.
31. 李茂能(2009)。圖解Amos在學術研究之應用。台北市:五南。
32. 邱皓政、林碧芳(2009)。結構方程模型的原理與應用。中國北京市:中國輕工業出版社。
33. 張德勝(2009)。第一印象與學生評鑑教師教學之相關研究。測驗學刊，56(3)，321-341。
34. 張德勝(2002)。學生評鑑教師教學理論、實務與態度。台北市:揚智。
35. 黃芳銘(2006)。社會科學統計方法學：結構方程模式。台北市:五南。
36. 溫福星、邱皓政(2011)。多層次模式方法論：階層線性模式的關鍵問題與試解。台北市:新亞測驗評量暨技術研究中心。
37. 劉紅雲、張雷(2005)。追數據分析方法及其應用。中國北京市:科學教育。
38. 樓永堅(1999)。問題次序的訪答效應之初探。調查研究，7，531。

1. 羅寶鳳、曾明基、張德勝、邱皓政(2013)。以學生評鑑教師教學量表決定教師的開課或去留可行嗎？混合 IRT 分析取向。教育科學研究期刊，58(1)，91-116。
2. 羅寶鳳、曾明基、張德勝、邱于真(2011)。學生評鑑教師教學量表跨層級構念的分析。教育科學研究期刊，56(3)，31-60。
3. (2022)。研究生和大學生的學生評鑑教師教學分數真的要一起比較嗎？傾向值結構方程模型分析。教育與心理研究，45(2)，35-57。
4. (2024)。東部某大學的「學生評鑑教師教學量表」分數之排序：貝氏多層次隨機效果模型分析。測驗學刊，71(1)，95-117。