後設評鑑研究：以2001年大學校院實施自我評鑑計畫成果報告書為例

A Metaevaluation Study of Self-evaluation for Taiwan's Colleges and Universities

10.6910/BER.200506_(51-2).0002

黃曙東(Shu-Tung Huang)；蘇錦麗(Jin-Li Su)

大學評鑑 ； 後設評鑑 ； 評鑑報告 ； 檢核表 ； 內部評鑑／自我評鑑 ； university evaluation ； metaevaluation ； evaluation report ； check-list ； Internal evaluation/self-evaluation

教育研究集刊

51:2期（2005 / 06 / 30）

31 - 65

繁體中文

本研究旨在建構一套具有信度與效度的後設評鑑檢核表，以分析2001年9所實施自我評鑑計畫大學校院的成果報告書，判斷其優缺點，進而推論34所母群體大學的整體報告書品質，並瞭解34所大學實施自我評鑑計畫之現況。本研究採用文件分析及專家檢核方法。首先，分析七年內國內外22篇後設評鑑研究報告。其次，依據美國線上評鑑資源圖書館（OERL）所建構的品質結論報告準則，並經專家審核與研究者試評，修正完成方案評鑑報告檢核表，包括執行摘要、受評方案描述、評鑑概述、評鑑設計、分析程序及結果與建議共六大項27個品質準則項目、三等量表，以及每項目之量的判斷依據；再者，由兩位研究者據之檢核，以判斷9所大學校院成果報告書的優缺點，進而推論34所大學整體報告書的品質。最後，提出結論與建議。

In 2001, 34 of Taiwan's colleges and universities participated in a Self-Evaluation Project (SEP), and this study set out to analyze the effectiveness of the SEP. More specifically, it set out to understand the quality (or accuracy) of the self-evaluations reported by these institutions and to determine certain problematic aspects of the current implementation of the SEP. The research methods used include content analysis and experts' reviews. The authors asked 3 experts to revise the Quality Criteria for Reports checklist developed by the On-Line Evaluation Resource Library and, in order to construct proper validity and reliability for this checklist, randomly selected 9 colleges and universities as samples. This metaevaluation study indicated both the strengths and weaknesses of the system of self-evaluation used by these colleges and universities. In this paper the authors report these findings and also give some suggestions for a more effective self-evaluation process in the future.

1. Metaevaluation of the evaluations of higher education in Denmark
2. Metaevaluation as a tool for the improvement and development of the evaluation junction in public administrations.
3. Chelimsky, E.(1987).Evaluation practice in review.
4. Grasso, P. G(1999).American Journal of Evaluation.
5. Metaevaluation of the structural funds in Sweden - What lessons can be learnt and how to utilize this knowledge in the future
6. Metaevaluation of the web-based ATE survey evaluation system
7. Joint Committee on Standard for Educational Evaluation(1994).The program evaluation standards: How to assess evaluations of educational programs.
8. Metaevaluation report of the evaluation of the Michigan public school academy initiative
9. An evaluation of an evaluation: CIRCE'S metaevaluation of the site visits and issue papers of the ATE program evaluation
10. Sanders, J. R.(1999).American Journal of Evaluation.
11. Schwandt, T. A.,Halpem, E. S.(1988).Linking auditing and metaevaluation..
12. Scott-Little, C.,Hamaim, M. S.,Jurs, S. G.(2002).American Journal of Evaluation.
13. Scriven, M.(2001).American Journal of Evaluation.
14. Scriven, M.(2000).The logic and methodology of checklists..
15. Evaluation thesaurus
16. Perspectives of Curriculum evaluation
17. Metaevaluation of gang resistance education and training program
18. Stake, R.,Davis R.(1999).American Journal of Evaluation.
19. Stufflebeam, D. L.(1974).Metaevaluation.
20. Stufflebeam, D. L.(2000).Evaluation models: Viewpoint on educational and human services evaluation..
21. Stufflebeam, D. L.(2001).American Journal of Evaluation.
22. Stufflebeam, D. L.(2001).American Journal of Evaluation.
23. Stufflebeam, D. L.(2000).Evaluation models: Viewpoint on educational and human services evaluation..
24. The spirit of Consuelo an evaluation of KE AKA HO 'ONA
25. Report on a Meta-evaluation of the evaluation of Diakonia and Forum Syd's Cooperation with Cambodian NGOs
26. Worthen, B. R.,Sanders, J. R.,Fitzpatrick, J. L.(1997).Program evaluation: Alternative approaches and practical guidelines.
27. 胡悅倫、陳漢強(1998)。海峽兩岸大學教育評鑑之研究。
28. 教育部高教司(2002)。高教簡訊。
29. 曾淑惠(2002)。教育方案評鑑。
30. 曾淑惠(1996)。我國專科學校後設評鑑之研究。
31. 黃政傑、李隆盛、游家政(1994)。國民小學教育評鑑之研究。
32. 賴志峰(1997)。臺北市幼稚園後設評鑑之研究。
33. 蘇慧雯(2002)。臺北市幼稚園後設評鑑之研究。
34. 蘇錦麗(1997)。高等教育評鑑:理論與實際。
35. 蘇錦麗(1995)。大學學門評鑑試辦計畫成效評估之研究。
36. 蘇錦麗、楊瑩、王偉中、呂鴻德、詹惠雪(2000)。大學後設評鑑研究。

1. 池俊吉(2013)。我國大學自我評鑑發展與運用探析。高教評鑑與發展，7(2)，37-62。
2. 黃曙東(2007)。教育評鑑規劃人員能力內涵之研究。新竹教育大學學報，24(1)，109-126。
3. 賴光真(2010)。國小教科書評選規準制訂過程與內涵之分析。教科書研究，3(2)，1-25。
4. 蘇錦麗、黃曙東(2007)。世界重要國家評鑑專業標準與原則發展對我國之啟示。高教評鑑，1(1)，51-82。
5. 吳清山、王令宜(2007)。我國大學評鑑：挑戰、因應策略與發展方向。課程與教學，10(4)，15-30。
6. (2007)。師資培育後設評鑑標準發展之研究。國立編譯館館刊，35(2)，41-54。
7. (2010)。教育評鑑人員專業發展之研究。教育研究與發展期刊，6(3)，115-146。