內容探勘技術在教育評鑑研究發展趨勢分析之應用

The Application of Content Mining Techniques to the Analysis of Educational Evaluation Research Trends

曾元顯(Yuen-Hsien Tseng)；林瑜一(Yu-I Lin)

主題偵測 ； 科學計量學 ； 核心期刊 ； 評鑑理論樹 ； 趨勢分析 ； topic detection ； scientometrics ； core journals ； evaluation theory tree ； trend analysis

教育科學研究期刊

56卷1期（2011 / 03 / 01）

129 - 166

繁體中文

由於大型資料庫時代的來臨，各種教育評鑑研究的數位文件，累積的速度相當快，相關的統計、探勘分析方法，需求漸為殷切。本研究以專家問卷、資料庫搜尋等方式，來界定教育評鑑研究領域的核心期刊。另外，透過引文分析、文字探勘技術等方法，自動從核心期刊中偵測出校長領導、班級大小、評鑑、改革、教師認證、學習機會、留級、教育券等概念，為顯著的研究議題。從評鑑方法的主題中，本研究探勘出Chen、Weiss與Rossi等學者討論的方法，比Cook、Compbell等人的還新，此點從領域學者Alkin（2004）在主題樹中對上述專家的擺設位置，也觀察到相同的現象。最後，本研究透過主題趨勢的分析，發現教育評鑑裡的主要議題，其論文數量有愈來愈少的趨勢。然而，這些結果的意義，仍有待領域專家的深入解讀。本研究所提方法可應用在不同學科領域，不僅能增進內容分析的效率，還可定期追蹤主題的演變，甚至標示出重要學者的位置，提供後續相關研究的線索與素材。

Due to the mass accumulation of digital documents in nowadays research environment, related statistical or content mining methods for analyzing, organizing, and accessing information from the document collections are in great need. This research aimed to: (1) identify the core journals in the field of educational evaluation research through cross-verification of questionnaire survey and database searching; (2) find out major research topics and their evolutions by analyzing the publications in the core journals based on scientometrics methods such as citation analysis and text mining techniques. Based on the findings, the major salient research topics include principal’s leadership, class size, evaluation, reform, teacher certification, opportunity to learn, retention, and voucher. And as to the issue of the evaluation methods, the studies conducted by Chen, Weiss, and Rossi are identified as newer ones than those by Cook and Compbell, which coincides with the fact shown in the evaluation theory tree (a sort of topical tree) organized by Marvin Alkin, an experienced expert in the field. Besides, with this topic trend analysis, it is also found that the number of papers dealing with the major research topics seems to be decreasing. However, all these results need to be interpreted by domain experts to reveal their true meanings. The methodology presented in this research may be applied not only to improve the efficiency of content analysis, but also to facilitate regular tracing of topic evolution, to spot the positions of important researchers in the field, and therefore to provide relevant clues or materials for further studies.

1. Hearst, M.. (2003). What is text mining? Retrieved January 15, 2010, from http://people.ischool.berkeley.edu/~hearst/text-mining.html
2. Noyons, E. C. M., & van Raan, A. F. J. (1998), Mapping scientometrics, informetrics, and bibliometrics, CWTS Working papers. Retrieved January 2, 2008, from http://shara.fsw.leidenuniv.nl/ed/sib/home.html.
3. Tseng, Y.-H.. (2010). Content Analysis Toolkit for Academic Research (CATAR). Retrieved August 10, 2010, from http://web.ntnu.edutw/~samtseng/CATAR/
4. 村田忠禧 （2002）。從《人民日報》元旦社論看中華人民共和國的歷史。2007年7月22日，取自http://www.japanresearch.org.tw/forum-12.asp【Murata, T. (2002). A perspective on the PRC's history based on the People's Daily editorials on the New Year's Days. Retrieved July 22, 2007, from http://www.japanresearch.org.tw/forum-12.asp】
5. Alkin, M. C.(2004).Evaluation roots: Tracing theorists' views and influences.London:Sage.
6. Alkin, M. C.,Christie, C. A.(2004).An evaluation theory tree.
7. Andres, A.(2009).Measuring academic research: How to undertake a bibliometric study.New York:Neal-Schuman.
8. Baker, R. S. J. D.,Yacef, K.(2009).The state of educational data mining in 2009: A review and future visions.Journal of Educational Data Mining,1(1),3-17.
9. Bryson, L.(ed.)(1964).The communication of ideas.New York:Cooper Square.
10. Chang, Y.-H.,Chang, C.-Y.,Tseng, Y.-H.(2010).Trends of education research: An automatic content analysis.Journal of Science Education and Technology,19(4),315-331.
11. Enslein, K.(ed.),Ralston, A.(ed.),Wilf, H. S.(ed.)(1977).Statistical methods for digital computers.New York:Wiley.
12. Feldman, R.,Sanger, J.(2006).The text mining handbook: Advanced approaches in analyzing unstructured data.Cambridge, UK:Cambridge University Press.
13. Golub, G. H.,Van Loan, C. F.(1996).Matrix computations (3rd ed.).Baltimore, MD:Johns Hopkins.
14. Gorsuch, R. L.(1983).Factor analysis (2nd ed.).London:Psychology Press.
15. Holsti, O. R.(1969).Content analysis for the social sciences and humanities.Boston, MA:Addison-Wesley.
16. Jajuga, K.,Sokolowski, A.,Bock, H. H.(2002).Classification, clustering, and data analysis: Recent advances and applications (Studies in classification, data analysis, and knowledge organization).New York:Springer.
17. Kohonen, T.(2000).Self-organizing maps (3rd ed.).New York:Springer.
18. Krippendorff, K. H.(2003).Content analysis: An introduction to its methodology (2nd ed.).London:Sage.
19. Lent, B.,Agrawal, R.,Srikant, R.(1997).Discovering trends in text databases.Peoceedings of the 3rd International Conference of Knowledge Discovery and Data Mining,California:
20. Leydesdorff, L.(2001).The challenge of scientometrics: The development, measurement, and self-organization of scientific communications (2nd ed.).Boca Raton, FL:Universal.
21. Moed, H. F.(2005).Citation analysis in research evaluation.Dordrect, the Netherlands:Springer.
22. Nye, B.,Hedges, L. V.,Konstantopoulos, S.(1999).The long-term effects of small classes: A five-year follow-up of the Tennessee class size experiment.Educational Evaluation and Policy Analysis,21(2),127-142.
23. Nye, B.,Hedges, L. V.,Konstantopoulos, S.(2002).Do low-achieving students benefit more from small classes? Evidence from the Tennessee class size experiment.Educational Evaluation and Policy Analysis,24(3),201-217.
24. Porter, M. F.(1980).An algorithm for suffix stripping.Program,14(3),130-137.
25. Salton, G.(1989).Automatic text processing: The transformation, analysis, and retrieval of information by computer.Boston, MA:Addison-Wesley.
26. Scriven, M.(1991).Evaluation thesaurus (4th ed.).Newbury Park, CA:Sage.
27. Stufflebeam, D. L.、Madaus, G. F.、Kellaghan, T.、蘇錦麗主編，譯(2005)。評鑑模式：教育及人力服務的評鑑觀點。臺北市=Taipei, Taiwan:高等教育=Higher Education。
28. Tseng, Y.-H.(2010).Generic title labeling for clustered documents.Expert Systems With Applications,37(3),2247-2254.
29. Tseng, Y.-H.(2002).Automatic thesaurus generation for Chinese documents.Journal of the American Society for Information Science and Technology,53(13),1130-1138.
30. Tseng, Y.-H.,Lin, C.-J.,Lin, Y.-I.(2007).Text mining techniques for patent analysis.Information Processing and Management,43(5),1216-1247.
31. Tseng, Y.-H.,Lin, Y.-I.,Lee, Y.-Y.,Huang, W.-C.,Lee, C.-H.(2009).A comparison of methods for detecting hot topics.Scientometrics,81(1),73-90.
32. 王保進(2002)。國民中小學校務評鑑現況與重要議題之省思。「現代教育論壇─校務評鑑」學術研討會，臺北市=Taipei, Taiwan:
33. 何光國(1994)。文獻計量學導論。臺北市=Taipei, Taiwan:三民=San Min Book。
34. 吳清山、王湘栗(2004)。教育評鑑的概念與發展。教育資料集刊，29，1-25。
35. 谷佳臻(2008)。臺北市=Taipei, Taiwan，國立臺灣師範大學圖書資訊學研究所=National Taiwan Normal University。
36. 許育聞(2009)。臺北市=Taipei, Taiwan，國立臺灣師範大學圖書資訊學研究所=National Taiwan Normal University。
37. 郭昭佑(2006)。當評鑑遇上教育─教育評鑑意涵探究。教育行政與評鑑學刊，2，19-42。
38. 曾元顯(2009)。財團法人國家實驗研究院科技政策研究與資訊中心委託報告財團法人國家實驗研究院科技政策研究與資訊中心委託報告,臺北市=Taipei, Taiwan:國立臺灣師範大學=National Taiwan Normal University。
39. 曾元顯(2007)。財團法人工業技術研究院委託報告財團法人工業技術研究院委託報告,臺北市=Taipei, Taiwan:國立臺灣師範大學=National Taiwan Normal University。
40. 黃德祥、薛秀宜(2004)。教師評鑑的模式與發展趨勢。教育研究月刊，127，18-32。
41. 劉春榮(2004)。教育評鑑方案之建構。教育資料集刊，29，119-128。
42. 潘慧玲(2005)。教育評鑑的回顧與展望。臺北市=Taipei, Taiwan:心理=Psychological Publishing。
43. 蔡明月(2003)。資訊計量學與文獻特性。臺北市=Taipei, Taiwan:華泰文化=HuaTai Cultureal。

1. Wei, Feng-Min,Shy, Deng-Yau(2016).Locating Research on Physical Education Teacher Education in the Teaching and Teacher Education From 2001 to 2010.教育科學研究期刊,61(2),119-151.
2. 曾元顯,原友蘭,何昶鴛(2019)。運用自動內容分析技術探析觀光與旅遊領域研究主題與趨勢。戶外遊憩研究，32(1)，1-32。
3. 曾元顯、陳志銘、李清福(2013)。數位學習領域主題分析之研究。教育資料與圖書館學，50(3)，319-354。
4. 黃千玳,馮祥勇(2022)。臺灣大專院校觀光休閒學類碩士論文研究主題趨勢分析。觀光產業與航空管理期刊，5(1)，77-94。
5. 林巧敏,吳承恩(2023)。檔案內容主題自動分類及其成效評估之研究。檔案半年刊，22(2)，34-53。
6. 欒錦榮、陳怡廷(2012)。自然語言處理在口碑研究的應用。中華傳播學刊，22，259-289。
7. 歐陽新宜,陳志成(2020)。中國網路安全法規戰略之探討。遠景基金會季刊，21(3)，1-40。
8. 魏淑娟,賴奎魁,陳悅琴,李尚嬪(2022)。無線感測網路（ZIGBEE）文獻發展的趨勢、類別與熱點之探討－使用文獻內容書目對與共現字以發掘研究問題的機會。商管科技季刊，23(4)，395-442。
9. 謝順宏,柯皓仁(2019)。探索2006－2015年圖書資訊學領域研究議題。圖書館學與資訊科學，45(1)，65-96。
10. 楊諮燕、陳學志、巫博瀚(2013)。台灣心理與測驗領域六十年之回顧與展望：《測驗年刊》與《測驗學刊》內容分析。測驗學刊，60(1)，11-42。
11. 張益誠,張育傑,余泰毅(2021)。探討環境教育論文的文件自動分類技術－以2013－2018年環境教育研討會摘要為例。環境教育研究，17(1)，85-128。
12. (2011)。文獻內容探勘工具—CATAR—之發展和應用。圖書館學與資訊科學，37(1)，31-49。