網路文件自動分類

Automatic Network Documents Classification

10.6226/NTURM1998.9.1.201

顧皓光(Hao-Kuang Ku)；莊裕澤(Juh-Jzer Joung)

資訊檢索 ； 文件自動分類 ； 向量空間模型 ； 超文件連結 ； HTML TAG ； information retrieval ； automatic documents classification ； vector space model ； hypertext links ； HTML TAG

臺大管理論叢

9卷1期（1998 / 12 / 01）

201 - 242

繁體中文

隨著網路的蓬勃發展，網路上的資訊也相對增加，絕大多數使用過Internet的人，對網路上多采多姿的資訊，約會驚訝不已；但讚嘆之餘，使用者也會發現，大量且缺乏整理的資訊反而了造成更大的困擾。新資訊時代裡，最根本的問題之一就是：如何在浩翰如海的資訊空間裡，快速的找到並取得所需的資訊。 本論文提出一個適合網路文件自動分類的模型，藉以幫助使用者處理這些資訊。首先，我們使用網路資源蒐集程式將蕃薯藤搜尋引擎上的文件取回，接著使用這些已經具備分類特性的文件當作訓練文件，在機器中建立一個可以模擬人工的向量空間模型。再由測試資料決定系統正確率。另外，鑑於Web文件提供了超文件連結的特性、HTML TAG標籤加註的功能，我們充分利用這兩項特性，設計實驗方法，藉以提昇系統分類能力。 實驗結果顯示我們提出的方法在13個法本類別條件下，可以正確辨識文件集合中71.2%的文件，辨識錯誤的文件有24.3%，另外有4.5%的文件是屬於無法辨識的文件。

As WWW becomes increasingly popular, more and more Chinese documents have been placed in the web, and so a classification of the documents is often useful in helping the users to find an appropriate document. In this paper, we propose and build an automatic web document classification system. This system learns its classification skill from the well-known YAM search engine site, whose documents are classified manually by a group of experts. The system also takes the advantage of web tags such as links, highlighting, and document structures to enhance the certainty of classification. Our experiments show that, given a system of 13 disjointed classes, the proposed scheme can correctly classify 71.2% of the documents. For the rest of the documents, 4.5% of them cannot be classified, and 24.3% of them will be mis-classified.

1. Aboud, M., Chrisment, C., Razouk, R., Sedes, F., Soule-Dupuy, C.(1993).Querying a Hypertext Information Retrieval System by the use of Classification.Information Processing ＆ Management,29(3)
2. Broder, Andrei Z., Glassman, Steven C., Manasse, Mark S.(1997).Proc. of the 6th Int'l. World Wide Web Conference.
3. Charniak, Eugene(1993).Statistical Language Learning.Massachusetts Institute of Technology.
4. Croft, W. Bruced, Turtle, Howard R.(1993).Retrieval Strategies for Hypertext.Information Processing ＆ Management,29(3)
5. Dunlop, M. D., van Rusbergen, C. J.(1993).Hypermedia and Free Text Retrieval.Information Processing ＆ Management,29(3)
6. Frankes, William B., Baeza-Yates, Ricardo(1992).Information Retrieval Data Structures ＆Algorithms.Englewood Cliffs:Prentice Hall.
7. Heaps, H. S.(1978).Information Retrieval Computational and Theoretical Aspects.Academic Press.
8. Lucarella, D., Zanzi, A.(1993).Information Retrieval from Hypertext: An Approach Using Plausible Inference.Information Processing ＆ Management,29(3)
9. Oddy, R. N., Robertson, S. E., van Rijsbergen, C. J., Williams, P. W.(1981).Information Retrieval Research.Butterworths.
10. Salton, G., McGill, M. J.(1983).Introduction to Modern Information Retrieval.New York, NY:McGraw Hill Book Co..
11. Savoy, Jacques(1996).An Extended Vector-Processing Scheme for Searching Information in Hypertext.Information Processing ＆ Management,32(2)
12. Sproat, Richard, Shih, Chilin(1990).A Statistical Method for Finding Word Boundaries in Chinese Text.Computer Processing of Chinese and Oriental Languages,4(4)
13. Valery I, F., Nick I, K., Jacob, S.(1993).One Approach TO Classification of Users and Automatic Clustering of Documents.Information Processing ＆ Management,29(2)
14. Wong, Jacqueline W. T., Kan, W. K., Young, Glibert(1996).ACTION: Automatic Classification For Full-Text Document.ACM-SIGIR,30(1)
15. Yuwono, Budi, Lam, Savio L. Y., Ying, Jeffy H., 李迪麟 Lee, Dik Lun(1995).Proc. of the 4th Int'l. World Wide Web Conference.
16. 中央研究院中文詞知識庫小組(1993)。中文詞類分析技術報告。中央研究院中文詞知識庫小組。
17. 果芸(1996)。網際網路發展之回顧與展望。資訊與電腦雜誌 Information and Computer，196
18. 洪振超(1996)。網路首頁資源之國語語音檢索及其動態語言模型技術 Dynamic Language Modeling for Mandarin Speech Retrieval of Home Page Information。國立台灣大學資訊工程研究所。
19. 陳淑美 Chen, Shu-mei(1992)。財經新聞自動分類研究。國立台灣大學圖書館學研究所。
20. 彭載衍(1993)。中文詞彙歧異之研究－斷詞與詞性標示。國立清華大學資訊科學研究所。
21. 黃雲龍(1997)。中文全文文件群集索引理論研究－向量空間模型( Vector-Space Model )的建構。國立台灣大學商學研究所。
22. 楊允言(1993)。文件自動分類及其相似性排序。國立清華大學資訊科學研究所。
23. 劉孟達(1995)。中文詞及自動產生及中文拼字檢查 Automatic Chinese Wordset Generation and Chinese Spelling Check。國立中正大學資訊工程研究所。
24. 蔣俊霞(1994)。中文文件自動分類之探討 An Investigation of Automatic Document Classification for Mandarin Chinese。淡江大學資訊工程研究所。

1. 蔣禮芸(2003)。資訊擷取技術之探討。大學圖書館，7(2)，191-205。
2. 楊綠淵、侯建良(2004)。以文件關聯性為基礎之企業知識客服管理模式。資訊管理學報，11(4)，205-228。