以遺傳演算法為基礎的中文斷詞研究

A Study on Chinese Word Segmentation: Genetic Algorithms Approach

10.6188/JEB.2000.2(2).02

陳稼興(Jiah-Shing Chen)；謝佳倫(Chia-Lun Hsieh)；許芳誠(Fang-Cheng Hsu)

中文斷詞 ； 遺傳演算法 ； 中文自然語言處理 ； Chinese word segmentation ； genetic algorithms ； Chinese language processing

資訊管理研究

2卷2期（2000 / 07 / 01）

27 - 44

繁體中文

斷詞在中文自然語言處理上，是個非常重要的前期作業。本研究提出以遺傳演算法為基礎的中文斷詞模型，用以處理中文斷詞。在我們提出的模型中，詞庫是自動建立的，除了避免人為介入導致的不客觀性外，也避免浪費寶貴的人力資源。在斷詞處理上，則是利用詞庫中的「詞出現次數」和「詞長」兩個因子編成適應函數，作為遺傳演算法演化的依據。一般斷詞方法，在斷短詞上的效果不錯，一旦遇到長詞，正確率就會大幅下降；但是若改採長詞優先，則因長詞可能包含短詞，導致短詞可能斷不出來。本研究模型的特色是，長詞有較大的機會被優先斷出，而任何短詞只要在文章中出現的次數夠多，還是有機會被斷出。此外，在模型中我們運用遺傳演算法進行中文斷詞，由於遺傳演算法可以讓我們保留最好的前三個（或更多）斷詞結果，而不是僅僅保留一個斷詞結果，讓後階段的中文處理有更多的選擇，這樣的特性有助於處理「斷詞的歧義性（ambiguity）」的問題。為驗證模型的效益，我們採用中時電子報下載的電子檔案為樣本進行實驗。實驗分析結果顯示，本研究模型確實已達可接受水準。

For Chinese natural language processing systems, word segmentation is a very important pre-processing step. In this study, a genetic algorithm-based word segmentation model is proposed. In the model, a dictionary for word segmentation is automatically generated from the training articles. GA's population search feature makes it easy to find several better segmentation candidates, which are helpful to the following steps in Chinese language processing. Experimental results on 300 articles show that our GA-based approach to Chinese word segmentation is highly feasible.

1. Hunter, A. SUGAL
2. Chen K. J.｜S. H. Liu(1992).Proceeding of COLING-92, 14th Int. Conf. On Computational Linguistics.
3. Fan, C. K.,W. H. Tsai(1988).Automatic Word Identification in Chinese Sentences by the Relaxation Technique.Computer Processing of Chinese and Oriental Languages,2(4),33-56.
4. Gan, K. W.,M. Palmer,K. T. Lua(1996).Computational Linguistics.
5. Goldberg, David E.(1989).Genetic Algorithms in Search Optimization and Machine Learning.Addison Wesley:
6. Holland, J. H.(1975).Adaptation in natural and artificial systems
7. Leung, C. H.,W. K. Kan(1996).Literary and Linguistic Computing.
8. Li, G. C.,K. Y. Liu,Y. K. Zhang(1988).Identifying Chinese Word and Processing Different Meaning Structures.Journal of Chinese Information Processing,2,45-53.
9. Liang, N. Y.(1990).Knowledge of Chinese Word Segmentation.Journal of Chinese Information Processing,4,42-49.
10. Nic, J. Y.,M. Briscobois(1996).Proceeding of SIGIR.
11. Nie, J. Y.,M. L. Hannan,W. Jin(1995).Combining Dictionary, Rules and Statistical Information in Segmentation of Chinese.Computer Processing of Chinese and Oriental Languages,9,125-143.
12. Robert, L. K.,P. L. Bruce,L. T.(1993).Data Structures and Program Design in C.Prentice Hall.
13. Sporat R.,C. Shih(1990).A Statistical Method for Finding Word Boundaries in Chinese Text.Computer Processing of Chinese and Oriental Languages,4(4),336-351.
14. Sporat R.,C. Shih W. Gale,N. Chang(1996).A Stochastic Finite-State Word-Segmentation Algorithm for Chines.Computational Linguistics,22,377-404.
15. Wu, Z.,G. Tseng(1993).Chinese Text Segmentation for Text Retrieval: Achievement and Problems.Journal of the American Society for Information Science,44(9),532-542.
16. Wu, Z.,G. Tseng(1995).ACTS: An Automatic Chinese Text Segmentation System for Full Text Retrieval.Journal of the American Society for Information Science,46,83-96.
17. Yeh C. L.,H. J. Lee(1991).Rule-Based Word Identification for Mandarin Chinese Sentences-A Unification Approach.Computer Processing of Chinese and Oriental Languages,5(2),97-118.
18. 王良志、貝子勝、黎偉權、黃麗卿(1991)。以剖析為導向的中文斷詞法。電子發展月刊，163，40-45。
19. 范長康、蔡文祥(1987)。以鬆弛法作中文斷詞。全國計算機會議論文集
20. 許菱祥(1986)。中文文法。大中國圖書公司。
21. 陳永德(1997)。國立台灣大學心理學研究所。
22. 陳克建、陳正佳、林隆基(1986)。中央研究院資訊所技術報告。
23. 黃大一(1990)。中文字碼。長松文化事業有限公司。

1. 杜明潔(2018)。消費者網路電影口碑推薦系統。中原大學資訊管理學系學位論文。2018。1-198。