计算机工程

作者：塞麦提·麦麦提敏, 司马义·阿不都热依木

单位：1. 新疆大学 中国语言学院, 乌鲁木齐 830046;2. 新疆民汉语文翻译研究中心, 乌鲁木齐 830046

关键词：信息检索,停用词,维吾尔语,文本分类,语料统计

基金：国家社会科学基金（17XYY034）；教育部人文社会科学研究青年项目（16XJJC740001）。

为提高信息处理效率，文本信息检索系统通常将停用词作为噪音过滤掉，影响了文本处理的效果。针对该问题，提出一种应用于维吾尔语的停用词抽取方法。在分析维吾尔语停用词特点的基础上，采用文档频数、词项频率和信息熵的方法对大量语料进行统计，并分析候选停用词的词性分布情况。通过文本分类实验确定停用词阈值，结果表明，使用该方法进行停用词过滤后，文本分类的计算复杂度降低，分类准确率达到80.8%。

来源：2019年第10期

《计算机工程》期刊编辑部

查看计算机工程杂志2019年第10期