基于词汇吸引与排斥模型的共现词提取

Abstract

:共现词提取在信息挖掘和自然语言处理中有着十分重要的地位。而传统的共现词提取方法仅仅局 限在单一的一种统计量上,其结果十分不精确,需要人工再进行整理。本文提出了一种基于词汇吸引与排斥 模型的共现词提取算法,并通过将多种常用统计量进行组合,改进了算法的效果。在开放测试环境下,所提取 的共现词其用户感兴趣度为60187 %。将该算法应用于基于Web 的共现词检索系统,在速度和共现词的提取 精度上均取得了比较好的效果。福建省自然科学基金资助项目(A0310009) ;福建省重点科技资助项目(2001J005