Jieba分词包使用

发表于 | 分类于
字数统计: 883

目前来说，分词和词性标注一般都是同时完成的，而且技术已经相对成熟。

今天来学习下Python里面Jieba库的使用，下一步重点要解决的是命名实体识别的问题。

安装Jieba包

安装：命令行pip install jieba pip用于安装及维护Python包。

然后因为特殊原因并不能连上，我真的是笑嘻嘻

换上清华的镜像 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple jieba 光速安装完毕

顺便升级下pip python -m pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade pip

所用算法

基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)

采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合

对于未登录词，采用了基于汉字成词能力的 HMM 模型

可以看出，是一种词典和统计相结合的分词方法

jieba原理

分词模式

  • 精确模式，试图将句子最精确地切开，适合文本分析——默认
    • jieba.cut 方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用HMM 模型
  • 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义——列出所有可能的分词
  • 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词——更适合用于专门文本分析，如特征向量分析
    • jieba.cut_for_search 方法接受两个参数：需要分词的字符串；是否使用 HMM模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细——搜索引擎模式

jieba.cut以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for循环来获得分词后得到的每一个词语(unicode)，或者用jieba.lcut 以及jieba.lcut_for_search 直接返回list

词性标注

使用jieba.posseg模块来进行词性标注，利用了HMM和viterbi算法

1
2
3
4
5
import jieba.posseg as pseg
#查看词性
words = pseg.cut("国庆节快乐")
for word, flag in words:
    print('%s %s' % (word, flag))

输出

1
2
国庆节 t
快乐 a

ICTCLAS 汉语词性标注集

自定义词典

  • 加载自定义词典： jieba.load_userdict(file_name)file_name 为文件类对象或自定义词典的路径 。词典格式和 dict.txt一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。file_name若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。
  • jieba.del_word("XXX") 使得某个词语不会出现
  • jieba.add_word("XXX") 添加新词到字典中
  • jieba.suggest_freq("XXX", True) 调整某个词语的词频，使得其在设置的词频高是能分出，词频低时不能分出

分词器

更改分词器（默认为jieba.dt）的 tmp_dir 和 cache_file属性，可分别指定缓存文件所在的文件夹及其文件名，用于受限的文件系统

新建自定义分词器：jieba.Tokenizer(dictionary=DEFAULT_DICT) ，可用于同时使用不同词典。jieba.dt 为默认分词器，所有全局分词相关函数都是该分词器的映射。