python之jieba
简介:
1、利用中文词库,分析汉字与汉字之间的关联几率
2、还有分析汉字词组的关联几率
3、还可以根据用户自定义的词组进行分析
- 精确模式 : 把文本精确的切分开,不存在冗余单词 ,返回列表
- 全模式: 返回一个列表类型的分词结果,存在冗余。
- 搜索引擎模式:在精确模式基础上,对长词语再次切分,存在冗余
函数 | 描述 |
---|---|
jieba.lcut(s) | 精确模式 : 把文本精确的切分开,不存在冗余单词 ,返回列表 |
jieba.lcut(s, cut_all=True) | 全模式: 返回一个列表类型的分词结果,存在冗余。 |
jieba.lcut_for_search(s) | 搜索引擎模式:在精确模式基础上,对长词语再次切分,存在冗余 |
jiena.add_word(w) | 向分词词典增加新词w |
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25import jieba as j from pprint import pprint st = "中国是一个非常美丽的国度" result = j.lcut(st) pprint(result) # **精确模式** : 把文本精确的切分开,不存在冗余单词 ,返回列表 # ['中国', '是', '一个', '非常', '美丽', '的', '国度'] st = "中国是一个非常美丽、强大的国度" result = j.lcut(st,cut_all=True) pprint(result) # **全模式:** 返回一个列表类型的分词结果,存在冗余。 # ['中国', '国是', '一个', '非常', '美丽', '、', '强大', '的', '国度'] st = "轮回乐园是一个非常好的制作虚拟现实游戏的小说素材" result = j.lcut_for_search(st) print(result) # **搜索引擎模式**:在精确模式基础上,对长词语再次切分,存在冗余 # ['轮回', '乐园', '是', '一个', '非常', '好', '的', '制作', '虚拟', '现实', '虚拟现实', '游戏', '的', '小说', '素材'] j.add_word("轮回乐园") result = j.lcut_for_search(st) print(result) # 向分词词典增加新词w # ['轮回', '乐园', '轮回乐园', '是', '一个', '非常', '好', '的', '制作', '虚拟', '现实', '虚拟现实', '游戏', '的', '小说', '素材']
最后
以上就是傻傻季节最近收集整理的关于python之jiebapython之jieba的全部内容,更多相关python之jiebapython之jieba内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复