-》
Jieba分词
nlp 分词 tokenize
自然语言处理之中文自动分词 | 白宁超的官网
https://bainingchao.github.io/2019/02/13/自然语言处理之中文自动分词/
【总结】
jieba 结巴
- 功能：中文分词
- 口号：做最好的 Python 中文分词组件
- “Jieba” (Chinese for “to stutter”) Chinese text segmentation: built to be the best Python Chinese word segmentation module.
- 特点：
- 精确模式：试图将句子最精确地切开，适合文本分析
- 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义
- 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词
- 支持繁体分词
- 支持自定义词典
- MIT 授权协议
转载请注明：在路上 » 【整理】Jieba分词