为了账号安全,请及时绑定邮箱和手机立即绑定

jieba英文空格分词问题

jieba英文空格分词问题

梦里花落0921 2018-08-23 15:39:51
1.对于关键词存在空格或者特殊符号的情况下,jieba无法分出该词2.在github上找到了一个解决方案,修改jieba源码__init__.py免费分享,造损免责。打开默认词典(根目录)或自定义词典,把所有用来间隔词频和词性的空格间隔符改成@@(选用@@是因为一般关键词里遇到这个分隔符的几率比较小吧)继续,打开jieba根目录下init.py搜索 re_han_default = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._]+)", re.U) 改成 re_han_default = re.compile("(.+)", re.U) 搜索 re_userdict = re.compile('^(.+?)( [0-9]+)?( [a-z]+)?$', re.U) 改成 re_userdict = re.compile('^(.+?)(\u0040\u0040[0-9]+)?(\u0040\u0040[a-z]+)?$', re.U) 搜索 word, freq = line.split(' ')[:2] 改成 word, freq = line.split('\u0040\u0040')[:2] 补充:若用的全模式继续改。 搜索 re_han_cut_all = re.compile("([\u4E00-\u9FD5]+)", re.U) 改成 re_han_cut_all = re.compile("(.+)", re.U)但是这样导致分词的结果出现大量的emoji表情或者不需要的 类似 =,()的符号,3.期望输出我 只想让jieba能够识别自定义词中存在 空格的中英文关键词 或者以 -连接的关键词并且去除其他特殊字符比如emoji等表情符 该怎么修改呢?string = 'my dog is a happy dog' jieba.add_word('happy dog') jieba.cut(my dog is a happy dog) outputs: ['my','dog','is','a','happy','dog'] 期望输出: ['my','dog','is','a','happy dog']对正则表达式实在头大,希望有经验的大佬能告诉我有什么办法...
查看完整描述

目前暂无任何回答

  • 0 回答
  • 0 关注
  • 1679 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信