干货｜史上最全中文分词工具整理

作者 | fendouai

一．中文分词

分词服务接口列表

二．准确率评测：

THULAC：与代表性分词软件的性能对比

我们选择LTP-3.2.0 、ICTCLAS(2015版) 、jieba(C++版)等国内具代表性的分词软件与THULAC做性能比较。我们选择Windows作为测试环境，根据第二届国际汉语分词测评（The SecondInternational Chinese Word Segmentation Bakeoff)发布的国际中文分词测评标准，对不同软件进行了速度和准确率测试。

在第二届国际汉语分词测评中，共有四家单位提供的测试语料(Academia Sinica、 City University 、Peking University 、MicrosoftResearch), 在评测提供的资源icwb2-data中包含了来自这四家单位的训练集（training）、测试集（testing）, 以及根据各自分词标准而提供的相应测试集的标准答案（icwb2-data/scripts/gold）．在icwb2-data/scripts目录下含有对分词进行自动评分的perl脚本score。

我们在统一测试环境下，对上述流行分词软件和THULAC进行了测试，使用的模型为各分词软件自带模型。THULAC使用的是随软件提供的简单模型Model_1。评测环境为 Intel Core i5 2.4 GHz 评测结果如下：

评测结果1

除了以上在标准测试集上的评测，我们也对各个分词工具在大数据上的速度进行了评测，结果如下：

CNKI_journal.txt（51 MB）

评测结果2

分词数据准备及评测由BosonNLP完成：11 款开放中文分词引擎大比拼（2015年发布）

分词的客观量化测试离不开标注数据，即人工所准备的分词“标准答案”。在数据源方面，我们将测试分为: 1.新闻数据：140篇，共30517词语； 2.微博数据：200篇，共12962词语； 3.汽车论坛数据（汽车之家）100篇：共27452词语； 4.餐饮点评数据（大众点评）：100条，共8295词语。

作者：人工智能遇见磐创
链接：https://www.jianshu.com/p/b568f9f8191b