9号彩票开户

关注微信  |  微博  |  腾讯微博  |  RSS订阅
读者QQ群③:168129342,投稿请发dashuju36@qq.com
我要投稿

11大Java开源中文分词器的使用方法和分词效果对比

中文

作者:liuchi1993

本文的目标有两个:

1、学会使用11大Java开源中文分词器

2、对比分析11大Java开源中文分词器的分词效果

本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码,至于效果哪个好,那要用的人结合自己的应用场景自己来判断。

11大Java开源中文分词器,不同的分词器有不同的用法,定义的接口也不一样,我们先定义一个统一的接口:

统一接口

从上面的定义我们知道,在Java中,同样的方法名称和参数,但是返回值不同,这种情况不可以使用重载。

这两个方法的区别在于返回值,每一个分词器都可能有多种分词模式,每种模式的分词结果都可能不相同,第一个方法忽略分词器模式,返回所有模式的所有不重复分词结果,第二个方法返回每一种分词器模式及其对应的分词结果。

在这里,需要注意的是我们使用了Java8中的新特性默认方法,并使用stream把一个map的value转换为不重复的集合。

下面我们利用这11大分词器来实现这个接口:

1、word分词器

word分词器

2、Ansj分词器

2、Ansj分词器

3、Stanford分词器

3、Stanford分词器

4、FudanNLP分词器

43、Stanford分词器

5、Jieba分词器

5、Jieba分词器

6、Jcseg分词器

6、Jcseg分词器

7、MMSeg4j分词器

7、MMSeg4j分词器

8、IKAnalyzer分词器

8、IKAnalyzer分词器

9、Paoding分词器

8、IKAnalyzer分词器

10、smartcn分词器

10、smartcn分词器

11、HanLP分词器

11、HanLP分词器

现在我们已经实现了本文的第一个目的:学会使用11大Java开源中文分词器。

最后我们来实现本文的第二个目的:对比分析11大Java开源中文分词器的分词效果,程序如下:

程序

运行结果如下:

结果 结果2

完整代码看这里

End.

转载请注明来自36大数据(36dsj.com):36大数据 » 11大Java开源中文分词器的使用方法和分词效果对比

36大数据   除非特别注明,本站所有文章均不代表本站观点。报道中出现的商标属于其合法持有人。请遵守理性,宽容,换位思考的原则。

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
友情链接:博乐彩票  北京赛车pk拾平台评测网  澳彩网彩票  幸运农场  北京赛车pk拾后二  

免责声明: 本站资料及图片来源互联网文章,本网不承担任何由内容信息所引起的争议和法律责任。所有作品版权归原创作者所有,与本站立场无关,如用户分享不慎侵犯了您的权益,请联系我们告知,我们将做删除处理!