网站开发安全,小说网站建设需要什么,中文 wordpress插件,厦门人才网唯一官网招聘模块介绍安装#xff1a;pip install jieba 即可jieba库#xff0c;主要用于中文文本内容的分词#xff0c;它有3种分词方法#xff1a;1. 精确模式, 试图将句子最精确地切开#xff0c;适合文本分析#xff1a;2. 全模式#xff0c;把句子中所有的可以成词的词语都扫描…模块介绍安装pip install jieba 即可jieba库主要用于中文文本内容的分词它有3种分词方法1. 精确模式, 试图将句子最精确地切开适合文本分析2. 全模式把句子中所有的可以成词的词语都扫描出来速度非常快但是不能解决歧义3. 搜索引擎模式在精确模式的基础上对长词再词切分提高召回率适合用于搜索引擎分词。我们用个小例子演示下这上面的小例子中我们看到了一个问题如果我们只是简简单单的将所有词切分出来然后去统计它们出现的次数那么你会发现其中的“是”“的”等等词语以及各种标点符号是出现频率最高的那么这里有2种方式1是直接去掉长度为1的所有词语比如上面所说的“是”“的”或者标点符号等等还有一种呢是用到了TF-IDF技术TF-IDF (term frequency-inverse document frequency)是一种用于信息检索(information retrieval)与文本挖掘(text mining)的常用加权技术比较容易理解的一个应用场景是当我们手头有一些文章时或者微博评论我们希望计算机能够自动地进行关键词提取。而TFIDF就是可以帮我们完成这项任务的一种统计方法。它能偶用于评估一个词语对于一个文集或一个语料库中的其中一份文档的重要程度。这个方法又称为词频逆文本频率。不好理解的话我们一样来写一个小例子withWeightTrue 参数为是否返回权重值默认是关闭的我们直接打印出所有词和它对于的权重就可以用于计算了小说词频分析简单的写个小demo分析小说的词频并将前10个打印出来篇幅有限就以《天龙八部》的第1章为例大概有4万多个字符直接上代码了在第425行进行分词然后将结果进行遍历(426-433行)遍历中剔除单个字符每个词语和它所出现的次数写入字典第434、435行将字典转化为元组所组成的列表并依据出现次数进行排序然后遍历列表取出前10名。第二段代码(441-445行)是依据权重取出了关键词可以看出这章小说主要讲的就是段誉的事情了不论是权重还是词频都是他最高。。。文本内容有大概400多行就折叠了大家可以直接套用代码自己试试。后记今天的分享就这些了python的自然语言处理其实还有好多内容比如停止词的使用词性等等好多大家如果有兴趣可以来找我一起深入学习
