金华市东阳市建设局网站,做网站需要可信认证吗,网络销售怎么跟客户聊天,泉州市住房和城乡建设网站前言 目前以深度学习对文本自动添加标点符号研究很少#xff0c;已知的开源项目并不多#xff0c;详细的介绍就更少了#xff0c;但对文本自动添加标点符号又在古文识别语音识别上有重大应用。 基于此#xff0c;本文开始讲解基于PaddleNLP的深度学习对文本自动添加标点符号…前言 目前以深度学习对文本自动添加标点符号研究很少已知的开源项目并不多详细的介绍就更少了但对文本自动添加标点符号又在古文识别语音识别上有重大应用。 基于此本文开始讲解基于PaddleNLP的深度学习对文本自动添加标点符号的应用和研究本文先讲解下如何从PaddleSpeech提取通用的添加标点符号模型。
开始
一、PaddleSpeech的添加标点符号使用介绍 1、命令行 (推荐使用) paddlespeech text --input 今天的天气真不错啊你下午有空吗我想约你一起去吃饭 使用方法: paddlespeech text --help 参数 input(必须输入)原始文本。task子任务默认值punc。model文本模型类型默认值ernie_linear_p7_wudao。lang模型语言 默认值zh。config文本任务的配置文件若不设置则使用预训练模型中的默认配置默认值None。ckpt_path模型参数文件 若不设置则下载预训练模型使用默认值None。punc_vocab标点恢复任务的标点词表文件默认值None。device执行预测的设备默认值当前系统下 paddlepaddle 的默认 device。 输出 [2021-12-14 19:50:22,200] [ INFO] [log.py] [L57] - Text Result: 今天的天气真不错啊你下午有空吗我想约你一起去吃饭。 2、Python API import paddle
from paddlespeech.cli.text import TextExecutortext_executor TextExecutor()
result text_executor(text今天的天气真不错啊你下午有空吗我想约你一起去吃饭,taskpunc,modelernie_linear_p7_wudao,langzh,configNone,ckpt_pathNone,punc_vocabNone,devicepaddle.get_device())
print(Text Result: \n{}.format(result)) 输出 Text Result: 今天的天气真不错啊你下午有空吗我想约你一起去吃饭。
根据上面介绍必须要安装PaddleSpeech的依赖包才可实现代码量虽然很少但依赖包太大。
二、标点符号预测核心代码提取
1、核心代码位置
如下 2、代码提取
找出下面的代码并单独建立 3、模型文件
根据model_alias.py文件内置了三个标点符号预测模型 分别下载该三个模型后面预测将用到文章后面有下载链接。
4、提取后代码结构 提取之后核心代码就只有3个py文件还需要对infer.py代码做一部分小小的改动提取后的代码在文章最新可下载可以对比PaddleSpeech源码进行查看。
5、测试提取后的代码
添加测试模型和测试代码如下 运行test.py文件输出结果 Text Result: 今天的天气真不错啊你下午有空吗我想约你一起去吃饭。 完毕 本章讲解的已经完毕主要是从PaddleSpeech中将添加标点符号的模型和代码提取出来做单独处理方便集成在其他第三方语言识别或项目中。
自动添加标点符号模型下载
ernie_linear_p7_wudao-punc-zh
ernie_linear_p3_wudao-punc-zh
ernie_linear_p3_wudao_fast-punc-zh
提取后的代码下载
下载地址
