wordpress页面可视编辑,wordpress seo自定义,小说网站建设方案书ppt,长沙优化网站价格前面有文章具体介绍了机器翻译用到的模型#xff1a;seq2seq和加入attention机制。这里再说点别的。
1 机器翻译评价标准BLUE
参考文章介绍的很详细。论文地址#xff1a;url
2 模型背后的理论#xff1a;密码学
例如从中文翻译成英文#xff0c;可以将中文看做是加密了…前面有文章具体介绍了机器翻译用到的模型seq2seq和加入attention机制。这里再说点别的。
1 机器翻译评价标准BLUE
参考文章介绍的很详细。论文地址url
2 模型背后的理论密码学
例如从中文翻译成英文可以将中文看做是加密了的英文。
3 工程上
1 Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation
2 NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
https://arxiv.org/pdf/1508.04025.pdf
google的翻译模型
Zero-shot NMT解决没有翻译原材料的问题
Transformer模型现在流行的模型
Model Inference怎样做到统一训练和预测。在各类⽂本⽣成任务中其实⽂本的⽣成与训练是两种不同的情形。在训练的过程中我们假设模型在 ⽣成下⼀个单词的时候知道所有之前的单词groud truth。然⽽在真正使⽤模型⽣成⽂本的时候每⼀步⽣成的⽂本都来⾃于模型本身。这其中训练和预测的不同导致了模型的效果可能会很差。为了解决这⼀问题⼈们发明了各种提升模型预测⽔平的⽅法例如Beam Search。
beam search是一种固定宽度的装置。在每一步都选择概率最大的k个词。 第一步选择k个词y11,y12,y13 第二步为每个词再生成k个下一个词这里有k2k^2k2个词然后选择概率最高的k个词。 k太大或者太小都可能会造成标准答案丢失。所以不能完整解决问题。 例如美国总统和中国主席打电话。 翻译的时候k1那假如最高的词是U.S. 那American就会丢了。 如果k3假如排序是American U.S Unite State 在第二步的时候可能因为各种原因把American丢了。
开源项目 FairSeq https://github.com/pytorch/fairseq Facebook的开源项目 Tensor2Tensor https://github.com/tensorflow/tensor2tensor google开源项目是Attention is all your need的标准实现 Trax https://github.com/google/trax google现在维护的开源项目
做翻译可以使用的开源工具 Pointer network 文本摘要 Copy Mechanism 文本摘要 Converage Loss ConvSeq2Seq Transformer Tensor2Tensor
PyTorch代码
seq2seq-tutorialTutorial from Ben TrevettIBM seq2seqOpenNMT-py
4 做翻译可以做的事情
1 使用transformer模型 2 可以使用的库 Facebook、OpenNMT-py、huggingface、allenXXX 3 beamsearch 4 Copy Mechanism直接复制一个词。 5 加入中文分词或者使用word-piece
