网站服务器建设,网站可以做二维码吗,微站网站,个人空间备案网站名称自从有了表情包#xff0c;跟人聊天时的第一反应#xff0c;就是去找找看有什么适合的表情。有一类表情包#xff0c;形式是文字图#xff0c;尤其能够精妙地抒发和传递感情。在这一点上#xff0c;可能全世界的网友都一样。好用的表情永远不嫌多#xff0c;而且似乎总是… 自从有了表情包跟人聊天时的第一反应就是去找找看有什么适合的表情。有一类表情包形式是文字图尤其能够精妙地抒发和传递感情。在这一点上可能全世界的网友都一样。好用的表情永远不嫌多而且似乎总是不够用。怎么办好在我们有深度学习。表情包一个天然的图说生成问题斯坦福大学的Abel L. Peirson V和E. Meltem Tolunayl在这一期斯坦福深度学习自然语言处理课程CS224n的期末作业中提交了一个表情包生成器使用深度学习制作“图片文字”型的表情包。下面这些都是他们的系统自动生成的结果。不得不说深得表情包制作精髓。这个表情包生成器的基本的框架是一个编码器-解码器图说生成系统先进行CNN图像嵌入然后用一个LSTM RNN进行文字生成。其中编码器的目标是要给出一个有意义的状态让解码器开始进行文字生成。他们使用在ImageNet上预训练的Inception-v3做为编码器模型并将最后一层隐藏CNN作为编码器的输出。当表情包模板进入Inception模型后输出是一组长度固定的向量也即图像嵌入能够反映图像的内容。这个图像嵌入之后会被投射到词嵌入空间里方便后续文字生成。他们一共尝试了3种不同的编码器模型最简单的一种只输入图像另一种输入图像和标签最后一种的输入也是图像和标签但使用了注意力机制。至于解码器都是一个单向LSTM。这样搭配组合成了3种编码器-解码器方案。下图展示了第二种方案的模型。学习40万个表情幽默程度媲美人类数据集是这个表情包生成器的精髓。他们的数据集由大约40万张带标签和图说的图片组成。其中有2600个独特的图像-标签对是他们写Python脚本从Memegenerator.net中获取的。一张图片对应一个标签标签是对这幅图的简单描述而每张图都与很多不同的图说大约160个相关联。下图展示了数据的样本在训练前他们还针对图说中的标点、格式和某些词出现的频率等进行了预处理。训练的结果深度学习生成了各种表情系统看过的图像左边4张的输入标签是来自训练集的标签而对于没见过的图像右边4张我们使用的句子是“AI是新的电力”。从语法、搞笑程度和可区分性分辨是人制作的还是深度学习生成的几个维度判断深度学习表情包生成器取得了不错的效果。尤其是搞笑程度因为这一点是制作表情包的初衷普通表情包的搞笑程度7分满分10分深度学习生成的表情包最高达到了6.8。两位作者指出幽默是很难评判的事情本身就是一个很深的研究领域。他们的这项工作十分基础接下来如果能构建出能够自动断句的表情包生成器就是自动判断图片上方和下方两行文字从哪里断开将会是一个很大的进步。因为使用的都是网络热图因此数据含有性别歧视和不文明的成分。此外探索视觉注意力机制在表情包生成中的作用也是一个不错的研究方向。相关论文和代码Dank Learning: Generating Memes Using Deep Neural https://arxiv.org/pdf/1806.04510v1.pdfGithubhttps://github.com/alpv95/MemeProject来源Arxiv文章版权归原作者所有转载仅供学习使用不用于任何商业用途如有侵权请留言联系删除感谢合作。
