怎么查看网站外链效果,网站排名优化外包公司,网页设计作品模板,网页设计师证书含金量高吗[2020-AAAI] Revisiting Image Aesthetic Assessment via Self-Supervised Feature Learning 论文简析
论文链接#xff1a;https://arxiv.org/abs/1911.11419
本文探索从自监督的角度进行美学评估。基于一个基本的动机#xff1a;一个好的美学特征表示应该能够辨别出不同的…[2020-AAAI] Revisiting Image Aesthetic Assessment via Self-Supervised Feature Learning 论文简析
论文链接https://arxiv.org/abs/1911.11419
本文探索从自监督的角度进行美学评估。基于一个基本的动机一个好的美学特征表示应该能够辨别出不同的专家设计的图像篡改的方法。本文设计了一个针对于美学评估的自监督pretext task。 如上图所示在自监督pretext task预训练阶段将原图块和进行不同方法不同参数的降质之后的图块输入网络模型需要完成两项任务首先是分类判断输入的降质图块是来自哪一种降质方法然后是在同样降质方法不同降质参数的图像上模型需要最小化一个三元组损失使得原图块与降质较轻的图块的相似度比重度降质图块的相似度更大以避免某些降质方法过于容易辨认的问题。
另外本文还设计了一个基于熵的取样加权策略熵值更高的图块会有更对不确定的视觉美学因素因此在训练中应当被分配更小的权重。 在预训练完成后在固定住特征提取器的参数在美学数据集上微调分类器如图所示本文中将特征提取器的各层的输出都拿出来做了对比结果如下表中所展示的指标均为美学二分类准确率。作者还选取了几种经典的自监督pretext task与本文设计的美学相关任务做了对比。 作者根据各层的性能表现对各中间层特征的层次做了分析。
比较有关键的是low data adaption部分实验因为这里应该是体现自监督学习的优越性的地方即在预训练阶段可以使用大量的图像因为不需要标注根据自己设计的pretext task来进行训练在downstream task 微调时由于根据预训练时的pretext task已经得到了一个对于下游任务比较有针对性的特征提取器这样应该只需要较少的有标签训练数据就可以得到比较好的性能。 上面两图是作者汇报的实验结果可以看到在较少数量的有标签数据时本文方法基本是全面领先于无预训练和有监督分类预训练的方法的。
作者的另一实验称在使用非线性分类器的情况下本文的自监督预训练未使用任何人工标注标签的最高性能基本能够达到与有监督预训练用了大量人工标注标签相近。
最后作者的消融实验分别说明了pretext task不同image editting operation 和 entropy-based weighting各部分的作用。
