使用tag的网站,成都企业网站建设哪家好,长沙seo网站建设,离我最近的广告公司图像检索#xff08;包括文搜图和图搜图#xff09;是各个行业中常见的一个应用场景。比如在电商场景中#xff0c;基于以图搜图做相似商品查找#xff1b;在云相册场景中#xff0c;基于文搜图来找寻所需的图像素材。 传统基于标签的图像检索方式#xff0c;即先使用目标… 图像检索包括文搜图和图搜图是各个行业中常见的一个应用场景。比如在电商场景中基于以图搜图做相似商品查找在云相册场景中基于文搜图来找寻所需的图像素材。 传统基于标签的图像检索方式即先使用目标检测/图像分类产品如亚马逊云科技Amazon Rekognation产生图片标签再存储标签并在检索时匹配标签存在一些局限性。第一是该方法受限于产品本身支持的标签数量比如Amazon Rekognation支持3000个左右的标签对于标签之外的目标无法检测并检索。第二是标签检索对动词、数量、方位等信息不敏感。诸如“两个孩子在一栋房子前面奔跑”会出现包含“孩子房子”标签的图像但容易忽略“两个前面奔跑”等信息。 下文将将介绍两种基于语义的搜图检索方式以及部署方案可以实际测试两种方式在特定应用场景下的搜索率以及搜索的准确性并选择更加适合的方案使用。 方案一利用CLIP模型的文本编码器和图像编码器将图像和文本放入同一维度的潜在向量空间中找到与文本向量最相近的图像向量以实现基于语义的图像搜索。如下图所示可以看到图像对应的Image embedding在向量空间的位置不同文本会同样被编码至向量空间中当图像和文字语义最相近时其Image embedding和Text embedding的余弦距离最近。 方案二利用图生文模型案例使用vit-gpt2-image-captioning模型可替换先对图像产生对应的文本描述再将生成的图片描述文本与查询文本放入同一维度的潜在向量空间中找到与查询文本向量最相近的描述文本向量所对应的图像以实现基于语义的图像搜索。如下图所示可以看到图像经过vit-gpt2-image-captioning模型后产生“a black and white dog and a brown and white dog”的描述文本。对于语义最相近的文本其Text embedding之间的余弦距离最近。 CLIP模型介绍 CLIPContrastive Language-Image Pre-Training是由OpenAI于2021年推出的一种深度学习模型。它主要包含两个组成部分一个用于图像编码的卷积神经网络Convolutional Neural NetworkCNN和一个用于文本编码的Transformer模型。这两个编码器将图像和文本编码输入至相同的潜在向量空间中并使得相似的图像和文本在潜在向量空间中的距离更近。 vit-gpt2-image-captioning模型介绍 vit-gpt2-image-captioning模型利用Vision Transformer例如ViT、BEiT、DeiT、Swin对图像进行编码然后基于预训练的语言模型例如RoBERTa、GPT2、BERT、DistilBERT产生文本从而实现“看图说话”的能力。 OpenSearch k-NN介绍 Amazon OpenSearch支持k-NN搜索可让在向量空间中通过欧几里得距离或余弦距离查找点之间的“最近邻”。在语义搜图检索方案中主要包括两个阶段 构建k-NN index——在此阶段将产生的图像向量或描述文本向量保存到OpenSearch服务中的k-NN index中。k-NN的基本概念是相似数据点存在于嵌入空间中非常接近的位置。例如文本“一朵红花”、文本“红玫瑰”和“红玫瑰”图像语义相似因此这些文本和图像在潜在向量空间的位置是彼此接近的。 查询k-NN index——在此阶段通过实时机器学习模型对查询文本或者图像进行编码形成向量。随后使用该文本向量来查询存储在OpenSearch服务中的k-NN indexk-NN index从潜在向量空间返回相似的向量。例如如果您的查询文本是“一朵红花”它将返回红玫瑰图像的向量作为类似的项目。 方案架构 整体方案架构及介绍如下 通过预训练的CLIP模型和vit-gpt2-image-captioning模型创建一个用来进行批量和实时推理的SageMaker模型。 使用SageMaker批量转换作业生成图像Embedding或图像描述文本Embedding。 使用SageMaker实时推理或无服务器推理来将图像和文本进行实时编码产生图像Embedding或图像描述文本Embedding。 使用Amazon Simple Storage ServiceAmazon S3作为主要存储服务存储原始图像以及SageMaker批量转换作业产生的Embedding文件。 使用OpenSearch服务来存储向量并查找相关的向量。 使用一个查询函数来编排查询编码并执行k-NN搜索。 该方案具有以下优势 灵活构建。可以非常方便的替换CLIP模型或vit-gpt2-image-captioning模型至其他模型只需要在SageMaker上创建相关模型并部署终端节点即可也可以替换OpenSearch使用其他的向量数据库。 可快速构建大规模生产应用。该方案基于SageMakerOpenSearchS3等服务构建生产应用时无需过多担心资源限制及拓展帮助您在快速进行场景测试后进入大规模生产应用。 结语 综上所诉探究了基于CLIP模型和图生文模型的语义搜图检索方案适用于以图搜图做相似商品查找、基于文搜图来找寻所需的图像素材等众多场景。并且此方案具有灵活构建的特性并可以快速构建大规模生产应用的优势有助于客户提高生产效率。
