qq网页版登录入口网站,郎溪县建设局网站,网站建设与管理ppt模板,网站开发招聘要求文章目录 1 概述1.1 要点1.2 代码1.3 引用 2 预备知识3 方法3.1 MaxLogit3.2 改进MaxCosine和MaxNorm3.3 DML 1 概述
1.1 要点
题目#xff1a;解耦最大logit分布外检测 (Decoupling maxlogit for out-of-distribution detection)
方法#xff1a;
提出了一种心机基于log… 文章目录 1 概述1.1 要点1.2 代码1.3 引用 2 预备知识3 方法3.1 MaxLogit3.2 改进MaxCosine和MaxNorm3.3 DML 1 概述
1.1 要点
题目解耦最大logit分布外检测 (Decoupling maxlogit for out-of-distribution detection)
方法
提出了一种心机基于logit的OOD方法解耦最大逻辑 (DML)考虑硬样本和紧凑特征空间提出改进后的DML解耦最大logit (MaxLogit) 为高效的MaxCosine和保证性能的MaxNorm
1.2 代码
暂无。
1.3 引用
inproceedings{Zhang:2023:33883397,
author {Zhang, Zi Han and Xiang, Xiang},
title {Decoupling {MaxLogit} for out-of-distribution detection},
booktitle {{CVPR}},
pages {3388--3397},
year {2023},
}2 预备知识
已知一个 K K K类分类器 f ( x , W full ) b L W L δ ( ⋯ δ ( b 1 W 1 x ) ⋯ ) , (1) \tag{1} f(x,W_\text{full})b_LW_L\delta(\cdots\delta(b_1W_1x)\cdots), f(x,Wfull)bLWLδ(⋯δ(b1W1x)⋯),(1)其中 W W W表示权重、 b b b表示偏置以及 δ ( ⋅ ) \delta(\cdot) δ(⋅)表示非线性激活函数。给定属于第 k k k类的数据 x k , i x_{k,i} xk,i定义最后一层的特征为 h k , i ∈ R d , f ( x ; W full ) b L W L h k , i h_{k,i}\in\mathbb{R}^d,f(x;W_\text{full})b_LW_Lh_{k,i} hk,i∈Rd,f(x;Wfull)bLWLhk,i。为了简便后面的分析将不包含偏置项。然后logit表示为 z k , i W L h k , i z_{k,i}W_Lh_{k,i} zk,iWLhk,i。
给定训练集 D t r { ( x k i , k ) } i 1 N ∼ P t r \mathcal{D}_{tr}\{(x_{k_i},k)\}_{i1}^N\sim\mathcal{P}_{tr} Dtr{(xki,k)}i1N∼Ptr。首先在训练集上训练模型OOD检测的目的是决定给定的样本来自于 P t r \mathcal{P}_{tr} Ptr还是其它数据分布。因此OOD检测的两个关键问题是
训练一个对OOD数据健壮的数据即便于区分ID和OOD数据设计一个评分函数使得得分低的是OOD数据
两个特征坍塌指标定义如下
类内特征收敛 (WFC) WFC : trace ( Σ W Σ B † ) K , (2) \tag{2} \text{WFC}:\frac{\text{trace}(\Sigma_W\Sigma_B^\dag)}{K}, WFC:Ktrace(ΣWΣB†),(2)类平均特征收敛 (CFC) CFC : ∑ k 1 K ∥ h ‾ k ∥ h ∥ F − w k ∥ W ∥ F ∥ , (3) \tag{3} \text{CFC}:\sum_{k1}^K\left\| \frac{\overline{h}_k}{\|h\|_F} -\frac{w_k}{\|W\|_F} \right\|, CFC:k1∑K ∥h∥Fhk−∥W∥Fwk ,(3)其中 † \dag †表示伪逆 h h h是所有样本的特征矩阵 h ‾ k \overline{h}_k hk和 h ‾ \overline{h} h分别表示第 k k k类和所有特征的平均值 Σ W 1 K n ∑ k 1 K ∑ i 1 n ( h k , i − h ‾ k ) ( h k , i − h ‾ k ) ⊤ \Sigma_W\frac{1}{K_n}\sum_{k1}^K\sum_{i1}^n(h_{k,i}-\overline{h}_k)(h_{k,i}-\overline{h}_k)^\top ΣWKn1∑k1K∑i1n(hk,i−hk)(hk,i−hk)⊤以及 Σ B 1 K ∑ k 1 K ( h ‾ k − h ‾ ) ( h k − h ‾ ) ⊤ \Sigma_B\frac{1}{K}\sum_{k1}^K(\overline{h}_{k}-\overline{h})(h_{k}-\overline{h})^\top ΣBK1∑k1K(hk−h)(hk−h)⊤。
3 方法
3.1 MaxLogit
一个样本的MSP得分是其最大softmax值 max ( Softmax ( z k , i ) ) \max(\text{Softmax}(z_{k,i})) max(Softmax(zk,i))。MaxLogit则取样本的最大logit值 max ( z k , i ) \max(z_{k,i}) max(zk,i)。
MaxLogit在很多数据集上优于MSP。评分函数上的单调递增函数变化例如 log \log log和 exp \exp exp不会影响OOD检测性能。因此MSP和MaxLogit唯一的差别是求和项 ∑ j 1 K exp ( z i j ) \sum_{j1}^K\exp(z_{ij}) ∑j1Kexp(zij)。当模型收敛后该项主要受特征范数影响。因此MSP和MaxLogit的主要区别集中在特征范数。这启发我们研究cosine相似性和特征范数如何影响OOD检测性能。
本文将MaxLogit解耦为两个部分 MaxCosine : max ( cos h k , i , w j ) j 1 K , (4) \tag{4} \text{MaxCosine}:\max\left( \cosh_{k,i},w_j \right)_{j1}^K, MaxCosine:max(coshk,i,wj)j1K,(4) MaxNorm : ∥ h k , i ∥ . (5) \tag{5} \text{MaxNorm}:\| h_{k,i} \|. MaxNorm:∥hk,i∥.(5)MaxLogit得分等价于MaxCosine和MaxNorm得分的乘积。由于应用递增函数变换不会影响OOD检测的性能因此MaxLogit可以用两个独立的部分来描述 log ( max ( z k , i ) ) log ( max ( cos h k , i , w j ) ) log ∣ h k . i ∣ log ∣ w ∣ \log(\max(z_{k,i}))\log(\max(\cosh_{k,i},w_j))\log|h_{k.i}|\log|w| log(max(zk,i))log(max(coshk,i,wj))log∣hk.i∣log∣w∣其是MaxCosine和MaxNorm的耦合项。注意对于分类器权重 w j w_j wj其在模型收敛后为常数因此用常量|w|来代替。
基于以上结果提出了解耦MaxLogit (DML) DML λ MaxCosine MaxNorm , (6) \tag{6} \text{DML}\lambda\text{MaxCosine}\text{MaxNorm}, DMLλMaxCosineMaxNorm,(6)其中 λ \lambda λ是超参数。
3.2 改进MaxCosine和MaxNorm
尽管MaxNorm使得DML优于MaxCosine但由于MaxNorm的性能较低因此改进幅度很小。通过实验发现
Cosine分类器可以引导更好的MaxCosine、MaxNorm以及基于logit的方法低WFC引导更好的MaxNorm其通过Center损失获取 L c e n t e r ∑ k 1 K ∑ i 1 n ∥ h k , i − C k ∥ 2 , (7) \tag{7} \mathcal{L}_{center}\sum_{k1}^K\sum_{i1}^n\|h_{k,i}-\mathcal{C}_k\|_2, Lcenterk1∑Ki1∑n∥hk,i−Ck∥2,(7)其中 C k \mathcal{C}_k Ck是第 k k k类的平均特征低CFC引导更好的MaxCosine其通过Focal损失获取 L f o c a l − ∑ k 1 K ∑ i 1 n ( 1 − p k i ) γ log ( p k , i ) , (8) \tag{8} \mathcal{L}_{focal}-\sum_{k1}^K\sum_{i1}^n(1-p_{k_i})^\gamma\log(p_{k,i}), Lfocal−k1∑Ki1∑n(1−pki)γlog(pk,i),(8)其中 γ \gamma γ是超参数以及 p k , i p_{k,i} pk,i是sofrmax得分。
3.3 DML
为了进一步提升一个健壮的方法是
利用Focal损失训练cosine模型并获得MaxCosine利用Center损失训练cosine模型并获得MaxNorm
这样的方法被命名为DML D M L λ MaxCosine F MaxNorm C , DML\lambda\text{MaxCosine}_F\text{MaxNorm}_C, DMLλMaxCosineFMaxNormC,其中 MaxCosine F \text{MaxCosine}_F MaxCosineF表示使用Focal损失训练模型 MaxNorm C \text{MaxNorm}_C MaxNormC表示使用Center损失训练模型其分别被记为 M C F MCF MCF和MNC。
