离群、异常、新类检测？开集识别？分布外检测？一文搞懂其间异同

喜欢

来源：互联网
|
2021-10-29
|
0 条评论
|
我要分享
|
T小字　 T大字

你是否也想要解决开放世界的问题却不知道从哪个任务入手？不知道利用什么方法解决问题？

这篇最新综述将拨云见日，让你对开放世界领域有全新的认识！

作者 | MMLab@NTU

在开放世界中分类是验证模型安全性的重要方式，也是一个真正能够商用落地的模型不可避免要面对的问题。传统的分类模型都是在一个封闭的世界中进行训练，即假设测试数据和训练数据都来自同样的分布（称作“分布内”，in-distribution）。例如我们利用一组猫狗照片训练一个猫狗分类器。然而，部署的模型在实际使用中总是会遇到一些不属于封闭世界类别的图片，例如老虎。或者也会遇到一些和训练图片视觉上大相径庭的照片，例如卡通猫。模型应当如何去处理这些不属于训练分布的图片（即分布外样本，out-of-distribution），是开放世界领域所关注的问题。

开放世界领域中时常能够见到如下几个任务：

OD: Outlier Detection, “离群检测”
AD: Anomaly Detection, “异常检测”
ND: Novelty Detection, “新类检测”
OOD Detection: Out-of-Distribution Detection, “分布外检测”

它们相像却各有千秋，不同却又有千丝万缕的联系。虽然现有工作也有尝试着将自己的任务和别的任务进行区分，但是各任务之间也都众说纷纭，使得整个领域都缺乏对各个任务准确的定义。让外界甚至参与者都对各个任务的具体目标大惑不解。

为了解决这个困扰领域许久的迷惑，一篇名为《Generalized Out-of-Distribution Detection: A Survey》的综述横空出世，将以上五个任务归纳进一个 “广义·分布外检测”（Generalized OOD Detection）的大框架内。至此，这些任务都能进行准确的定位，而它们之间的关系也顿时清晰可辨。

标题: Generalized Out-of-Distribution Detection: A Survey

作者: Jingkang Yang, Kaiyang Zhou, Yixuan (Sharon) Li, Ziwei Liu

机构: MMLab@NTU University of Wisconsin, Madison

链接: https://arxiv.org/abs/2110.11334

主页: https://github.com/Jingkang50/OODSurvey

准备工作

为方便理解我们的 “广义分布外检测框架”，我们需要首先介绍以下两个概念。

Covariate Shift：表层统计层面上的分布变化，简称统计偏移。
Semantic Shift：深层语义层面上的分布变化，简称语义偏移。

规范地讲，如果我们用X来代表图片像素空间的变量，用Y来代表图片语义空间的变量，这样我们可以用P(X,Y)来表示一组图片的分布。

像素空间分布P(X)的偏移就是Covariate Shift，可能来源于对抗样本或者画风的变化。

语义空间分布P(Y)的偏移就是Semantic Shift，可能来源于新类别的加入。

下图生动地展现了这两种分布偏移。

“广义分布外检测”（Generalized OOD Detection）

在学习到“统计偏移”和“语义偏移”这两个概念之后，我们可以利用下图来认识各个任务在框架中的位置。任务的定位使用四个维度：

（1）偏移类型：任务需要检测出表层统计偏移或深层语义偏移；

（2）分布内数据类别数：分布内数据包含一个类或多个类；

（3）对分布内样本的处理：是否需要对分布内样本进行分类；

（4）是否遵循“训练-测试模式”：

Transductive学习需要利用所有样本进行决策；

Inductive学习则遵循训练-测试模式，目的是得到一个单独可用的模型。

根据上图，“异常检测”AD分为两个子任务，即Sensory AD和Semantic AD，即“感知上的异常检测”和“语义上的异常检测”。

对各个任务的具体介绍

AD: Anomaly Detection, “异常检测”

背景

当人们提起异常（Anomaly）时，心中其实已经形成了一个“正常”的概念。例如，要创建一个“热狗/非热狗检测器”，我们将“热狗”的概念定义为正常，将不符合的定义为异常，也就是非热狗。

请注意，在这种情况下，热狗是一个统一的概念，无论热狗的大小、酱汁、面包类型、价格、香肠的来源等可能存在差异。任何其他物体，如牛排、米饭，以及非食物物体，如猫和狗，都被视为异常。

同时，现有的异常检测通常会对目标环境有所限制。例如，“热狗/非热狗检测器”会采用“检测器只会接触真实照片”的假设，测试时不会存在卡通或素描图。这使得在检测统计偏移时避免了语义偏移的出现。另一个现实的例子是工业缺陷检测，它针对的只是一组特定的产品装配线。这使得在检测统计偏移时避免了语义偏移的出现。换句话说，“开放世界”假设通常不是完全“开放”的。然而，“非热狗”或“缺陷”其实已经形成了一个巨大的未知空间，也早已打破了“封闭世界”的假设。

综上所述，异常检测任务的主要特征是其统一地定义了“正常”，并且假设一个相对封闭的限制。

定义

“异常检测”(Anomaly Detection, AD)的任务旨在找出测试集中所有偏离“预设的正常样本”的异常样本。这种偏移可能是来源于covariate shift或者semantic shift。该任务通常假设另一种偏移类型不存在。这两种不同的样本偏移类型对应着“异常检测”的两个子任务：“感知上的异常检测”sensory AD，和“语义上的异常检测”semantic AD。

应用

Semantic AD：视频监控，数据筛选等。

ND: Novelty Detection, “新类检测”

背景

“Novelty”这个词通常指的是未知的、新颖的、有趣的东西。虽然新类检测的目标与异常检测相似，但是它们之间有 三个显著不同：

在动机方面，新类检测通常不会像异常检测那样将“新类”样本视为错误、恶意、应当丢弃的。反之，该任务会将它们视为学习资源，以积极的学习态度供未来使用。例如新野生动物检测器，检测到的新类可供生物学界进行研究。
新类检测主要侧重于语义转移。它有一个可互相替换的名字：“novel class detection”。
新类检测去除了分布内样本只能属于一个类的限制。训练集可以出现一个或多个类。

定义

“新类检测”(Novelty Detection, ND)的任务旨在找出测试集中不属于训练集中任何类别的“新类”样本，检测到的“新类”样本通常会为下一步增量学习(incremental learning) 提供更多的学习样本，或者作为全新的类型进行探索研究。

基于训练集中的类别数量，“新类检测”可被分为两个子类型: “单类新类检测”(One-class ND)；以及“多类新类检测”(Multi-class ND)。尽管“多类新类检测”的训练集样本中包含多个类别，其目的只是将测试集中的“新类”样本与“分布内”样本区分开。因此，“单类新类检测”和“多类新类检测”的本质都是二分类问题。

应用：

视频监控，行星探索，增量学习

背景：

在封闭世界中训练的机器学习模型通常将属于未知类别的测试样本错误地分类为具有高置信度的已知类别。一些文献将模型这种过度自信的行为称为“模型的傲慢”。因此，OSR于2013年被提出，旨在解决这个问题。

定义：

对测试集中属于“已知类别“的图片进行准确分类；“已知类别”代表训练集中存在的类别。
检测出”未知”类别， “未知类别”不属于训练集中任何类别。

OOD Detection: “分布外检测”

背景：

类似的，鉴于深度学习模型通常会对来自不同语义分布的样本进行过度自信地分类，分布外检测领域应运而生，要求模型在保证分类性能的同时，拒绝语义偏移的样本，以保证可靠性和安全性。

定义：

备注：

OD: Outlier Detection, “离群检测”

背景：

根据维基百科，outlier是指与其他观测结果显着不同的数据点。不同于之前任务需要检测与训练数据分布不同的测试样本， 离群检测则是直接处理所有观察结果，旨在从受污染的数据集中找出异常。由于离群检测不遵循 “训练-测试模式”，而其方法通常依赖于所有观察结果，因此解决此问题的方法通常是Transductive传导学习而不是Inductive归纳学习。

定义：

“离群检测”(Outlier Detection, OD)的任务旨在检测出给定数据集中与其他样本显著不同的样本，其中这种不同既可以来源于covariate shift也可以来源于semantic shift。

应用：数据清洗

至此，我们希望读者对以上五个任务的异同有了更加深入的理解。下图用图片案例的方式再次比较这些任务。

方法论

我们全面地总结了解决 “广义分布外检测”中各个任务的方法。由于它们的目标大体相同，它们的解法自然也是如出一轨。我们发现它们的 解法基本分为四大类：