登陆

极彩-AI人工智能教程:focal loss使用诈骗检测使命

admin 2019-05-24 240人围观 ,发现0个评论

焦点丢失函数 Focal Loss(2017年何凯明大佬的论文)被提出用于密布物体检测使命。它能够练习高精度的密布物体探测器,哪怕远景和布景之间份额为1:1000(译者注:facal loss 便是为了处理方针检测中类别样本份额严峻失衡的问题)。本教程将向您展现怎么在给定的高度不平衡的数据集的状况下,运用焦点丢失函数来练习一个多分类模型。

布景

让咱们首要了解类别不平衡数据集的一般的处理办法,然后再学习 focal loss 的处理方法。

在多分类问题中,类别平衡的数据集的方针标签是均匀分布的。若某类方针的样本比较其他类在数量上占有极大优势,则能够将该数据集视为不平衡的数据集。这种不平衡将导致两个问题:

练习功率低下,极彩-AI人工智能教程:focal loss使用诈骗检测使命由于大多数样本都是简略的方针,这些样本在练习中提调教惩罚供应模型不太有用的信息;

简略的样本数量上的极大优势会搞垮练习,使模型功能退化。

一种常见的处理计划是履行某种方法的困难样本发掘,完成方法便是在练习时选取困难样本 或 运用更杂乱的采样,以及从头对样本加权等计划。

对详细图画分类问题,对数据增强技能计划改变,以便为样本缺乏的类创立增强的数据。

焦点丢失函数旨在经过下降内部加权(简略样本)来处理类别不平衡问题,这样即便简略样本的数量很大,但它们对总丢失的奉献却很小。也便是说,该函数侧重于用困难样本稀少的数据集来练习。

将 Focal Loss 运用于诈骗检测使命

为了演示,咱们将会运用 Kaggle上的诈骗检测数据集 构建一个分类器,这个数据及具有极点的类不平衡问题,它包括一共6354407个正常样本和8213个诈骗事例,两者份额约为733:1。对这种高度不平衡的数据集的分类问题,若某模型简略猜想一切输入样本为“正常”就能够到达733 /(733 + 1)= 99.86%的准确度,这显然是不合理。因而,咱们需求的是这个模型能够正确检测出诈骗事例。

为了证明极彩-AI人工智能教程:focal loss使用诈骗检测使命focal loss 比传统技能更有用,让咱们树立一个简略地运用类别权重 class_weight练习的基准模型,通知模型“更多地重视”来自代表性缺乏的诈骗样本。

基准模型

基准模型的准确率到达了99.87%,略好于经过采纳“简略道路”去猜想一切状况都为“正常”。

咱们还制作了混杂矩阵来展现模型在测验集上的分类功能。你能够看到一共有1140 + 480 = 1620 个样本被过错分类。

混杂矩阵-基准模型

现在让咱们将foca极彩-AI人工智能教程:focal loss使用诈骗检测使命l loss运用于这个模型的练习。你能够在下面看到怎么在Keras结构下自界说焦点丢失函数focal loss 。

焦点丢失函数-模型

焦点丢失函数focal loss 有两个可调的参数。

焦点参数(gamma)滑润地调整简略样本被加权的速率。当= 0时, focal loss 作用与穿插熵函数相同,而且跟着 添加,调制因子的影响相同添加( = 2在试验中体现的作用最好)。

(alpha):平衡focal loss ,相对于非 平衡方法能够稍微进步它的准确度。

现在让咱们把练习好的模型与之前的模型进行比较功能。雷锋网雷锋网雷锋网

Focal Loss 模型:

精确度:99.94%

总过错分类测验集样本:766 + 23 = 789,将过错数减少了一半。

混杂矩阵-focal loss模型

结论及导读

在这个快速教程中,咱们为你的知识库引入了一个新的东西来处理高度不平衡的数据集 — Focal Loss。并经过一个详细的比如展现了怎么在Keras 的 API 中界说 focal loss从而改进你的分类模型。

下沉商场助力 畅聊全国翻开文娱交际新格局

2019-12-06
  • (文章来历:

  • 极彩-韵达股份:10月快递服务业务收入28亿元 同比增加约1.5倍

    2019-12-06
  • 极彩-蔬东坡:社区团购次日达+及时达 用前置仓切入20万个社区商场

    极彩-蔬东坡:社区团购次日达+及时达 用前置仓切入20万个社区商场

    2019-12-06
  •   绿盛农业甜瓜子国产的批发价格为3.8元/千克,和17日比较上涨了2.8元/千克。

      绿欣

    极彩-11月18日山西省甜瓜子市场行情动态

    2019-12-06
  • 请关注微信公众号
    微信二维码
    不容错过
    Powered By Z-BlogPHP