本篇文章1897字，读完约5分钟
关注尖端科学技术的量子位
贾浩楠发自凹非寺
量子比特报道|公众号qbitai
在迁移学习任务中总是存在这样的问题。
因为目标域没有标签，所以经常在界面附近混淆很多数据。
中国科学院计算的驻读研究生崔书豪等人提出了一种新的处理方法:大量核范数最大化( bnm )。
在典型的标签不足场景(例如半监督学习等)中，bnm可以比较有效地提高学习效果。
另外，许多实验表明，bnm的性能优于现在主流的做法，同时组合采用也是有效的。
这篇论文已经作为cvpr oral收到了。
第一种想法
通过类预测的判别性和多样化，指向批量响应矩阵的核范数，可以使批量核范数最大化，提高迁移问题中的目标域的性能。
通过分解由批次类别响应组成的批次矩阵a，可以尝试从判别性和移动性出发进行优化。
判别性
判别性是预测类别的过程是否扎实。 例如对两种问题的响应:
1，[ 0.9，0.1 ]判别性高
2，[ 0.6，0.4 ]判别性低。
一般的做法是最小化熵以获得高判别性。 由于矩阵a的f范数具有与熵相反的单调性，所以可以通过使a的f范数最大化来提高判别性。
多样性
多样化可以近似地表现为用批量矩阵预测的类数，即预测的类数多时响应的多样化大。
考虑到不同类响应的线性相关性，当两个响应属于不同类时，响应没有很大不同的线性相关性。 如果属于同一类，则类似于线性相关性。
1，[ 0.9，0.1 ]与[ 0.1，0.9 ]的线性无关
2、[ 0.9，0.1 ]与[ 0.8，0.2 ]几乎线性相关。
那么预测等级数是矩阵中最大的线性无关矢量数，即矩阵的等级。
bnm
核范数是矩阵奇异值之和，数学上有两个结论。
1 .核范数和f范数的相互限制极限
2 .核范数是矩阵秩的凸近似
因此，通过与类预测的判别性多样化，指向矩阵的核范数，可以使矩阵核范数( bnm )最大化，提高预测的性能。
例如，如上图所示，如果使用熵最小化( entmin )和bnm进行优化，则在熵相同的情况下，通过使用bnm优化，核范数变得更容易，可以预想具有更少数量的等级(羊)。
实现。
常用框架pytorch和tensorflow都可以在一行代码中实现bnm。
pytorch :
tensorflow :
应用
我们把bnm应用于半监视学习、行业适应、开放域物体识别三个标签不足的场景。
实验表明，半监督学习可以提高现有的做法。 在行业适应中，bnm约束明显优于entmin，如下图所示，单个bnm约束可以实现接近现有方法的性能。
在开放域物体识别中，单一的bnm制约超过了具有冗馀损失函数的uodtn，达到了sota性能，如下图所示。
另外，在开放域物体识别中，如图所示，统计了随机抽样的统一响应中未知类所占的比例。
发现bnm确实可以保持未知类所占的比例，保障整体预测的类的数量和正确性，保持多样性。
这种方法的第一对比是缺少标签场景时界面附近的数据密度大的问题，对迁移相关的任务有比较普遍的改善价值。
作者的介绍
论文作者包括中国科学院计算学生崔书豪、卓君宝。 计算副研究员王树徽，李亮。 国科大讲座教授黄庆明和华为诺亚方舟实验室田奇博士。
本文第一作者崔书豪，年本科毕业于清华大学自动化系，现为中国科学院计算vipl实验室二年级学生，研究方向是深入的行业适应学习和开放领域学习技术。 指导老师王树徽长期从事交叉模式、交叉域分解推理技术研究。
有趣的是，崔书豪是第一作者，向cvpr提交了两篇论文。 另一个是graduallyvanishingbridgeforadversarialdomainadaptation，目前还在接收。
传输门
论文的原位置:
arxiv/pdf/2003.12237.pdf
第二篇cvpr :
arxiv/abs/2003.13183
bnm项目github主页:
github/cuishuhao/bnm
崔书豪知道和平:
zhuanlan.zhihu/p/121507249
作者是网易信息网易号“各有态度”的合同作者。
结束了
《地平线核心技术系列开讲》第三期注册中。 4月3日20点，地平线应用平台架构师穆里森在线介绍水平线ai express如何帮助算法工程落地，并分析其应用实例。
盖章下图的二维码，就可以申请和参加交流组~
直播推荐|水平线核心技术分析系列课程
关注学习计划|AI快速发展的新动向
量子位qbitai ·头条号合同作者
' '跟踪ai技术和产品的新动向
喜欢的话就点击“看”吧！
原标题: cvpr oral :用一行代码提高迁移性能，中国科学院计算研究生一作。
阅读原文。
