您的当前位置:嫡哽文化传播有限公司 > 产品导航 > 正文

谷歌开源预训练新范式BiT,实在率挑高近25%!网友评价:CV界的BERT

  • 作者:admin    最后更新:2020-05-26 20:29    点击数:
  • 原标题:谷歌开源预训练新范式BiT,实在率挑高近25%!网友评价:CV界的BERT

    鱼羊 发自 凹非寺

    焉耆回族自治县挂嫱市政工程公司

    量子位 报道 | 公多号 QbitAI

    BERT在NLP界无去不幸,大大挑高了自然说话模型的性能,那么,在计算机视觉周围,有异国能够一个CNN打天下?

    现在,谷歌大脑给出了一个应案——开源CV预训练新范式 BiT。

    BiT(Big Transfer),简而言之,是一个能够行为肆意视觉义务首点的预训练ResNet。

    在这项钻研中,谷歌大脑表明:用大量通用数据进走预训练的情况下,浅易的迁移策略就能让CV模型在下游义务上获得卓异的性能。

    钻研人员期待,BiT能取代现在常用的ImageNet预训练模型,推动计算机视觉钻研的发展。

    甚至有网友如许评价:BiT是CV界的BERT。

    预训练的ResNet

    因此BiT详细是怎么一回事呢?

    最先,要说到钻研人员的3个新发现。

    其一,是数据集大幼和模型容量之间的有关。

    钻研人员行使经典的ResNet架构,在ILSVRC-2012(1.28M)、ImageNet-21K(14M)和JFT(300M)这三个数据集上,别离训练了从标准的50层 R50x1,到4倍宽、152层深的 R152x4等几个变体。

    不悦目察终局表现,想要在更大的数据集上获得更好的预训练成绩,就必要增补模型容量。

    另外,在较大的数据集上进走预训练,纷歧定会挑高性能。但是,始末增补计算预算和训练时间,性能能得到清晰的改善。

    第二个发现更添主要:训练时间的长短至关主要。

    倘若在不调整计算预算的情况下,在一个较大的数据集上进走预训练,训练时间越长,性能逆而能够变差。

    而针对新的数据集调整训练时间,改进成绩会专门隐晦。

    另外,钻研人员还发现,用组归一化(GN)取代批归一化(BN),对大周围预训练而言是有好的。

    最先,BN的状态,包括神经激活的均值和方差,必要在预训练和迁移之间进走调整,而GN是无状态的,从而绕开了这个题目。

    其次,BN操纵的是批处理级统计,当大模型不能避免地展现幼每设备(per-device)批处理量时,BN就会变得不能靠。GN同样逃避了这个题目。

    原由 GN 不计算批处理级统计,因此它也从侧面逃避了这个题目。

    因此,钻研人员们挑出了如许的预训练策略:采用标准ResNet,增补深度和宽度,用GNWS替换BN,并在大型通用数据集上进走更多迭代。

    迁移学习

    接下来,就是针对下游义务微调预训练BiT模型。

    钻研人员介绍,荣誉资质BiT只必要预训练一次,此后在针对下游义务进走微调时,成本很矮。

    微调涉及到许多超参数,比如学习率、权重衰减等。

    对此,钻研人员挑出了 BiT-HyperRule手段。该手段仅基于高级数据集特征,如图像分辨率和标注样本数目等。也就是说,BiT并不会对每个下游义务都进走超参数调整。这能有效地降矮义务体面成本。

    并且,对BiT模型进走预训练后,即使下游义务只有幼批标注样本,模型相通外现卓异。

    钻研人员还不悦目察到,在这栽情况下,增补用于预训练的通用数据量和架构容量,所产生的模型体面新数据的能力也将大幅挑高。

    实验终局

    为了验证BiT的外现是否具有远大性,钻研人员在VTAB-1k上进走了实验。

    VTAB-1k是由19个迥异义务构成的义务套件,每个义务只有1000个标注样本。

    BiT-L模型 (在JFT-300M上进走预训练)迁移到这些义务上后,获得了76.3%的总得分,比此前的SOTA手段挑高了5.8%。

    另外,BiT-L在标准CV基准Oxford Pets、Flowers、CIFAR上的终局也外明,这栽大周围预训练 浅易迁移的策略在数据量适中的情况下也是有效的。

    为了进一步评估BiT的鲁棒性,钻研人员还在基于实在照片的ObjectNet数据集上对模型进走验证。

    BiT-L模型的top-5精度刷新记录,达到80%,比此前的SOTA手段挑高将近25%。

    关于作者

    这篇论文有三位共联相符作。

    Alexander Kolesnikov,谷歌大脑钻研柔件工程师,于2018年在奥地利科技学院获机器学习与计算机视觉博士学位。

    Lucas Beyer ,谷歌大脑钻研工程师,2018年博士卒业于德国亚琛工业大学。

    翟晓华,谷歌大脑高级钻研工程师,博士卒业于北京大学。钻研倾向是外征学习、自监督学习、GAN等。

    传送门

    谷歌博客:

    https://ai.googleblog.com/2020/05/open-sourcing-bit-exploring-large-scale.html

    论文地址:

    https://arxiv.org/abs/1912.11370

    作者系网易讯休·网易号“各有态度”签约作者

    — 完—

    华为MindSpore布道师招募

    助力幼白成为大牛

    告别技术造神,尊重每个开发者。

    在开源社区中一首迅速成长,共建开源生态!

    量子位 QbitAI · 头条号签约作者

    վ'ᴗ' ի 追踪AI技术和产品新动态

    爱就点「在望」吧 !

      日前,中国科协主管《发现》杂志社,其主办的新媒体网站定名为“发现网”,正式上线运行。

    原标题:再熬两个月,这三个生肖的人躲不过大富贵,日后有房有车

      作为坐拥逾10万家本土汽车零部件企业的汽车大国,我国创造了全球80%以上的零部件供应。今年一季度,随着整车企业复产难和下游供应商订单减少,对零部件上市公司形成了双重打击,而这也直接体现在了一季报当中。

    中新网5月21日电 据欧联网援引欧联通讯社报道,当地时间19日,意大利总统马塔雷拉正式签署了非法移民特赦令,该法案已于20日通过政府官方向社会公告,并颁布实施。

    原标题:大和:上调深圳国际(0152.HK)目标价至17.7港元 重申买入评级

    Powered by 嫡哽文化传播有限公司 @2018 RSS地图 html地图

    Copyright 站群 © 2013-2018 版权所有