1. <output id="2wxwm"><button id="2wxwm"><address id="2wxwm"></address></button></output>

    蓄谋已久?「GANs 之父」 Ian Goodfellow 跳槽苹果

    创投圈
    2019
    04/05
    20:33
    雷锋网
    分享
    评论

    雷锋网 AI 科技评论按:生成对抗网络之父、前谷歌大脑著名科学家 Ian Goodfellow 正式宣?#25216;?#30431;苹果,他将在苹果公司领?#23478;?#20010;「机器学习特殊项目组」。

    亚马逊首席科学家、MXNet 作者李沐上周在知乎上爆料,他从某机器学习大佬处得知,Ian Goodfellow 已从 Google 离职。文中他强调「无关小道消息」,表明消息基本可靠。鉴于过去他有过谷歌与 OpenAI「来回跳槽」的经历,很大一部分人好奇他一旦离开谷歌后,是否又会重投 OpenAI 的怀抱。直至昨日,他将个人 LinkedIn 信息正式更新为苹果公司「主管」,具体任期从今年 3 月份开始?#20013;?#33267;今,具体职务为「特殊项目小组的机器学习主管」。这一更新,震惊四座,毕竟从他 3 月份至今的推特情况来看,互动最频繁的依然是来自谷歌大脑和 OpenAI 的小伙伴们。当然,更重要的是,他这次没有选择重回 OpenAI 的怀抱。3 月份他还亲自转发了谷歌 AI 的推文

    随后不久,谷歌发言人证实了他的离职,不过却拒绝对此作出回应,Ian Goodfellow 同样对此三缄其口。

    从苹果公司角度而言,这次挖角 Ian Goodfellow 的举动倒不令人意外,毕竟苹果曾经为了追赶 AI 能力,专门把 Core ML 和 Siri 团队进行合并,成立全新 AI/ML 团队,并挖来谷歌人工智能和搜索主管约翰 · 詹南德雷亚 ( John Giannandrea ) 掌管全公司的人工智能战略。

    Ian Goodfellow 作为 GANs 之父,其 2016 年在 NIPS 大会上关于生成式对抗网络(利用生成式模型和判别式模型进行对抗并实现机器学习训练的过程)经过几年的发酵,早已奠定其机器学习大咖的地位。作为机器学习界的后起之秀,被「心急」想发展 AI 实力的苹果觊觎,再正常不过。

    目前,苹果已开始通过博客宣传其 AI 研究,为此专门开设了 AI 博客 Apple Machine Learning Journal,也许用不了多久,我们便能看到 Goodfellow 在上面发表最新的研?#30733;?#26524;,让我们一起拭目以待吧!

    Ian Goodfellow 任职经历

    2013 年 6 月,还在蒙特利尔大学读博的 Ian Goodfellow 就以软件工程师的身份在谷歌的 Street Smart team 实习,并在毕业后先后担任谷歌 TensorFlow 及谷歌大脑团队的研究科学家。

    2013 年 6 月,在蒙特利尔大学读博的 Ian Goodfellow 就以软件工程师的身份在谷歌的 Street Smart team 实习,并在毕业后先后担任谷歌 TensorFlow 及 Google 大脑团队的研究科学家。

    2016 年 3 月,Ian GoodFellow 转投 OpenAI 担任研究科学家。

    2017 年 3 月,Ian Goodfellow 从 OpenAI 重回谷歌,2018 年升任 Google 大脑团队的 Senior staff research scientist ,负责领?#23478;?#20010;研究 AI 中对抗技术的研究团队。

    2016 年 3 月,Ian GoodFellow 便从谷歌大脑团队投奔 OpenAI 麾下担任研究科学家。

    一年过后,?#24067;?#26159; 2017 年 3 月份 ,Goodfellow 又重回谷歌大脑团队。

    2019 年 3 月,正式加盟苹果。

    Ian Goodfellow 谈 GANs 论文评审

    「越是好论文,越是资深审稿人在看」

    我想谈谈学术会议的论文评审的事。最近我看到很多?#31169;病?#24456;明显,好的论文?#20960;?#36164;深审稿人看了」,或者「要记得去占论文,不然分给你的都是质量不高的论文」这样的话。既然我现在也算是资深审稿人了,我想很多人应该愿意听到我说这句话:我自己不会主动要求去审那些明显的好论文。

    审稿人希望审哪些论?#30446;?#33021;会出于各种各样的目标。每个审稿人?#21152;?#35813;想好自己的目标,并且?#31169;?#19968;些其它审稿人可能会抱有的目标。?#20063;?#19982;论文评审一般有两个目标:1,?#32321;?#35770;文的质量足够高;2,减少我自己作为审稿人的工作量。基于我的这两个目标,我希望评审的论文多数时候都?#24378;?#33021;需要拒掉的,但其它的审稿人不一定能看出来其中?#33041;?#22240;。有一些非常忙的审稿人甚至会要求只看那些明显质量很糟糕的论文,就是为?#21496;?#37327;减轻自己的工作量。

    审稿人们其它可能的目标还包括:比一般大众更早地看到有意思的研究(不过现在论文都传 arXiv 了,这样的?#21496;?#27809;那么多了)、?#32321;?#22909;的研?#30733;?#26524;不会被拒、审阅他们自己做过深入研究的某?#29238;?#35838;题下的论文,等等。当然也有一些审稿人的做法很消极、很自私。比如,审稿人和某篇论文的作者有私人恩怨,那他就可能会要求审这篇论文,以便给它打个?#22836;幀?#29616;在大量论文都会?#21364;?#21040; arXiv 上,论文投稿的匿名性大打折扣,这种事情也就变得常见了。

    不过也有一件需要?#24471;?#30340;是,审稿人抢占论文的作用不一定有你想象的那么明显。区域主席一般都会把审稿人列表手动整理到比较高的水平上。起码我自己做区域主席的时候确实这样做了。自动审稿人分配?#20302;?#32463;常需要忽略很多指定审稿的要求,以保证每一篇论文都会有人审。我自己就确实遇到过这样的情况,之前已经选了「不想审」的文章结果还是分配给我了,我的好?#29238;?#26379;友也跟我讲他们也遇到过。

    如果我做区域主席的话,基本可以肯定?#19968;?#32473;?#31185;?#35770;文分一个在那个课题上称得上绝对专家的审稿人,有必要的时候我甚至会邀请新的审稿人加入。比如我就经常从安全社区邀请审稿人来看机器学习安全性的论文。

    如何评审对 GANs 做出通用改进的论文

    对于 GANs 工作原理的理论和实证研究论文都已经有很多,关于如何把 GANs 用在一些有意思的或者奇怪的新任务的论文也有很多(比如第一篇用 GANs 做无监督翻译的),还有很多研究模型的评价指标的。我没打算谈这些。也有很多论文把 GANs 作为一个大?#20302;车?#20013;的一部分,比如用 GANs 做半监督学习、差分隐私、数据增强等等。这些也不是我想谈的——这都需要在那个所在的大?#20302;车?#24212;用领域中进行评价。

    我下面想聊的是能够普遍地让 GANs 的训?#32321;?#24471;更稳定,或者能让 GANs 产生更好的样本等等的改进 GANs 表现的新方法。我首先推荐 GANs 论文的审稿人?#21152;?#35813;读一读《Are GANs Created Equal》(https://arxiv.org/abs/1711.10337)这篇论文,它解释了为什么这个领域的实证研究非常难做,要做的话如何才能做对。另一篇很适合阅读?#35851;?#26223;知识论文是《A Note on the Evaluation of Generative Models》(https://arxiv.org/abs/1511.01844),它解释了为什么有的模型可以同?#26412;?#26377;很棒的样本和很糟糕的似然,又或者同时有很糟糕的样本和很高的似然,?#32422;?#20854;它生成式模型会遇到的评价指标方面的问题。

    GANs 的论文写作有一大?#35757;悖?#23601;是如何有新颖性。现在大家已经提出了许许多多的 GANs 改进模型,很难把它们全都追踪到,很难弄清自己的一个新的想法是不是真的以前没有人做过。最好尝试在谷歌?#20064;?#23427;的四五种不同的叫法都搜搜试试,看看会不会有人已经提过了。已经有人把各种 GANs ?#35851;?#20307;总结出了资源,可以到这个 GAN ZOO 看看(https://github.com/hindupuravinash/the-gan-zoo)。即便论文里提出的新方法不是全新的,它可能还是有一些价值的,但是审稿人应当?#32321;?#35770;文作者充分?#31169;?#20043;前的研究中的内容。

    评价指标发展到现在,Frechet Inception Distance(或者它的类别内版本)大概是现有方法里衡量通用的 GANs 表现最好的一种方法了。对于 ImageNet 之外的数据集,定义距离的时候用模?#25237;?#19981;是 Inception 是很合理的做法。有一些研究特殊情况的论?#30446;?#33021;也会包括其它的一些评价指标(比如带有 real NVP(real-valued non-volume preserving,无体积真?#24403;?#30041;)的 GANs 可以报告?#26082;?#30340;似然),但是如果一篇论文里没有包括 Frechet Inception Distance,那?#27425;?#23601;很想?#31169;?#19968;下这是为什么了。

    有很多论文希望读者多观察生成的样本,并以此为主要依据形成论文所提方法的印象。这通常是一个?#32531;?#30340;信号。以我的?#31169;猓?#26377;的领域的问题用以往的方法从来没有解决过,?#32531;?GANs 带来了明显的提升、能生成样本了,这才是通过样本展示方法效果这种做法主要适合的地方。比如?#25285;?#29992;单个 GANs 模型生成 ImageNet 中各种内容不同的图像曾经很难做,许多论文尝?#36234;?#20915;这个问题但结果基本都是失败的。SN-GAN 成功地为所有类别都生成了可以辨认的样本,那?#21019;?#36825;一点就可以看到 SN-GAN 是一项重大改进。(虽然这种提升也可能是所提的方法之外的因素带来的,比如新的、更大的架构等等)

    相比之下,很多论文中展示了来自 CIFAR-10 或者 CelebA 数据集生成的样本,?#32531;?#24076;望审稿人被这些样本折服。对于这样的情况,我作为审稿人其实根本不清楚他们希望我在其中找到哪些亮点。这都是一些已经基本得到解决的任务,那我也基本?#25237;?#36825;些论文失去了兴趣。同?#20445;?#23545;于一些有某?#20013;∪毕?#30340;图像,?#25512;?#23427;定性地有另一?#20013;∪毕?#30340;图像之间,我也不知道应该如何?#21028;潁?#20063;许这?#36136;?#20505;掷骰子或者画十?#25351;?#21487;能会更合适一点?#30733;?#20110;这些原因我一般不会把来自 CelebA 和 CIFAR-10 等等的生成样本当一回事,它们也就只能佐证一下这个方法没有大的纰漏而已。

    对于任何一个实?#33267;?#33258;己的模型作为基准模型的人,审稿人?#21152;?#24403;很小心。有很多细小的改动都可以让深度学习算法出问题,而论文作者也有充分的动机不去仔细检查自己的基准模型。一般来?#25285;?#21508;个基准模型里至少要有一个是在别的论文中展示过的,因为那一篇论文的作者会有一些主动性得到好的结果。这样做的话,对模型的评价起码不会过于自私。

    审稿人也应当检查一下实?#33267;?#19968;样的模型、做了一样的任务的其它论文,其中都分别得到了什么分数。引用一篇论文,但是展示的图像 / 分数比原论文?#23548;?#20889;的要差,很多人都在这样做。当然了,其它研究领域内也有这种故意打压别人的基准模型的做法,但是我觉得在 GANs 的论文中这种情况尤为严重。

    有一些情况下,一篇论文研究的是一个全新的任务,或者是以前别人研?#25239;?#30340;任务的某个罕有关注的方面,作者可能会有必要自己实现一个基准模型。在这种情况下,我觉得这篇论?#30446;?#33021;需要花差不多一半的篇幅论证自己的基准模型是正确的才比较合适。

    所有超参数的取值都来自哪里也非常重要,一定要解释。经常发生的情况是,新提出的方法之所以有更好?#35851;?#29616;,真正?#33041;?#22240;其实是作者花了更多?#22868;洹?#24819;了各?#32844;?#27861;为新方法优化超参数。

    许多深度学习算法,尤其是 GANs 和强化学习,每一次运行得到的结果都会有非常大的区别。论文里展示结果的时候,对于同样?#26576;?#21442;数应当至少展示三次运行得到的结果,才能对结果的随机性有个初步的感受。有很多论文,从结果看来似乎是有所改进,但其实就是?#26377;?#26041;法的结果里挑出比较好的,?#32531;?#20174;老方法的结果里挑出比较差的,最后再放在一起比而已。即便有一些不能明显看出在挑选结果的论文,通常在报告学习?#26159;?#32447;的时候也是用一根线表示新方法,一根线表示老方法,?#32531;?#36825;两根线之前的区别并不大。对于这样的情况,我敢说同一个方法跑两次的结果都会大相径庭。

    对于解?#32479;?#21442;数是如何优化的,?#24471;?#36873;择这样?#26576;?#21442;数是为了优化最大值、最小值、还是多次运行之后的平均值非常重要。还有一件需要注意的是,针对某种好的方法写出一篇糟糕的论文是完全有可能的。有时候我?#24378;?#21040;一篇论文里提出的新方法有很好?#35851;?#29616;,但同时文中还有很多想法是没有科学的依据的。后面这样的做法审稿人应当尝试驳回。

    如果你是区域主席,我非常希望你可以对审稿人 - 论文之间的匹配做一些仔细的调节。我觉得这世界上没有哪个人完全懂得 GANs 的方方面面。举例?#24471;鰨?#22914;果你拿到了一篇论文,内容是带有编码器的 GANs,那你应该试着找写过 ALI、BiGAN、alpha-GAN、AVB 论文的作者来看这篇论文。即便是我,对于 GANs 下面的许多子课题的?#31169;?#20063;是非常有限、无能为力。

    如果你审的论文是关于模式崩溃的,?#32531;?#35770;文作者认为模式崩溃意味着模型?#20146;?#20102;训?#36153;?#26412;的一个子集的话,你需要有所怀疑。模式崩溃的?#23548;首?#20917;要邪门得多。比如,模式崩溃得到的结果经常是一些奇怪的垃圾点,而且和?#23548;?#25968;据一点都不像。在训练过程中这样的点还会在?#21344;?#20013;来回移动。模式崩溃也有一种表现是对图像中某种?#35780;?#25110;者背景的重复,其中有一些细微的?#35851;洌?#20294;对的情况在人眼看?#20174;?#24403;有很大?#35851;?#21270;。

    今天讲给大家的思考题就这么多吧。对于各位 GANs 论文的审稿人来?#25285;?#20320;们也可以考虑下给别人提出的意见在自己身上是不是适用。

    来源:雷锋网

    THE END
    广告、内容合作请点击这里 寻求合作
    免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表砍柴网的观点和立场。

    相关热点

    相关推荐

    1
    3
    甘肃11选5开奖结果走势图

    
    

    1. <output id="2wxwm"><button id="2wxwm"><address id="2wxwm"></address></button></output>

      
      

      1. <output id="2wxwm"><button id="2wxwm"><address id="2wxwm"></address></button></output>