呆板进修研讨往年谁最火?多少何深度进修最年夜赢家,Reddit吵成一团

互联网 3个月前 站长
49 0

博雯 发自 凹非寺
量子位 | 大众号 QbitAI

呆板进修往年的热点研讨,会是什么?

克日,有网友在Reddit开了这么一个盘,破刻吸引了大量MLer的留神。

有人提名自监视模子,有人以为表征进修越来越遭到存眷,另有人以为基于物理的呆板进修才是将来的偏向……

呆板进修研讨往年谁最火?多少何深度进修最年夜赢家,Reddit吵成一团

但是,现在从批评区最高赞数来看,上述的这多少个偏向都不是“赢家”。

停止现在,获赞最多的选手是——多少何深度进修

这项技巧是因Twitter首席迷信家、图呆板进修年夜牛Michael Bronstein客岁宣布的一篇论文走入了民众视线。

呆板进修研讨往年谁最火?多少何深度进修最年夜赢家,Reddit吵成一团

(顺带一提那篇论文有160页)

呆板进修研讨往年谁最火?多少何深度进修最年夜赢家,Reddit吵成一团

那么成绩就来了:

Top人气从何而来?

多少何深度进修全名Geometric Deep Learning,最早是Michael Bronstein在2016年的一篇论文中引出的一个观点。

简略来说,这是一种试图从对称性稳定性的视角动身,从多少何上同一CNNs、GNNs、LSTMs、Transformers等典范架构的方式。

在高赞批评的下方,有人用一个简略的例子说明了这种“对称性”:

传统收集以为“E”跟“3”是差别的,然而存在镜像对称性(或π键扭转)的收集却会以为它们是分歧的。
CNN就是如许,当稳定性变得可平移(或许可转换)时,右上角的3跟核心的3固然就是一样的。咱们盼望将CNN的这种特征“推及”到其余架构上。

呆板进修研讨往年谁最火?多少何深度进修最年夜赢家,Reddit吵成一团

这就对称带来的稳固性,由于在视觉上,很多物体实在是统一个物体,会存在“这是统一个物体,只是翻转了一下”的3D多少何类似性,因而良多成绩都能够基于对称性失掉处理。

而传统卷积收集更多地应用数据加强,如扭转,平移,翻转来弥补这一目标。

以是,多少何深度进修盼望多少何学中的“稳定群”的观点范畴放得更宽,让收集除了扭转平移对称的惯例操纵之外,还能席卷“稳定”这种操纵。

比方在一段视频中,有两辆小车相向而行,无论速率怎样,有无遮挡,视频的语义就是两辆小车相向行驶。

总的来说,多少何深度进修既能使卷积收集愈加稳固,也能更好空中对庞杂度爆炸的拟合函数。

其余热点提名

除了多少何深度进修这个年夜热点,另有不少咱们熟习的方式也进入了“提名”。

比方,在在批评区中被说起的次数最多的“平易近推之子”——自监视进修

呆板进修研讨往年谁最火?多少何深度进修最年夜赢家,Reddit吵成一团

监视进修是现在呆板进修范畴主流的方式,而自监视进修作为一种新的进修方式,应用输入数据自身作为监视旌旗灯号,从未标志的数据中进修信息表现,多少乎有利于全部差别范例的卑鄙义务。

在图像分类、言语翻译等诸多CV跟NLP范畴都是到处可见,LeCun也始终非常推重这种研讨偏向。

呆板进修研讨往年谁最火?多少何深度进修最年夜赢家,Reddit吵成一团

△LeCun2018年报告

也有人以为表征进修可说明性 (interpretability)越来越遭到存眷。

他起首说明道,提名表征进修是由于实践深度进修范畴仿佛正在阅历一个从“标准”成绩(如深度与宽度、近似实践、静态)到更形象成绩的改变:

比方什么才是好的表现?表现的哪些属性是主要的?怎样用数学的方法界说这个观点?咱们怎样履行它们?

呆板进修研讨往年谁最火?多少何深度进修最年夜赢家,Reddit吵成一团

可说明性与表征进修也有必定关联:假如可能懂得什么是好的表示,可能在它下面强加属性,那么它就更存在可说明性。

另有提名检索、利用于强化进修上的迁徙进修、多模态以及年夜范围言语模子上的偏勤学习的:

呆板进修研讨往年谁最火?多少何深度进修最年夜赢家,Reddit吵成一团

此中的“检索”指的是从外部数据会合检索信息,就像是deepmind近期的这项试验一样。

呆板进修研讨往年谁最火?多少何深度进修最年夜赢家,Reddit吵成一团

这位帖主还提到,也能够应用检索来弥补长尾成绩。

有意思的是,批评区有位提名“量子呆板进修”的,引来了一位搞物理的,真挚向搞AI的提问:

这玩意儿是真的有效,仍是只是平易近科?

呆板进修研讨往年谁最火?多少何深度进修最年夜赢家,Reddit吵成一团

实在在2017年时,图灵奖得主姚期智就在一次报告时说过“假如可能把量子盘算跟AI放在一同,咱们可能做出连年夜天然都不想到的事件。”

这是一个量子盘算跟呆板进修穿插的的跨学科技巧范畴,借助于量子特征开辟高机能的量子呆板进修算法,从而放慢或拓宽人工智能的利用场景。

不外现在还不影响普遍的利用呈现,因而楼主谨严地复兴:不懂得,不外很多多少人说这是呆板进修的最新趋向来着…….

批评区中,咱们熟习的分散模子、联邦进修、差分算法、元进修也都有人说起。

呆板进修研讨往年谁最火?多少何深度进修最年夜赢家,Reddit吵成一团

比及了往年岁尾的时间,咱们能够再挖坟,看看是不是真的有提名中了奖。

呆板进修研讨往年谁最火?多少何深度进修最年夜赢家,Reddit吵成一团

参考链接:
https://www.reddit.com/r/MachineLearning/comments/t04ekm/d_whats_hot_for_machine_learning_research_in_2022/

版权声明:站长 发表于 2022年2月25日 下午5:19。
转载请注明:呆板进修研讨往年谁最火?多少何深度进修最年夜赢家,Reddit吵成一团 | URL导航

相关文章