Geffory Hinton:深度学习进入平台期?不,深度学习需要的是「砍掉重练



Geffory Hinton:深度学习进入平台期?不,深度学习需要的是「砍掉重练

一个星期前由 François Chollet 在 Twitter 引发的「深度学习是否进入平台期」讨论,因为大神 Geffory Hinton 的参与达到了高潮。

Hinton:深度学习可能需要「推倒重来」

据科技媒体 Axios 报导,上週三在多伦多举行的一个 AI 会议,Hinton 表示对反向传播算法「深感怀疑」。这演算法是用来训练人工神经网路的常见方法,对网路所有权重计算损失函数的梯度。这个梯度会回馈给最最佳化方法,用来更新权值以最小化损失函数。值得一提的是,Hinton 是反向传播算法的早期提出者,1986 年,Hinton 一篇论文首次将反向传播算法引入多层神经网路训练。

Geffory Hinton:深度学习进入平台期?不,深度学习需要的是「砍掉重练

儘管在会议上,不少与会科学家表示人工智慧的未来反向传播仍处于核心地位,但 Hinton 的发言一锤定音:可能会有全新方法推出。Hinton 在现场参考普朗克的名言称:「Max Planck 曾说:『科学之道,不破不立。』未来取决于对我所说一切持怀疑态度的研究生。」他还表示,如果要让深神经网路变得更聪明,即向无监督学习过渡,「这可能意味着要彻底放弃反向传播。」

这一观点在 Twitter 引起广泛讨论,Pedro Domingos、李飞飞等多人纷纷转推。李飞飞转推的 Twitter上,前几天的「few tools lives enternity」已悄然变成「no tool is eternal」,Hinton 这观点对 AI 研究者的震撼之大可见一斑。

众所周知,Hinton 于 2006 年在《Science》杂誌发表《Deep Belief Networks》论文,开启了深度神经网路的新时代。十余年来,基于 Hinton 及众多先驱提出的深度学习理念框架,深度学习在有监督学习上取得一定突破,但同时也暴露出技术侷限,如资料需求大、环境适应弱、可解释性差、效能差异大、资料分享难等。不少研究者认为,人工智慧的下一步发展有待无监督学习领域的进一步突破。

如何破局?Hinton 提出 Capsule

Geffory Hinton:深度学习进入平台期?不,深度学习需要的是「砍掉重练

Hinton 近日对其 2011 年一篇论文《Transforming Auto-encoders》提出的 Capsule 概念重新思考及完善,关于 Capsule 的最新论文《Dynamic Routing Between Capsules》目前已被 NIPS 2017 收录,这篇论文还未正式发表,但我们还是可从 Google Research Blog 发表的论文摘要及部分提到 Capsule 的 Slide 了解关于 Hinton 对 Capsule 的想法,摘编如下:

Geffory Hinton:深度学习进入平台期?不,深度学习需要的是「砍掉重练

换言之,Capsule 尝试在神经网路内形成和抽象建立子网路,也就是说,如果你看一个标準的神经网路,层与层之间完全连线(也就是说,层 1 每个神经元都可存取层 0 每个神经元,并且本身被第 2 层每个神经元存取,以此类推), 这种更複杂的图形拓墣似乎可更有效地提高生成网路的有效性和可解释性。论文提到的 Dynamic Routing,就是希望能形成一种机制,让网路将适合某层 Capsule 处理的内容,路由到对应的 Capsule 让其处理,形成某种推断链。

如何看待 Capsule ?

在知乎这问题下,得到讚同最高的 SIY.Z 这样回答的:

从目前已披露的资讯看,Capsule 的概念更仿生,更能模拟人类大脑神经元之间的複杂连线架构,但对这个框架具体的数学说明仍有待进一步研究。

最近几年,深度学习得到广泛应用,深度学习工程化的门槛逐步降低,导致诸多学术会议已开始呈现「不用深度学习都不好意思和人打招呼」的现象,在这种环境下,不少研究者也在探索深度学习之外的其他理论研究,Hinton 的「深度学习需要砍掉重练,可能需要抛弃反向传播」的反思,更具备指导性意义,也会激励更多人进一步探索其他理论研究。

不少中国学者已走在这个领域的前线。南京大学的周志华教授今年稍早发表关于多层随机森林的论文《Deep Forest: Towards An Alternative to Deep Neural Networks》是关于用做深度学习的,也不需要反向传播;而在去年,周志华教授也针对目前深度学习存在的技术侷限提出「学件」解决方案。在这波重新思考深度学习浪潮中,期望有更多学者有更多突破。



上一篇: 下一篇:



  • 热门文章
编辑推荐