当前位置:今期特马刘伯温玄机图 > 人工神经网络 >

机器学习、神经网络和深度学习为何能独领风骚?

  据官方公告介绍,因三位巨头在深度神经网络概念和工程上的突破,使得 DNN 成为计算的一个重要构成,从而成为 2018 年图灵奖得主。

  Hinton、LeCun和Bengio三人为深度神经网络这一领域建立起了概念基础,通过实验揭示了神奇的现象,还贡献了足以展示深度神经网络实际进步的工程进展。

  这是图灵奖十年来第三次颁给机器学习领域的杰出贡献者了:2011 年图灵奖得主为 Judea Pearl,他开发的概率与因果推理微积分(calculus for probabilistic and causal reasoning)为人工智能发展做出了重大贡献。Leslie Gabriel Valiant 获得了 2010 年图灵奖,他为计算理论的发展作出了变革性贡献,包括 PAC 学习理论、并行与分布计算理论等。

  其实,现代神经网络、机器学习等AI技术背后的思想,可以追溯到第二次世界大战行将结束之际。彼时,学者们开始构建计算系统,旨在以类似于人类大脑的方式存储和处理信息。

  而深度神经网络早在1980年代就已经提出,但很快遭受质疑。专注于这种方法的学者,是AI界的少数派,LeCun、Hinton和Bengio就在其中。

  然而,这一小撮“顽固分子”始终坚持自己的信念,他们不怕被视作蠢货,一直相信神经网络会照亮这个世界,并改变整个人类的命运。

  Geoffrey Hinton,1947年生,现年72岁,谷歌的副总裁和工程师,也是AI研究机构Vector Institute的首席科学顾问和多伦多大学的名誉教授。

  在ACM颁奖辞博文中,主要提到了Hinton的三个贡献,如果你做过AI项目,肯定不会陌生,它们分别是:

  如今,反向传播已经是神经网络的标准操作,Hinton也有了“反向传播之父”的名号。

  1983年,Hinton和同伴一起发明了玻尔兹曼机,那是最早能够学习神经元内部表征的网络之一:那些表征既不来自输入,也不来自输出。

  在ImageNet比赛上,他们几乎把物体识别的错误率降到了从前的一半,让计算机视觉领域焕然一新。

  在获得图灵奖之前,Hinton就已经获得了大量的荣誉,手握加拿大最高荣誉勋章(Companion of the Order of Canada),是顶级认知科学奖鲁梅哈特奖的首位获奖者,也获得了人工智能国际联合会(IJCAI)杰出学者奖终生成就奖等等。

  一个有趣的轶事是,Hinton的高祖父是大名鼎鼎的乔治布尔布尔逻辑的创立者,因“布尔检索“而闻名于世。

  Yann LeCun,1960年生,58岁,现在是Facebook首席AI科学家。卷积神经网络 (CNN) 之父,是他最为人熟知的名号。

  1989年,在AT&T贝尔实验室工作的LeCun,以反向传播为基础,发表了一项研究,叫做“将反向传播用到手写邮编的识别上”。CNN的第一次实现,就是在这里诞生。

  如今,CNN已经成为深度学习的基础技术了,不止在计算机视觉领域,在语音合成、语音识别这些应用中,也是行业标准操作。

  1985年,Hinton还没有成为反向传播之父的时候,LeCun在巴黎六大读博期间,发表过反向传播的一个早期版本,根据变分原理给出了一个简单的推导过程。

  LeCun不止把神经网络用在图像识别上,还解锁了许多其他任务。他提出的一些概念,如今已经成了AI领域的基础。

  比如,在图像识别上,他研究了神经网络怎样学习分层特征表示 (Hierarchical Feature Representation) ,这也成为了如今许多识别任务中常用的概念。

  另外,他和同伴Lon Bottou一起提出,学习系统可以由复杂的神经网络构成。在这样的系统里,反向传播是靠自动微分来实现。他们还提出,深度学习架构可以对结构化数据 (比如图形) ,进行处理。

  LeCun博士毕业后,只在Hinton的实验室做了一年博士后,就进入了工业界。

  不过,他在2003年成为了纽约大学的教授,还在2012年创办了纽大数据科学中心。即便加入Facebook之后,也继续在纽大兼职。

  而下一位巨头,也和LeCun一样,横跨学界和产业界。并且,他也在赫赫有名的贝尔实验室工作过。

  Yoshua Bengio,1964年生,55岁,现在是蒙特利尔大学计算机科学与运筹学系教授。

  Bengio创建了蒙特利尔学习算法研究所(MILA),担任研究所的科学主任,主持加拿大高等研究院(CIFAR)机器与大脑学习项目的研究。同时,Bengio也担任着数据评估研究所(IVADO)的科学联合主任。

  上世纪90年代,Bengio提出了序列的概率模型。他把神经网络和概率模型(例如隐马尔可夫模型)相结合,用新技术识别手写的支票。外界认为,这是20世纪90年代神经网络的巅峰之作,当下语音识别技术就是在它的基础上扩展的。

  据统计,Yoshua Bengio发表的300多篇学术文章的累计引用次数已经超过137000次。

  除此之外,Bengio也有许多荣誉在身。他不仅成为了加拿大皇家学院(RSC)及加拿大高等研究院(CIFAR)的院士,还在2017年获得了代表加拿大公民最高荣誉的“加拿大总督功勋奖”。

  机器学习、神经网络和深度学习为何能独领风骚?在传统计算中,计算机程序使用明确、逐步的指令来指导计算机,但在深度学习中,计算机并没有明确被告知该如何解决特定任务,如对象分类。相反地,它使用学习算法来提取数据中的模式(pattern),涉及数据的输入,例如图像的像素、标注、到输出。研究人员面临的挑战是开发有效的学习算法,能够修改人工神经网络中连接的权重,所以可抓取数据中的相关模式。

  Geoffrey Hinton 从 80 年代早期就致力在 AI 领域倡导机器学习方法,研究人类大脑如何发挥作用,应将其应用在机器学习系统的开发。受到大脑的启发,他和其他人提出“人工神经网络”作为机器学习研究的基石。

  在计算机科学中,“神经网络”是指由在计算机模拟“神经元”的一层一层组成的系统。这些“神经元”与人类大脑中的神经元相似,通过加权连接相互影响,并通过改变连接上的权重,可以改变神经网络执行的计算,三位大牛提出使用多层构建深层网络的重要性,因此也称为“深度学习”。

  三位大牛 30 年努力所奠定的概念基础和工程进步,受惠于 GPU、计算机的普及以及对大量数据集而取得显著进展,Yann LeCun 在 Geoffrey Hinton 的指导下进行博士后工作,Yann LeCun 和 Yoshua Bengio 在 90 年代初都任职于贝尔实验室,尽管没有一起工作,他们的研究也激起了相互影响。

  他们三人持续探索机器学习与神经科学和认知科学的交叉,特别是他们共同参与 CIFAR 的机器和大脑学习计划。

  这一次 ACM 选择深度学习理论,在深度学习领域又选择了这三位先驱,其实有更深层的意义。因为,在深度学习和神经网络领域具有突出贡献的绝不止这三位学者,而他们并称为三巨头的原因,也并不只是因为他们投入研究的时间长达40年,更是因为他们始终保有对神经网络的兴趣,在他们的名字广为世人所知的几十年时间里,他们甘于用掉人生大部份的时间坐冷板凳做研究,才推动了神经网络走向复兴。

http://aqilabutik.com/rengongshenjingwangluo/334.html
点击次数:??更新时间2019-06-25??【打印此页】??【关闭
  • Copyright © 2002-2017 DEDECMS. 织梦科技 版权所有  
  • 点击这里给我发消息
在线交流 
客服咨询
【我们的专业】
【效果的保证】
【百度百科】
【因为有我】
【所以精彩】