长安之星4500报价【视频】- Hinton近日做报告,讲解其研究多年至今未发表的工作 学界-人工智能学家
发布时间: 2017-10-04 浏览: 343
【视频】| Hinton近日做报告,讲解其研究多年至今未发表的工作 学界-人工智能学家
来源:AI科技评论
概要:“胶囊理论”的方案是,黄艺明 神经网络由n个子网络(胶囊)构成,每个胶囊都专注于做一些单独的任务,胶囊本身可能需要多个层网络来实现京本政树。
近日,在加拿大多伦多大学由Vector研究所发起的“2017 - 2018年机器学习进展与应用”研讨会上新狄青,神经网络之父Geoffrey Hinton做了一场报告《What is wrong with convolutional neural nets?》帝煞血妻,在报告中Hinton讲解了他多年来一直在做的研究工作,他称之为“胶囊理论”(capsules theory)。
在报告中潜阳封髓丹,长安之星4500报价他认为“标准神经网络”与真实的大脑神经网络相比有以下四个问题:
1、池化过程并没有很好地模仿大脑中形状知觉的心理过程——它不能解释为什么我们人类能将内在的坐标系映射到物体上,以及为什么这些坐标系这么重要;
2、池化解决的问题是错的——我们想要的是信息的同变性而不是不变性,是理清信息而不是丢弃信息;
3、池化没有利用底层线性结构——它没有利用在图形中能很好地处理方差最大来源的自然线形流形素诗汇。
4、池化在处理动态路由时很差劲——我们需要将输入信息的每一部分路由到知道如何处理它的神经元中血沃轩辕 ,找到最佳的路径就是在解析图像。
Hinton提出了他“胶囊”(capsules)的概念。简单地说,这些“胶囊”就是在神经网络中构建和抽象出的子网络。什么意思呢?一个标准的神经网络,层与层之间是全链接的(也就是说安治富,层1中的每个神经元都可以访问层0中的每个神经元,并且其本身 也可以被层2中每个神经元所访问),但这些连接并不一定都是有用的。“胶囊理论”的方案是,神经网络由n个子网络(胶囊)构成,每个胶囊都专注于做一些单独的任务,胶囊本身可能需要多个层网络来实现。其输出包括物体所属类型的概率以及物体的状态信息(比如位置、方向、大小、形变、速率、颜色等)。低层次胶囊输出的参数会被转换成高层级胶囊对实体状态的预测,如果预测一致金基利,则输出这一层次的参数。
一个典型的胶囊将从多个低层次的胶囊中获得信息(多维预测向量)星云物语 ,然后寻找一个预测的紧致束(tight cluster of predication)千百怡恋。如果它能够找到这个紧致束,那么它就会输出实体在这个域内类型存在的较高的概率,以及生成状态的重心(状态平均值)富阳滑翔伞。这种方式可以很好地过滤掉噪声薄其芳 ,因为较高维度的巧合发生的概率很不灭的李舜臣 小,所以胶囊的方法要比“标准的神经网络”好很多。Hinton说,他这种“胶囊”的想法是受到脑科学中对“迷你列组织”(mini-column organization)研究的很大的启发李香芝 。
此外,据雷锋网了解山下智博,关于“胶囊理论”的研究Hinton已在多个场合做过类似的报告,不过目前Hinton好想并没有打算把他的研究成果发表出去,因为他觉得现在的研究还没有让他满意——那么绝世丹神,当他对这项研究满意的时候,会不会再次成为“the Father of ……” ?
AI 科技评论注:资源链接——
1、What's wrong with convolutional nets我的失忆男友? @MIT TechTV(2014年在“脑与认知科学”研讨会上的报告视频,内容类似)
http://techtv.mit.edu/collections/bcs/videos/30698-what-s-wrong-with-convolutional-nets
2、Hinton未发表工作:Transforming Auto-encoders(PDF)
http://www.cs.toronto.edu/~fritz/absps/transauto6.pdf
来源:AI科技评论
来源:AI科技评论
概要:“胶囊理论”的方案是,黄艺明 神经网络由n个子网络(胶囊)构成,每个胶囊都专注于做一些单独的任务,胶囊本身可能需要多个层网络来实现京本政树。
近日,在加拿大多伦多大学由Vector研究所发起的“2017 - 2018年机器学习进展与应用”研讨会上新狄青,神经网络之父Geoffrey Hinton做了一场报告《What is wrong with convolutional neural nets?》帝煞血妻,在报告中Hinton讲解了他多年来一直在做的研究工作,他称之为“胶囊理论”(capsules theory)。
在报告中潜阳封髓丹,长安之星4500报价他认为“标准神经网络”与真实的大脑神经网络相比有以下四个问题:
1、池化过程并没有很好地模仿大脑中形状知觉的心理过程——它不能解释为什么我们人类能将内在的坐标系映射到物体上,以及为什么这些坐标系这么重要;
2、池化解决的问题是错的——我们想要的是信息的同变性而不是不变性,是理清信息而不是丢弃信息;
3、池化没有利用底层线性结构——它没有利用在图形中能很好地处理方差最大来源的自然线形流形素诗汇。
4、池化在处理动态路由时很差劲——我们需要将输入信息的每一部分路由到知道如何处理它的神经元中血沃轩辕 ,找到最佳的路径就是在解析图像。
Hinton提出了他“胶囊”(capsules)的概念。简单地说,这些“胶囊”就是在神经网络中构建和抽象出的子网络。什么意思呢?一个标准的神经网络,层与层之间是全链接的(也就是说安治富,层1中的每个神经元都可以访问层0中的每个神经元,并且其本身 也可以被层2中每个神经元所访问),但这些连接并不一定都是有用的。“胶囊理论”的方案是,神经网络由n个子网络(胶囊)构成,每个胶囊都专注于做一些单独的任务,胶囊本身可能需要多个层网络来实现。其输出包括物体所属类型的概率以及物体的状态信息(比如位置、方向、大小、形变、速率、颜色等)。低层次胶囊输出的参数会被转换成高层级胶囊对实体状态的预测,如果预测一致金基利,则输出这一层次的参数。
一个典型的胶囊将从多个低层次的胶囊中获得信息(多维预测向量)星云物语 ,然后寻找一个预测的紧致束(tight cluster of predication)千百怡恋。如果它能够找到这个紧致束,那么它就会输出实体在这个域内类型存在的较高的概率,以及生成状态的重心(状态平均值)富阳滑翔伞。这种方式可以很好地过滤掉噪声薄其芳 ,因为较高维度的巧合发生的概率很不灭的李舜臣 小,所以胶囊的方法要比“标准的神经网络”好很多。Hinton说,他这种“胶囊”的想法是受到脑科学中对“迷你列组织”(mini-column organization)研究的很大的启发李香芝 。
此外,据雷锋网了解山下智博,关于“胶囊理论”的研究Hinton已在多个场合做过类似的报告,不过目前Hinton好想并没有打算把他的研究成果发表出去,因为他觉得现在的研究还没有让他满意——那么绝世丹神,当他对这项研究满意的时候,会不会再次成为“the Father of ……” ?
AI 科技评论注:资源链接——
1、What's wrong with convolutional nets我的失忆男友? @MIT TechTV(2014年在“脑与认知科学”研讨会上的报告视频,内容类似)
http://techtv.mit.edu/collections/bcs/videos/30698-what-s-wrong-with-convolutional-nets
2、Hinton未发表工作:Transforming Auto-encoders(PDF)
http://www.cs.toronto.edu/~fritz/absps/transauto6.pdf
来源:AI科技评论
- 文章归档
-
- 2020年11月 (50)
- 2020年10月 (310)
- 2020年9月 (300)
- 2020年8月 (310)
- 2020年7月 (310)
- 2020年6月 (290)
- 2020年5月 (310)
- 2020年4月 (300)
- 2020年3月 (310)
- 2020年2月 (290)
- 2020年1月 (310)
- 2019年12月 (310)
- 2019年11月 (190)
- 2019年10月 (240)
- 2019年9月 (292)
- 2019年8月 (220)
- 2019年7月 (99)
- 2019年6月 (87)
- 2019年5月 (100)
- 2019年4月 (1596)
- 2019年3月 (2187)
- 2019年2月 (350)
- 2019年1月 (383)
- 2018年12月 (206)
- 2018年11月 (293)
- 2018年10月 (308)
- 2018年9月 (309)
- 2018年8月 (322)
- 2018年7月 (323)
- 2018年6月 (288)
- 2018年5月 (310)
- 2018年4月 (304)
- 2018年3月 (315)
- 2018年2月 (282)
- 2018年1月 (324)
- 2017年12月 (324)
- 2017年11月 (303)
- 2017年10月 (309)
- 2017年9月 (297)
- 2017年8月 (327)
- 2017年7月 (152)
- 2017年6月 (106)
- 2017年5月 (99)
- 2017年4月 (103)
- 2017年3月 (101)
- 2017年2月 (91)
- 2017年1月 (96)
- 2016年12月 (103)
- 2016年11月 (88)
- 2016年10月 (99)
- 2016年9月 (85)
- 2016年8月 (87)
- 2016年7月 (85)
- 2016年6月 (105)
- 2016年5月 (96)
- 2016年4月 (95)
- 2016年3月 (89)
- 2016年2月 (95)
- 2016年1月 (87)
- 2015年12月 (88)
- 2015年11月 (89)
- 2015年10月 (104)
- 2015年9月 (93)
- 2015年8月 (92)
- 2015年7月 (105)
- 2015年6月 (85)
- 2015年5月 (83)
- 2015年4月 (85)
- 2015年3月 (97)
- 2015年2月 (90)
- 2015年1月 (89)
- 2014年12月 (88)
- 2014年11月 (106)
- 2014年10月 (84)
- 2014年9月 (91)
- 2014年8月 (89)
- 2014年7月 (100)
- 2014年6月 (81)
- 2014年5月 (96)
- 2014年4月 (59)