极速3分快3怎么玩深度学习+符号表征=强大的多任务通用表征,DeepMind新论文可能开启AI新时代 | 雷锋网

  • 时间:
  • 浏览:1

雷锋网(公众极速3分快3怎么玩号:雷锋网) AI 科技评论按:在速率神经网络大行其道的现在,好的反义词亲戚朋友 总说要改善速率学习的可解释性、任务专一性等问题报告 ,然后 大多数研究论文在有有哪些方面的努力仍然只像是隔靴搔痒。然后 ,越是新的、具有良好表现的模型,亲戚朋友 在为模型表现感到开心的一块儿,对模型数学原理、对学习到的表征的理解也没有 进入到了放弃治疗的心态;毕竟,速率学习具有超出经典 AI 的学习能力,正是然后 才能学习到新的、人类目前还无法理解的表征。

近期 DeepMind 的一篇论文《An Explicitly Relational Neural Network Architecture》(并是否显式的关系性神经网络架构,arxiv.org/abs/1905.10307)似乎在这面高墙上打开了六个多多多 口子。亲戚朋友 想法律方法把速率学习和符号化的表征连接起来,然后 着重在意表征的多任务通用和重复使用能力,然后 取得了有趣的初步成果。雷锋网 AI 科技评论把这篇论文的内容简单介绍如下。

重新思考亲戚朋友 还要有哪些样的表征

当人类遇到没有 见过的新问题报告 时,亲戚朋友 能回忆过往的经验,从有有哪些乍一看没有 哪些关系,但在更抽象、更特征化的层次上有不少类似于 度的事情中获得灵感。对于终生学习、持续学习来说,这人能力是非常重要的,然后 也给人类带来了很高的数据速率、迁移学习的能力、泛化到不同数据分布的能力等等,有有哪些也还会当前的机器学习无法比喻的。亲戚朋友 似乎可不还可以 认定,决定了所有有有哪些能力的最根极速3分快3怎么玩本因素还会同六个多多多 ,那一点一点我决策系统学习构建多种任务通用的、可重复使用的表征的能力。

有六个多多多 种任务通用、可重复使用的表征可不还可以 提高系统的数据速率,然后 系统即便是遇到了新的任务也知道怎么才能 才能 构建与它相关的表征,而不还要从零开始英语 英语 。理论上来说,六个多多多 能高效利用多种任务通用、可重复使用的表征的系统,实际上也就和能学习怎么才能 才能 建立另六个多多多 的表征的系统差还会 。更进一步地,然后 让系统学习处置还要使用到另六个多多多 的表征的新任务,亲戚朋友 也可不还可以 期待这人系统才能學會更好地建立另六个多多多 的表征。一点一点,假设六个多多多 系统从零开始英语 英语 学习不同的任务,没有 除了它学习到的最初的表征之外,前一天的所有的学习都像是迁移学习,学习的过程也将是一如既往地不断积累的、连续的、终生持续的。

在这篇论文中,DeepMind 提出的构建六个多多多 另六个多多多 的系统的法律方法好的反义词源于经典的符号化 AI 的启发。构建在一阶谓词计算的数学基础上的经典符号化 AI 系统,它们的典型工作法律方法是把类似于 逻辑的推理规则作用在类似于 语言的命题表征上,另六个多多多 的表征自身由对象和关系组成。然后 另六个多多多 的表征有声明式的特征和复合式的特征,另六个多多多 的表征绿帘石地具有泛化性、可不还可以 重复使用。不过,与当代的速率学习系统不同,经典 AI 系统中的表征一般还会从数据学习的,一点一点我由研究人员们手工构建的。目前这人方向研究的热点是想法律方法结合并是否不同做法的优点,构建六个多多多 端到端学习的可微分神经网络,然后 神经网络中也可不还可以 含极速3分快3怎么玩晒 命题式的、关系性的先验,就像卷积网络含晒 空间和局部性先验一样。

这篇论文中介绍的网络架构基于非局部性网络架构的近期研究成果,这人网络架构可不还可以 學會发现并运用关系信息,典型的比如 relation nets 以及基于多头注意力的网络。不过,有有哪些网络生成的表征都没有 有哪些显式的特征,也一点一点我说,找只能有哪些从表征中的一次要到符号化介质中的常用元素(命题、关系、对象)的映射。然后 反过来探究有有哪些元素在另六个多多多 的表征中是怎么才能 才能 分布的,可不还可以 说它们分散地遍布在整个嵌入向量中,从而难以解释,也难以利用它的命题性并在下游任务中运用。

PrediNet 简介

DeepMind 带来了新网络架构 PrediNet,它学习到的表征中的不同次要可不还可以 直接对应命题、关系和对象。

把命题作为知识的基础部件的想法由来已久。一则元素声明可不还可以 用来指出一组对象之间所处并是否关系;声明之间可不还可以 用逻辑操作连接(和、或、否等等),也可不还可以 参与到推理过程中。PrediNet 的任务一点一点我学习把图像类似于 的高维数据转换为命题形式的表征,然后 这人表征可不还可以 用于下游任务。

PrediNet 模块可不还可以 看做是由六个多多多 阶段组成的流水线:注意力 attention,约束 binding 和评价 evaluation。注意力阶段会选用出成对的感兴趣的对象,约束阶段会借助选出的成对对象把一组三元谓词中的前六个多多多 实例化,最后评价阶段会计算三元谓词中的最后六个多多多 的(标量)值,判定得到的声明是否为真。(更具体的介绍见论文原文)

PrediNet 网络架构

实验测试

目前还没有 直接把 PrediNet 用于大规模复杂化数据;然后 为了对提出的架构有足够扎实的科学理解,以及便于和其它法律方法进行细致的比较,用小数据、小计算量做实验也是比较合适的。实验测试的目标有六个多多多 ,1,验证 PrediNet 是否能学习到希望的多任务通用、可重复使用的表征;2,然后 前六个多多多 目标为真,研究它成立的由于。

作者们设计了一组“猜测关系”游戏,是相对简单的分类任务。它的玩法是,首没有 学习表征一组绘制在 3x3 网格中的图形,然后 对于一张含晒 多个图形的大图,判断给出的第二根关于大图中的图形间的关系的声明是否为真。好的反义词 PrediNet 并是否学习到的命题都一点一点我很对两两成对的对象的,这人猜测关系游戏还要的是学习然后 会牵扯到多个对象的复合关系。

游戏介绍:(a)训练集含晒 高的样本对象 (b)并是否不同的然后 行/列排列模式 (c)单个任务预测的示例 (d)多任务预测示例

多种特征和关系的排列组合使得这人任务的变化有相当多种,是比较理想的测试表征及逻辑能力的设定。

作者们对比的几种模型都含晒 六个多多多 卷积输入层、中央模块、以及六个多多多 用于输出的多层感知机;中央模块是区别所在,PrediNet 然后 一点的基准模型。

数据速率

用十万组样本训练前一天,5 种模型的对比如下。PrediNet 是唯一六个多多多 在所有任务上都取得超过 90% 准确率的模型;在一点任务中相比基准模型甚至有 20% 的提升。

表征学习能力

作者们设计了六个阶段的模型学习,通过在不同阶段测试模型,可不还可以 探究模型的表征学习能力。从空白模型开始英语 英语 ,首先学习六个多多多 任务(即无预训练的单任务学习);其次学习多种不同任务(在第六个多多多 任务的基础上,即有预训练的多任务学习);接着冻结 CNN 层和生央模块,仅更新多层感知机;最后冻结 CNN 层,更新中央模型和多层感知机。这六个阶段中不同模型的表现如下图。

首先,横坐标是训练样本数量,纵坐标是准确率,即模型表现随训练样本增加的变化,没有 所有曲线还会越贴近左上角越好,这里然后 能看出 PrediNet 的优势。其次,作者们认为尤其值得注意的是第六个多多多 阶段的表现,冻结 CNN 层和生央模块,仅更新多层感知机,图中绿线。冻结现有的表征不变,向新的任务适应(迁移),PrediNet 的学习速率是最快的,也是唯一六个多多多 在训练开始英语 英语 后得到了 90% 准确率的模型。这人点一点我明了 PrediNet 学习到的表征好的反义词更加多任务通用。

模型可视化

为了更好地理解 PrediNet 的计算行为,作者们制作了一点可视化,如图。

训练后的 PrediNet 的注意力头的热力图。顶端:在判断是否形同的任务中训练;下方:在判断是否突然出现的任务中训练

主成份分析(PCA)

结合多种实验和分析,作者们认为 PrediNet 好的反义词有一定的关系解耦能力,这也正是研究开始英语 英语 时希望得到的能学习到良好的表征的模型所需的。

结论

作者们展示了六个多多多 理论可不还可以 能学习到抽象逻辑的模型,然后 它还和端到端学习兼容;网络可不还可以 自行从原始数据中学习到对象和它们的关系,从而绕过了传统 AI 中手工特征带来的种种问题报告 。作者们的实验表明网络可不还可以 学习到显式命题的、关系性的表征,从而在数据速率、泛化性、可迁移性方面还会大幅改进。不过这仅仅是非常初步的研究,完整性开发这人思路的潜力,并把它应用在更复杂化的数据、更复杂化的实际任务中还还要一点一点后续研究。

另一方面,这篇论文的重点在于获得另六个多多多 的表征而非应用它。不过然后 这人模型架构含晒 的良好先验,PrediNet 模块生成的表征和谓词计是否自然地相容的,这就为后续的各种符号逻辑运算做了良好的铺垫。这人基础上的改进可不还可以 考虑增加循环连接,这然后 会让模型具有迭代和序列计算能力;也可不还可以 考虑把它用于强化学习,可不还可以 对目前的速率强化学习的各方面问题报告 都带来改进。

论文原文 https://arxiv.org/abs/1905.10307

雷锋网 AI 科技评论报道

雷锋网版权文章,未经授权禁止转载。详情见转载须知。