Bing刘道路测试无人驾驶汽车时,突然发生了一些错误。车辆已经顺利操作,直到达到一个丁字路口,拒绝行动。刘和其他汽车的乘客对此束手无策。路上他们是荒凉的,没有行人和其他车辆。“我们环顾四周,我们注意到在前面,或者在后面。我的意思是,没有什么,”刘说,芝加哥伊利诺斯州大学的计算机科学家。

难住了,工程师们接管控制车辆,开车回实验室的审核。他们的车已经停在路上的石子。没有一个人会注意到的东西,但当它出现在汽车传感器注册为一个未知的对象——人工智能(AI)系统驾驶汽车之前没有遇到过的。

人工智能算法的问题不是这样——它按计划执行,没有未知的对象是安全可靠。问题是,一旦AI已经完成培训,使用模拟开发一个模型,告诉它明确的道路和障碍物之间的差异,可以学习更多的东西。当它遇到的东西没有训练数据的一部分,如卵石或甚至一个黑点在路上,AI不知道如何反应。人们可以建立在他们学习和适应环境变化;大多数AI系统被锁定到他们已经知道的东西。

当然,在现实世界中不可避免地出现意想不到的情况。因此,刘认为任何系统旨在执行学习任务外实验室需要的能力在职学习,补充模型已经开发遇到的新数据。例如,汽车可以探测到另一辆车在路上开车穿过一个黑暗的补丁没有问题,并决定模仿它,学习过程中,湿的道路并不是一个问题。在卵石的情况下,可以使用一个语音界面问汽车的主人做什么。如果骑手说这是安全的继续,它可以驱动,可以拜访下卵石遇到这个答案的。“如果系统能不断学习,这个问题很容易解决,”刘说。

浅灰色的车在街上与机械连接到它的屋顶和两侧,使无人驾驶

汽车技术公司首次自主车辆巡航已经基于一个雪佛兰螺栓,由汽车制造商通用汽车(General Motors)。信贷:史密斯收集/配料/盖蒂

这样持续的学习,也称为终生学习,下一步是在人工智能的进化。AI依靠神经网络,以数据和通过他们通过一系列的计算单位,称为人工神经元,这对数据执行小的数学函数。最终数据的网络发展一个统计模型,它可以匹配新的输入。研究人员,这些神经网络基于操作的人类大脑,人类再次寻找灵感在如何让AI系统能够继续学习,因为他们遇到新的信息。一些组织正在努力使电脑更复杂的神经元所以他们更像生物神经元。别人模仿的生长新的神经元在人类机器可以对新鲜的体验。和一些模拟的梦想国家克服遗忘的问题。终身学习为自动驾驶汽车不仅是必要的,但对于任何必须处理意外的智能系统,如聊天机器人,预计回答有关产品或服务的问题,和机器人可以自由漫步,与人类互动。“几乎任何类型的实例部署AI在不久的将来,你会看到对终身学习的需要,“说Dhireesha Kudithipudi,一位计算机科学家指导人类福祉的矩阵AI财团在圣安东尼奥德克萨斯大学。

不断学习是必要的,如果AI是真正不辜负它的名字。“人工智能,到目前为止,不是聪明,”哈瓦Siegelmann说,一个计算机科学家在马萨诸塞大学阿默斯特创建终身学习机器研究基金为美国国防高级研究计划局倡议。“如果这是一个神经网络,你提前训练它,你给它一个数据集,仅此而已。它没有能力改善随着时间的推移。”

模型制作

在过去的十年里,计算机已经成为善于分类任务,比如猫或肿瘤图像,在书面语言识别情绪,赢得下棋。例如,研究人员可能会给电脑的照片已经被人类标签包含猫。计算机接收到照片,它解释为像素的数值描述各种颜色和亮度值,通过人工神经元层并运行它们。每个神经元都有一个随机选择的重量,一个值,它可以提高输入数据的价值。计算机运行时输入数据层的神经元和检查输出数据对验证数据准确的结果。然后重复这个过程,改变权重在每一次迭代,直到达到高精度的输出。过程产生的统计模型值和像素的位置定义一个猫。网络可以分析一个新的照片和决定是否匹配模型,是否有一只猫。但是那只猫模型,一旦开发,几乎是一成不变的。

让计算机学习的一种方法来识别许多对象会开发很多模型。你可以训练一个神经网络识别猫和另一个认识到狗。这需要两个数据集,一个为每个动物,并将双倍的时间和计算能力需要开发每个模型。但假设你希望计算机区分猫和狗的照片。你必须训练第三网络,使用所有原始数据或比较两个现有的模型。添加其他动物进入混合和必须开发更多模型。

培训和储存更多的模型需要更多的资源,这很快就会成为一个问题。训练一个神经网络需要大量的数据和周的时间。称为GPT-3举例来说,一个人工智能系统,学会了制作文本,听起来好像是一个人,写的要求几乎15天的培训在10000年高端计算机处理器1。ImageNet数据集,它常被用来训练神经网络在目标识别中,包含了超过1400万的图像。根据使用的图片总数的子集,它可以从几分钟到一天半以上下载。任何机器,花几天再学习任务每次遇到新的信息会慢慢停止。

特写镜头的驱动一台超级计算机

培训一些神经网络需要一台超级计算机的力量。来源:CasarsaGuru /盖蒂

一个系统可以让Self-Net代多个模型更有效2由罗兰多·埃斯特拉达,亚特兰大,乔治亚州立大学的计算机科学家和他的学生Jaya Mandivarapu布莱克和营地。Self-Net压缩模型,以防止系统与许多不同的动物模型从种植过于笨拙。

autoencoder系统使用,一个单独的神经网络,学习哪些参数,如集群的像素的影像识别任务——原神经网络专注于在构建其模型。中间一层的神经元autoencoder部队的机器选择最重要的一个小子集模型的权重。可能会有10000的数值模型,另一个10000出来,但在中间层autoencoder减少10数字。因此系统必须找到十权重,使它得到最准确的输出,埃斯特拉达说。

这个过程类似于压缩一个大型的TIFF图像文件到一个更小的JPEG,他说;有个小失去忠诚,但留下的是不够好。系统把最原始的输入数据,然后保存十佳权重。它可以使用这些来执行相同的任务cat-identification几乎相同的精度,而不需要存储大量的数据。

简化模型的创建,计算机科学家经常使用训练。模型训练执行类似的任务必须学习相似参数,至少在早期阶段。任何神经网络学习识别图像中的对象,例如,首先需要学会识别对角线和竖线。没有必要每次都从头开始,所以新模型可以pre-trained已经认识到这些基本特征的权重。使模型可以识别牛或猪或袋鼠,埃斯特拉达可以pre-train autoencoder其他神经网络的参数。因为所有的动物都有一些相同的面部特征,即使大小或形状不同的细节,这样训练的“允许更有效地生成新的模型。

系统不是一个完美的办法网络在工作中学习,埃斯特拉达说。人类还告诉机器切换任务时;例如,当开始寻找马而不是牛。需要一个人呆在循环,它并不总是显而易见的对一个人的时间机器来做些不同的事情。但埃斯特拉达希望找到一种方法来自动化任务切换的计算机可以学会识别特征模型的输入数据和用它来决定应该使用,所以它可以保持操作不中断。

有Siegelmann坐在她的书桌上的笔记本电脑

哈Siegelmann马萨诸塞大学阿默斯特是一个计算机科学家。

用旧的

似乎显而易见的是不要多个模型,而是一个网络增长。而不是发展分别识别猫和马的两个网络,例如,它可能会出现容易教cat-savvy网络也认识到马。然而,这种方法迫使AI设计师面对终身学习的一个主要问题,这种现象称为灾难性的遗忘。网络训练识别猫将开发一套权重在其人工神经元的任务。如果是问开始识别马,它将开始调整权重为马使它更准确。模型将不再包含适合猫的重量,使其基本上忘记一只猫的样子。“记忆是权重。当你训练它用新信息,说:“你写同样的权重Siegelmann。“你可以有十亿个汽车驾驶的例子,现在你教200例相关的一些你不想发生的事故,而且它可能知道这些200例和忘记十亿。”

克服灾难性忘记使用重复的一个方法,把数据从一个以前学习任务和交织新的训练数据。这种方法,然而,将正面进入资源问题。“回放机制非常消耗大量内存和计算饿了,所以我们没有模型,可以在节约型的方式解决这些问题,“Kudithipudi说。也可能有理由不存储数据,比如隐私和安全的担忧,或者因为他们属于有人愿意分享他们下去。

Siegelmann说回放大致类似于人类大脑所做的梦。许多神经科学家认为大脑巩固记忆和学习的事情重演在睡眠期间的经历。同样,回放在神经网络可以加强重量,否则可能会被覆盖。但是大脑实际上并不审查每时每刻都运行的经验,Siegelmann说。相反,它减少了这些经验的特征和模式,这一过程称为抽象,回放那些部分。她brain-inspired重播试图做一些类似的事情;审查大量的存储数据,而是选择了特定的方面获悉重播。Siegelmann说,每一层的神经网络,移动学习更高层次的抽象,具体的输入数据的数学关系的底层数据在更高的层次。通过这种方式,系统各种特定对象在类的例子。她让抽象的网络选择最重要的在顶部几层和回放。 This technique keeps the learnt weights reasonably stable — although not perfectly so — without having to store any previously used data at all.

Dhireesha Kudithipudi和尼古拉斯方便明确董事会的工作

计算机科学家Dhireesha Kudithipudi尼古拉斯(右)和她的学生方便讨论影响因素不断学习。信贷:Tej潘迪特

因为这样brain-inspired重播关注最重要的部分,网络获悉,该网络可以更容易地找到新老数据之间的关联。方法也有助于网络区分数据之前,它可能没有分离容易,找到一对同卵双胞胎之间的差异,例如。如果你在每组只有少数参数,而不是数百万,更容易发现相似之处。“现在,当我们回放一个与其他,我们开始看差异,“Siegelmann说。“它迫使你找到分离,相反,关联。”

关注高层抽象而不是细节不断学习是非常有用的,因为它允许计算机之间的比较和类比画不同的场景。例如,如果你的无人驾驶汽车必须解决如何处理在冰上开车在马萨诸塞州,Siegelmann说,它可能使用数据在密歇根州在冰上开车。这些例子不完全匹配的新条件,是因为他们从不同的道路。但是汽车也有知识行驶在雪在马萨诸塞州,熟悉道路。如果汽车只能识别最重要的雪和冰之间的相同点与不同点,麻萨诸塞州和密歇根州,而不是陷入困境的小细节,它可能想出了一个解决方案具体,在冰上开车在马萨诸塞州的新形势。

一个模块化的方法

在研究大脑如何处理这些问题能激发的想法,即使他们不复制的生物。处理需要一个神经网络,可以学习任务没有覆盖旧的,科学家们从神经形成,神经元在大脑中形成的过程。机器不能生长的身体部位,但计算机科学家可以复制软件的新神经元生成系统的连接部分。虽然成熟神经元只有学会对某些数据输入,这些神经元宝贝可以应对所有的输入。“他们可以应对新样本输入模型,“Kudithipudi说。换句话说,他们可以学习新信息而受良好训练神经元保留他们学到什么。

添加更多的神经元只是一种使一个系统学习新事物。埃斯特拉达想出了另一个方法,一个神经网络的基础上,只是一个松散的近似人类的大脑。“我们把神经网络的神经元节点。但是如果你看到他们正在做的事情,他们基本上计算加权和。这是一个非常简化的视图、生物神经元,执行各种复杂的非线性信号处理。”

为了模拟真实神经元的复杂行为的成功,埃斯特拉达发达他所说的和他的学生深人工神经元(中)3。丹是一个小视为单个神经元的神经网络更大的神经网络。

在可以被训练为一个特定的任务,例如,埃斯特拉达会开发一个用于识别手写数字。丹是固定的模型,所以不能改变,总是提供相同的输出到其他神经元周围still-trainable网络层。更大的网络可以继续学习相关的任务,如识别号码别人写的,但最初的模型是不能被遗忘的地方。“你得到这个通用模块,您可以重用为今后相似的任务,“埃斯特拉达说。“这些模块允许系统学习执行新任务类似于旧的任务,所以更互相兼容的特性。这意味着更稳定的特性和忘记少。”

到目前为止,埃斯特拉达和他的同事们已经表明,这种技术是相当简单的任务,如数字识别。但是他们试图适应更具挑战性的问题,包括学习如何玩老游戏,比如太空入侵者。“然后,如果成功,我们可以使用更复杂的事情,”埃斯特拉达说。举例来说,它可能证明有用的自主无人机,都发出了基本编程,但必须适应新的环境中的数据,并将所要做的任何动态紧密的学习能力和处理约束条件。

还有很长的路要走AI函数作为人之前,对付一个没完没了的各种不断变化的场景。但如果计算机科学家开发的技术允许机器可以持续的适应性,生物的能力,它可以很长的一段路要走让AI系统更多才多艺,轮廓更准确和更聪明。