当罗希特·巴塔查里亚(Rohit Bhattacharya)开始攻读计算机科学博士学位时,他的目标是建立一个工具,帮助医生识别对免疫疗法反应良好的癌症患者。这种形式的治疗有助于身体的免疫系统对抗肿瘤,并且对产生免疫细胞可以结合的蛋白质的恶性生长最有效。巴塔查里亚的想法是创建神经网络,可以分析肿瘤和人体免疫系统的基因,然后预测哪些人可能从治疗中受益。

但他发现他的算法无法胜任这项任务。他可以识别出与免疫反应相关的基因模式,但这还不够1.他解释说:“我不能说这种特定的结合模式,或者这种特定的基因表达,是患者对免疫治疗反应的因果决定因素。”

Bhattacharya受到“相关性不等于因果关系”这一古老格言的阻碍,这是人工智能(AI)的一个基本障碍。计算机可以通过训练来发现数据中的模式,甚至是人类可能会忽略的微妙模式。计算机可以利用这些模式进行预测——例如,肺部x光片上的一个点表明有肿瘤2.但当涉及到因果关系时,机器通常会不知所措。他们缺乏对世界如何运转的常识性理解,而人们只是生活在这个世界上。例如,经过训练的人工智能程序可以在肺部x光中发现疾病,有时误入歧途通过将用于标记图像右侧的标记归零3..很明显,至少对一个人来说,x光片上字母“R”的风格和位置与肺部疾病的迹象之间没有因果关系。但如果没有这种理解,这些标记如何绘制或定位的任何差异都足以引导机器走上错误的道路。

印第安纳州西拉斐特普渡大学的电气工程师穆拉特·考奥格鲁(Murat Kocaoglu)说,要让计算机执行任何类型的决策,它们需要理解因果关系。“任何超出预测的事情都需要某种因果关系的理解,”他说。“如果你想计划某事,如果你想找到最好的策略,你需要某种因果推理模块。”

将因果模型整合到机器学习算法中,还可以帮助移动自主机器做出关于如何在世界上航行的决定。科考奥卢说:“如果你是一个机器人,你想知道当你从这个角度或那个角度在这里迈出一步,或者当你推一个物体时,会发生什么。”

在巴塔查里亚的病例中,系统强调的一些基因可能对治疗有更好的反应。但是,缺乏对因果关系的理解意味着,也有可能是治疗影响了基因表达,或者是另一个隐藏的因素同时影响了两者。这个问题的潜在解决方案在于所谓的因果推断——一种确定一个变量是否影响另一个变量的正式的数学方法。

四个成年人专注于一块写满文字和方程式的大白板。

计算机科学家Rohit Bhattacharya(后)和他在马萨诸塞州威廉斯敦威廉姆斯学院的团队讨论了将机器学习用于因果推断的问题。来源:Mark Hopkins

长期以来,经济学家和流行病学家一直使用因果推断来检验他们关于因果关系的观点。2021年诺贝尔经济学奖授予了三位研究人员,他们使用因果推理提出了一些问题,比如提高最低工资是否会导致就业下降,或者多上一年学对未来收入有什么影响。现在,越来越多的计算机科学家正致力于将因果关系与人工智能结合起来,让机器有能力解决这类问题,帮助它们做出更好的决策,更有效地学习并适应变化,巴塔查里亚就是其中之一。

因果关系的概念有助于指导人类在世界上行走。“拥有一个世界的因果模型,即使是一个不完美的模型——因为这就是我们所拥有的——允许我们做出更可靠的决策和预测,”Yoshua Bengio说,他是加拿大蒙特利尔四所大学合作的Mila -魁北克人工智能研究所的计算机科学家。人类对因果关系的把握支持了想象力和遗憾等属性;赋予计算机类似的能力可以改变它们的能力。

爬梯子

过去10年人工智能取得的重大成功——比如在各种竞技游戏中战胜对手,识别图像内容,以及在过去几年里根据书面提示生成文本和图片——都是由深度学习推动的。通过研究大量数据,这样的系统可以了解一件事物与另一件事物之间的关系。这些学会的联想就可以派上用场了。但这只是通往更高目标的阶梯上的第一步:加州大学洛杉矶分校认知系统实验室主任、计算机科学家朱迪亚·珀尔(Judea Pearl)所说的“深度理解”。

2011年,珀尔赢得了A.M.图灵奖,通常被称为计算机科学的诺贝尔奖,因为他开发了一种允许概率和因果推理的微积分。他描述了推理的三个层次结构4.基本水平是“看”,或在事物之间建立联系的能力。今天的人工智能系统在这方面做得非常好。珀尔提到的下一个层次是“做”——对某事做出改变,并注意发生了什么。这就是因果关系发挥作用的地方。

计算机可以通过检查干预措施来建立因果模型:一个变量的变化如何影响另一个变量。计算机不像目前的人工智能那样创建一个变量之间关系的统计模型,而是创建多个。在每个变量中,变量之间的关系保持不变,但是一个或几个变量的值被改变了。这种改变可能会导致新的结果。所有这些都可以用概率和统计学的数学来评估。巴塔查里亚说:“我认为,因果推理只是将人类如何做出决定的数学化。”

Yoshua Bengio坐在四个成年人面前,他们两人一组讨论问题。

Yoshua Bengio(前)是加拿大蒙特利尔Mila - Quebec人工智能研究所的负责人。来源:Mila-Quebec AI Institute

本吉奥,他赢得了上午他在深度学习方面的工作获得2018年图灵奖,他的学生训练了一个神经网络来生成因果图5-描述因果关系的一种方式。在最简单的情况下,如果一个变量导致另一个变量,可以用一个箭头从一个变量指向另一个变量。如果因果关系的方向颠倒了,那么箭头的方向也颠倒了。如果两者不相关,就没有箭头将它们连接起来。本吉奥的神经网络被设计成随机生成这些图中的一个,然后检查它与给定数据集的兼容性如何。更适合数据的图表可能更准确,因此神经网络学会生成更多类似的图表,寻找最适合数据的图表。

这种方法类似于人们解决问题的方式:人们产生可能的因果关系,并假设最符合观察结果的因果关系最接近事实。例如,看到玻璃被扔到混凝土上时破碎,可能会让人认为是在坚硬表面上的撞击导致玻璃破碎。从不同的高度把其他物体扔到混凝土上,或者把杯子敲到柔软的地毯上,都能让一个人改进他们的关系模型,更好地预测未来失手的结果。

面对变化

因果推理的一个关键好处是,它可以使人工智能更有能力应对不断变化的环境。现有的人工智能系统仅根据数据中的关联进行预测,这极易受到这些变量关联方式变化的影响。当学习关系的统计分布发生变化时——无论是由于时间的推移、人类行为还是其他外部因素——人工智能将变得不那么准确。

例如,本吉奥可以在蒙特利尔当地的道路上训练一辆自动驾驶汽车,人工智能可能会擅长安全驾驶汽车。但如果把同样的系统输出到伦敦,它就会立即崩溃,原因很简单:在加拿大,汽车是靠右行驶的,而在英国,汽车是靠左行驶的,所以人工智能学到的一些关系会是反向的。他可以使用伦敦的数据从头开始重新训练人工智能,但这需要时间,而且这意味着该软件在蒙特利尔将无法工作,因为它的新型号将取代旧的

另一方面,因果模型允许系统学习许多可能的关系。本吉奥说:“你能观察到的所有事物之间的关系不再只有一组,而是有无限个。”“你有一个模型,可以解释在环境中任何一个变量发生变化时可能发生的情况。”

人类在这样的因果模式下运作,因此能够迅速适应变化。一个加拿大司机可以飞到伦敦,经过一段时间的调整,他可以很好地在道路左侧驾驶。英国公路法规意味着,与加拿大不同,右转涉及交叉交通,但它对驾驶员转弯时发生的情况或轮胎与道路的相互作用没有影响。本吉奥说:“我们所知道的关于世界的一切本质上都是一样的。”因果模型使系统能够识别干预的影响,并在其对世界的现有理解中解释它,而不是从头开始重新学习一切。

朱迪亚·珀尔站在那里看书

加州大学洛杉矶分校(University of California, Los Angeles)认知系统实验室主任朱迪亚·珀尔(Judea Pearl)赢得了2011年上午图灵奖。来源:加州大学洛杉矶分校塞缪尔利工程学院

这种在不抛弃我们所知道的一切的情况下应对变化的能力也使人类能够理解不真实的情况,比如奇幻电影。本吉奥说:“我们的大脑能够将自己投射到一个虚构的环境中,在这个环境中,一些事情已经发生了变化。”“物理定律是不同的,或者存在怪物,但其他的都是一样的。”

与事实相反

想象力在珀尔的因果推理层次结构中居于首位。巴塔查里亚说,这里的关键在于猜测不采取行动的结果。

巴塔查里亚喜欢给他的学生们读罗伯特·弗罗斯特(Robert Frost)的《未选择的路》(The Road Not Taken),以此来解释这种反事实。在这首诗中,叙述者谈到不得不在穿过树林的两条路中做出选择,并表示遗憾,他们不知道另一条路通向哪里。巴塔查里亚说:“他在想象,如果他沿着一条路走,而不是另一条路,他的生活会是什么样子。”这正是计算机科学家想要用具有因果推理能力的机器来复制的:提出“如果”问题的能力。

想象如果我们采取不同的行动,结果会更好还是更糟,这是人类学习的重要方式。巴塔查里亚说,让人工智能具备类似的“反事实遗憾”能力会很有用。机器可以根据它没有做出的选择来运行场景,并量化如果做出不同的选择是否会更好。一些科学家已经利用反事实遗憾来帮助计算机提高其扑克能力6

想象不同场景的能力也有助于克服现有人工智能的一些局限性,比如难以对罕见事件做出反应。本吉奥说,根据定义,罕见事件只会在系统训练的数据中极少出现,所以人工智能无法了解它们。一个驾驶汽车的人可以想象他们从未见过的事情,比如一架小飞机降落在路上,并利用他们对事物如何运作的理解来设计潜在的策略来应对这种特定的可能性。然而,一辆没有因果推理能力的自动驾驶汽车,最多只能对路上的物体做出默认的通用响应。通过使用反事实来学习事物如何运作的规则,汽车可以更好地为罕见事件做好准备。从因果规则出发,而不是之前的例子列表,最终使系统更加通用。

利用因果关系将想象力编程到计算机中,甚至可以创造出自动化科学家。在一次由微软研究院主办的2021年在线峰会珀尔认为,这样一个系统可以产生一个假设,选择最好的观察结果来检验这个假设,然后决定用什么实验来提供这个观察结果。

然而,就目前而言,这仍有一段距离。因果推理的理论和基本数学已经很好地建立起来,但人工智能实现干预和反事实的方法仍处于早期阶段。“这仍然是非常基础的研究,”本吉奥说。“我们正处于以非常基本的方式弄清楚算法的阶段。”一旦研究人员掌握了这些基本原理,就需要对算法进行优化以有效运行。目前还不确定这一切需要多长时间。本吉奥说:“我觉得我们有解决这个问题的所有概念工具,这只是几年的问题,但通常需要的时间比你预期的要长。”“这可能需要几十年的时间。”

巴塔查里亚认为,研究人员应该向机器学习学习,机器学习的迅速普及在一定程度上是因为程序员开发了开源软件,让其他人可以使用编写算法的基本工具。用于因果推断的等效工具可能会产生类似的效果。巴塔查里亚说:“近年来有很多令人兴奋的发展,”包括来自科技巨头的一些开源软件包微软卡内基梅隆大学在宾夕法尼亚州的匹兹堡。他和他的同事还开发了一个开源的因果模块木卫十二.但这些软件包仍在开发中。

巴塔查里亚还希望在计算机教育的早期阶段引入因果推理的概念。他说,目前这一主题主要在研究生阶段教授,而机器学习在本科生培训中很常见。他说:“因果推理是非常基础的,我希望在高中阶段也能看到它以某种简化的形式引入。”

如果这些研究人员成功地将因果关系构建到计算中,它可能会将人工智能提升到一个全新的复杂水平。机器人可以更容易地在世界上行走。自动驾驶汽车可能会变得更加可靠。评估基因活性的项目可能会导致对生物机制的新理解,进而可能会开发出新的更好的药物。“这可能会改变医学,”本吉奥说。

甚至像这样ChatGPT,流行的自然语言生成器它产生的文本读起来就像人类写的一样,可以从加入因果关系中受益。现在,算法背叛了自己,写出了与自己相矛盾的清晰的文字,违背了我们所知道的关于世界的真理。有了因果关系,ChatGPT可以为它试图表达的内容构建一个连贯的计划,并确保它与我们所知道的事实一致。

当被问及这是否会让作家失业时,本吉奥说,这可能需要一段时间。他说:“但如果你在十年后失去了工作,但却避免了癌症和阿尔茨海默氏症。”“这是一笔好买卖。”