310: Dr. Zohar Bronfman, CEO of Pecan AI, on AI’s True Limits, Ethics, and the Edge of Human vs. Artificial Intelligence
36:05 Share

我相信绝大多数社区成员都会同意。智力远不止能够复述问题的答案、总结内容或写诗歌。智力首先是关于解决问题。

现在，这是一个非常宽泛的术语，但实际上，我们今天拥有的AI在其灵活解决实际问题的能力方面非常有限。

早上好，下午好，或者晚上好，这取决于您收听节目的地点。欢迎收听AI与未来工作播客，第310集。我是您的主持人丹·图尔钦，PeopleRain的首席执行官，PeopleRain是一个面向IT和人力资源员工服务的AI平台。我们的社区正在不断壮大。我经常被问到如何与其他听众见面。为了实现这一点，我们刚刚在Beehive上推出了每周新闻通讯。

查看一下。我们不会向您发送垃圾邮件。我们将在节目说明中发送订阅链接。这是一个结识其他听众的好方法。而且，我们甚至会分享一些在节目中没有完全体现的有趣花絮。在该新闻通讯中与我们线下交流。如果您喜欢我们的节目，请告诉您的朋友，并在Apple Podcasts、Spotify或您收听节目的任何地方为我们点赞和评分。如果

如果您留下评论，我可能会在接下来的剧集中分享它，就像来自加利福尼亚州塞巴斯托波尔的玛丽安的这条评论一样，她就在我附近，是一位艺术家，她在绘画时收听节目。玛丽安最喜欢的剧集是与梅雷迪思·布鲁萨德教授的对话，她是关于算法问责制的著作《不仅仅是故障》的作者。这也是我最喜欢的剧集之一。去看看吧。玛丽安，感谢您的收听。

在这个节目中，我们每周都会从AI思想领袖那里学习。额外的奖励是，您每周都会获得一个AI趣闻。今天的趣闻，麦克斯韦·泽夫为TechCrunch撰写文章，讲述了为什么许多科技界人士希望加利福尼亚州1047号法案（该法案提议对大型科技LLM供应商进行广泛监管）不被州长纽瑟姆（我们加利福尼亚州的州长）签署。SB 1047，

试图防止大型AI模型被用于对人类造成“严重危害”。该法案举例说明了严重危害，例如不法分子使用AI模型制造导致大量人员伤亡的武器，或指示AI模型策划网络攻击，造成超过5亿美元的损失。

该法案规定，生产训练成本至少为1亿美元的模型的开发商有责任实施安全协议。我的评论是，最好让AI供应商进行自我监管，以避免AI风险。这种情况不太可能发生。因此，SB 1047是朝着正确方向迈出的一步。

它将促进美国各州和联邦政府以及希望在美国以外的政府中关于AI伦理的讨论。纽瑟姆州长，我听说您收听这个播客。我敦促您签署SB 1047。当然，这是一个重要的话题。我们将在后续剧集中继续探讨它。当然，我们将在节目说明中分享该文章的链接。

现在让我们转向今天的对话。下次当你认为你在生活中取得了很多成就时，请阅读今天嘉宾佐哈尔·布朗夫曼博士的个人简介。他是Pecan AI的联合创始人兼首席执行官，该公司使用对话式AI，可在几分钟内从自定义数据集中进行预测分析。

Pekin从一群实力强大的投资者那里筹集了约1.2亿美元资金，其中包括Insight Partners、GV（谷歌的投资部门）和戴尔资本。布朗夫曼博士拥有特拉维夫大学的两个博士学位，一个计算神经科学博士学位，另一个科学哲学博士学位。

他还获得了计算认知神经科学和理论生物学的硕士学位。他在开放大学获得了经济学和商业学士学位。他已在同行评审期刊上发表了18篇科学论文，并在特拉维夫大学教授大脑科学的历史和哲学。布朗夫曼博士曾在以色列国防军8200部队服役，2005年至2007年期间在信号情报部门工作。

接下来，让我们隆重邀请布朗夫曼博士来到“AI与未来工作”节目。让我们从您分享更多关于您令人印象深刻的背景以及您是如何进入这个领域开始吧。嘿，丹，很高兴今天能在这里。感谢您的邀请。我很高兴能分享一些关于我们的信息。

我的故事可能要追溯到我研究生院的开始，正如你提到的那样。就我个人而言，我对理解大脑的工作原理非常感兴趣。我认为这在我的脑海中仍然是人类可以提出的最大问题之一。

我认为没有比哲学更好的地方来理解大脑的工作原理，甚至是什么是心灵了。这就是我开始学习哲学，重点是理解心灵，也就是所谓的哲学思维。在学习哲学思维的过程中，我意识到它们讲述了一个非常有趣的故事，具有非常深刻的意义。

对我个人来说，在我思考这些话题的方式上产生了影响。但我也觉得讨论中缺少一个要素，那就是更科学的计算要素。这就是为什么我决定同时学习计算神经科学，这是一个构建机器学习AI统计模型以模拟的领域

并可能解释大脑过程，这就像哲学从概念框架提出的相同问题的经验性或计算性或科学性（无论您想称之为哪种）方面。所以我完成了这两个博士学位，并且我很幸运地在计算学位中也遇到了诺姆，他今天是我们PICANN的联合创始人兼首席技术官。

我们基本上爱上了通常被称为机器学习、预测分析或数据科学的领域。在许多情况下，这些都是同义词。它们都指的是相同的概念：您获取历史数据，让机器运行不同类型的统计模型，并且您基本上识别历史数据中的隐藏模式。

这样一来，您可以根据相同的数据生成对未来事件可能性进行预测。所以我们第一次做这件事，我记得那可能是十多年前的事了，我们第一次做这件事，

我真的很兴奋。我们查看了一些数据，并且能够预测个人的某种平凡行为。但是，您可以依靠大脑信号或人类行为，并对他们未来将要做什么做出相当准确的预测，

而您无法仅凭您未经训练的大脑做到这一点，这感觉就像，你知道的，几乎像是亵渎神灵。这是一种相当令人大开眼界的经历。你知道，当它发生时，我记得诺姆和我坐在那里，并问自己，为什么所有企业都不使用机器学习来对他们业务中的所有事情进行预测，并仅仅优化自己以在他们所做的一切事情上变得更好？

我们说，让我们尝试了解是什么阻止公司以有意义的方式真正利用AI，因为它并不像您预期的那样普遍。这就是Pecan发挥作用的地方。我们完成了博士学位。我们开始研究如何克服这些障碍。

我们得出结论，如果您查看一家随机公司并问自己，为什么他们不做一些预测性的事情？答案可能始于并终于人才差距。如果我们考虑能够实际培养人才的人，

这些类型的预测模型并将它们与特定的业务环境相关联。我们指的是所谓的“数据科学家”。他们是一种非常稀缺的资源。他们很难找到，他们是非常昂贵的人才。

我可以分享一个有趣的轶事，我不知道，他们中的70%通常为谷歌、Facebook、亚马逊等大型公司工作。因此，如果您只选择一家公司，一家随机公司，那么对他们来说，招聘、留住和培养数据科学团队将非常具有挑战性。

这就是我们决定将这种非凡的业务预测能力掌握在非数据科学经验和熟练的业务和数据团队手中的原因。这就是这家公司成立的原因。

从一个非常学术的环境（您在那里学习大脑科学的哲学）转变为一个超级应用的环境，例如将技术商业化并将其作为企业家出售，这肯定需要许多信念的飞跃。例如，当您从学术界甚至以色列国防军转向成为首席执行官和企业家时，您对自己发现了什么？

说实话，我预计这种变化会比实际情况更剧烈。我认为，至少就我个人而言，学术界和创业生态系统之间的共同点是好奇心以及学习和不断改进的愿望

是根本原则，至少对我个人而言是这样。所以，让我们从学术界开始。在学术界，显然学习是日常生活中很大的一部分，但我认为好奇心并不总是学术工作中非常明显的。

我认为很多时候你会看到一些学者固守在他们自己的领域，在他们自己小的同行群体中。他们变得非常沉浸在那个小的同行群体中，并不总是环顾四周。我首先看到了这一点

在我尝试学习哲学和计算神经科学的多学科尝试中，并看到各个个人之间缺乏足够的好奇心，再次强调，这显然是一个概括。对我来说非常有效的是，我让我的好奇心自由发挥

我总是问，为什么会这样？正在做什么？已经做了什么？可以做什么？我们如何才能以不同的方式创造性地思考它？我们能否将某个领域中现有的知识体系与来自另一个领域的行动、知识和文献融合在一起？这

在我看来，这种融合非常重要。转向商业领域并经营一家初创公司，我认为这非常相似。几乎从定义上来说，初创公司一直在处理新事物，这些事物充满了高度的不确定性。你总是必须在信息非常有限的情况下做出决策。这样做时，

同样，我认为非常好奇，去不同的领域并开始收集学习片段并尝试整合它们将帮助你以最佳方式做出这些决策。所以对我来说，依靠好奇心并依靠我认为是学习能力，不断学习和改进，

作为指导原则，帮助我在这几门学科之间取得平衡。我从未有机会问这个问题，但鉴于您的专业领域，我必须问这个问题。所以

在科技界，我认为我们非常随意地抛出大脑神经网络的类比。似乎在某些方面它非常有效，可以追溯到杰夫·辛顿和最早的神经网络。但是我所了解的一点点神经科学表明，这种类比在某些明显的地方会失效。我们很想了解您从您的角度来看，

预测分析或机器学习、机器智能在哪些方面与人类大脑的工作方式相似，在哪些方面不同？所以我会先从结论开始。它们不一样。它们远非相同。你称大脑和算法都为神经网络。

但实际上，它们非常不同，这显然在有机方面、物理方面都是如此，但更重要的是在计算方面。它们不一样，完全不一样。我甚至会更进一步地说，AI不一定是真正的“人工智能”。你知道，作为一个社会，我们给事物命名，我们给事物起名字和术语，但是我们

这并不一定意味着我们称某事物为神经网络或我们称之为人工智能就意味着它就是这样。这是一个朗朗上口的名称。这是一个很棒的名字。从哲学上讲，它不是人工智能。

同样，在计算上，它也不是神经网络。这种类比很快就会失效，而且会很快失效。我将举几个例子。为了让我们了解大脑的复杂程度以及人类智力的复杂程度，我会说，即使是最复杂、最大的

具有递归和卷积窗口以及地毯等等的神经网络，其复杂程度也远低于大脑神经网络。更不用说计算能力、具体体现以及大脑网络拥有的而算法不具备的许多其他元素了。就像我说的那样，我们甚至可以把它进一步推及到人工智能，

人们可能一直在谈论、仔细考虑和争论智力的含义，时间之长可能与人类存在的时间一样长。我们今天不会解决智力的最终定义。

但是，我可以肯定地说，我相信绝大多数社区成员都会同意，智力远不止能够复述问题的答案、总结内容或写诗歌。

智力首先是关于解决问题。现在，这是一个非常宽泛的术语，我们还可以就解决问题意味着什么进行争论和辩论，但实际上，从这个角度来看，我认为它并不是，就我个人而言，它并不是真正成熟的人工智能。它实际上还差得很远。这并不意味着它不能在正确使用的情况下提供大量价值

如果它被正确使用，它可以，它将会，而且它正在。在我看来，更有趣的是，这就是我思考机器学习和AI的一般方式，我认为有趣的部分不是复制人类的能力。从研究的角度来看，这可能很有趣，因为即使能够模拟人类思维，也会产生有趣的影响，甚至包括治疗方面的意义，

但实际上，有趣的部分，特别是当你从功能性和生产力角度考虑它时，实际上是实现人类无法做到的事情。

做不好的事情。所以我认为我们不应该追求图灵测试，在我看来。我认为这实际上是一个错误的测试，无法指导人工智能的进步。我认为我们应该沿着反图灵测试的方向前进。机器在哪些方面最差，而机器却能够胜任

以便它们补充我们的能力，并真正产生一种“更好的一起”的动态。我可以举一个例子来说明这一点。作为人类，我们很糟糕。

在提取数字序列的模式方面，例如数字序列。如果您只查看一系列股票价格数字，您将无法像人类一样在其中看到任何东西。因此，如果您看到一系列光子击中您的眼睛，您将能够立即识别出即使是最细微的面部表情。我们非常擅长将

光转化为图形。在 99% 的情况下，我们都比计算机视觉更好。但是，当涉及到查看一系列股票数字时，我们甚至无法掌握最简单的规则。我们看不到它。

因为从进化的角度来看，这不是我们大脑进化的方式。在识别数字时间序列中的模式方面，几乎没有压力。而在识别面部表情的细微之处方面，则有很多价值。然而，机器在识别数字序列中的模式方面却非常出色。

对于机器来说，这甚至比识别细微的面部表情更容易。因此，如果我们正在考虑使人类活动受益，并提高人们的生产力，并帮助，你知道的，基本上像经典理论所暗示的那样增加资本和生产力，

那么主要围绕改进人类不擅长的事情的方向运行将比专注于所谓的“替代”我们已经拥有的能力更有利可图。这就是我的基本理论。因此，在此基础上，

几周前，我们邀请了一位名叫彼得·沃斯的客人，彼得·沃斯是创造“AGI”（人工通用智能）这个术语的人之一。和你一样，我相信这个术语已经被滥用到毫无意义的地步。

除此之外，我认为这很危险，因为像OpenAI这样的公司花费数十亿美元来“实现AGI”。当我问彼得·沃斯，为什么技术人员的目标应该是实现这个没有人真正能够定义的东西，即人工通用智能时，他给出了一个非常

令人不满意的答案。我将转述一下。因为我有自己的观点，所以我的观点会体现出来。但类似于“因为我们可以，所以我们应该”。在我看来，许多科技公司正在加速AI的滥用，并促成了关于

AI伦理和负责任AI的讨论，因为他们“崇拜假神”。关于，听起来像，你知道的，我和你对AGI的看法，有点像，你知道的，错误的目标，让我们通过你刚才所说的内容来向科技界进行你的宣传，这对于使用AI或机器学习来做人类不擅长的事情是如此令人满意

你对那些认为追逐AGI是我们应该做的事情的人的宣传是什么，因为我们可以做到？所以，你知道的，每个人都有权表达自己的意见，显然。但我可以告诉你，从我的角度来看，我们甚至不知道AGI是什么意思。我认为没有一个商定的定义。我甚至不确定是否有关于如何衡量AGI的工作假设。说实话，没有。

我会说的更多的是一种直觉，但我的直觉是，我们距离AGI还有很长的路要走，LLM甚至没有让我们更近一步。我们怎么知道我们什么时候到达那里？它是什么？所以，我……

如果，所以这就是重点。所以简单的方法是采用类似于图灵测试的东西，这可能比仅仅进行对话要复杂一些，因为我们知道进行对话不再是智力的良好指标。

因为我们基本上构建了一个巨大的字典。当我们谈论LLM以及为什么LLM没有让我们更接近AGI时，我可以详细说明一下。但对于你的具体问题，如果我们采用图灵向量，它将解决人类正在……

试图以最高程度的认知努力解决的问题，而机器将能够以无法区分的方式解决它。当我谈到解决问题时，我指的不是解决国际象棋游戏或益智游戏。我的意思是真正地从创造性的角度来解决问题，这是一个关键点，然后是创造力

创造一些一分钟前不存在的东西的能力是高端解决问题能力的标志。通过纯粹的创新或通过从不同领域组装不同的组件来做一些事情

产生一些全新的东西。在我看来，这将是人类智力的圣杯。顺便说一句，不仅是人类。你也可以在其他动物身上看到一些这样的东西，显然程度较低。在……类型的创造力缺乏

我们目前看到的神经网络和其他类型的AI模型，在我看来，这破坏了整个交易。我认为它不会很快就能产生这样的东西。我只是想详细说明我之前说过的话，因为我认为这对我们的听众来说会很有趣。当我提到你构建了一个巨大的字典时，

我指的是20世纪80年代一位名叫约翰·塞尔的哲学家的一个非常有趣的思想实验。他做了一个名为“中文房间”的思想实验。他基本上说，如果你坐在一个巨大的房间里，一个锁着的房间里，你有一些精确的指示，

关于当你得到一张用中文写的小纸条时，你知道如何通过一组确定性规则最终得到一个中文答案，而你自己除了从不同的计数器中取不同的字母之外什么也没做

你提供了一个完美的答案，这是否意味着你，做这件事的人，懂中文？答案显然是你不懂中文。你只是根据符号进行操作，你有一个无限的字典可以用来工作。这就是今天的算法所做的。他们不懂中文。

任何意义上的理解，他们只是根据他们在非常非常令人印象深刻的方式中的统计分布来复制单词，因为它们的大小和能够消化我们星球上几乎所有文本的能力。所以

我认为LLM并没有让我们更接近人工通用智能。我甚至不确定人们提到人工通用智能是什么。有一套定义，但可以在许多不同的方面进行争论。我认为我们看到了价值……我们应该记住，对技术的投资应该与对价值的一些假设相结合。

对。这是资本投资中的关键概念。我们投资于某些东西，因为我们认为它将使我们所有人的蛋糕都变大。从历史上看，增加蛋糕的最佳方法始终是提高生产力。无论你如何衡量生产力，但如果你提高了生产力，你就会增加蛋糕，然后你就可以进行更多投资。这就是经济的良性循环。

我不认为人工通用智能本身就能增加蛋糕。我绝对看到了补充人类局限性如何帮助你增加蛋糕。所以我对AI投资的看法是，它应该专注于对生产力提高的合理假设，而不是

说，我们应该这样做，因为我们可以。首先，我不确定我们能不能。我没有看到任何证据表明我们可以做到，或者我们已经成功地做到了。但最重要的是，我认为我们应该出于好奇心这样做，因为我们可以，这在学术界是一个合理的论点。

这是一个极其重要的区别。我会告诉你为什么我认为这是一个重要的区别。它实际上指的是你在剧集开头所说的内容。我认为，如果那些出于好奇心研究AI和人工通用智能的人，让我们这样做，因为我们有可能做到，在没有监管的商业框架中这样做，那就非常危险了。

对于这些非常相关的研究工作来说，这是完全合法的。这是一个完全合法的研究问题。我能制造出一台能够以人类最高认知努力的方式创造性地解决问题的机器吗？超级合法的实验问题，但它应该在一个监管环境中进行。

就像你在剧集开头提到的那样，让私营企业也拥有AI研究和开发的监管权，在我看来，这最终是一个灾难的秘诀。我看不出这样做的理由是什么。这是一个如此令人满意的答案，我必须问你一个重要的后续问题。所以我们一致认为……

人类和机器智能之间的根本区别。但我相信，作为技术人员，无论我们是否喜欢，我们也正在成为伦理学家。所以我想问你一个思考问题。作为Pecan的首席执行官，

你的义务是什么，让我们说，那些给你开Pecan支票并计划按预期使用这项技术的客户，选择以非预期的方式使用它。他们选择尝试，比如说，破解核代码或侵入银行账户，这非常现实，你可以使用预测情报工具来做到这一点，你知道的，一个不法分子可以做这样的事情。

你如何防止这种事情发生？甚至作为一名技术人员，你有什么义务去考虑你的技术的潜在意外用途？我对这个特定主题持非常极端的观点。我会说我认为应该完全分开

完全分开那些从事这些技术或任何其他技术的人，以及那些决定如何使用它以及如何监管它的人。当有人在研究炸药或枪支时，他们也不应该负责决定何时使用枪支是有意义的，何时没有意义。

枪可以拯救生命，枪也可以造成很大的伤害。我认为AI没有什么不同。实际上，技术人员并不适合就监管行动提供建议。

在一个理想的社会中，甚至是一个半理想的社会中（因为我们不幸地生活在一个非理想的社会中），这正是政府存在的原因。我们往往会忘记这一点。

但那些非常擅长开发AI的人并不一定了解社会需要什么或不需要什么。我们不应该期望他们成为这方面的专家。说实话，我会说他们不是这方面的专家。事实上，他们非常擅长开发AI，包括我自己，这并不能让我有资格决定应该如何使用它。

希伯来语中有一句有趣的话。我不知道它是否能很好地翻译成英语，但它的意思是“不要让猫看守奶油”。我们不能。我们不能决定特定的用途是否符合伦理。为什么AI与其他任何技术不同？任何和所有被发明出来的技术都有可能改善我们的生活，也有可能摧毁它。

我们必须对技术保持透明。我们必须提供监管机构所需工具，但我们不能作为AI社区承担任何伦理方面的责任。在我看来，这完全是一种反常的情况。每一个答案实际上都是另一个完整对话的主题。

首先，感谢您让我们完全偏离了剧本。这些都不是我们准备好的内容，但我觉得因此而进行的对话更有趣。如果您不介意的话，我们的时间差不多了，但我可以邀请您下次再来，我们可以继续讨论其中一些内容，特别是关于伦理的线索。我认为你有一个非常细致的观点，值得更长时间的讨论。当然，我很乐意。我真的很享受。

同样。我非常珍惜您的时间。感谢您这样做。我知道现在也是您的晚上。在我让你走之前，我们的听众在哪里可以了解更多关于你和你的团队所做伟大工作的信息？我会说PKN.ai可能是最好的选择。只需将他们引导到我们的网站。这是不言而喻的。

好的。我们才刚刚开始。当我们重新连接时，我们会从那里开始，对吧？非常感谢您的到来和陪伴。听起来不错，丹。感谢您。各位，这就是本周“AI与未来工作”节目全部的时间。一如既往，我是你们的主持人丹·图尔钦，来自PeopleRain。当然，我们下周将与另一位令人着迷的嘉宾一起回归。