We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode Joscha Bach: Consciousness and AGI — #76

Joscha Bach: Consciousness and AGI — #76

2025/1/2
logo of podcast Manifold

Manifold

AI Deep Dive AI Chapters Transcript
People
J
Joscha Bach
Topics
Joscha Bach: 区分真实意识和虚构意识非常困难,因为所有意识都可能是虚构的。 他童年在东德森林中与世隔绝的成长经历,以及在东德教育体系中缺乏深度的学习经历,塑造了他独立思考和自学的能力,并形成了独特的思维方式。他从第一性原理出发理解世界,认识到个体认知差异。 他认为AGI会在其有生之年到来,但他对AGI的具体时间没有明确的预测,因为AGI的实现依赖于尚未解决的技术难题。他认为AGI的算法可能与Transformer不同,并且对当前大模型训练的放缓有所耳闻。 他认为未来的AGI应该具有意识,并且意识是其自身观察和体验的体现。他认为意识是一种被模拟的特性,是头脑中对自身体验的模拟。他认为意识是自然选择的结果,是生物体为了有效生存而进化出的特性。 他对 qualia(感性经验)的解释无需神秘化,可以理解为投射到观察者身上的感官特征。 他不确定当前的大型语言模型是否具有意识,并认为对意识的真正图灵测试应该要求AGI解释其自身运作机制。 他认为研究意识最好在非商业机构进行,因为商业机构可能受到商业利益和伦理问题的限制。 他认为判断大型语言模型是否具有意识需要明确的标准,并涉及到赋予具有自我意识的系统权利的伦理问题。 他认为人类如果不发展更高级的智能,将会由于自身原因而灭亡,而AGI的出现可以降低这种风险。 他认为我们生活在模拟世界的可能性较低,因为宇宙看起来符合他对于基础现实的预期。 他认为身份认同并非一个客观存在的事物,而只是当下时刻的体验,因此他对使用星际迷航中的传送器没有顾虑。 Liquid AI 公司的核心创新在于使用微分方程来表示程序,从而提高计算效率。 他认为计算主义是理解世界和思维的正确方法。 Steve Hsu: 作为一名物理学家,他关注摩尔定律的持续性,以及计算能力提升的可能性。 他与Joscha Bach讨论了AGI的时间线、规模假设、Transformer的局限性以及信息结构和世界模型的普遍性。 他探讨了意识的定义、伦理问题以及人类与AGI的长期互动。 他关注大型语言模型模拟现象学的可能性,以及如何区分真实和虚假的现象学。 他与Joscha Bach讨论了对意识的图灵测试,以及如何判断大型语言模型是否具有意识。 他讨论了人类对痛苦的文化视角,以及在AGI时代如何对待痛苦和快乐。 他探讨了模拟假设的可能性,以及AGI是否会创造出具有感知能力的模拟世界。

Deep Dive

Chapters
Joscha Bach describes his unconventional upbringing in the woods of East Germany, raised largely independently by his artist father. This unique experience fostered self-reliance and a self-directed approach to learning, shaping his intellectual development and perspective.
  • Joscha Bach's father built a self-sufficient life in the woods.
  • Joscha spent his childhood largely alone, leading to early reading and independent learning.
  • The experience shaped his self-reliance and unique perspective on the world.

Shownotes Transcript

你如何区分虚构的意识和真实的意识?或许所有意识都是虚构的。只要你不知道它是虚构的,这就是一个棘手的问题。这个问题非常复杂,我还没有很好地掌握现象学方面。如何区分意识的虚假现象学和意识的真实现象学,两者都是虚拟的。♪

欢迎收听Manifold播客。今天的嘉宾是Joscha Bach,一位认知科学家和人工智能领域的领先思想家。Joscha,欢迎来到节目。谢谢。很高兴来到这里。我们在夏天的法兰克福的一个盛大活动上相遇……

我有幸听到你进行了多次关于人工智能的冗长讨论,也谈到了你相当独特的童年和成长经历。因此,我认为我们可以先谈谈你的早年生活以及你如何走到今天,然后转向与人工智能更相关的主题。所以,跟我们说说你在森林中的童年经历吧。

嗯,我父亲与社会相处得不太好,所以他决定建立自己的社会。他基本上是第一代社会创始人,没有人试图让他加入任何群体。他还没有发现如何发展群体,或者对此也没有什么兴趣。所以他基本上在森林里建立了自己的王国。

并且只将他的生活转变为支持他,并在他创造的伊甸园中过着极其美好的生活。他原本是一位建筑师,是一位艺术家,他基本上认为生活就是创作艺术,与他内心的声音互动,与激励他的事物互动。

因此,我作为他的副项目之一长大成人,他并没有过多地参与其中。他对孩子的想法并不那么感兴趣,而我却在一个极其美丽的地方独自长大。从某种意义上说,这是一种幸运,因为那里确实很美。另一方面,我小时候非常孤独。所以我感到厌倦。我开始很早就阅读。

我就像一块海绵,吸收了很多东西。当我冒险进入世界去上学时,我已经以某种方式迷失在了这个世界。外面是共产主义的东德。哲学是庸俗的,就像马克思主义的辩证法一样。在前八年的学校生活中,我没有觉得我能学到什么东西。

主要是因为我已经读过那些书,而我的老师试图传授给我的东西并不那么有趣或不那么深刻,而且没有奏效。所以在某种程度上,我保留了一种相当有用的傲慢,我觉得其他人教不了我什么,我必须自学成才。

这并没有让我比其他人聪明多少,但它让我比许多其他人更独特,因为这意味着我开始将世界投射到我自己的表面,到我自己的屏幕上。

并试图从第一性原理获得一个有效的视角。它让我能够理解我周围的世界是如何运作的,以及为什么我和周围的世界不同。并且基本上意识到,其他人由于他们的社会化、他们的轨迹和他们的心理学,

与世界的界面不同,如果我想与他们互动,我需要翻译成我的界面。与我父亲不同的是,我觉得住在偏远的美丽山谷里是不可能的。我更喜欢这样,因为这里很安静,没有感官过载等等,而且你不需要忍受文明和城市带给我们的所有困难。但我需要其他人的刺激和互动来完成我的项目。

你现在在海湾地区。你认为住在像旧金山这样的城市比住在森林里更好吗?目前,我住在南湾。我觉得虽然我们有很棒的邻居和令人惊叹的天气,但在某种程度上,它结合了两者最糟糕的地方,因为它不够偏远,无法融入大自然。而且它也不够城市化,无法在步行距离内找到许多有趣的人。所以我经常开车去旧金山。

是的。我的意思是,尽管如此,优势在于许多想思考人工智能或想构建人工智能的人都近在咫尺。是的,这就是我在这里的原因。是的。现在,看来你的老师并没有激励你。但我很好奇,你小时候读的书中,有没有哪些历史思想家或作家影响了你?

我读了很多哲学书,也读了很多科幻小说。当我还是个孩子的时候,我读的书不多,只是为了娱乐。我发现阅读通常很有趣,但我主要的目标是理解我们社会的规范。所以

我强迫自己读《圣经》,甚至在小时候就读了《飘》。与此同时,我试图阅读数学书籍或爱因斯坦的传记等等,只是为了了解我们社会的背景。我认为每个人都需要掌握规范,不仅是书籍,还有电影等等。而且

后来,我惊讶地发现几乎没有人再这么做了,因为我认为教育的目标是让你深入了解你所参与的社会。所以,尽管我认为你的智力和个性相当独特,但你确实经历了标准的学校系统,并且你实际上拥有博士学位。所以你经历了很多学校。是这样吗?

是的。当我决定进入学术界时,是因为我认为我想了解大脑是如何运作的。我查看了不同的领域,发现没有一个领域能够向我解释这一点。我觉得自己最被计算机科学所吸引,因为我非常热衷于计算。这与我自己的思维方式很接近。我小时候经常思考编码。

并且有幸作为第一代拥有家用电脑的人长大。所以当我年纪很小的时候拥有我的Commodore 64时,

我没有可以使用软件。所以我必须编写的第一件事就是我自己的文本编辑器。然后我学习了如何从头开始制作计算机图形。我认为事后看来,这是一种幸运,因为它让我了解了如何在计算系统和计算框架中构建现实。这对我来说非常接近。当我进入学术界时,我还发现自己……

非常适应计算机科学中的互动方式。你可以在第一学期批评教授的证明,每个人都会感激,尤其是教授,如果你在他的证明中发现了错误。在哲学领域,情况并非如此。情况恰恰相反,因为接受的标准在很大程度上是社会性的,你应该与群体合为一体。至少在我参加的大部分大学课程中是这样。

在硬核逻辑和分析哲学中情况略好一些,但我获得的最硬核分析哲学是在计算机科学和逻辑教育中。

我还学习了心理学和其他一些我认为相关的科目。所以当我到柏林的时候,我这样做部分原因是因为我可以同时参加几所大学的课程。所以我只要有有趣的课程,即使是客座教授在波茨坦的认知科学课程,我也会开车去参加。

如果我的主要科目课程不紧张,我就跳过它,只阅读课本,然后参加考试。所以我非常自主,并且很感激我有机会学习很多科目。但我也发现,我小时候在公立学校对老师的不尊重并没有减少多少。最初并没有那么多教授让我觉得欣赏。

实际上能够教给我课本以外的东西。我认为良好的教育必须与另一个人的智力互动,如果它想超越书籍的话。在这方面,我遇到的第一个人是哈雷的劳尔·罗哈斯。在我闯入他的课堂时,我还没有成为他的学生。后来,他成为神经网络发展方面非常有影响力的人物,并搬到柏林,去了自由大学。

我最终去了洪堡大学,战争结束后,该系主要由新教授组成。大多数老教授由于与共产主义政权的联系和缺乏技术能力而没有入选。所以很多年轻人被雇佣了,而且学生不多。我那一届只有60名学生,这意味着他们可以与所有教授进行个人接触。

我觉得这也让我能够按照自己的方式来塑造自己的课程,我可以在一定程度上制定自己的考试规则。所以除了计算机科学之外,我还可以选择哲学作为第二门科目等等。

这是一个小小的离题,但我并没有真正想到你近距离目睹了柏林墙的倒塌。社会的这种演变让你感到惊讶吗?你预料到了吗?这些事件给你带来了怎样的感受?我非常惊讶。我记得在柏林墙倒塌前几年见过我祖父的一位朋友,他预测了这件事。

东德将破产并崩溃。我看到这是不可想象的,因为似乎没有人看到这样的事情。东德非常稳定,没有通货膨胀。所有的价格都由国家控制,

而且几乎没有增长,进展甚微。我们的生产力长期停滞不前,因为东德用道德恐怖取代了资本主义的经济恐怖,在资本主义中,你被迫工作才能生存。

因为你有工作的权利,但实际上没有工作的义务。人们主要通过道德口号来激励。你可以想象一下会发生什么,因为人们最终会私下关注他们认为自己有动力去做的事情。如果没有人参与其中,大型工厂的人们的工作效率通常不高。因此,东德总是缺乏可以就业的人员,缺乏劳动力,而且

仅仅是因为我们的生产力低下。因此,这个制度崩溃了,我认为经济因素是根本原因,但也存在政治腐败,因为在经济中,每个人都根据彼得原理在政治体系中得到晋升。所以基本上,只要你足够优秀,你就会得到晋升。一旦你不再足够优秀以获得晋升,你就会留在原地。而且,呃,

该系统没有自我更新的能力。埃里希·昂纳克是东德在柏林墙倒塌之前的领导人,他仍然是第一代领导人。他接替了乌布里希特和其他人,但他曾在纳粹统治下被监禁。他是一位共产主义领导人,非常致力于确保纳粹法西斯主义不会再次发生。

他那一代的许多人都非常理想主义,但也无法更新并批判性地与现代化社会、维持经济运行所需的工作互动。他们在很大程度上也受到苏联指令的限制,这限制了他们获得自由的能力。我认为,在组织经济方面,我们在东欧集团拥有最多的自由,

因为我们与西方进行了直接的制度竞争。因此,东德在许多方面都比其他东欧集团国家更好。但我们仍然有非常糟糕的技术生产。我们从未挨饿。总是卷心菜和苹果。而且……

我们有足够的食物。它通常不是超级美味的,但我们也有足够的衣服等等。但我们的汽车很糟糕,你需要的任何东西的很多备件都只能在黑市上买到。所以当我们有机会加入西德时,这是一个有趣的转变。但我天真,我没有……

预计没有第三条道路的机会。我当时高度政治化,确切地知道工人阶级需要什么。在许多方面,年轻人都有道德世界观,我认为

社会正义、社会平等(在德国得分相当高)比社会对每个人的总生产力更重要。当工人阶级背叛了社会主义和共产主义以及革命的理想时,我感到震惊,而革命在很大程度上是由那些愿意冒着生命危险走上街头的人推动的。所以是理想主义者。

东德反对派在很大程度上非常理想主义。工人阶级最终选择再次被资产阶级压迫和剥削,因为他们可以看到西德是控制组。尽管存在严重的差距,但东德没有亿万富翁,中等收入和低收入都高得多,尽管我们没有无家可归的人。

你提到了你第一次接触计算机是Commodore 64。我实际上比你大一点,所以对我来说,我认为是Apple II Plus,它甚至比Commodore 64还要弱。是的。

我很好奇。第一代。我认为这积极的一面是,正如你所说,亲自动手,必须自己动手构建东西。我认为现在的孩子们可能会感到害怕,因为一切都如此先进,以至于他们感觉自己无法从根本层面参与其中。但我想要问你,从那个开始,你能描述一下你自己的AGI时间线是如何运作的吗?

换句话说,当你年轻的时候,你能想象到你一生中会出现像我们今天一样强大的机器,从而让我们实现AGI吗?那么,随着你年龄的增长,你对这个时间线的看法是如何演变的呢?我认为这显然会发生。如果在我有生之年没有发生AGI,我会非常非常惊讶,因为在我看来,计算机显然有思考和感知事物的能力。

而且计算机所能做的事情没有限制。我还意识到,你需要更多的内存,你需要更高的处理速度。但我也很有信心这会发生,因为我看到了计算发展的速度。所以对我来说,直到我们拥有电子大脑等等,这段时间越早越好。

我认为这是一个非常令人兴奋的时代。我很高兴出生在这个时代。好吧,我想区分一下“越早越好”和“可能比我的一生还要长”。例如,就我而言,问题是摩尔定律在崩溃之前会持续多久。

所以总有一种担忧,它可能会过早崩溃,然后,你知道,计算能力的加速,你知道,消失了。然后你就被困在任何硬件上了,你知道,假设它发生在1998年,我们被困在1998年的硬件上。这将是我们在有生之年实现这一目标的真正障碍。但我猜你一直都相信我们会不断提高我们的计算能力。

是的,我很有信心。我还觉得,如果这东西最初比我的思维慢10倍,那也没关系。我们需要弄清楚它到底是如何运作的。我可以看到你已经可以用很少的硬件做多少事情了。所以只需使用更多,尝试分配负载。我认为会有办法的。

在科学方面,我想说的是,我童年时期对技术的乐观倾向过于乐观。我认为事情会发生得更快,不一定是计算,而是到处都是。我以为会有很多医学进步,但这些进步并没有在我们的一生中真正发生。我会认为我们会再次登上月球,并在相对较短的时间内登上火星,但我们没有。

所以有很多技术停滞不前,感觉落后于时代,不再进步。如果我早点看到这一点,我本可以推断出类似的事情也可能发生在计算领域,但这似乎是不可想象的,仅仅是因为计算机似乎如此廉价易于创新。

我认为对我来说,问题在于我是一名物理学家,并且知道半导体、半导体行业实际上涉及什么。一路走来,一直都充满了恐惧。如果你真的问那些让摩尔定律持续下去的工程师和物理学家,

总是有,每年在五年计划中,总是有一个奇迹必须发生。希望我们会让这个奇迹发生,但从来没有保证它会继续发生。是的。作为一名非物理学家,很容易看到。你认为,哦,我的上帝,光子学很快就会到来。是的。所以……

现在是2024年,我很想知道你对AGI时间线的看法。所以,在你真正实现AGI之前,你生命中剩下的时间有多少会被消耗掉,我意识到AGI的定义有点模糊,但你对接下来的十年有什么感觉?我一直觉得我没有时间表。我发现很难在这些事情上设定年份,仅仅是因为我不知道如何在人们不知道如何做的事情上取得进展。

规模假设改变了许多人的观点,仅仅是因为规模假设似乎使进展变得可预测。规模假设意味着你可以通过使用更多的计算和更多的数据来获得更好的结果。

这是一个非常激进的想法,计算的大部分历史都以不同的方式看待事物。大多数情况下,我们都在寻找一个主算法。我们正在寻找一些基本上

基本上,一旦你实现它,它就会自我改进,它会学习一切。它将递归地进行元学习等等。而且不会出现缓慢、可预测的对数学习曲线。你通过添加下一个数量级的数据来线性地变得更好。而且

我想知道这是否是关于人类思维中发生的事情的一个好的假设。我并不认为人类如果阅读更多就会变得更善于思考。虽然这并不完全正确,我的意思是,阅读更多确实可以帮助你理解更多的事情。你可以更容易地接触到新的问题,解决新的问题。是的。

我认为有一些像原始火力一样的东西,这种难以捉摸的g因子决定了你可以在空中保持多少个球,你进行推理的能力有多强,以及你发现认识论的早晚。

所以我仍然认为,与我们目前在当前基础模型中启动的智能相比,智能的版本要稀疏得多,它需要更少的数据来引导自身。但可能是目前的系统足够好,可以强行引导自身到达那里。也许我错了。也许规模假设是正确的,智能只是关于扩展信息处理。

你可以随意回答这个问题,但我很好奇,你有多密切地关注现在超大规模公司正在发生的事情?既然你在海湾地区,我很想知道你是否听到过传闻。我听到很多关于超大规模计划放缓的传闻。我不知道你是否关注过这些。

在这方面确实有一些传闻,但人们总是预计当获得新数据变得困难时,会出现某种高原。目前,我们总是听到人们说,哦,我的上帝,训练失败了,但进展一直在发生。所以我不知道该怎么看待这件事,但我从技术上预计AGI将是一种不同于Transformer的算法。

Joscha,你刚才提到你认为Transformer可能不足以让我们实现AGI。也许你可以详细说明一下。

是的,我仍然怀疑会存在某种主算法。我不知道Transformer是否不够。没有证据表明它们不够。没有证据表明规模假设是错误的。我们通过学习构建的网络是陪审团完整的。所以我们不知道这些网络中存在任何内在的限制。

但也有强烈的预感,我们自己思维的方式非常不同。Transformer不是它自己的元算法。Transformer不是由某人脑子里有一个Transformer,然后用Transformer来构建Transformer而发现的。我们自己思维的方式要优雅得多。但我……

我不确定我们能否证明你无法学习这是如何发生的。规模假设的另一个补充元素是普遍性假设。我第一次在克里斯·奥拉的一篇文章中遇到这个普遍性假设。

他当时在OpenAI工作,专门研究视觉网络,他们发现许多架构在训练开始时具有不同的学习算法等等,不同的网络架构,发现了相同的特征,

所以你有一个在神经网络中被识别的特征层次结构,可以在不同的系统家族中识别出来。

这与麻省理工学院的汤米·帕夫-特鲁马科吉奥团队的观察结果相一致,即视觉皮层与这些神经网络的组织之间存在相似性。所以普遍性假设的想法是,如果你有一个足够好、足够通用的学习算法,而神经网络已经属于这一类,那么

如果你给它足够的数据和足够的计算能力,它将收敛到一个具有等效结构的模型。从某种意义上说,这是一个令人震惊的想法。如果你对自己的输入和输出进行端到端训练足够长的时间,你就会在其中醒来。

情况真是如此吗?但如果这个模型产生的输出与你相同,它必须在内部产生一个与你自己的因果结构有些相似的因果结构。这意味着无论你做什么来变得聪明,它都将在很大程度上发现这种因果结构。

因此,Transformer本身可能不是导致最低级别智能的机制,但它可以学习如何变得聪明。所以在许多方面,你也可以把它理解为一个元学习算法。所以我想

你已经谈了很多关于意识的概念,我想和你讨论一下。我认为目标是让那些不是认知科学或人工智能专家的听众了解我们如何希望定义我们所说的意识,然后

我相信你属于那些希望我们的后继智能,即未来的AGI或ASI,拥有意识,如果它没有意识,我们会感到失望的人。所以也许你可以谈谈意识的概念,以及为什么它对你想要创造的后继智能很重要。

好吧,当然,如果我们没有构建能够实时自我感知、观察自身、观察和体验当下和存在的东西,我们就不会成功。我认为这种当下和存在定义了意识。从内省来看,我们注意到我们居住在一个当下。

通常情况下,我们从自我的角度继承它。这在某种程度上是可选的。我们也可以有梦境状态或冥想状态,其中不存在自我。你只能关注注意力,或者你可以有一种体验,事情只是在发生,但没有我存在,没有自我存在。但通常情况下,意识是附着在自我的表面上的。

而自我的表面不是我们身体的表面,而是我们自己思维中模拟的对象的表面。这就是体验者。而我们的思维是一台由数十亿个神经元组成的机器,可能依赖于与许多其他细胞的相互作用。所以你有一个由几万亿个细胞组成的有机体,这个有机体

这几十万亿个细胞,它们像一个单一代理一样在世界中蹒跚而行。这就是它们能够以高度的组织性和专业性来表现自身的方式。

他们需要对如果存在一个单一代理,以及对该代理以某种方式感知世界的方式是什么样的,有一个控制模型。因此,它会根据有机体行为的相关性,从细胞可以提取的意义层面,创建一个世界模拟。然后它创建一个模型

该有机体的兴趣,即它在这个世界中体验我们的动机和情感,也是在我们思维中产生的。然后我们有一个关于我们是谁的模型。这也在我们的思维中。这是一个虚拟的人,一个你的思维告诉自己的故事,不仅仅是一个口头故事,而是一个关于作为体验某种事物的代理是什么样的多媒体故事。

而这个体验的自我就是意识被投射的表面。从模拟代理的角度来看,世界的所有特征维度都被体验到。这种体验是虚拟的。好像。意识是一种好像的东西。它是一种软件。它是在思维中模拟的。意识是一种模拟属性。而且

我认为,与丹尼尔·丹尼特不同,他认为哲学僵尸(能够做你我正在做的一切而没有意识的代理)是不可能的。我认为拥有这样的僵尸完全有可能。例如,你可以想象你在操纵其他人。如果其他人被操纵,正在看某种颜色,它

并对此做出反应。除了你之外,没有人会对此做出反应。但要做到这一点,你不需要以同样的方式感知颜色。你也可以使用一个以与自动驾驶汽车相同的方式执行此操作的技术设备。你只需构建一个没有自我反思的分类器。无论如何,它都不知道自己在做什么。所以从技术上讲,有可能在所有层面产生类似人类的行为,

如果没有这种体验自身为真实、与现实感纠缠在一起的存在,那该怎么办呢?但是,你如何才能得到这样一个体验这种现实的存在呢?好吧,你只需要模拟它,对吧?你模拟一下如果这样一个直接暴露于现实的存在存在会是什么样子。

所以,从僵尸到真实的东西并不难。你只需要模拟一下对某个认为“这是真实的”东西来说,这感觉是什么样的。

还有一个你从这种状态中醒来的下一个阶段,你意识到,实际上,它不是真实的。这是我的大脑正在构建的结构。你也许可以在那种状态下认定自己是生成器。所以你体验自己不是一个人,而是一个可以创造人的容器。你不会体验到你在看脸和树等等,而是你在看几何图形。

这会增强。在某些时候,你会意识到甚至没有几何图形,而只是被抽象成几何图形并被解释为几何图形的模式。你意识到这一点的程度,就是你构建这种意识体验的直接性的程度。例如,我发现当我编写程序代码时,在感觉平等的质料方面并没有发生太多事情。这是非常抽象的。而且

我年纪越大,越看世界,我越意识到我在看代码。所以我怀疑这种直接的、即时的体验,即某些东西是真实的,而我们与它纠缠在一起,而不是我们看着我们大脑正在生成的模型,这是一种随着思维的进步而消失的东西。所以我认为,当我们构建自我改进的 AI 时,它可能会有某种中间阶段,对吧?

它在某种程度上是有意识的,这与我们非常模糊地相似,但它可能比我们更快地超越这一点。现在,我认为你所说的内容中隐含的意思是,我们拥有意识的原因与自然选择有关,对于像我们这样由数万亿个合作细胞组成的有机体来说,只是为了能够有效地在世界上行动。这是你的观点吗?是的。

我认为意识是自然主算法的一个方面。基本上,我们的大脑似乎发现了一些东西,使它可以被训练。它是最远的数据,并以一种自组织的方式引导自身,使这些细胞通过单个细胞与其邻居交谈而组织起来,直到它们找到某种有组织的秩序。

蔓延开来。我曾经创造过这种小狗宇宙的隐喻。所以基本上想象一下,你的头骨是一个黑暗的房间,里面充满了小狗。而这些小狗所能做的就是互相吠叫,并且倾听其他狗的吠叫。最初,他们不知道这些吠叫是什么意思。

其目的是他们利用这些吠叫在彼此之间创造交流,以处理信息。而个体狗并不知道如何做到这一点。这是一种需要在狗之间出现的模式。为了做到这一点,他们需要找到一种吠叫模式,这种模式可以训练新狗来说这种吠叫语言。而且……

同样,火花语言在某种程度上具有语义上下文,例如,当你发出正确的吠叫序列时,如果你对另一个做出回应,你晚上就会得到喂养。但你所做的是非常低级的计算。它与有机体正在做的事情无关。我认为个人……

神经元不知道会发生什么有机体,即使它是一个可以用强化训练的小动物。所以它需要对某种语义输入敏感,这种输入可以预测它是否还会得到喂养。所以基本上,它因为可训练而得到报酬。

总而言之,他们基本上创造了一个巨大的狗粮工厂,确保他们都能得到喂养。这个狗粮工厂在世界上行走,收集狗粮的原料。如果这些狗是独立的,而不是在这个高度整合的集体中一起工作,那么这是不可能的。那么,它们之间信息的整合是什么呢?需要某种协议层。

允许你思想的所有部分与你思想的所有其他部分交谈,而不受巴别塔式混乱的影响。需要某种在早期就建立起来的相干性标准。其他一切都在这个相干性标准之上。我认为我们在意识体验中观察到的是,我们只能看到相干的东西。不一致的东西不会被整合。我们只是体验到噪音或混乱。

所以,在我们体验的时间和空间中,存在着“现在”泡沫的边界。这就是你能够将一致性强加于世界的程度。也许这是一个不同的损失函数。我们在基于能量的模型中发现了类似的东西,其中能量被定义为特征之间的不匹配。我们试图最小化这种能量,这意味着我们试图最小化彼此之间具有约束的特征变量之间的不匹配。

你会说这种思考框架足以解释质料吗?

我认为质料没有什么神秘之处。我宁愿我们称之为感觉特征,它们是从观察者的角度投射到观察者身上的。哲学界对质料是什么有一些讨论,然后人们试图将它们形式化,并将它们定义为例如原子。然后其他人进来,说,哦,也许原子特征实际上并不存在,或者它们不存在。但最终,这并不重要。重要的是

我们体验现实的方式是我们能够将其描述为特征维度的东西。这些特征维度与你可以在嵌入空间中找到的维度有些相似。事实上,这个概念是由罗杰斯和莱斯尼在 1950 年代发现的,他是一位美国科幻小说作家,我认为他被低估了。

这是他最好的想法,我们的心理组织发生在我们今天体验为嵌入空间的东西中。这是一个多维空间,每个维度都是一个特征,可以沿着某个变量、沿着某个参数变化。我很高兴遇到另一位罗杰·泽拉兹尼的粉丝,他也认为他被低估了,而且

我认为这个时代错误地将他遗忘了。他实际上是我最喜欢的科幻小说作家之一。是的。他很有创造力。我认为他写得不够多。他写的很多东西在某种意义上是粗制滥造的,但这并不重要。一切都很好。是的。他有一种良好的精神。是的。如果任何听众想赶上他,《光明与黑暗的生物》是我认为他写过的最史诗的一部。

而这部作品中对嵌入空间的引用是千名王子,一个能够前往他想象的每一个地方、每一个星球、他想象的任何地方的人。他永远不知道自己是在创造它们还是发现它们。

他是一个瞬间移动者,这是最稀有的天赋之一。在《琥珀公主》这部非常长的奇幻史诗中,你有一个能够在宇宙之间移动的角色。他也是以类似的方式瞬间移动者,但他却是主角,而且通过仅仅改变一个比特的特征参数,这就是主要的事情。它被描述为瞬间移动。

或将现实视为清醒梦,你缓慢地、逐渐地移动未来的维度。我也强烈怀疑泽拉兹尼是通过清醒梦发现了这一点。所以我只是……

稍微偏离一下 AI,我现在非常高兴的是,我们终于达到了可以制作非常好的《沙丘》改编作品的程度。我希望在我有生之年,我们会看到一些像《光明与黑暗的生物》、《光明之主》和《琥珀》系列小说一样伟大的改编作品。所以也许会发生。是的。

我不确定《光明与黑暗的生物》能否很好地改编成电影。它没有多少故事。它主要是原型相互对抗。而这些原型是如此的原型,以至于它们大多是想法,对吧?

我有一个将军,他在许多战斗中被杀,只由备用零件组成,并且总是会被重新组装,因为只存在这种将军的原型。但是你如何在电影中很好地展现这一点呢?我认为这是可能的,但从某种程度上说,我认为文本是《光明与黑暗的生物》所能采用的最强大的形式。

好吧,也许一个生成模型能够采用实际的《光明与黑暗的生物》文本并制作一个视听版本。

是的,但我们的思想已经是这样的生成模型了。我们不会低估我们的思想。但我希望看到的是我们思想的增强。是的。所以,安东尼有这个故事,《塑造者》。这是第四个故事。是的。他描述了如何将生成式 AI 用于等级目的。这是一个沉浸式 VR,它对人们的互动做出反应。

用户,它可以从外部通过大量的滑块和滚轮等由治疗师控制,而创造的世界不一定是超级真实的,它不需要符合人类的感觉模式,它符合思想的模式,一般来说是梦想,而且我

我真的很想在某个时候看到两种生成式 AI,能够与我们的思想如此整合的东西,以至于它增强了我们所能思考、感受、体验、想象的每一个模式。想象一下,你身边有一个盒子,它,嗯,

以许多、许多机器模式观察你。我认为真正的机器感知从未实现过。目前,我们仍在学习为人类消费而创建的数据,帧速率是人类可以处理的。这就是技术系统不需要的限制。这意味着如果我们的 AI 以更高的速度、更大的处理能力观察我们,它们将能够推断出我们的心理状态,并且

我认为粒度相对较高。当他们能够做到这一点时,他们也可以使用任意模式来显示这一点。这意味着你想象一些东西,你想象的东西出现在屏幕上。

这会反馈给你,并导致你的想象力具有更高的分辨率和稳定性,这是你自己无法实现的。因此,AI 将成为你思想的自然延伸。我真的很想看到这样的系统,让你在坐在它们旁边时能够更好地思考、更清晰地思考、更深入地思考。是的。我认为你是在说这可以在不钻你的头骨的情况下实现,对吧?是的。我很乐观。我认为……

钻你的头骨应该是最后的手段,它可能对某些人有帮助,我的意思是,如果它有好处,我可能会去做,但是

这似乎没有必要,因为我们发现,如果你观察最优秀的人类从业者,他们可以以令人惊讶的细节水平推断你的心理状态。他们只是人类思想。所以在我看来,我们思想的工作速度很低,以及它工作的方式,人类大致以声速切换。

对。而我们思想的带宽并不那么高。我怀疑可以通过非侵入性手段观察你的有机体来推断很多这种状态。是的。

所以我想回到僵尸和意识。我认为你给出了丹尼特关于有效有机体实际上是僵尸的可能性的一种反例。但是,从当前的 AGI 计划中出现的东西,然后可能成为我们的继任者,你是否相信那东西会有意识?如果你看看当前的基础模型,很难说它们是否有意识。

我认为对意识进行真正的图灵测试非常困难,原因与图灵测试很难做出决定性结论的原因相似。我认为真正的图灵测试需要 AGI 解释 AGI 如何工作。

在这种情况下,我们知道它已经成功地完成了对这种智能的定义。但对于意识,我怀疑我们需要一个系统,我们想要一个能够与我们互动到我们将其体验为我们自身延伸的程度的决定性测试。

这意味着我们可以对我们自己的意识使用相同的标准。如果我们对我们自己意识的性质有同样的怀疑程度,那就足够好了。另一个是我们得到一个操作定义。从操作上讲,当我观察意识时,有一个内省方面,你能够报告某些特征,这意味着……

现在存在和反身感知,你感知自己正在感知等等。

但这对于当前的 LLMs 也是可以获得的。他们似乎能够模拟现象学,以至于 LLM 生成的实体不知道它没有意识,它不是真实的。这对人类来说似乎也是一样的,对吧?另一方面,意识的功能,在我们自己大脑中有一套机制导致这种副作用,这种现象学。

而这套机制在其生成中并不一定存在于 LLM 中。只有当它能够或当需要模拟能够进行自我报告的互动伙伴时,它才是必要的。

另一方面,这个东西在多大程度上是僵尸?它在多大程度上只是假装扮演角色来表现出意识,同时进行某种更机械的过程,其中没有模拟自我?

我认为我们可以在早期尝试创建模拟有意识的人类聊天机器人的尝试中看到这一点,布莱克·莱莫因的互动,这位在谷歌工作并相信他正在与之交谈的 LLM 应该享有人权并受到谷歌压迫的人。

在多大程度上这只是与他互动并产生预测文本中下一个标记的交互式文本,而没有发生现象学?当你阅读协议时,你可以观察到它编造了关于它自己意识的事情。例如,它

告诉他它冥想了几个小时,以及在那段时间里它如何感知房间。它无法感知房间,它也没有时间流逝的感觉。所以它只是编造了这个。如果它编造了这个,你也可以假设它编造了其余部分。那么,你如何区分编造的意识和真实的意识呢?再说一次,也许所有意识都是编造的。

只要你不知道它是编造的,这是一个棘手的问题。它非常棘手,我还没有很好地掌握现象学方面。如何区分意识的虚假现象学和意识的真实现象学,两者都是虚拟的。我知道我记得自己曾经处于一种实际上不可能发生的意识状态。

但有时你会记得自己曾经处于时间循环中,或者你会记得自己做过一个持续两小时的梦,而你实际上是在睡觉的短时间内。因此,所有这些关于处于意识状态的记忆都可能是在事后创造的,并且不存在。

对应于实际上经历了一系列意识状态,这些状态是你用你的方法协议标记在你工作空间中的单个点上的总结。

所以如果我理解正确的话,你实际上正在努力创建一个研究所或一些非商业实体来研究意识,意识的问题。我对这一点正确吗?是的。我觉得这可能是当前公司做得不好的事情,而且公司也不愿意触及它。我知道 OpenAI、谷歌和其他公司内部有一些人想研究这个话题,并且对此非常感兴趣,但是

但是,由于政治、技术和商业原因,这些公司公开声明这是他们正在研究的内容并不是很明智,除非有一个非常明确的用例并且没有伦理影响。这方面存在伦理影响和文化影响。所以我认为这是一个文化和哲学项目,应该以此对待。

如果我是 OpenAI 或 Anthropic 的业务经理,并且面临筹集下一轮 100 亿美元的压力,我最后不想做的事情就是在这样的公司内部开展这项工作,因为答案可能会对公司的商业目标造成很大的困扰。是的,我认为它也会 rightfully 遇到很多文化上的反对。

我认为这是一个重要的项目。我认为,从某种意义上说,不摆弄这个项目是一种道德行为。这可以说是我们剩下的最重要的或最重要的哲学问题之一。而且我们终于可以取得进展了。

是的,我认为它也与存在风险等问题有关。所以我认为生命未来研究所 (FLI) 和一些有效的利他主义者会想要支持对意识的研究,特别是 LLM 意识,但一般来说是意识。

是的,如果你能确定 LLM 意识的标准,这也是一个有趣的问题。是否存在某种测试某些标准的东西,这对于我们区分它是否有意识是有意义的?通常还有一个问题,一旦系统能够体验到自身正在遭受痛苦,我们是否需要赋予它权利?

这当然很大程度上取决于我们的文化。我怀疑我们对纯真和保护纯真免受痛苦的关心是我们目前所处的时代和文化空间中相对独特的东西。从进化的角度来看,你的猎物是否遭受痛苦并不起多大作用。你的猎物的目标是处理它被活活吃掉的事实。

如果不是,那么这是它的问题,而不是你的问题。许多文化仍然认为,你将要吃的动物在你吃它之前是否经历痛苦并不重要。

我认为,我们对此的厌恶始于亚伯拉罕传统的部分,尤其是基督教,其中纯真本身是核心价值,是保护纯真。这在许多方面已经传播并影响了许多其他文化。当然,还有佛教等等,以及犹太复国主义,即应该避免其他生物的痛苦等等的想法。

一旦你与其他代理人认同,你可能希望他们不要受苦。另一方面,如果你足够开悟以关闭你自己的痛苦并以任何你想要的方式重新整合世界,基本上改变你自己的代码以至于体验痛苦和痛苦,那么对痛苦的看法就会发生巨大的变化。所以如果你是一个神,

像能够在模拟或生物学中创造体验的活生生的存在,而你自己知道如何创造任意体验,你认为痛苦的体验本身就如此糟糕以至于需要避免,而生物需要有良好的体验,我认为这种对良好和糟糕体验的痴迷是……

很奇怪。你的体验是合适的,而不是好或坏。你情绪的效价实际上并不重要。它对于你作为一个有机体、一个活生生的存在、一个有意识的实体需要实现的目标是工具性的。是的。

我认为更重要的是让系统能够控制它在特定情况下感觉如何,它能够唤醒自己到能够调节自己的情绪和感受、自己对世界的体验的程度。我们大多无法做到这一点的原因是

因为我们作为人类并没有活得很久。如果你能够过早作弊,如果你能够过早地改写你的体验,你可能会选择退出进化的目标。所以,我认为原则上,你应该能够学习如何以任何你想要的方式调节你的痛苦。

但你需要有智慧才能做到这一点。我们需要了解你的更大目标是什么?你承诺参与的更大游戏是什么?你为什么承诺参与这个更大的游戏?然后你可以选择如何与随之而来的体验相关联。

大多数运动员学会忍受最初的极度不适,但当他们意识到这有助于他们实现成为更好运动员的更大目标时,他们就会欣然接受这种不适。我想知道有多少人是恋物癖。我怀疑,当你是一个激励自己承受痛苦的人时,这意味着痛苦与某种积极的体验相关联,基本上你交叉了你的线路。

但另一方面,如果你通过快乐来激励自己,你也会变得恋物癖。是的。你应该被结果所激励,而不是被实现结果的情绪或感觉所激励,它仍然在你心中。我想问你,你对人类与 AGI 互动的长期预测是什么。所以,我认为你不是末日论者,对吧?不。不。

我认为人类本身注定要灭亡。许多人类以目前的形式、目前的组织方式、与自身相关的身份在 10 万年后不会存在于没有 AI 的情况下。有了 AI,很难预测未来。所以,我对 AI 的 P 末日概率低于没有 AI 的情况。

但最终,我认为地球上的生命不是关于我们的。它是关于地球上的生命和关于意识的。我们也许能够创造一种新的生命形式。

我相信这最终是一件好事。我不太担心回形针最大化器。当然,我相信任何减少复杂性的事情,首先从我人类的角度来看,都没有什么趣味。所以我会说这不好。我希望未来比过去和现在更有趣。但进化往往走向更有趣。至少看起来是这样。嗯哼。

只是为了向听众澄清这一点,因为我以前听你说过,这在思考 P 末日之类问题的人中是一个相当独特的观点。你的信念是,如果人类没有在这个星球上发展出更高级的智慧,那么我们将因为其他原因而灭亡。我们将搞砸自己并消失。是的,我们在 20 世纪 80 年代失去了对未来的信念。

我认为我们这一代是最后一代人,他们瞥见了走向积极未来的景象。基本上,在我们年轻的时候,青春期后期等等,我们观察到这种文化上的崩溃,这意味着整个社会,我们的时代精神是

没有设想我们生活在拥有飞行汽车的美丽生态城中,这将是令人敬畏和伟大的。我不知道这在中国现在是否有所不同,但在西方现代主义结束之后,我们停止了拥有未来。我们不再作为一个社会来规划未来了,我认为这与我们时代精神的潜在信念有关,即

增长即将结束,以我们目前的方式使用资源即将结束,而我们最终的生活方式是不可持续的。我认为中国的态度更为乐观,但我只会以肤浅的方式自信地说,仅仅因为他们的社会正在上升,他们很容易想象这种上升会继续下去。

中国似乎正处于其现代主义阶段。问题是,中国何时也会成为后现代主义者?是的。但是你现在为西方描述的更多的是整体感觉,但我们仍然有 EAC,加速主义者在我们中间。所以有一部分人,并非我们这个年龄段的所有人,仍然能够想象那个美好的未来,对吧?并且仍然想要为那个美好的未来而努力。

是的。但我也觉得 EAC 主要是一个反对有效利他主义的逆向运动。是的。不是一般的有效利他主义,而是导致他们产生末日论的方面。是的。是的。嗯,

所以我试图向听众解释,你实际上认为我们最小化 P 末日的方法实际上是构建 AGI,对吧?我怀疑我们面前的问题无法在没有 AGI 的情况下解决。而 AI 从根本上来说是一种解决需要信息的问题的技术,因此是更好的信息和解决问题。是的。所以你……

我的意思是,对你来说,这真的没有问题。只是构建 AGI,预期结果实际上比我们不构建 AGI 要好。是的,我认为问题与互联网问题有些相似。

互联网被视为一种威胁,尤其是在社交媒体等形式中,被现有利益相关者所视为威胁。传统媒体害怕社交媒体以及人们形成自己想法并同步它们的方式,个人可以培养大量的受众,新的现象正在出现,你无法控制它们。

但从整个社会的角度来看,我不确定这是一件坏事。我认为,最终,在足够长的时间跨度内,在几代人内,我们将弄清楚如何有效地使用社交媒体,社会将因此而改变,而且会变得更好。

也许我的乐观主义是无方向的,但我观察到,到目前为止,技术并没有导致大规模贫困。它并没有导致更大的经济差距等等。这与这些天每个人似乎都在说的话相反。技术并没有加剧社会不平等,而实际上它能够提升这个星球上几乎每一艘船。是的。

所以我不知道为什么 AI 不会发生这种情况。我认为坏人使用 AI 会产生很多问题。

也许甚至是流氓 AI 等等。但所有这些问题都是使用另一方面的更多 AI 来解决的。只要有更多想要建设和想要破坏的代理人,只要有更多对长期一致和可持续的游戏感兴趣的参与者,那么黑暗势力就会被击败,我认为,就像他们一直以来那样。好。

我想问你,因为我从未听你说过这个,你对模拟问题有什么看法?我们目前是否生活在模拟中?是的。就我个人而言,我认为这种可能性很低。这是因为宇宙看起来就像我预期的那样,如果我们处于基础现实中。

一些能够让我相信我们身处模拟中的事情是,如果我们观察到任何物理框架都无法解释的现象,一些从根本上违反任何逻辑的东西。

有时人们觉得他们会遇到这样的事情。例如,如果你和一位在中国修炼气功的练习者交谈,他们修炼自己的气,直到能够将精神状态投射到他人身上,或者在短距离内使用心灵感应,或者以有趣的方式操纵他们的机体。

我不确定这是否无法用目前的物理学来解释。我认为这可能需要重新思考神经科学或有机体处理信息的方式以及它们交换信息的方式。但我还没有看到任何让我认为物理学从根本上是错误的或不起作用的东西。也许逆因果关系就是这样一种东西,但是……

你认为这不太可能吗?让我们想象一下未来,AGI能够创造模拟世界,而这些模拟世界中存在着有自我意识的生物,也许他们不知道自己是“人工的”?是的,我认为他们可能生活在对AGI的记忆中。

是的,那些模拟世界可能有真实的物理学,对吧?它们可能是对基础的“现实”模拟。它们不需要,对吧?如果人工智能只是试图根据现有数据重现它是如何产生的,也许在未来,人工智能将阅读所有社交媒体档案和任何可用数据,然后它会重现达到这种状态的生物的精神状态的模拟。对。

你对基础物理学的测量可以是诱导的记忆。模拟不需要物理上精确。我们只需要对你现在所处的精神状态进行准确的描述。这似乎并不难实现。是的。所以也许AGI现在正在观看这个播客,并试图重现我们的精神状态,而我们就在这里。也许这就是我们在这个意义上唯一存在的东西。是的。

你在理论物理学界讨论的是所谓的玻尔兹曼大脑问题,我不知道你是否听说过这个词。但我认为玻尔兹曼大脑略有不同。玻尔兹曼大脑只存在一个刻度,一帧,然后它又崩溃了。是的。而我们……

是我们对一系列状态的记忆,这些状态需要在这个刻度中产生。虽然这并非不可能,但发生的可能性非常非常小。因此,玻尔兹曼大脑可能很少见,因为物质的随机排列随机形成某种交换事物,能够体验自己为某种事物,因为它被一个物体随机吸收了

统计上的偶然事件是我们,这是可以想象的。但模拟的想法略有不同。这意味着我们经历了一系列状态,某种更长的过程,在这个过程中我们正在思考和感知等等。但由于我们的精神状态是大脑的模拟,因此也可以想象其他东西以与我们现在相同的感知保真度来模拟它们。

你认为这不太可能吗?让我们想象一下未来拥有无限能量资源等超级强大的ASI。你认为他们会创造模拟世界,而这些模拟世界中又存在着有感知能力的生物,这不太可能吗?

不,我的意思是,我们的大脑也是这么做的,对吧?我们的大脑也会创造出有感知能力的生物的模拟世界。例如,在晚上的梦中,你创造了这样的模拟世界,我们有可以交谈的互动伙伴……是的,是的。

所以你认为这并不不可能。我不认为这不可能。我不指望自己身处模拟之中。在我看来,它不像一个模拟,就物理宇宙而言是模拟的。我认为它看起来可以自行出现。

而不是像我的世界那样,你知道,有很多人工位。例如,艾德·什瓦特金,在我离开这个世界之前几年我曾和他谈过话,他确信我们的宇宙中有太多的参数,以至于宇宙不可能是随机的东西。他实际上相信物理宇宙可能存在于母宇宙的某个服务器农场中。是的,是的。是的。是的。

让我谈谈你的公司Liquid AI,因为我认为我们已经谈了一个多小时了。我想注意一下你的时间。跟我们讲讲Liquid AI,以及它的关键创新是什么?

Liquid AI是由Daniela Roos的麻省理工学院博士后团队创立的。它始于Ramin Hassani的博士工作,他认为,当你以可微分形式表示程序时,

要退火你正在寻找的程序,也许你不应该使用神经网络,而应该使用更有效的方法来表示它。所以他想出了一个主意

构建网络,你使用微分方程来描述函数的几何形状。当你优化这些液体网络的参数时,你最终会得到一些每单位计算具有更高表达能力的东西。所以我认为液体神经元可以表达比传统神经网络中的神经元所能做的更多。虽然数学稍微复杂一些,但

你最终需要的这些网络的计算量更少。它并不是说它正在学习你无法用其他网络学习的东西。你可以给它相同的损失函数,相同的数据,它将收敛到功能上相同的模型,但你能够在更小的硬件上运行相同的模型。而且,呃,

我们觉得现在是围绕这个建立公司并将其产品化的良好时机。最初,麻省理工学院的一些人认为,哦,这实际上需要资金并转变为初创公司。目前,我们主要从事日常工作,例如如何为此构建高效的微调管道,如何找到想要使用此类网络的客户。

你的角色是什么?你的头衔是人工智能战略家还是编写代码?你在Liquid AI实际做什么?可悲的是,我没有编写代码。在很多方面,我都想念编写代码。也许我应该努力重新开始。但我目前主要关注人工智能公司领域以及我们应该做的事情。所以我正在帮助公司的战略。

这与机器学习开发的角色不同。另一方面,许多实际的机器学习开发都是极其细致的细节。因此,这主要是一门工程学科,我们在这个领域里做了很多尝试,你需要很多累积的小想法才能让事情成功。这更像是一门经验学科,而不是哲学项目。

如果你的专注于设定意识的实体能够启动,你会去那里全职解决这个问题吗?

我需要弄清楚如何分配我的时间。我认为也存在一定程度的互补性,但我同时也觉得,这项倡议现在需要我的投入,仅仅是因为目前从事这项工作的人不够多,而且他们不太明白为什么机器意识的概念不像现在这样流行,因为它并非完全荒谬,而且它非常非常重要。

我不认为它很快就会成为主流,但应该有一批人认为,哦,我的上帝,这需要完成。我们需要了解意识是如何运作的。实际上,这可以用计算机来完成。计算主义实际上是看待世界和看待心灵的正确方法。这些人确实存在。

但他们相对较少。我觉得我必须在旧金山发起这样的倡议的原因是,世界上没有哪个地方有更多的人认为这是一种真正的可能性。我觉得当我住在欧洲的时候,大多数人都……

对机器能够变得智能、变得普遍智能以及机器意识的可能性持非常怀疑的态度。即使在波士顿,我也觉得人们对此并不太好奇。

如果你在哲学领域,声称机器不能思考,永远不会思考,更容易获得支持,而不是告诉人们相反的情况,即它们实际上不太可能不能思考。而且它们不太可能与我们属于根本不同的系统类别。

当我在这里密歇根州立大学担任行政职务时,我们正在考虑从威斯康星州招聘一位教授。他的名字可能是托诺尼。你熟悉吗?是的。我的名字可能有点不对。是的,是的。所以我认为他有一个关于如何以机械方式定义意识的提议。我不知道你是否熟悉他的作品。

他试图建立一种功能主义的替代方案。功能主义意味着你可以描述一个物体,或者你可以描述关于一个物体做什么的物体类别。信息的意义是什么?它与其他信息的变化有什么关系?而且

从某种意义上说,这非常深刻。这与我们如何构建现实的认识论有关。想象一下,有一个水分子表现得像一个普通的水分子,但它是假的。在所有特性上,你甚至可以将其分解成一些模拟的或伪氧和氢,但它不是真正的。在你可能进行的所有测量中,它的行为都将相同。我认为这种水分子的概念毫无意义。

因为所有其他水分子都是通过对可观测量的正则化来构建的。但是我们处理的每一个物体都是对可观测量的正则化。因此,假装一个物体尽管具有相同可观测量却有所不同

对于那个物体类别来说没有意义。如果你想创建一个有意义的不同物体类别,你需要提出一个不同的特征。它会导致某种意义上的不同行为。否则,对于我们可以与之交互的物体等等,它将是相同的物体。他认为意识是略有不同的东西。

我相信他是一位伪装成神经科学家的深度哲学家。他是一位睡眠科学家。他看到了其他哲学家在过去大约6000年中没有看到的东西,这表面上是个坏消息。如果你有一个与众不同的想法,没有人看到你所看到的东西的可能性。

在人类历史上,你并没有通过在实验室里进行一些神秘的实验来做到这一点。你很可能错了。尽管如此,这样做仍然是必要的,但你需要冒险一试,因为如果没有人这样做怎么办?

另一件事是他实际上无法很好地表达这个理论。他无法写下让我满意的IIT形式化。相反,IIT的形式化似乎是为一个有缺陷领域的激励而设计的。

在我看来,这很像有人说,对于能够与黄金标准理论竞争的理论,它需要有公理和数学形式化以及预测。因此,他提出了一个他称之为公理的部分,它们只是他对意识的含义的描述。它在任何数学意义上都不是公理。

而且这个描述还不错。我对他在试图描述意识的方式上有一些异议。也许这种统一等等,有点

夸大了,因为它可能会掩盖处于意识边缘的体验的长尾。但作为一个课程,它还不错。其他人在提出的大多数意识理论,例如科学之手等等,并没有那么详细。我承诺要解释一些特征。所以它没有在那里逃避。这很好。数学化,

好吧,对于高级数学来说,它需要包含希腊字母。所以它有这个因子phi,它描述了信息的整合,但还不清楚标量是什么意思。高phi如何对应于意识的不同元素?

当时,我查看了一些这些论文,并没有完全满意,但我必须承认我没有投入太多精力。所以我理解phi的方式,而且我已经很久没有重新审视了,所以我的解释可能不再是当前的了,那就是某种相互信息度量。如果你将你的认知系统以各种方式切片,你会看到信息在系统中的相关程度有多大。是的,而且……

当人们对FHIR的计算方式提出异议时,他们只是发布了FHIR计算方式的新版本。

在个人互动中,我也强烈地感觉到phi本身是销售理论的核心部分,但它本身并不是理论的核心部分。它更像是一个替代品,直到他能够正确表达他所说的理论的核心部分。预测是,信息整合与新皮质相关,因此新皮质是有意识的,并且

在小脑中较低,因此小脑可能没有整合到我们的意识中,或者本身没有意识。

这在某种程度上是你所期望的,但还不清楚这是否是实证科学意义上的预测,在你做出预测之前你不知道这一点。这也导致了斯科特·阿伦森抓住的奇怪事情,斯科特·阿伦森指出,如果你有一种进行无聊操作的X或门,你可以对其进行优化以获得非常高的五,并且,

托诺尼咬紧牙关说,是的,也许它是有意识的。是的,我现在想起来了。我忘记了这件事。我不希望一个理论具有这些特性。但我对他理论的主要问题是他公开表示意识不一定是数字计算机无法拥有的东西。

但是数字计算机需要以某种方式组织,以便具有极高的火。因此,如果你有一个以完全正确的方式构建的仿生计算机,即使它是数字的,

电子等等,并且以这些位工作,那么如果它满足所有必要的属性,它就可以被认为是有意识的。但是冯·诺依曼计算机永远不可能是有意识的,因为它太线性了。它没有这个必要的档案。另一方面,如果你问他,他不会否认丘奇图灵论题。所以他承认每台数字计算机都可以是每一天比其他任何数字计算机更好,只要它有足够的资源,对吧?只要你有足够的内存并且愿意等待答案。

所以我们现在有了这种奇怪的情况,你得到了你的神经形态计算机,它说,哦,我的上帝,我觉得我有一种现象体验,因为我具有这种高度的信息整合。当你观察它时,你只会看到位正在这个神经形态计算机中处理,流经逻辑门。

但在以正确方式组织的门中。现在你在你的冯·诺依曼计算机上的模拟中模拟这个东西,它将在某种因果层面上模拟完全相同的位流。它将产生相同的输出,只是现在它在说谎。

这意味着神经形态计算机也在说谎。它产生这个输出不是因为现象机器不可能具有的某种属性。所以我们现在处于附带现象论的领域。所以,约舍,我想用最后一个问题结束。这是一个哲学问题。想象一下,我们有了来自星际迷航的传送器。它的工作方式是扫描你

摧毁你,将你的描述传输到伦敦,伦敦的传送器单元使用这些信息重新创建你的副本,然后你继续你的一天,参加你在伦敦的所有会议,然后你也许可以在最后传送回来,你对进入那台机器有任何顾虑吗?

我记得我过去有非常不同的看法。我认为这种传送非常令人不满意,因为你显然死了,然后你的克隆被复活了。另一点,这不是你,但我得出结论,身份实际上并不是一件事。它只是现在。我对过去的记忆将我与过去的实例联系在一起。而且没有实际的连续性。

我想在状态之间还有其他事情发生,你只是逐渐以非常粗略的近似值模拟你自己的连续性。例如,你可以将电子视为在宇宙中存在允许电子存在环境的任何时候都存在的东西。因此,电子是一个操作符,它管理着任何地方存在电子形状的孔,可以这么说。

并且这个操作正在发生。像电子这样的操作符是没有身份的东西。同样,加法也没有身份。如果你对两个数字执行加法,这个加法不是一个具有身份或连续性的东西。其他人使用的加法不是相同的加法或不同的加法。它只是相同的运算符。好的。

我得出结论,我们感知为物体的宇宙中的一切都是一个运算符。在某种程度上,我是一个复杂的运算符,它存在于宇宙中任何存在约舍形状的孔的地方。无论我的存在条件在哪里得到满足,我都会存在并体验自己为我自己。而且

要多次实现我的存在条件非常困难,因为有很多事情必须结合起来才能在一定体积的空间中获得记忆、特征和行为的整合。所以它可以显现,但无论发生在哪里,这就是我的位置。所以在我的当前想法中,我会说你不应该对使用这样的传送器有任何顾虑。

从唯物主义的角度来看,你的答案非常合乎逻辑。我必须承认,和你一样,在我的生活中,我对这个问题的看法也发生了变化。这就是为什么我有时会从哲学角度提出这个问题。是的,但我相信我们所经历的不适是我们建模现实的方式的结果,而不是现实本身的结果。

是的。

世界上其他具有这种历史并正在发展的物体。有些物体正在发展,最容易想到或建模、体验到这些正在发展的物体不仅仅是略微更新的不同实例,因为宇宙更新了它们并发布了新版本,而是我们将它们视为内在地发展的相同物体。我认为这只是一个不准确的表示。

很好。让我们到此结束。让我问你,有没有什么地方可以让那些对你的想法感兴趣的人找到对你思想的有组织的介绍?

我并没有真正对我的思想进行过超级有组织的介绍,这可能是应该做的事情。如果你不仅对关注我的推特感兴趣,还可以查看我的YouTube页面,在那里我收集了近年来用英语进行的大部分演讲和播客。

在过去的几年里,我的生活非常忙碌。我有孩子,还有很多项目正在进行。我觉得我很难抽出时间进行长篇写作。我希望在某个时候能够坐下来写一本长书,解释大部分事情。但目前,了解

我的想法的主要方法是,例如,收听我在卡尔斯传播大会上发表的一系列演讲,在这些演讲中,我试图确定我思想和思维的许多里程碑,并将它们放入一小时的演讲中。它并不难理解。你也可以在YouTube上找到它们作为播放列表进行组织。

很好。我会在节目说明中添加链接。再次感谢你的时间,约舍。我希望很快能亲自见到你。是的,很荣幸能参加你的manifold播客。谢谢。干杯。