💤 Neurosymbolic AI - A solution to AI hallucinations🧐
18:37 Share

好的，让我们来仔细分析一下。今天我们将深入探讨人工智能编造内容这一令人着迷，有时又令人沮丧的世界。你给我们提供了一堆资料，包括文章、研究论文、笔记，所有这些都集中在一个关键挑战上：人工智能幻觉。

我们这次深入研究的目标是去伪存真，抓住问题的核心。了解为什么这些先进系统会自信地编造信息，这会产生什么实际影响，以及关键的是，领先的研究人员和公司正在采取哪些措施来解决这个问题。

你可以把这看作是你快速了解人工智能目前面临的最大障碍之一的捷径。没错。你的资料来源首先提供的一个关键见解是，人工智能幻觉不仅仅是简单的错误。它们是人工智能模型（特别是大型语言模型）作为事实呈现的根本上不正确或具有误导性的结果。

而且通常它们会以令人惊讶的自信程度出现，与其说是意外故障，不如说是这些系统构建方式的副作用。一个副作用。所以它不是一个错误。它是，嗯，是我们非常不喜欢的一个特性。在某种程度上，是的。正如你的资料来源所解释的，像LLM这样的模型主要被优化为产生似是而非、连贯的语言。它们基于从这些庞大的数据集中学习到的统计模式。它们擅长预测序列中的下一个词，使文本听起来流畅。

但至关重要的是，这个过程本身并不优先考虑事实的准确性。它们不像传统的数据库那样知道事实，也不像真正理解现实世界那样拥有真正的理解能力。好的，所以核心机制是预测语言的合理性，而不是检查真相。这实际上解释了很多问题。但为什么这会导致生成完全错误的东西？这种错误现实背后的机制是什么？

嗯，这实际上源于其概率性质。当逐个标记生成文本时，基本上是逐词或逐词的一部分，模型总是选择统计上最可能的下一部分。因此，如果训练数据模棱两可，或者存在缺口，或者模型的提示超出了其核心知识范围，

那么，这种统计可能性就会偏离现实。一步错步步错。没错。在生成过程的早期做出不正确的选择可能会级联，导致整个句子甚至整个段落都是虚构的。这就像打了兴奋剂的自动更正，自信地完成你的想法，但内容完全错误。但人工智能只是不断地基于这个错误进行构建。这是一个很好的类比。错误是复合的。

而你的资料来源中强调的另一个主要促成因素是训练数据本身。对。它从中学习的东西。是的。

该数据中存在的任何偏差、不准确之处或缺口都可能反映在其输出中，有时甚至会被放大。你的资料来源甚至提出了一个既引人入胜又略微令人担忧的概念：模型崩溃。模型崩溃。那是什么？这是指用人工智能自己生成的数据训练新模型的想法，随着时间的推移，可能会降低未来人工智能生成的质量、多样性和事实基础。哇。人工智能教人工智能，它们都开始忘记什么是真实的。这是

这是一个你绝对不希望出现的潜在反馈循环。这绝对是一个重大的长期担忧。然后是架构限制。现代转换器模型有时被称为具有有限的注意力窗口。想象一下写一封很长的电子邮件，当你快写到结尾时。很难记住最开始几句话的确切措辞，对吧？是的，绝对的。嗯，转换器在生成非常长的段落时，可能会难以保持完美的连贯性和事实一致性。

这可能会导致基于文本较早部分的虚构内容，或者只是失去主线。所以它们在进行的过程中会忘记自己想法的开头。在某种程度上，是的。算法缺陷也会造成影响。虽然它们可以模仿逻辑结构，但目前的模型往往缺乏真正的深度推理能力。

而且至关重要的是，它们经常表现出过度自信和校准不良。它们可能会对完全错误的信息非常肯定。这种过度自信正是幻觉对用户如此危险的原因。如果人工智能听起来很有权威性，你自然会倾向于相信它。绝对的。这对用户信任是一个重大挑战。

坦率地说，也是安全问题。最后，即使你如何提示人工智能也很重要。嗯，模棱两可的问题或对模型没有见过太多数据的非常具体、模糊的信息的要求，可能会促使它编造听起来合理答案，而不是承认它不知道。

你的资料来源确实指出，在提示中提供更多上下文通常有助于减轻这种情况。好的，所以幻觉的根源很复杂。它是人工智能的基本设计、它学习的数据，甚至我们如何与之交互的混合体。但这里才是真正有趣的地方，也是为什么这不仅仅是一个技术上的好奇心。这些不是抽象的问题，对吧？它们具有普遍存在的、重大的现实世界影响。

为什么作为听众的你应该真正关心这个问题？因为这些幻觉正在出现在关键领域，并造成非常严重的影响。例如，以法律部门为例。你的资料来源重点介绍了像Mata诉Avianca这样的引人注目的案例以及迈克尔·科恩团队的情况。哦，我记得读过这篇文章。是的，律师提交的法院文件引用了人工智能生成的完全虚构的法律案件。虚构的案件，你的意思是像

根本不存在的法院判决或判例。没错。是的。包括虚假的引言、虚假的引用。完全编造的。这显然导致了对相关律师的制裁。你的资料中引用的研究表明，LLM对特定法律查询的幻觉率可能高得惊人。有多高？在某些测试中高达88%。88%？这太惊人了。那几乎肯定错了。这是一个巨大的问题。

后果是浪费时间、毁掉职业声誉，并可能影响司法本身。在医学等领域，风险必须更高。高得多，是的。对患者安全有直接影响。你的资料来源提到人工智能将虚假的证书归于医疗专业人员，推荐不安全或不合适的治疗方法，甚至编造医疗统计数据或期刊引用。

一项研究发现，人工智能生成的医学期刊引文中超过40%是虚构的。40%的虚假引用可能会直接导致误诊或非常危险的治疗决策。绝对的。它从令人尴尬或代价高昂转变为可能危及生命，速度非常快。商业世界呢？那里也发生这种情况吗？是的。

哦，它根本没有免疫。幻觉会影响财务预测，研究表明，收益预测的幻觉率约为27%。27%。哇。是的，对金融稳定和监管备案至关重要的风险模型也受到了影响。

你的资料来源引用了约14%的SEC备案和22%的反洗钱报告中追溯到人工智能输入的错误率。总的来说，幻觉正在导致企业战略决策错误（占比41%），重要的是，正在损害客户信任。大约是33%。所以它会影响底线。损害关系会导致糟糕的战略对话。

电话。你再次提到了人的方面，即权威偏差。我们天生就倾向于相信那些看起来像知识渊博的来源自信地提出的东西，这使得这些自信的人工智能虚构内容如此具有说服力。

而且很危险。正是如此。这确实强调了仅仅依靠纯技术手段是不够的。教育用户了解人工智能的局限性，并促进对人工智能输出的批判性思维，是解决方案中不可或缺的一部分。因此，鉴于这个问题在多个行业的规模和严重性……

正在采取什么措施？研究人员和公司实际上是如何试图控制这些幻觉的？嗯，你的资料来源概述了一种多层次的方法，就像一种从不同角度解决问题的防御策略。

一个关键领域是你可以称之为数据中心策略。这侧重于提高人工智能学习的燃料质量，使用高质量、经过事实核查和多样化的训练数据来构建更可靠的基础。对。就像确保人工智能阅读的图书馆里充满了准确的书籍，而不是以事实形式呈现的阴谋论和小说的那样。没错。这是一个很好的说法。然后是模型级别的干预措施。这些涉及修改人工智能模型本身。

技术包括正则化，这基本上可以阻止模型过度专门化其训练数据，防止它在看到略有不同的东西时进行虚构，以及微调。这意味着在较小、经过精心策划的数据集上重新训练预训练模型，专门设计这些数据集是为了教会它如何更准确或更不容易产生幻觉。所以试图将事实准确性更深入地融入模型本身，这是否包括试图让AI在不确定时发出信号？

人工智能真的能知道自己什么时候在撒谎吗？嗯，这就是量化不确定性的目标，是的。校准模型的置信度分数，以便它们实际上反映其输出正确的统计可能性。这是一个重大的技术挑战，但对于用户信任至关重要。如果它说它有99%的把握，你希望这意味着什么。绝对的。最后，还有输出级别的安全措施。

这些发生在人工智能生成其响应之后。就像让其他东西检查人工智能的答案一样。外部事实核查模块。这是一种方法，是的。你的资料来源提到了像Open Fact Check这样的框架，该框架旨在获取人工智能的输出并根据可信的外部知识来源验证其声明。也许最重要的保障措施，尤其是在法律或医学等关键领域，是人工监督。循环中的人。

没错。合格的专业人员在使用或采取行动之前审查和验证人工智能输出目前至关重要。循环中的人仍然至关重要。所以这不仅仅是修复人工智能的问题。它还包括围绕它构建系统并教育使用它的人。使用特定的提示也有帮助，你之前提到了。是的，绝对的。

清晰、具体的提示是一种用户端安全措施，可以引导模型做出更准确的响应，减少它需要猜测的可能性。但是，除了这些当前方法之外，未来还有什么？研究人员正在探索哪些先进领域来构建更可靠的人工智能？一个主要的前沿是所谓的检索增强生成，或R-REG。对，好的。这里的核心思想非常强大。

它不是仅仅依赖于几个月或几年前嵌入其训练数据中的知识，

人工智能系统在查询时从外部权威知识来源检索相关信息，就像那时一样。是的。它使用检索到的信息来生成其响应。所以它会实时查找信息，就像在回答之前进行非常集中的网络搜索一样。正是如此。它以可验证的信息为基础，通常会引用它检索到的来源。这大大提高了准确性和透明度。这听起来像是向前迈出的一大步。

减少对可能过时或有缺陷的内存的依赖，更多地依赖实时事实核查。是的。这是一个非常活跃的领域。并且ARAG上出现了创新的变化，例如Debate Augmented RAG或DRAG。增强辩论。是的，在这里，系统内的不同人工智能代理可能会争论检索到的文档，甚至争论主人工智能生成的文本。

它们试图在呈现最终答案之前在内部查找不一致之处或潜在的虚构内容。人工智能与自身争论以得出真相。这太吸引人了。这是一种巧妙的内部验证方法，不是吗？但是，我们的目光不在灵丹妙药上。你的资料来源指出了幻觉对幻觉的挑战。

如果检索到的信息本身是错误的，或者人工智能错误地处理或错误地综合正确的检索信息，它仍然可以产生虚构的结果。因此，即使它正在检索实时数据，“垃圾进，垃圾出”的问题仍然适用。说得对。还在探索什么？另一个重要的先进领域是神经符号。

人工智能或NSAI。神经符号。好的，把它分解一下。这种方法旨在结合神经网络强大的模式识别和学习能力（为当前LLM提供动力的类型）以及传统符号人工智能的显式知识表示和逻辑推理能力。所以就像将这种直观的模式识别与硬规则和逐步逻辑相结合一样。没错。可以认为神经部分提供了直觉和流畅性，而符号部分提供了事实约束和逻辑验证。

NSAI系统可以使用结构化知识（如知识图谱、事实和关系数据库以及逻辑规则）来检查和验证神经网络的输出，基本上确保它不会与已知事实相矛盾或违反基本逻辑。

这似乎对于防止事实幻觉非常有前景。就像它内置了一个基于逻辑的内部事实检查器一样。是的。一个关键的潜在好处是增强的可解释性XAI，因为系统的一部分是基于明确的规则和知识。你通常可以追溯人工智能得出结论所采取的推理步骤。它有助于解决这个黑盒问题。这对信任来说非常重要。绝对的。

你的资料来源指出，NSAI已经应用于医疗诊断、金融欺诈检测和自主系统等领域。所以不仅仅是理论上的，而且已经有实际应用了。那里的障碍是什么？听起来很复杂。是的。为符号部分创建和维护结构化知识库可能很复杂且费力。集成神经和符号组件也带来了计算挑战。

但有趣的是，你的资料来源指出，一些研究人员认为NSAI可能是规模定律的对立面。规模定律的对立面。意思是，意思是，表明你可能能够用比简单地无限扩展神经网络更少的大型数据集和更少的计算能力来实现更强大、更可靠的人工智能。

这将是人工智能发展的一个重大转变，不是吗？目标是效率和可靠性，而不仅仅是规模。一个非常有吸引力的前景，是的。现在，也许我们应该放大一点，看看更广阔的领域。例如，我们如何衡量对抗幻觉的进展，以及监管和信任方面的情况？好主意。衡量纯粹虚构的东西听起来很难。

你怎么衡量幻想？这确实具有挑战性。衡量幻觉率对于跟踪进展和比较模型至关重要，但是，这很难。你对什么才算幻觉有定义不一致的问题，以及数据泄漏的风险，即模型可能无意中在测试数据本身进行训练，从而歪曲结果。因此，测试本身必须不断发展。是的。开发动态测试集非常重要。像Hellen's和Faith Judge这样的基准正在出现，试图标准化评估。

像Vectora这样的平台正在维护排行榜，跟踪著名LLM的幻觉率。这些排行榜告诉我们什么？根据你的资料来源，主要模型目前的表现如何？嗯，你的资料来源在2024年末和2025年初引用的最新数据显示，根据基准和任务的不同，比率各不相同，这很自然。

在某些测试中，像GPT-4-0这样的模型据报道在1.5%到1.8%的范围内。Gemini模型看起来更好，大约在0.7%到0.8%之间。一些LAMA模型略高一些，可能在5.4%到5.9%之间。好的，模型之间仍然存在相当大的差异。是的。但重要的是，你的资料来源指出，有证据表明，各行各业的幻觉率正在逐年大幅下降。

因此，即使绝对零实际上无法实现，或者甚至还不是正确的目标，也正在取得具体的进展。丹妮尔·普莱特卡：监管方面呢？政府或其他机构是否正在介入以强制执行可靠性？马克·西森：关于监管的讨论非常活跃。

正如你的资料来源所指出的那样，一个关键的争论点是，是监管人工智能的发展本身，还是主要关注监管人工智能系统的使用。啊，发展与应用的问题。没错。你的资料来源强调了像A16Z这样的公司所倡导的监管使用的观点。他们将其与互联网在其早期阶段的处理方式进行了比较。

论点是，现有的法律可以解决人工智能使用造成的损害，而过于严格地监管发展可能会扼杀创新。因此，要规范人工智能的应用，而不是人工智能本身的技术。这似乎是鼓励发展的务实做法，但它是否充分解决了技术固有缺陷（如幻觉）引起的问题？

这正是这场辩论中的症结所在。你的资料来源还指出，通过合同进行的私人治理正在发挥作用。公司正在向他们合作的人工智能供应商要求一定的可靠性和准确性标准。因此，市场也在试图在那里强制执行一些问责制。是的，看起来是这样。然而，最终，建立信任至关重要。幻觉直接损害了这种信任。可解释性（如NSAI的目标）和用户教育以对抗过度依赖等偏差

这些都是难题的关键部分。你的资料来源通过一个最终的重要问题将我们带回了更大的图景。幻觉是否是发展通用人工智能AGI的根本瓶颈？分享的观点是，嗯，很可能是这样。如果AGI旨在在广泛的任务中拥有类似人类的理解和能力，那么它真的需要能够可靠地区分真假。

如果一个系统不能做到这一点，很难想象它能够实现真正的通用智能或可信赖性。解决幻觉似乎是未来更强大人工智能的基础。因此，为了总结对您共享的资料来源的深入研究，我们已经看到人工智能幻觉是一个复杂的多根源问题。它们嵌入在这些概率语言模型的工作方式的本质中，并且它们正在对创造产生重大影响，有时甚至是危险的影响。

生活的关键领域。解决这个问题需要一种真正多方面的方法，清理训练数据，使用正则化和微调等技术改进模型本身，构建外部检查，并探索像ARAG这样的令人兴奋的新领域，该领域将响应建立在实时检索的基础上，以及神经符号人工智能，将学习与

与逻辑相结合。对。幻觉率下降表明确实取得了进展，但在基准测试、寻找正确的监管平衡以及最终建立持久信任方面仍然存在挑战。这次深入研究确实揭示了一个快速发展的领域，其中技术创新、负责任的部署和知情的用户互动都是必不可少的。也许你应该考虑一下。如果人工智能系统在不确定答案时能够更好地准确地发出信号，

这将如何改变我们与它们互动的方式？这将如何改变我们对它们信息的依赖程度？是的。我们最终能否有信心相信他们以高度自信呈现的信息？或者，无论技术如何改进，幻觉问题是否已经播下了对人工智能对真理的主张的永久怀疑的种子？绝对值得思考。