AI in Legislation and How NYC Uses Data Science to Drive Policy
26:46 Share

阿拉·穆萨维(Alaa Moussawi)，纽约市议会首席数据科学家，分享了AI如何通过更智能、数据驱动的法律重塑立法流程。他讨论了议会对检索增强生成(RAG)模型和开源AI解决方案的使用，以简化工作流程并确保立法的原创性。他还分享了他对AI在政府未来发展、政策制定中透明度重要性以及为什么生成式AI应该辅助而非做出决策的看法。主要内容： 纽约市议会团队如何利用AI和数据科学推动基于证据的政策制定 透明、统计驱动的立法的意义 政府中基于云的AI解决方案与内部部署AI解决方案之间的争论 关于生成式AI和决策制定的常见误解 AI在政府的未来以及其在塑造政策中的作用 嘉宾简介：阿拉·穆萨维担任纽约市议会首席数据科学家，领导着数据科学家和软件工程师团队。他的数据团队分析了薪酬公平、老鼠和校车延误等问题，以支持数据驱动的立法，强调透明度和可重复性。软件团队致力于简化议会工作流程，自动化任务，提高效率，开发了CRM、仪表板和无纸化听证系统等开源工具。他们部署了机器学习模型，包括用于简化法律研究的RAG模型。穆萨维博士还在制作一个关于在安全环境中开发RAG模型的LinkedIn学习课程。 ---------------------------------------------------------------------------------------- 关于本节目：《勇敢的技术专家》旨在阐明新兴技术的机遇和挑战。使其易于理解，不那么可怕，更易于所有人接受！加入我们，一起揭开人工智能的神秘面纱，挑战现状，让普通人能够拥抱数字革命。无论您是技术爱好者、好奇的人还是行业专业人士，本播客都邀请您加入对话，共同探索人工智能的未来。《勇敢的技术专家》播客由Luke Mulks主持，他是Brave Software（Brave浏览器和搜索引擎的制造商，现在正利用Brave Search API在各个领域提供AI支持）的业务运营副总裁。 音乐：Ari Dvorin 制作：Sam Laliberte</context> <raw_text>0 您正在收听《勇敢的技术专家》的新剧集。本期节目邀请了阿拉·穆萨维(Alan Musawi)，他是纽约市议会首席数据科学家，领导着数据科学家和软件工程师团队。他的数据团队分析了薪酬公平、老鼠和校车延误等问题，以支持数据驱动的立法，强调透明度和可重复性。软件团队开发开源工具来简化议会工作流程，自动化任务并提高效率，例如CRM、仪表板和无纸化听证系统，

他们部署了机器学习模型，包括用于简化法律研究的RAG模型。在本期节目中，我们讨论了他所在议会部署AI技术的情况，包括使用生成式AI模型来简化立法工作流程，透明、统计驱动的立法的意义，以及他对AI在政府未来发展前景的看法。现在是本周《勇敢的技术专家》节目的时间。♪

Al，欢迎来到《勇敢的技术专家》。你今天过得怎么样？很好，谢谢你的邀请。是的，感谢你的到来。我一直很期待这一期节目。我们在纽约的AI峰会上，你也是演讲嘉宾之一，对吧？我想知道你是否可以与我们的听众分享一下你演讲的内容。是的，我做了一个关于纽约市议会在过去（在生成式AI之前）部署AI的成果，以及我们目前正在做什么来部署生成式AI以帮助简化纽约市议会的工作流程的演讲。

我还介绍了一些关于向量、向量嵌入以及它们与我们已部署的一些旧技术以及它们与RAG（检索增强生成）的关系的理论知识。我还讨论了AI的历史，以便让大家对为什么AI如此重要有一个初步的了解

它并不像人们想象的那么可怕或那么智能。是的，很好。我们来深入探讨一下生成式AI之前的机器学习。你能分享一下部署这项技术中学到的经验吗？或者，我们先给听众一些关于生成式AI之前的机器学习是什么的背景知识，因为有些人可能不太熟悉。好的，生成式AI之前的机器学习只是一个我……

我创造的一个术语，因为现在有了生成式AI，每当有人提到AI时，每个人都会立即想到ChatGPT。对。

我相当宽泛地使用机器学习和AI这两个术语。我认为它们或多或少可以重叠。我知道很多人会不同意这一点，但我不是来讨论这个问题的语义的。生成式AI之前的机器学习可能只是没有使用Transformer技术的机器学习。它不一定是Transformer技术，而只是不是我们现在常用的生成式……

AI技术。我举个例子，这样我们就能明白我的意思了。在纽约市议会，我是纽约市议会的首席数据科学家。我们通过纽约市的法律和预算。我们还起草纽约市的法律。这是立法部门的职能之一。

现在，我们从我们51名民选官员（议员）那里获得数万个立法提案。

如果我们为一位议员起草一项法律，我们需要确保他们是第一个想到这个主意的人，并且没有其他议员早些时候想到过这个主意。我们在软件工程方面。我领导两个团队，一个软件工程师团队和一个数据科学家团队，在软件工程方面。我们已经构建了处理整个流程的软件。它全部基于开源技术构建。很好，从头开始。

议员或其工作人员可以向我们的系统提交想法。它会记录时间戳，这就是我们如何知道谁首先想到它的方法。但现在我们有数万个这样的想法记录，我们需要查看是否存在任何重复项，如果我们正在为一位议员处理一个特定的想法。因此

这就是我们需要执行所谓的重复检查的地方。这就是我现在正在讨论的AI工具所涵盖的内容。它所做的本质上是查看所有现有的立法提案，并按重复检查的可能性对其进行排序。

某个选定的立法提案，即我们可能感兴趣起草的提案。因此，它将帮助我们确定是否有其他议员早些时候想到过这个主意

时间。这主要只是为了归属，还是你们也在关注围绕预先提出的立法的问题等等？帮我理解一下查找重复项的重要性。为什么这很重要？只是为了确保你没有重复工作，我猜？我不知道。这对我来说非常有趣，因为对于立法者来说，对于这种事情，我很想了解更多背景信息。当你撰写立法时，你想代表……

最初想到这个主意的那位民选官员。明白了，好的。所以你想确保你正在与他们合作，并且你想找到最初想到这个主意的人。好的，好的。这就是为什么你想执行重复检查的原因。酷，酷。很简单。你们这样做多久了？我的意思是，这就像一个相当了不起的努力，但你们已经组建这些团队有一段时间了？

我大约在2018年加入纽约市议会。好的。所以大约六七年前。当我加入纽约市议会时，这项技术还不存在。有一些人负责网站，还有一些人从事数据科学工作。但是当我加入时，我能够组建两个团队，一个软件工程团队，然后

从头开始构建开源软件，为纽约市议会的具体需求量身定制。然后是一个数据科学家团队，他们的能力更多地体现在统计方面，以便我们能够利用统计数据来推动立法，并使立法更基于证据、更以事实为导向。

太棒了。是的，很好。是什么促使你们转向RAG模型，它们在立法工作流程中解决了哪些独特的挑战？它并非专门用于立法应用，但RAG模型恰好非常适合立法应用。我可以先退一步解释一下RAG模型是什么。是的，是的，太好了。是的。RAG模型是一个可以利用的模型

信息数据库并查询这些信息，以便它可以为您提供您可能提出的问题的答案。因此，您将用一个问题来查询它，它将在数据库中找到相关信息，然后它将提取这些信息，您可以将其想象成将我们在数据库中找到的信息提供给ChatGPT，并告诉它根据这些信息的内容做出回应。

这样做的原因是您可以限制模型的创造性。有时我们不希望模型非常有创造力。对。有时模型会变得非常有创造力，我们称之为

幻觉。没错。是的，是的，是的。完全正确。所以这是一个非常好的处理方法。此外，您可以让模型根据您希望它响应的信息做出响应。因此，RAG模型或RAG非常适用于许多领域，在这些领域中，您拥有良好的文本信息来源，并且您

在法律领域，情况就是这样。是的。你一直对处理诸如与城市、政府和类似事物的数据方面感兴趣吗？还是你偶然发现了这个领域？我只是很好奇。我曾经是纽约市教育局的一名教师。好的。那是一段非常短暂的经历。我辅修教育学。我很快又回去攻读物理学博士学位。毕业后，

我一直坚信这一点。当我年轻的时候，我认为政府层面的决策，影响大量人群的决策是基于定量分析的。随着年龄的增长，我发现事实并非如此。我一直非常热衷于使这些决策基于定量分析。我认为这是真正推动我们社会朝着……

积极的轨迹前进的一种方式。太棒了。太好了。是的，我认为，有没有一些与在你的工作中处理RAG模型相关的实际限制，或者你认为值得分享的任何有趣的事情？任何障碍、轶事或任何有趣的事情？当然。我认为实际限制中最大的一点是，现在我们已经制作了原型，我称之为原型，但我们可以很容易地部署它。我们一直在使用CPU集群来运行这些模型。因此，社区、AI社区已经合作开发了一些开源的实现。Gerganov，我忘了他的名字，可能是Gary Gerganov，创建了一个名为Lama.cpp的东西，它允许你使用C++运行这些Transformer模型。并且

对于非技术人员来说，这仅仅意味着你可以比用Python运行它更高效地运行它，否则它将用Python运行。因此，你可以用CPU运行它，而CPU远不如GPU高效。所以现在，这就是我们正在做的。这是一个实际的限制。如果我们真的想让它起飞，我们目前正在购买GPU。

这里有一些复杂性，因为如果你想购买一套，比如说，H100、A100或AMD的Mi300X、350X，你真的需要考虑这些系统的功耗和散热需求。它们消耗大量电力，因此会产生大量热量，你需要确保你有足够的散热能力来处理。所以……

我们目前没有购买任何如此高端的技术，而是可能使用一些，基本上获得一套显卡来完成这项工作。当我们交付一些项目来展示其能力和

议会意识到这绝对是必要的，并且使工作人员的工作变得如此简单，并提高了生产力和效率，我认为他们会理解升级的必要性。但是仅仅使用GPU，我们就可以轻松地启动并运行它。

太棒了。怎么样？我将要有点跑题，但我真的很好奇，当你解释这一点时。你在这里所做的事情似乎与典型的市政府处理的事情大相径庭，对吧？我的意思是，你有一个数据科学家和软件工程师团队，对吧？如何应对这种情况？人们是否乐于在市议会层面引入这些努力？是否需要大量说服人们，或者是否对此持怀疑态度？或者，我只是很好奇你的经验。

是的，这并非偶然。这并不是我的功劳，就应用而言，但就做出这个决定而言，这并不是我的功劳。我被一位非常支持我的主管聘用，他……

打算利用技术来推进纽约市议会立法部门的运作方式。实际上，我的背景是计算物理学，所以我

非常擅长使用电脑，但我没有软件工程师的背景。好的。我被要求做很多软件工程工作，我一开始犹豫了。最终我们达成了一致，我继续做了。我学习了很多软件工程知识，但我内心深处是一位科学家。所以，是的，我得到了这个机会。有一个愿景，让我们……

在技术上胜任，我想，在议会，他们需要有人来实现这个愿景。所以我不用做所有的斗争。有人愿意为我做所有这些斗争，从本质上说，让我们达到能够……

有机会坐下来使用技术和科学，并使其成为现实。将我们的精力集中在真正需要的地方。太棒了，是的，是的，是的，太好了。是的，所以我的意思是，现在有一个很大的推动，要把所有东西都迁移到云端。你是迁移到云端的支持者，还是想保留本地部署？

是的，每种方法都有其优缺点。迁移到云端的一个优点是稳定性。这些云提供商可以为您提供备份。他们的互联网和电力几乎从不中断。如果中断，他们可能会将您备份到另一个区域，并确保您保持在线状态。

如果您使用第三方供应商，他们可以轻松连接到云服务，并且他们已经知道这些服务的设置方式。因此，他们很容易与之合作。就我个人而言，对于我们在议会所做的事情，我更倾向于本地部署，并确保我们所做的一切都在本地部署。原因有几个。首先，如果您想确保……

数据的完整性和环境的安全性，它必须是本地部署的。如果它由云提供商托管，那么云提供商至少是您信任其保管您数据的对象。对。这取决于您的设置方式，如果您使用第三方供应商等等。另一个想法，另一个我喜欢本地部署的原因是……

我希望拥有完全的控制权和访问权限，并且我希望能够完全按照我的意愿修改内容。一些云提供商使您可以轻松地按照您的需求修改内容。但我认为本地部署与您自己从开源开发所有内容的情况非常匹配。是的。如果您想自己定制所有内容，并且您希望能够更改任何方面，

完全控制您的硬件和软件是最佳选择。那么没有人可以阻止你做任何事情。你的限制是你自己的限制。它们不是外部强制施加的限制。

说得有道理。这是一件这样的事情，你知道，我们Brave公司也很重视这一点。就像一件这样的事情，看到……很酷，非常重视在本地，比如在客户端，为用户做事情，对吧？就像我们有一个广告模型，它基本上可以在浏览器上本地匹配广告，而不必将您的数据泄露给云端的第三方来完成所有这些事情。

你可以在设备上完成，对吧？就像拥有这种用户代理权，对吧？就像控制一样，但你在这种其他情况下拥有这种控制权，对吧？你在处理，我的意思是，你在城市层面处理，但我的意思是，有很多信息你需要确保……

这取决于你的工程师的专业水平。是的。以及他们的带宽。有些人被迫依赖第三方供应商。对。这在云环境中效果更好。我认为大多数人倾向于转向云环境，我认为这是因为它更容易集成，但我很高兴Brave公司也在摆脱这种困境。不，我们非常重视，是的，是的，是的，太棒了。

你必须为这样的事情使用一些东西，但非常重视用户优先。我认为你提到你正在做所有这些开源的事情，对吧？听起来你在这里做了一些非常有趣的工作，但是还有其他领域你……你试图建立一个其他城市可以使用的模型吗？你是否与其他正在尝试做类似事情的城市的同行合作？你对这种长期的愿景是什么？我领导两个团队，一个软件工程师团队和一个数据科学家团队。

我最大的愿景，我加入纽约市议会担任首席数据科学家的原因是，我希望看到立法更数据驱动、更基于证据。

这与AI无关，公平地说。是的，很好。所以我们不想使用黑盒方法。我们想使用透明的统计方法，我们可以证明这一点，我们可以向公众解释我们为什么根据分析进行或做出判断或评估，以及为什么我们……根据数据做出这样的决定。所以

这真的是我加入纽约市议会的真正原因。我很想能够产生影响，甚至不仅仅是在地方层面，我认为这在联邦层面更为常见，因为他们有更多的资金。对。即使在城市层面，这也很少被提及。只是我们没有像他们那样做事的资源。但我们需要从城市层面和州层面开始这样做。我没有在州一级看到它。并且

如果我能以任何一种方式产生重大影响，那就是使这种基于数据、基于事实的立法成为各级政府的标准，如果我能影响其他地方，我很乐意在软件工程方面这样做，能够

推动、构建完全符合立法部门需求的软件，极大地提高了立法工作人员职能的效率。这也可以应用于其他城市。但是不同的城市会有自己的工作流程，所以需要定制。

我将来有一天很想开源我们所构建的东西，也许这是我们应该考虑的事情。我们只是……对。还有很多事情要做，很多唾手可得的成果，我们还没有做到。我的意思是，听起来你们在管理很多事情，但听起来你们正在使用正确的要素，对吧？就像你们正在做所有这些开源的事情，你们真的在跟踪一些棘手的问题。但是是的，我的意思是，我认为这可能是一些非常有用的东西，其他人会想要做。因为他们……

我认为很多问题是人们对如何以及在哪里开始这些事情有疑问，但在纽约市这样做，这是一个如此庞大的数据集，以及所有这些移动部件，对吧？这真的很酷。我很期待看到你们会做什么。我认为这真的很棒。让我们谈谈一些误解。你看到的一些关于AI领域的常见误解，或者你在政府层面遇到的误解。

哦，当然。对AI存在普遍的误解，这并非特定于政府层面。即使是在数据领域的同行中也是如此。我认为最简洁的表达方式是，不应将生成式AI用于决策。我认为存在一种巨大的误解，即您可以使用生成式AI来回答问题，做出决策。

它可以在决策过程中充当助手，但不应用于决策。这是我在昨天的演讲中谈到的内容。我可以……你有几分钟时间吗？我可以解释一下。不，这就是你在这里的原因，伙计。我想听听。这是一个非常棒的观点，我们想把它传播出去。好的。大型语言模型……

经过训练可以预测给定一系列单词后最有可能出现的下一个单词。因此，它们已经吸收了数TB的数据，维基百科文章、互联网文章、书籍、百科全书，等等。因此，它们已经很好地学习了人类的语言模式。这就是它们所做的全部工作。因此，大型语言模型经过训练只是为了预测下一个最佳单词。

标记或单词。如果我问模型，鸡为什么过马路？我会输入“鸡为什么过马路？”，它会生成单词“the”。就是这样。模型已经完成了它的工作。“鸡为什么过马路？”“the”。然后它会获取它，ChatGPT会将其重新输入模型。现在它会说，“鸡为什么过马路？”“the”，它会生成单词“chicken”。

现在你获取，你重复这个过程。你获取“鸡为什么过马路？”“the chicken”，你将其输入模型，它会生成单词“the chicken crossed”。现在如果你将“鸡为什么过马路？”输入ChatGPT，它不会说“the chicken crossed the road”，因为我只是举个例子。对，当然，当然。所以它正在做的是，它正在迭代地预测下一个最可能的单词，持续不断地进行。当它预测一个单词时，

它不知道序列中接下来会出现哪个单词。所以当它说chicken时，它不知道接下来会说crossed。当它说the chicken crossed the road because of the water on this side时，它不明白。它不知道接下来一句话会说什么。所以它……

它是在不知道下一句会说什么的情况下生成第一句话的。公平地说，现在它将使用它生成的第一句话中的信息来生成下一句话。但实际上，这里最大的收获是，现在当我对你说话时，我的脑海里有一个想法，我心想，我该如何用词语向你传达这个想法，让你理解？这是一个存在于我脑海中的想法。

这种思维过程与AI的运作方式完全不同。对。AI只是在使用它所接受的训练。它已经看到了不同季度中单词的模式，并且试图根据你开始使用的提示将非常可能的单词模式串联起来。这就是它所做的全部工作。所以……

对于所有担心AI会接管世界的人来说，你们不必害怕。但对于那些认为AI可以为他们做出决定的人来说，你们需要明白，这不是这项技术的设计方式。这不是它的设计目的。还有其他机器学习模型，你将根据大量数据训练模型，

来预测这是否是猫，而不是猫。因此，它学习预测图像中是否有猫，或者图像中是否没有猫。这就是它所做的。这是一个很好的决策工具。但生成式AI不是。这不是重点。例如，你不应该问它是非问题。

你可以要求它解释事情并教你一些东西的历史，但不要要求它做出判断。对，对。不，很好。很好。我很感激你抽出时间来做这件事。我认为这些是很多人不理解的重要细微之处。那么，作为纽约市议会的首席数据科学家，你如何设想AI在未来五年左右或两年内，或任何感觉合理且不像笑话的时间段内在政府和政策制定中的作用？

我认为AI不会参与政策制定，但它将成为一个工具，帮助政策制定者更高效地完成工作。这回到了我们之前讨论的关于决策的问题。它不应用于自己做出决策。

如果你想做出决策，或者你真的想在政府和政策制定中推动决策，那就是你想要使用统计数据的地方。因为我们可以分析数据，我们可以理解为什么决策或为什么数据告诉我们应该做出一个决定而不是另一个决定。但是使用生成式AI来做到这一点并不是正确的方法。

酷。好吧，我们今天讨论了很多内容。有没有我们没有讨论的内容，你认为我们的听众可能想了解或知道你正在做的事情，或者你只是想说出来的事情？不多。我想我目前正在开发一个LinkedIn学习课程。哦，酷。关于RAG。从本质上讲，我将逐步讲解如何在您自己的机器上使用纯开源技术开发本地模型。

带有一些轻量级的理论和应用，你知道，以及相关的编码。

这可能会在明年年中发布。酷。酷。太棒了。如果人们想关注你的工作、打个招呼或了解更多信息，他们可以在哪里找到你？我没有很好的渠道，但LinkedIn可能是最好的渠道，我的名字在那里。这就足够了，伙计。很好。好吧，我真的很感激你抽出时间来这里和我们谈谈。你正在做的事情非常有趣，期待看到它的发展方向，并希望再次与你联系，看看情况如何。当然。非常感谢你抽出时间讨论这个问题。谢谢，伙计。

感谢收听《勇敢的技术专家》播客。为了不错过任何一集，请确保在您的播客应用程序中点击关注。如果您还没有切换到Brave浏览器，您可以今天免费下载它，网址为brave.com，并开始使用Brave Search，它使您可以私下搜索网络。Brave还可以保护您免受广告、跟踪器和其他在网络上跟踪您的令人毛骨悚然的东西的侵害。