从隐私问题到无限潜力,人工智能正在迅速影响我们不断变化的社会。在本季《勇敢的技术专家》播客的新节目中,我们将揭开人工智能的神秘面纱,挑战现状,并赋能普通人拥抱数字革命。我是你们的主人,Luke Malks,Brave Software的业务运营副总裁,Brave Software是尊重隐私的Brave浏览器和搜索引擎的制造商,现在正利用Brave Search API为人工智能提供动力。♪
您正在收听《勇敢的技术专家》的新剧集,本剧集的特色嘉宾是James Massa,他是摩根大通工程和架构高级总监,拥有六项专利,涵盖人工智能数据质量、云成本管理、多教师大型语言模型蒸馏和模型自我修复等主题。他拥有哈佛大学计算机科学系硕士学位和纽约市立大学金融硕士学位。在本集中,我们讨论了……
人工智能的重要性,尤其是在区块链和去中心化金融领域的应用;金融领域的伦理考量以及确保负责任地使用人工智能所面临的挑战。我们还探讨了人类专家在管理人工智能技术中的作用以及为采用人工智能的组织提供的建议。现在是本周《勇敢的技术专家》节目的时间。♪
James,欢迎来到《勇敢的技术专家》节目。你今天过得怎么样?我很好,Luke。非常感谢你邀请我。是的,感谢你来。我一直非常期待这次采访和讨论。你能告诉我们一些关于你的背景以及你如何找到现在的工作吗?
当然可以。你知道,我对家庭的信仰帮助我掌握了性格的基础,这在所有通常的方式上都帮助了我。从那时起,我最近在从信任的角度发展负责任的人工智能方面取得了一些成功。我发现负责任的人工智能归根结底就是你可以信任的人工智能。
所以,例如,当你雇佣一个人来做一份工作时,你会希望信任他们能够完成这项工作。同样,对于人工智能,我想做的是通过向它提问来采访我将要使用的大型语言模型。如果我喜欢答案,那么我将进行背景调查,
如果背景调查顺利进行,那也很好。例如,大型语言模型是如何训练的?它如何处理你的数据?你可以向它询问推荐信。你可以看到其他人的经验,对吧?所以这些都是类似的信任因素。总的来说,大型语言模型正在做人类过去做的事情。所以你想要人类最想要的东西,那就是你想要信任他们。是的。
很有趣。不,这是一个非常酷的视角。你认为人工智能对行业或你的行业的一些早期最大好处是什么?
好吧,再说一次,我喜欢你可以信任的人工智能。例如,我一直在研究一些区块链论文。区块链就像信任问题的中心,因为在区块链中,有很多违规行为发生。我们许多人都知道Sam Bankman Free的挑战。因此,我参与的一些论文一直在努力,例如,建立去中心化金融项目的信任分数,诸如此类的事情。是的。
有趣。有趣。是的,我认为这是一个非常好的观点,因为很多噪音和事情都会在区块链领域的噪音中迷失。但这最终归结为拥有这种透明的金融手段。太棒了。你想详细介绍一下DeFi方面或区块链方面吗?例如,我们正在研究智能合约。
以及围绕它们的去中心化金融项目,并试图结合从代码漏洞、可疑交易、智能合约的反常价格变化以及社交媒体诈骗情绪等角度进行分析。
诸如此类的事情。因此,如果我们制作四个大型语言模型来从这四个不同的角度进行观察,我们将获得更好的观点和更好的想法,判断这是否是一个骗局,这是我参与的一个项目。然后我给了一个信任因子……
顺便说一句,我和肯尼索州立大学合作,所以不仅仅是我一个人。我有一些朋友。这始终是一项团队工作。顺便说一句,几个因素,反常的价格变化、社交媒体情绪以前从未被研究过。这非常有帮助,它帮助我们为DeFi项目设定了一个信任因子。这非常好。然后你可以知道你是否想使用这个项目以及你是否想从中获取智能合约。所以我们非常喜欢这一点。
我们还可以从多个角度做的事情是,如果我们使用大型语言模型蒸馏,这可能是DeepSeek正在做的事情,顺便说一句。大型语言模型蒸馏是这样的一个想法,你可以走出去,你可以获取超大规模的大型语言模型,例如OpenAI、Gemini等等等等。你获取其中一个大型语言模型,向它提出一些问题,获得结果,并将结果保存在训练数据集中。
然后,你使用该训练数据集来训练你自己的较小的本地模型,你不需要为对这些超大规模模型的每次调用付费。它运行速度更快,在本地运行,并且始终可用。所有这些都是非常棒的事实,而且它可能更便宜。因此,你可以看到我们现在在新闻中听到的一些其他大型语言模型可能通过这种方式工作起来便宜得多,而不是使用数十亿美元的英伟达进行训练。是的。
这些论文的工作是什么时候进行的?这样听众可以了解一下时间安排。我发表了一篇论文。我必须去丹麦并在去年夏天发表这篇论文。所以在八月。是的,关于你正在做的区块链工作。那是最近吗?我去参加了一个IE会议,我在哥本哈根发表了这篇论文。
我们非常参与这个领域。我认为听到你触及它的社会层面以及漏洞层面是一件非常酷的事情。因为,我的意思是,像这样的智能合约存在于这个领域,当出现问题时,可能会出现非常严重的问题。而且审计有点像单调乏味。
在很多情况下都是营销,对吧?很多时候,当你拥有这种透明度,然后你拥有这个人们交谈和侦探的社会层面时,所有这些事情。所以从这个角度来看待它真的很酷。而且我认为人们对摩根大通等机构有一种看法,即它并没有那么深入地参与或从事这类工作。所以听到你们从这个角度看待这个问题真是太酷了,因为我觉得很多观众甚至都没有意识到这一点。
所以这真的很令人感兴趣。摩根大通以Onyx项目而闻名,这是一个大型区块链项目。人们可以在网上了解它。非常酷。
除了信任和一些好处之外,你在行业和你的工作中看到的一些挑战是什么?好吧,挑战,再次,我认为归结为信任。除此之外,它只是变成了文化变革和交付技能。我可以告诉你一些我们遇到的非常基本的构建块,例如,聊天机器人。
所以,正如你所知,聊天机器人现在有点以信任为导向,因为聊天机器人代表你的公司说话。因此,如果他们以一美元的价格赠送某些东西,或者他们赠送的东西不属于你的赠送政策的一部分,我们会遇到一些问题。这可能是意外发生的,也可能是由于恶意行为者造成的,无论哪种方式,或者有人试图通过发布某些结果来让你难堪。所有这些都是聊天机器人的挑战。所以我们试图获得
确保聊天机器人只提供经过批准的答案。我将介绍一下这如何实现。一项名为RAG的技术,即检索增强生成技术,
这是当今一项非常关键的技术。它的作用是,我们将包含大量信息的预先批准的文档放入称为向量数据库的东西中。它是文档的切碎部分。因此,当有人搜索某些东西时,搜索将转换为一个数字,如果可以这么说的话,称为嵌入或向量。这与文档切碎部分的嵌入或向量进行比较。
它找到这两样东西,文档的一部分,文档的块,以及问题,并将数字进行比较。如果数字相同,如果向量数字相同,我应该说相似,它们在这个n维向量空间中很接近,他们称之为。如果它们很接近,那么这就是一个命中,它会返回该答案。它会返回来自预先批准文档块的精确答案
来自精确的预先批准文档的块。你不会从超大规模的大型语言模型中获得随机答案。它接受了整个互联网的训练。因此,答案可能来自互联网上的任何地方。上帝知道那里有什么。如果你有一组预先批准的文档,并且答案将从中提取,那就好多了。这就是RAG文档如何关注这一点。
此外,还有在大型语言模型周围设置防火墙或防护栏的概念。这意味着,就像你在家里的互联网上有一个防火墙一样,它尤其可以阻止某些东西进入,并且它可能会阻止某些东西出去,对吧?例如,在你的公司,在摩根大通,我不能将个人信息发送到网络外部。它会检测到并注意到它会阻止它。你不能将客户名单发送到公司外部,诸如此类的事情。
它还在阻止有害的东西进入。你想要大型语言模型也一样。进入的提示应该被审查。这就在那里,它可以关闭某些提示。我们检测到此提示是恶意提示。因此,它会在进入时关闭提示。然后你从你批准的文档中得到一个答案,就像我说的那样,一个经过批准的块状答案。然后
它会稍微修改答案,使其听起来像是对话式的,对吧?不仅仅是砰砰,搜索结果。它应该有点对话式。所以也许这里或那里会调整几个词,可能会出现一些问题。因此,在后端,你希望再次拥有防火墙,再次拥有防护栏,来审查答案,即即将出来的内容,并确保没有任何有害的东西出去。否则,再次阻止它。
而且这一切都发生在短短的一瞬间,对吧?就像非常非常短的时间。是的,是的,是的,完全正确。我的意思是,为了深入研究,因为信任一直在出现,对吧?你会推荐给那些拥有正在进入人工智能领域的团队的人吗?例如,因为你提到了检查策略之类的事情,这有多少与技术相关,而与培训团队和教育相关?这是文化。这是文化。是的。是的。
是的。因为你可以考虑什么,你知道,好人,你知道,好人,对吧?大型语言模型也是如此。你正在处理的大型语言模型现在是你团队文化和团队价值观的一部分,你知道,诸如此类的事情。它直接关系到你的核心。你会让这样的人或这样的大型语言模型与你一起工作吗?有趣。有趣。让我们进入伦理方面,尤其是在金融领域,对吧?例如,当涉及到金融时,你如何看待伦理方面的考虑或方法?
好吧,所以在摩根大通,我相信在我们这样的大多数机构中,已经有一些核心价值观,而且我们已经在某些领域拥有专家,例如隐私和安全。而且,你知道,这些都是已经存在的关键方面。所以,是的。
我在这里试图表达的是,请原谅我如果我非常笨拙地反复强调这一点,大型语言模型并不是什么新鲜事物。它看起来很新,因为它是一项新技术。
但是我们要求它做的事情是人类一直以来主要做的事情,那就是我们要求它做人类过去做的事情。我当然明白,它可以做一些人类永远无法做到的事情。但即便如此,它更像是它正在做一些人类无法做到的事情,因为这需要花费人类太长时间。但是如果我们要每天将1000名人类应用于这项工作,我们该如何期望他们表现呢?我们希望大型语言模型以这种方式表现。
明白了。明白了。好的。所以,例如,你有没有关注金融领域的一些具体的伦理方面的考虑或领域?例如,我遇到过在公共政策或许多公民和学术界工作的人,他们有一些事情,他们认为,好吧,我们想确保我们的就业申请表不会因为某些奇怪的参数而出现误报,诸如此类的事情。当你从金融的角度来看待这个问题时,
角度,例如,有没有什么东西是你真正关注的伦理问题?我们最担心的是误报。好的。所以在人工智能术语中,我们称之为召回率。我们可以使用Ruse分数或Blue分数来查找精度。因此,在人工智能中,有机器学习和大型语言模型,但无论哪种方式,你都可以从非常混乱的混淆矩阵中获得精度和召回率。
你可以查一下。精度是指每次我给你一个结果时,结果都必须正确。我不在乎你错过了多少结果。只要总是给我好的结果。现在,这是什么例子?如果我是如果我是一名财务顾问,我将要打电话给客户并向他们建议某些事情,我总是希望它是正确的。
我总是想建议一个适合他们、对他们有益并且他们愿意购买的产品。我总是想正确。我希望他们所说的关于这方面的精度非常好。如果你不建议打电话给某人,而打电话给他们本来是件好事,没关系。只是不要让我打电话给错误的客户,并向错误的客户提出错误的事情。
对。这是精度角度。现在,另一面是召回率角度。召回率是指我不想错过任何东西。我在合规。我不想错过任何合规问题。如果我们错过了一个合规问题,那就非常糟糕了。是的。或者暂时离开金融领域。我是一名医生。我正在查看X光片。我不想错过癌症。
对,对,对。当然,当然。
非常有趣的是,它是如何进行的,首先他们会说,你的召回率怎么样?你怎么知道你没有错过任何东西?所以我们会说,听着,对于过去,我们查看了过去一年的数据或某个很长一段时间的数据。一个人检查过它,机器也检查过它,机器在这整个时期内获得了相同或更好的结果。这很好。顺便说一句,这是第一次发生在我身上,我经历了治理过程,我想,得分,我完成了,Luke。然后……
但这实际上比这更高。然后他们继续说,但是可持续性呢?我说,什么是可持续性?他们说,可持续性意味着你的机器现在正在为你工作,但你怎么知道它六个月后仍然在工作?
嗯。你知道,一年后。我说,你是什么意思?为什么它不会继续工作?他们说,它更像是一辆汽车,而不是你知道的,你一生都在使用的其他类型的基于规则的软件,James。我说,真的吗?它说,是的,例如,数据可能会漂移。
或者如果你使用的是来自超大规模模型的大型语言模型,大型语言模型本身可能会发生变化。即使你使用的是相同版本等的相同大型语言模型,他们也可以进行更新,他们正在调整那里的参数,调整权重,并且它正在改变你获得的结果。
是的,当然。我的意思是,数据也会更新,对吧?我想,随着时间的推移,数据也会更新,这会影响事情。数据可能会改变。我们总是在收购另一家公司。这是一个你可以想象如何可视化的例子。所以我们拥有所有这些账户,并且在一个账户集上进行训练。但是如果我们要收购另一家公司并获得他们的账户,那么数据的形状现在已经改变了。
是的,是的,绝对正确。也许我们的模型会表现不同,我们将不得不重新训练。因此,非常重要的是,我们将模型监控作为你的MLOps的一部分等等。因此,监控结果,我们应该有一些我们期望的KPI,并且我们应该进行监控以确保我们始终达到这些KPI。如果我们低于某个阈值,那么我们希望有一个警报,基本上意味着重新训练模型。对。
理想情况下,在模型中进行销售。而且我想,你也必须密切关注,你知道,在区域方面也需要浏览监管领域和最新的情况,对吧?因为你显然有,你显然有像加密货币和区块链方面的背景,在过去,你知道,X段时间内,这已经成为一项监管噩梦。但在人工智能方面,就人们对它的认识和实践而言,它也正在兴起,
橡胶碰到路面,可以说是这样。从合规的角度来看,情况如何?你花了很多时间围绕这一点教育公司的不同部门。从你的角度来看,它是如何穿越所有这些的?有很多事情要做。一件事情是经历许多治理步骤,并让许多人审查,训练有素的人员审查你投入生产的任何东西。另一件要做的事情是最小化你投入生产的东西。
对。这起初听起来很有趣,但你可以想象,例如,当你第一次开始在你的公司推出人工智能并进行大量内部构建等等时,你可能会让每个人都参与其中,然后随着时间的推移,你开始出现重复。我们在摩根大通有309,000名员工。所以你可以想象一下。哇。
不是每个人都认识彼此。不是每个人都知道每个人正在做的每个项目,对吧?所以其中一个挑战是我们实际上建立了自己的治理体系,目的是对所有存在的模型进行清单,以便我们知道那里有什么,并开始减少那里存在的东西的足迹。如果你有一个文档处理系统,那就非常有帮助了
应用程序而不是五个或十个,它们都在做同样的事情。因此,你可能会有五到十倍的错误。对。对。对。你知道,我们的问题。对。是的。最小化,这将你的监管足迹最小化五到十倍,就像我刚才分享的那样。对。完全正确。完全正确。是的。每个都有不同的策略等等。是的。而且,你知道,事情泄露的可能性等等。然后它就像其他任何东西一样工作。你知道,你拥有合规防御线等等。
在任何事情向前推进之前进行治理。根据你正在做什么,有很多不同的治理。例如,他们对这是否被称为分析工具、这是否为大型语言模型或此大型语言模型是否将数据发送到公司外部有不同的判断。
或者它是否在摩根大通内部本地运行,此大型语言模型是否使用不同地区的数据。区域方面非常重要。每个国家都有自己的规则。这非常关键。而且理解起来非常具有挑战性。有时我发现对我自己来说,阻力最小的路径是只在美国部署大型语言模型。明白了。在第一次尝试中,对吧?例如,为什么要弄清楚X国的情况,对吧?
并可能因较少的收益而犯错。是的,或者某些事情并不十分清楚,对吧?而且,你知道,最好是安全,直到你获得清晰度,可以说是这样。安全总是更好。总的来说,总的来说,当有疑问时,最好是安全。
是的,不,这很好。要考虑的事情比我的应用程序上线要多,对吧?要考虑的事情比我的功能要多,整个摩根大通,对吧?你以这种方式呈现它也很聪明,因为考虑到你与这些东西的互动类型,对吧?以及进出它们的不同类型的数据等等,你必须对这些事情有更多的思考和关注。所以不,这很好。很多关于
提示工程和人类将与这些工具互动的方式的讨论。随着人工智能在金融领域以及在一般工作生活中变得越来越普遍,你如何看待人类专家的作用?事情的发展方向似乎是人类将始终参与其中。然而,我认为人类现在更像是管理者。所以每个人都将成为管理者。不再有个人贡献者。我的解读是,每个人都将成为一个大型语言模型代理团队的管理者。
是的,是的,是的。这是一个很好的,这是一个很好的猜测。同样,在那方面,我的意思是,你提到了代理,像Egenic现在肯定受到了越来越多的关注。你是否在你的世界中看到了真正有趣的人工智能应用?或者它仍然是人们正在测试和学习的东西?关于生成式人工智能?是的,是的,是的。或者Egenic,我的意思是,除了,是的,是的。
当然。我认为代理的发展方向是在聊天机器人中,然后在软件工程中,我看到了很多关于转向连接的端到端解决方案的讨论和进展。所以以软件为例,因为这是一个技术节目,《勇敢的技术专家》,对吧?所以,如果你是一位勇敢的技术专家,你可能会使用SDLC,即软件开发生命周期。
在那里,你将拥有需求、构建、测试、部署等等以及操作。因此,在这个生命周期中,你可以为生命周期的每个部分配备一个代理来执行该部分。你可以有一个代理来制定需求,另一个代理来验证需求是否良好,另一个代理将需求转换为测试用例,另一个代理将这些测试用例转换为通过这些测试用例的代码。
等等等等,对吧?像那样结束之后,你会有一个人来管理它。如果它在任何阶段卡住了,例如生成代码,生成代码时出现问题,代码无法编译,或者你提出了PR,而这个人认为它存在安全漏洞。所以它拒绝了PR。你知道,可能会有像人类那样检查事情并重新运行某个阶段的人,但我认为它会一步一步地进行。它就像一条装配线。代理是装配线上的工人,在SDLC的每个步骤中都尽职尽责
在SDLC的每个步骤中。人类工头可以介入,例如在装配线出错时停止装配线,或者重新启动它,或者提供一些建议等等。这就是它如何在软件工程中工作的。
聊天机器人你想谈谈聊天机器人吗?是的,是的,让我们开始吧。我的意思是,是的,让我们深入研究这方面的内容,聊天机器人可能像这样工作,顺便说一句,聊天机器人我认为在许多我们在线上知道的大型聊天机器人中确实是这样工作的,对吧?它们是如何工作的?首先,有一个协调大型语言模型。所以这是第一个代理。他是负责的人,就像一个人一样,操作员。它是操作员。所以这个协调者,他们接受你的请求或你的问题,
而且现在,像一个问题一样,它可以与这些代理一起进行端到端的处理,对吧?它会说,你能帮我买一张航空公司的机票吗?我会说,是的,我已经知道你的一些情况了。你想在这个时间和那个时间离开吗?你会说,是的。这没问题。然后代理会去,实际上,实际上是为你买票、收费、给你寄账单等等的工作。
给你提供信息,做所有这些以前可能需要几个不同步骤的不同程序的事情,也许中间会有几个人等等。从我的角度来看,代理架构是这样的一个想法,即端到端地进行,并结合以前可能需要单独步骤以及中间有人参与的多个步骤。
听起来它可能是一个巨大的好处,尤其是在金融方面,你知道,从管理预算到试图了解不同的选择,人们等等。我的意思是,市场现在如此之大,对吧?那里有如此多的不同选择,甚至包括这些新的选择,对吧?你的区块链方面的背景也很有趣。我的意思是,你
您已经看到采用起来有多么困难。因此,似乎其中一些方法对于获得更多更广泛的采用、沿途教育人们以及帮助他们完成流程的各个部分都非常有帮助,我想。从您的角度来看,您如何看待加密和人工智能融合的下一阶段?这可以是轶事或任何其他内容。最重要的事情是围绕加密和人工智能的法规。
不太坚定。这就是为什么发布任何一个都如此冒险的原因之一。你不知道你最终会走到哪里,对吧?并且投资其中任何一个,并花费数年时间致力于其中任何一个,并投入资金,无论哪种方式,对吧?以及为什么我们要尽量减少我们的工作。我认为一旦围绕两者制定了规则,变得更加清晰,我们就会
然后我们会更好,对吧?这将是,就像我们提到的关于全球一致性的一件事。您知道,关于诸如洗钱之类的基本事项,存在一定程度的全球一致性,对吧?我知道有些国家,但是,您知道,在很大程度上,洗钱之类的行为在世界各地或在
接近美国的国家中得到了很好的理解。我们希望我们的技术也能做到这一点,顺便说一句,这将管理我们的金融等等,对吧,以及我们的钱。因此,由于这个原因,拥有类似的规则非常好。现在,我想说的是,很明显,您知道,欧洲的隐私规则等等大不相同。人工智能规则不太明确。有些事情对企业也不太友好。是的,是的。
拥有任何规则对企业来说都是最友好的。一致性对企业来说是最友好的,但也有一些规则是为了说,我们不在乎你是否盈利。有些规则就像……
额外的步骤,需要克服的障碍,你可以这样称呼它。当然,当然,当然。不,我认为关于全球一致性的观点非常好,对吧?因为这并不是从零开始的,对吧?就像万维网已经存在很长时间了。人们一直在全球使用协议,这些东西,你知道,那里有例子。我认为,是的,这很有趣。制定规则是好的。并且从一件事到另一件事有很多共同点。是的,这超级超级有趣。
对于人们,无论他们是企业还是自己进入这个领域,您是否会为那些正在进入这个领域采用人工智能技术的人们提供任何建议,或者为那些在组织中的人们提供任何建议?我知道我们之前谈到了信任之类的事情,但您还有什么其他建议可以提供给那些现在可能被要求使用人工智能并且正在努力寻找方法的人们?
当然。好吧,我认为许多团队和许多组织正在努力解决的首要问题之一是,我们将经历的人工智能转型,这是否是一件紧急的事情?因为我们将被其他人工智能参与者扰乱,我们感到这种压力水平,人工智能的风险小于被人工智能扰乱的风险。对。
好的。这与你们关注的另一个方面不同,他们说人工智能只是另一种技术。在此之前,是云。在此之前,是数据策略。这就是那件事和另一件事。这只是另一种技术。我们必须考察使用这项技术的商业案例。我们必须对每一次推出进行成本效益分析。对。并且应该以这种方式完全控制事物。当然,这将倾向于扼杀一定程度的创新。
对。与其他人的观点相反,我们最好创新。我们必须快速到达那里。我们需要走在前列。因此,权衡这两个方面,并了解我们将从下往上创新,让每个人都能在各个地方享有一定的创新自由,并快速创新。
还是会更自上而下地驱动?我们将投资一些大的赌注,我们将控制好事情,并可能减少足迹以降低风险。也许可以减少足迹以某种方式降低成本。确保我们没有重复。如果您重复,您将获得更多创新,并且事情会更快地发生。即使在公司内部也会存在一定程度的竞争。最好的事情会发生。
但是,您知道,也有一些成本重复,对吧?当然,当然。风险重复也是如此。这些都是组织在决定方向时会考虑的事情,你知道的。我认为这是一个连续体,人们可能会从连续体中的某个地方开始,然后向中心移动。您知道,根据我的经验,
轶事经验。我发现有些公司一开始非常保守或非常激进,然后他们随着时间的推移逐渐走向中间。
绝对像,你知道,围绕这个的炒作周期,就像,好吧,每个,所有高管都来了。哦,让我们在各处都使用人工智能。每个人都像,嗯,适合在哪里?因此,试图找到这种契合点,对吧?就像,我认为这是一个非常非常好的方法。今天您非常慷慨地给予了我们时间。在我们得到您之前,还有什么我们没有涉及的内容您想让我们的听众知道,或者想强调一下吗?下一件大事是量子。所以让我们期待一下。
是的,是的。好的,酷。太棒了。太棒了。人们可以在哪里在线找到您的作品或联系您打个招呼?嘿,你可以在领英上找到我。那将非常棒。詹姆斯·马萨。优秀。好吧,詹姆斯,非常感谢您参加节目并与我们分享您的见解。我知道我们的观众可能学到了很多东西。我很乐意让您回来,看看情况如何。哦,那太好了,卢卡。这是一个多么美好的时光。感谢您的邀请。太棒了。谢谢。
感谢收听《勇敢的技术专家》播客。为了不错过任何一集,请确保在您的播客应用程序中点击关注。如果您还没有切换到 Brave 浏览器,您可以今天免费在 brave.com 下载它,并开始使用 Brave Search,它使您可以私下搜索网络。Brave 还保护您免受广告、跟踪器和其他在网络上跟踪您的令人毛骨悚然的东西的影响。