EP 436: AI You Can Trust - How reliable data makes it happen
30:55 Share

这是 Everyday AI 节目,一个日常播客,我们简化 AI 并将其力量带到您的指尖。每天收听,获取提升您的职业、业务和日常生活的实用建议。谈到生成式 AI,我认为有时我们只是忽略了一些最重要的事情,对吧?我们只想按下那个醒目的红色易按按钮,让它吐出数小时的工作,我们就像,耶,好,我们完成了。

但还有一件最重要的事情。那就是数据。您信任数据的来源吗?它可靠吗?如果数据错误会发生什么?为什么您应该关心呢?

我们今天将在 Everyday AI 上讨论这个问题,并希望能回答很多问题。大家好!我的名字是 Jordan Wilson。我是 Everyday AI 的主持人。这个节目是为你们准备的。这是您的每日直播播客和免费每日新闻通讯,帮助普通人不仅学习

并跟上潮流,而且还能利用它,成为公司里最了解 AI 的人。所以,如果这听起来像您想做的事情,那么这里就是您的新家。如果这是您第一次收听,请务必在收听播客时查看节目说明,您会看到一个网站,

youreverydayai.com。但在开始之前,必须先向我们在 Microsoft 的合作伙伴致谢。那么,您为什么要收听 Microsoft 的 Work Lab 播客呢?因为它是寻找基于研究的

见解的地方,可以指导您组织的 AI 转型。立即收听,了解如何转变思维方式可以帮助您充分发挥 AI 的潜力。网址是 W-O-R-K-L-A-B,没有空格,您可以在任何收听播客的地方收听。感谢我们在 Microsoft 的合作伙伴。提醒一下,如果您还没有注册,请务必在我们的网站上注册我们的免费每日新闻通讯。我们将回顾今天的谈话,并回顾 AI 新闻。

技术上来说,这是一个我们正在现场首播的预先录制节目,但 AI 领域正在发生很多事情,CES 上的一切都在发生。我们有一些关于 OpenAI 的传闻正在流传。所以我们今天会在新闻通讯中包含所有这些内容。好了,播客闲聊就到这里。

让我们构建更值得信赖的 AI。您不必再听我唠叨了。今天我邀请了一位很棒的嘉宾。所以请帮我欢迎他来到节目现场。就是这样。Bar Moses,Monte Carlo 的联合创始人兼首席执行官 Bar。非常感谢您加入 Everyday AI 节目。感谢您的邀请,Jordan。很高兴见到您。好的,让我们开始吧。首先,人们不知道,什么是 Monte Carlo?

什么是 Monte Carlo?好问题。Monte Carlo 的使命是通过减少我们所说的数据停机时间来帮助加速数据和 AI 的采用,数据停机时间基本上是指数据错误或不准确的时间段。您无法信任它。我不知道您是否遇到过这种情况,但您在星期一早上醒来,发现您的一个数据产品出错了。就像您盯着报告看,数字不对,有什么问题。您会想,为什么它不对?

而且通常情况下,不仅很难发现问题,而且也很难理解根本原因并解决它。所以 Monocle 有助于解决所有这些问题。我们很幸运能与世界上一些最好的数据团队合作,包括 Fox、Roche、Cred、Karma 等许多公司。这可能是我工作中最喜欢的一部分,能够与优秀的客户一起解决他们最棘手的问题。

简而言之,一家公司在发生什么之后来找您,对吧?如果一切顺利,他们只是更好地理解他们的数据以及它如何与 AI 协同工作。最终结果是什么?

好问题。我想说的是,今天有很多像数据分析师、数据科学家、数据工程师、机器学习工程师这样的人在构建我们所说的数据产品。数据产品可以是生成式 AI 应用程序,也可以是您的首席营销官每天查看的报告,或者可以是定价推荐算法。它实际上可以是各种各样的数据产品。而这些数据产品往往是错误的。最大的问题是基于错误的数据。

最大的问题是,数据团队往往是最后知道这个问题的。因此,我们所做或帮助组织做的第一件基础的事情就是首先了解数据问题。数据团队不再会被数据问题所蒙蔽,并从其他人那里听到这个问题。这是最糟糕的事情,因为您没有发现它。

我从未遇到过这种情况。如果您愿意,我是在为朋友求助。我开玩笑的。但是,这就像最基本的事情。这就是 Monte Carlo 五年前成立公司时真正想要解决的问题。这可以说是,我想说的是第一阶段。我认为从那时起,更明显的是,这只是上半场,从某种意义上说,甚至可能是更容易的一半。

真正巨大的挑战,我认为 AI 可靠性行业正在走向的挑战,不仅仅是知道问题的存在,还要回答为什么。我应该关心吗?我应该如何处理这些信息?数据团队经常被

警报淹没,例如这个坏了,这个不对,这个数据迟了,这个数据从未到达,这个字段看起来有点不对,这个数字缺失了。但在这些情况下,困难的事情实际上是回答

我有所有这些系统一起工作,但根本原因是什么?是数据中出了问题吗?是工作没有完成吗?是代码发生了变化吗?这些答案真的很难回答。因此,Monte Carlo 做的很多事情,不仅仅是 Monte Carlo,更广泛地说,可观察性

领域,如果您愿意的话,数据可观察性领域,是关于回答或帮助数据团队回答这个问题的:如果出了问题,我应该关心吗?如果是的话,为什么以及我该如何解决?老实说,这正是可观察性真正开始的地方。因此,我们并没有在数据中发明可观察性。我们实际上是从

工程团队那里借用了这个概念,是从软件那里借用的。软件工程中的可观察性非常容易理解,例如 Datadog 这样的组织。今天谁没有 Datadog 或类似 Datadog 的东西?每个工程团队都有类似 Datadog 的东西,并依赖于类似 Datadog 的解决方案来确保他们正在构建的软件是

可靠的、可信赖的,并且可以运行。在我看来,数据团队也应该这样做。可观察性是一个有点新的领域。我认为 Gartner 预测,在未来五年内,超过 60% 的组织将以某种形式拥有数据可观察性,但这是一个新的领域。因此,它只是最近才被定义。

我的意思是,就在前三分钟,我认为您回答了我前五个问题。我想倒回一下,关于为什么我们应该关心,对吧?我认为至少在我看来,这可能是针对中小型企业的,但他们往往甚至没有花时间去充分了解他们的数据是如何工作的。

所以他们就像,好吧,我们知道我们需要 RAG,对吧?我们知道我们需要引入我们自己的数据,与后端 API 协同工作,对吧?但是,如果他们使用不同的 Claude、Anthropic、Gemini 等,为什么最终数据正确与否很重要呢?

这是一个好问题。让我带您回到 10 到 15 年前,那时老实说,可能并不重要。就像它真的不重要一样,我们并没有那么多地使用数据。肯定没有 AI 的旅程。所以我们可以在大多数情况下忽略数据错误。最糟糕的情况是有人告诉您,您必须去修复它。没什么大不了的。你继续你的生活。对吧。但我认为自从出现这些时代以来,很多事情都发生了变化。我认为第一个时代是越来越多的人开始使用数据。

所以你不能再只在每个季度查看一次数据了。现在您有数百万用户订购 Uber。所以你不能让你的车到达的时间是错误的,或者你不能让价格是错误的。例如,如果我看到 Uber 车将在 30 分钟内到达,我不会等 30 分钟。我会注销并转到另一个平台。对吧。所以,是的,Uber 到达的时间很重要

数据必须准确,否则您将失去用户。所以这是第一波,越来越多的人使用数据,数据产品变得越来越重要。然后是第二波生成式 AI,现在正在发生。事实上,有趣的是,我们最近对大约 200 名数据领导者进行了一项调查。

我们基本上问,有多少人在生产中部署或构建生成式 AI?你能猜到答案吗?今天有多少人在这样做?我猜数量很少。

实际上,有趣的是,100% 的人都这么说。哦,好吧。确实。是的,我也很惊讶。调查中的每个人,这些都是来自知名公司的所有数据领导者,100% 的数据领导者目前正在构建某种生成式 AI。现在,第二个问题是,有多少人真正信任他们将要使用的数据?

是的。这很有趣。这是一个很好的观点。我对此感到震惊,对吧?因为我阅读的许多研究表明,即使在企业公司中,我认为最新的研究表明,只有 5% 的公司拥有从上到下的生成式 AI 解决方案,对吧?完全实施,对吧?但我猜必须先从数据开始。

然后逐渐渗透到其他地方,这也许是对的。说到生成式 AI 的转变,我个人一直很关注的一件事是这种从注意力经济到意图经济的转变,

对吧?能够更好地理解互联网上的用户在做出决定之前会做什么。这始于数据,对吧?我认为我们已经听到 5、10、15 年了,哦,数据是新的黄金,但由于生成式 AI,它是否变得越来越重要?

是的,100%。回到那项调查,只有三分之一的领导者对为其生成式 AI 模型提供的数据充满信心。所以我们大多数人,三分之二的人对我们使用的数据没有信心。因此,根据您的问题,为什么在新的世界或生成式 AI 中它更重要?我将通过一个例子和一个更理论的例子来解释这一点。

第一个现实生活中的例子,如果您愿意的话,几个月前,有人在谷歌上搜索,如果我的披萨上的奶酪滑落了,我该怎么办?

谷歌说,没问题。只需使用有机超级胶水即可,我不知道您是否看到过,把它放回披萨上。这在网上疯传了。你会想,好吧,如果你是谷歌,也许你可以接受这种答案,对吧?就像,当然,我明天会继续使用谷歌,对吧?但我们大多数人......

负担不起,我们没有奢侈地吐出如此虚假或......你知道......嗯......你知道......明显......错误的信息的答案,所以对于大多数企业来说,您提供的数据的可靠性实际上与您的品牌和声誉以及对顶线和您产生的收入的影响交织在一起,所以这就是......你知道......一个例子......

更广泛地说,如果您考虑一下公司现在需要做什么,我们会看到,每个数据领导者现在都需要做一些生成式 AI 的事情。他们是怎么做的?因为今天,我们每个人都可以访问最新最好的 LLM 模型,对吧?就像我们可以随意切换它们,我们可以使用它们一样。所以从某种意义上说,我们都可以访问由......

数千名优秀的博士构建的模型,对吧?我们都可以做到这一点。那么我的竞争优势是什么呢?我将如何构建比我的竞争对手更好的数据产品,或者我的长期护城河是什么?

我相信,我从客户那里听到的是,护城河实际上是您拥有的数据,因为它不再仅仅是连接到 API 并实际构建生成式 AI 产品。构建高度个性化的生成式 AI 产品的力量是基于使用第一方企业数据的能力。

所以如果我知道关于你的一些事情,Jordan。如果我知道你的背景和你的习惯,我可以为你构建一些个性化的东西。而我拥有的数据是其他人可能没有的。

所以我认为对于那些考虑要构建什么或如何使用生成式 AI 的领导者来说,您拥有的数据就是护城河。这实际上是您获得竞争优势和构建数据产品的方式。所以如果您认为这是真的,那么您使用的数据的质量和可靠性至关重要。因为如果您拥有的数据不准确,那么您拥有的护城河还有什么意义呢?是的。

我认为这对在大型企业工作的人更有意义,并且与他们产生共鸣,对吧?他们已经拥有数据仓库或数据湖。他们正在使用 Amazon S3。我不知道,对吧?但对于那些数据游戏不强劲的中小型公司来说,对吧?但他们的数据分散在许多不同的地方,对吧?也许他们有一些数据漂浮在 Google 或他们的 CRM 等不同的地方,

这些中小型组织如何利用这一点?因为你刚才说的是对的。数据就是护城河。但这些中小型组织如何开始真正整合所有这些数据,以便他们可以使用生成式 AI?

是的,我的意思是,我会从说没有数据比坏数据好开始。所以如果你有糟糕的数据,我实际上并不相信你应该使用它。我实际上认为最好确保您拥有可靠且值得信赖的数据。我想举一个关于 Monte Carlo 的例子,Monte Carlo 作为一家公司,我们大约有 200 名员工。我们构建生成式 AI 产品,并且我们拥有的数据准确至关重要。

所以我认为即使您是一个小型组织,标准也不会降低。事实上,我认为它更高。事实上,我发现企业,大型企业在整合数据方面确实很挣扎,在拥有真相来源方面确实很挣扎。例如,如果我有数据的多个副本,

例如,我的意思是,即使回答诸如我们有多少客户或大型组织需要尝试计算销售补偿金之类的问题。这真的非常复杂,因为我从财务团队那里得到的答案与我的销售团队所说的不同,与我的营销团队所说的不同。因此,每个不同的团队都在查看不同的数据集。因此,获得答案非常困难。所以我实际上认为中小型组织具有优势。您有,事实上,您知道,我认为,我实际上认为较小的团队行动更快。就像它一样,

可能有一些证据证明这一点。因此,作为一个较小的团队,您可能规模较小,但实力强大。因此,利用您拥有的数据,您具有行动更快并实际更快创新的优势,因为大型组织现在行动非常缓慢,而且显然更规避风险。

所以我认为小型组织可以尝试很多事情,进行实验,快速行动,并加倍努力进行一些有效的实验。顺便说一句,这正是我们看到公司所做的大部分事情,无论大小。

基本上都有这样的任务,即在组织中进行实验,并让许多团队尝试不同的东西,并构建不同的应用程序。而且,公司明白他们只会稍后制定一个集中的战略。

好的。所以我想谈谈其中一些用例,但我们将短暂休息 20 秒,并再次向我们在 Microsoft 的合作伙伴致谢。那么,您为什么要收听 Microsoft 的 WorkLab 播客呢?因为它解决了您在工作中关于 AI 的棘手问题。例如,我该如何指导我的组织的 AI 转型?AI 如何帮助最大化价值并创造新的产品和商业模式?如果我们想充分发挥其潜力,我们必须做出什么样的思维转变?在

W-O-R-K-L-A-B 上找到答案。没有空格,您可以在任何收听播客的地方收听。好的。所以 Bart,我想在这里深入探讨一下,因为我们一直在讨论获取好数据、拥有您可以信任的可靠数据的一些问题。所以当它

汇集在一起时会发生什么。也许您可以为我们介绍一两个用例,对于那些可能刚刚开始接触数据的人来说,他们可以看到,嘿,当好的数据和好的生成式 AI 结合在一起时,这里有一些好的用例。

是的,当然。而且听到各种用例和创新真的很有趣。我真的很兴奋。老实说,围绕它的炒作如此之大,但我认为即使它只实现了 10%,也足以对我们产生如此大的影响。

以及对后代的影响。所以我真的很兴奋。我将举一个具体的例子,实际上是我们 Monte Carlo 使用的一个例子。所以我们面临的一个挑战是,这有点像元问题,但当我们与数据团队合作时,他们实际上并不知道他们数据的状况,他们当然也不知道他们的数据为什么会出错以及可能出现什么问题。所以如果你需要数据

来设置数据质量监控的覆盖范围,你并不总是知道如何开始。特别是如果您是一位技术水平较低的使用者,这可能会更难。因此,我们所做的是实际构建数据质量监控建议,我们实际上对特定客户的数据进行概要分析。我们使用 Anthropix Cloud 3.5 Sonnet。

使用 LLM 的优势之一是它们具有非常强大的语义理解能力。因此,我们可以实际结合数据和元数据的概要分析以及我们整合的其他一些上下文信息。我们可以用它来实际帮助定义您应该设置哪些监控器。

所以我会举一个希望很容易理解的例子。例如,我们与体育组织合作。因此,如果您以棒球组织为例,并考虑投球类型,那么棒球和体育运动通常会收集大量关于不同运动员、不同球员的数据,以及关于比赛本身的大量统计数据和分析。

对于任何看过《点球成金》和其他电影的人来说,其中一件事,一种数据类型可能是投球类型以及投球速度。因此,例如,使用分析,您可以实际了解,您可以实际确定,如果您有一个快速球,它应该始终超过每小时 80 英里。

如果它低于每小时 80 英里,那么可能存在问题。它并不是真正的快速球,对吧?因此,这就是我们可以使用生成式 AI 或 LLM 做出的建议,说,嘿,您应该设置此数据质量监控器。我们可以做更多的事情来帮助用户实际理解他们的数据,以便确定他们需要什么样的数据质量监控器。

这是一个很好的例子。我认为它确实说明了一个观点。所以,你知道,因为我们都可以理解投球的分类,对吧?而且,你知道,你永远不知道它是什么,直到你看到它,或者你在电视上观看。但也许您可以再举一个例子,说明如何

好的数据以及知道您可以依赖它,以及这如何真正发挥作用。

是的,当然。所以另一个例子是生成式 AI 用例,它真的很酷,这是 Intuit 的 Credit Karma 所做的。所以,对于那些不知道的人来说,Credit Karma 是一种基于 AI 的财务助手,因此可以为您提供如何最好地管理财务的建议。所以,就像我之前提到的那样,任何组织都可以访问最新最好的服务。

OpenAI API 或其他。Credit Karma 拥有其他组织没有的信息,这些信息专门关于他们的用户。而且,你知道,他们服务于数亿用户,他们可以告诉你,你有这个特定的信用评分,你过去 10 年一直开着这辆本田车,你将在此时出售它,并且你有这种历史,并且

所有这些信息都可以用来帮助您针对您的具体财务状况提出具体的建议。现在,缺点是我们想确保我们不会向您展示错误的信用评分。例如,您,Jordan,应该只能访问您的信用评分,而不是我的信用评分。此外,为您提出的财务建议应该基于您的数据和您的数据。

所以我认为这种力量,Credit Karma 实际上构建了 RAG 管道。因此,他们使用 LLM 并实际使用他们拥有的关于其用户的数据来丰富它们,以便构建这些高度个性化的助手,如果您愿意的话。所以,你知道,我认为

能够实际构建这样一个基于可靠、准确数据的个性化产品,会为客户带来非常好的结果。这是金融领域的一个例子。还有很多例子,例如

公司很好地利用 LLM 和生成式 AI 来提高内部效率,我已经看到了。所以,Credit Karma Intune 更像是一个外部数据产品,它使您能够对外部客户产生非常强大的影响。

如果您考虑内部也看到价值,许多组织最基本的例子是组织看到工程生产力的提高。所以,如果您有某种编码助手,我认为这是大多数组织今天看到的最基本的。而且,我认为这通常有助于,你知道,营销。

更多的是初级和经验丰富的工程师,以及高级工程师。因此,如果您拥有一个主要由初级或新组织组成的组织,您将获得更多好处。但我认为,一些数字,例如,您可以显着提高代码审查员与代码数量的比率,使用 LLM。另一个例子是,在

制药或医疗领域,以及在保险领域,有很多合规报告需要共享。这些报告通常需要 6 到 12 到 18 个月才能生成。这些报告包括大量内部数据,以及状态和协议。而且,你知道,很多都是写好的,某种程度上是手写的报告。

报告编写,生成式 AI 可以根据此显着减少时间。因此,如果您使用现成的现有数据并实际根据过去的报告对其进行训练,它实际上可以生成非常好的示例或至少是起草稿。

这些都是人们如何真正提高内部效率的例子。还有一些巧妙的方法专门针对结构化和非结构化数据。所以人们经常发现,总的来说,整个想法

非结构化数据堆栈非常新,而且才刚刚兴起。我认为非结构化数据还处于非常早期的阶段。其中一个难题是如何监控和观察非结构化数据,以确保非结构化数据的可靠性?这真的是,你知道的,我想说的是,这方面还处于非常非常早期的阶段。蒙特卡洛显然对此思考良多,

但我们的客户显然也对此思考良多。关于如何使用LLM更好地观察非结构化数据的一个很好的例子是,我们与一家拥有客户支持聊天的保险公司合作。如果你考虑客户支持,客户支持,

客户支持对话,这主要是非结构化数据。您可以使用LLM来实际构建该特定的支持聊天,并根据语气、对话和解决方案的解读以及理解该支持对话是否顺利进行来对其进行评分。基本上,根据其进行情况,为其分配0到10之间的分数。

用例之一是,您可以观察到该结构化数据。例如,假设LLM给它打了12分。那么,在0到10分之间,12分是什么意思呢?因此,在这些情况下,您可以确保

该数据是可靠的。因此,人们有很多巧妙的方法可以使用LLM来构建非结构化数据,如果可以这么说的话。是的。是的,我喜欢这个。而且这是我非常支持的事情,特别是对于中小型企业来说。就像,是的,

使用LLM将非结构化数据转换为您可以实际使用的结构化数据。但是,如果我不问你这个问题,我会感到失职,因为,你知道的,这至少是2024年一个越来越明显的趋势,那就是使用合成数据。你对此有什么看法?是的,就像我喜欢你所说的那样,就像好的,就像没有数据比有坏数据好,使用合成数据比使用

坏数据好吗?你对此持什么立场?这在未来会是一个重要的策略吗?

是的,我的意思是,我认为,我认为,我不记得是谁说的,但我认为是OpenAI的前科学家说的,就像我们现在正处于数据高峰期一样。就像,我们,你知道的,我们已经达到数据的极限了。而且,你知道的,我们现在需要转向合成数据,以便取得进步。所以我认为对于合成数据来说,这绝对是一个有趣的时期。我认为在如何训练LLM以及如何方面,它将会兴起,

如果可以这么说的话,达到更好的性能。但我确实认为,对于企业需要使用的真实世界数据,没有任何替代品。我看到大部分注意力和时间都花在了那里。所以这实际上很有趣。现在有一些可能不太吸引人的事情正在回归,比如数据治理现在正在抬头。我已经好几年没听到过这个了

这个词了。现在好像有一个,你知道的,数据治理的回归。所以我实际上认为很多,你知道的,什么是旧的现在是新的,如果可以这么说的话。也许合成数据也在这个阵营中。

好的。所以我们今天谈了很多,巴尔。我们从数据的可靠性和可观察性如何工作开始,我们举了一些例子,并讨论了数据的未来。但在我们结束之前,您认为我们的听众最需要知道的一件事是什么,特别是那些就公司如何在人工智能领域发挥作用做出中长期决策的人?

关于他们数据的可靠性,他们最需要知道的一件事是什么?我会说,你的生成式AI产品和你数据一样好。所以,

原谅我的语言,但如果你的数据很糟糕,那么你的生成式AI也会很糟糕。所以,首先要解决这个问题。实际上,这是一个非常艰巨的任务。做到这一点实际上非常困难。但我认为没有其他办法。我确实认为,我们看到越来越多的组织实际上看到了其生成式AI产品的投资回报率。所以现在是任何组织开始......如果你还没有投资,那么你已经太晚了。

很高兴听到这个。是的,这是一个很好的警告,给所有那些在2025年仍然坐在围栏上的人。我不明白,但是你们很多人都在那里。所以,巴尔,非常感谢你加入Everyday AI节目,并抽出时间帮助我们更好地理解数据。我们非常感谢。

很有趣。谢谢,罗伊登。祝我们大家都好运。好的。嘿,各位,这有很多内容需要吸收。是的,太多了。大量关于信息的宝贵数据。如果你错过了什么,也许你在椭圆机上,然后移开了视线,别担心。我们将对所有这些进行回顾。

在我们的网站youreverydayai.com上。注册免费的每日新闻通讯,在那里你会发现更多见解和补充信息,以配合今天的谈话,以及你需要知道的一切,以便成为你公司人工智能方面最聪明的人。感谢您的加入。请明天和每天加入我们,了解更多Everyday AI。谢谢大家。

这就是今天Everyday AI节目的结束。感谢您的收听。如果您喜欢这一集,请订阅并给我们评分。这有助于我们继续前进。要获得更多人工智能魔法,请访问youreverydayai.com并注册我们的每日新闻通讯,这样你就不会落后。去打破一些障碍,我们下次再见。