Real LLM Success Stories: How They Actually Work // Alex Strick van Linschoten // #287
49:54 Share

我的名字是亚历克斯·斯特里克·范·林舍滕。我是ZenML的一名机器学习工程师。我不喝咖啡,我喝绿茶。不总是喝,但是的,一杯好茉莉绿茶什么的。

宇宙中善良的人们,欢迎回到MLOps社区播客。今天,我们有一期非常特别的节目,回顾一下现实世界中LLM用例的数据库。没错,亚历克斯把各种AI用例整合到一个地方,我非常感谢他为我们做了这件事。

我们将讨论他在整理这个庞大数据库的过程中学到了什么,以及他是如何做到的。所以,事不宜迟,让我们开始吧。如果你是一位在播客播放器上收听本期节目的特殊听众,我有一些播客推荐给你。

在YouTube上的算法中收听,你可以找到鲍勃·迪伦和范·莫里森演奏经典歌曲《疯狂的爱》的珍宝,1989年在雅典卫城前。我能听到她从千里之外的天堂般开阔的天空中传来的心跳声。

每次她微笑的时候。是的,当我来到她身边时,那就是我的归宿。是的,我像河水般奔向她。她给了我爱,爱,疯狂的爱。她给了我爱,爱,疯狂的爱。很好,幽默地说,当我感到沮丧的时候。是的,当我来到她身边,当太阳落山的时候。

带走我的烦恼,带走我的,带走我夜里的心痛,像个小偷一样,她给了我爱,爱,爱,疯狂的爱,她给了我爱,我认为我唯一一次看到这么好的作品是你所做的,那就是Evidently AI的人们汇集在一起的时候

一个巨大的数据库,包含了ML和AI的不同使用方法。他们从现有的博客文章和他们谈话的人,以及可能使用他们开源客户端的一些人那里获取了许多不同的数据来源。你们在ZenML做了类似的事情,你们也建立了一个数据库,但专门针对LLM。而且,而且

在生产环境中使用LLM的人。你能解释一下你是如何做到的吗?这是一项多么巨大的工作?当然,是的。我很高兴你提到了Evidently数据库。我认为他们有两个数据库。他们完全是,这完全是我们的灵感来源。我想,是的,所有这些事情都在发生,你会看到,比如,

人们偶尔会发布这些小博客,或者只是随机的事情,或者像你与MLOps社区进行的所有对话一样,这是一个丰富的数据来源,我们都在努力弄清楚,比如,这些东西在生产环境中究竟是如何工作的,从大型公司到只有五、六个人试图启动新事物的人,范围是什么样的......

所以,是的,我的背景是历史学家。所以我有点像......

嗯,我不知道是仓鼠还是松鼠,就像囤积所有这些东西一样,所以我一直在列出所有这些链接,当我浏览的时候,在某个时候,就像你到达......是的,到了应该把这些东西发布出去的时候......是的,显然,我的意思是我们可以讨论细节,但是像

每篇文章都有摘要,这对于我来说是不可能手动完成的,或者至少说,如果没有巨额预算的话......而且,像LLM本身一样,帮助使所有这些事情......事情更容易......所以,是的,这是一项巨大的工作,因为......

没有人做过收集它们的工作。但就总时间而言,整理起来并没有花那么长时间。是的,现在有一个地方了。我知道,至少对我自己来说,我总是试图将我在互联网上看到的任何高质量的博客文章添加到MLOF社区通讯中,作为隐藏的珍宝。确实,

它作为隐藏的珍宝发布。然后,如果你错过了那一周,你就永远错过了。但在这里,你可以随时查看并参考它。我真的很喜欢你所说的,它试图涵盖小型团队、大型企业都在做什么的范围。你有没有注意到任何类型的

重复的用例。因为这里另一个有点新颖的地方是用例的多样性。这与传统的ML不同,在传统的ML中,我们已经弄清楚了,我们知道会有一些欺诈检测、一些推荐系统,也许会有一些贷款评分或一些分类。但是对于LLM来说,它是

狂野的西部,你如何为你的公司创造价值。现在,企业中有很多工作组都在努力弄清楚这一点。是的。我的意思是,多样性绝对是关键词。有很多不同的用例。我认为大概有两个大类。其中一个可能更大一些。更大的一个是像

让我们做一些我们看到其他人都在做的事情。所以让我们建立一个聊天机器人。这个聊天机器人要么是客户服务,要么是与你的数据聊天。

总的来说,这是两种最常见的。这些可以有不同的形式。有些具有代理特性。其他的,是的,是完全内部的。其他的面向客户,等等。这些是......

是的,一些CEO看到其他公司做过这件事......或者内部有人在Streamlit应用程序或其他什么东西上构建了这个POC演示,看起来非常令人印象深刻,让我们推出它,它已经可以工作了......所以你看到他们不知道的是,这些是最常见的......然后你有一小群......

要么是,是的,要么是,我不知道。我不知道除了它像......嗯,它像......嗯,它像......公司真的在突破界限之外还有什么统一的线索。从技术上讲,他们真的在推动创新。他们在弄清楚事情。想想,我不知道。想想,嗯,Copilot几年前在做什么,真的像是在为自己开辟道路,或者,嗯,或者,

或者是一些公司正在做一些创新的事情,也许是现在使用代理,或者混合内容生成等方面的东西,你无法真正对其进行分类。也许不会有一千家其他公司想要这样做,但这对他们来说确实有效。是的。

所以,是的。但我的意思是,这需要某种类型的公司和一定程度的风险承受能力,才能让你进入......我只是要去做我自己的事情,即使其他人都在做聊天机器人。是的。是的,做聊天机器人很容易,因为它对大多数人都有效,或者至少比我们习惯的聊天机器人更好。所以为什么不呢?我喜欢你......

展示了聊天机器人的不同形式。它可能是代理的,可能是内部的,也可能是完全面向外部的,可能是人们在某个东西上进行黑客攻击,也可能是从领导层获得认可的全面推出的项目。所以,当你

看到关于它的博客文章,以及人们写它、谈论它或来到播客上分享时,你会看到各种各样的形式。我想知道一点,一定有很多东西仍然是模糊不清的,因为当我想到像Uber这样的公司时,他们有很多用例是无法谈论的。

他们无法展示各个部门使用LLM以及他们用它做什么的每一种方式。这让我想到很多关于......

我们传统上拥有数据治理角色。现在,AI治理角色就是一个庞然大物,因为在一个拥有1000多名员工,或者更糟糕的是10000名员工的企业中,想象一下有多少不同的AI实例

他们正在做的AI,以及他们为重复的工作流程支付了多少重复的许可证,这只是......是的,仅仅想到这一点就让我感到焦虑

是的,我的意思是,当然,你知道,人们发布的东西,特别是Uber或其他什么东西,通常来说,人们发布的东西会让他们看起来很好,或者让他们的团队看起来很好。即使是失败,也像是我们抓住了失败,对吧?或者我们有良好的流程来捕捉失败。是的,非常尊重那些喜欢包含......

他们搞砸的地方的公司。其中一个例子是Weights and Biases,他们开发了他们的内部,对不起,支持聊天机器人。他们非常擅长公开构建和分享他们如何构建评估等等。他们分享了,哦,是的,我们在评估方法上做错了什么,我们需要花费......

嗯,几千美元只是重做一切,因为我们犯了一些错误,或者其他什么。所以,是的,当人们把实际的钱......但是,是的,如果能更规范地分享失败和行不通的路径,那就太好了,我想这些是在内部共享的,也许对于一个大型公司来说,这是件好事,你知道,这对他们来说是一件好事,是的,也许这是意料之中的,但是......

显然,看到沿途所有没有奏效的部分会很好。在你整理这些内容的过程中,你是否还看到了其他模式,无论它是否指向......

常见的模式,或者人们如何以这种或那种方式进行评估,或者你在阅读了这么多之后注意到的那种事情,你就会想,好吧,这似乎是当今的潮流,也许是最有用的。是的,所以,我的意思是,是的,很多,很多,我认为是更小的见解,而不是大的见解。我的意思是,如果有一个大的见解,那就是

我们所知道的所有经过验证的事情,比如软件工程、DevOps,所有这些原则,所有这些东西都非常重要。你最好把所有这些东西都做好。否则,你构建在其上的魔法将无法工作。或者它将无法可靠地工作。而且,你知道,我们考虑了很多,比如,究竟该如何称呼这个数据库。目前,我们选择了LLM Ops,因为这是......

社区似乎正在接受的。微软正在非常努力地推动这个术语Gen AI ops,这只是太多音节了,而且没有人使用它。有人告诉我,我说这话可能会被取消,但有人前几天来这里说,哦,是的,我们正在做Gen Ops。我说,听起来你很进步啊,哈?像,

有没有一些......这让我觉得,GenOps听起来不像你想要它表达的意思。是的,我们有这个术语,LLMOps,它......

是一种思考方式,也是一种做所有这些事情的方式,我们正在围绕Gen AI做的事情,老实说,大部分都是围绕LLM的,它仍然不在视频领域,人们开始尝试使用多模态,但这仍然有点像......面向未来的......而且与图像生成相同......

但实际上,支撑这一切的很多东西都是MLOps。而且,正如你非常清楚的那样,仍然有很多说MLOps不是一回事的人。它只是DevOps。你可以一直追溯到最底层。这就是为什么我想说软件工程最佳实践,很多都是这样。所以这就是其中一件事。基础仍然非常重要。

还有一些更小的见解是什么?我非常有兴趣跟踪人们实际在生产环境中使用它的程度。每年都有人说,这将是代理之年。我听说现在是2025年了。你最近举办了一个关于这个主题的精彩会议,以及一些用例......

而且它仍然相对来说,我的意思是,有一些成功案例,比如正在做事情的公司,但通常情况下,没有足够的技术细节来了解。这不像你只是像完全不受约束地释放客户工作流程一样,让代理们去处理。它就像,不,一切都尽可能地受到严格限制。所以,是的,这似乎是,我们,

我们还没有让代理可靠地工作。而且,是的,对我来说还不清楚,没有参与很多这些项目,比如瓶颈究竟在哪里。但是人们设法工作的地方

让这种事情发挥作用的是,正如我所说,像,真的,真的严格限制代理的确切任务或规范。Klarna在这方面取得了巨大的成功,他们......

他们放大了或支持了他们的客户服务代理。我认为他们计算出,他们将基于此部署获得多少利润,是多少?3000万,4000万美元?他们减少了客户的等待时间,或者其他什么,排队的人没有回来,所有这些事情。这是一家大型公司。从你从他们发布的内容中可以看出,它就像,是的,它是,

一个非常狭窄的领域,他们可以控制它。而且,C,他们正在准备上市。所以......

当他们进行IPO时,这可以提高他们的股价。我认为2024年最离谱的主张之一是,当CEO出来说,我们不需要雇佣700人,因为我们的AI或类似的东西时。这是那些你阅读字里行间并认识到,哦,是的,那是

他只是准备上市。他现在可能正在进行路演。我对他很好。让这只股票在A1上上涨。但是,你特别提到Klarna是因为这一点以及支持

用例,因为它在涉及代理时感觉是最明确的,而我所看到的其他用例是,是的,我们仍在努力弄清楚,你不能只是说去成为我的营销团队,对吧?或者去做我创业公司的营销,你必须做的是

深入,深入,深入到一个特定的任务中,然后尝试以一种可能的方式自动化它,你知道步骤。所以你可以说,好吧,去收集我的竞争对手正在使用的所有关键词

围绕整个付费点击活动,然后分析我也有兴趣竞标的关键词。那种事情对代理来说是很棒的。它不会为我做营销,对吧?因为你越含糊,你就越不可能得到你想要的结果。所以这可能是现在代理方面最难的事情。然后当你看到他们

试图像我们在生产环境中代理的OLX魔法用例那样使用时,他们试图重塑我们在他们的应用程序中进行搜索的方式,所以你并不一定需要搜索任何具体的东西,你只需要说,哦,我在寻找婴儿车,它会给你一些选择,但它会尝试

在呈现这些选项的方式上更具代理性,而不仅仅是给你那些正在宣传婴儿车的广告或分类广告。你可以获取信息,然后开始关注它。但我仍然不清楚,

我们是否想为此使用聊天?我必须解释我正在寻找什么,与我能够在一个推荐系统中四处点击相比,这种界面的区别。所以我认为OLX Magic所做的很酷的事情是,他们试图将两者结合起来,并说,嘿,

好吧,我们正在给你带来这些第一次搜索或这些第一次点击,但我们还在其之上添加了一个推荐系统,以便我们可以从你点击的地方和离开的地方学习。所以,

不是因为有新的东西就抛弃旧的东西,而是非常有创意地思考如何将两者叠加在一起。是的,我认为在数据库中,还有一些东西有些代表性不足,也许是因为写这些博客的人是技术团队或软件工程师,有点更偏向后端。但是,就像你说的那样,

UX创新也是非常需要的,人们需要进行实验。很多经常被呈现为聊天界面的东西并不需要是聊天界面,但它们仍然可以使用LLM作为底层技术。它可能只是一个按钮。为什么让我把所有这些东西都打出来?没错。或者通过语音交互。所以,是的,这是完全......

是的,我认为即使所有模型的创新现在都停止了,我们仍然需要很多年才能找到新的方法来做这些事情。是的,界面对我来说是一个非常吸引人的方面,因为......

我们有指针,或者光标。我们习惯于四处点击,但我们也有不同的命令。所以,考虑快捷键对我来说是很有趣的。然后我一直在参考Linus Lee大约一年前的演讲,可能是当他,在Notion AI在其写作过程中实现了Notion AI的五个建议时,

在你写作时,在Notion内部使用Notion AI。它都是基于点击的,对吧?某种意义上的点击操作。这真的很酷。但是,是的,也许只是......

嗯,全选,然后你有一些快捷键可以将你的声音添加到写作中,或者只是清理错别字,或者其他什么,以更简洁的方式重写,或者浓缩这个想法,或者打开一个框,你可以来回与聊天进行交互,所以

是的,所有这些都是......感觉我们仍然处于第一局。是的,是的。我的意思是,这可能引出了从数据库中得出的另一个教训,那就是......

有一些,再次,也许并不令人惊讶,但有很多人都依赖于预先制作的,我不想说预先制作的,但像围绕Gen AI的安全框架和平台,无论是Bedrock还是AWS已经完成的更具体的东西

创建基于公司或企业数据等聊天机器人的工作。

所以,是的,我有点惊讶地看到有多少人,我想,正如俗话所说,没有人因为为你的企业公司购买AWS而被解雇。但我担心,鉴于我们刚才谈到的UX方面,如果我们太快地进入一个预先制作的框架的世界,而灵活性相对较低,那么我们可能无法发现所有这些东西。

客户与我们的东西互动的方式,然后我们只是得到Bedrock开箱即用的五到十件事,这是一个很好的观点,然后所有东西看起来都一样,我们一开始并没有对整个体验感到兴奋,所以现在我们只是得到了更多我们不喜欢交互的聊天机器人

是的,我觉得我以前见过这种情况。但是这种模式已经发生了。但令人高兴的是,开源方面似乎并没有......人们似乎并没有过于依赖他们的成就。我想到了,我不知道,Langchain或Llama Index,到目前为止,他们可能只是......

停止开拓新的领域,因为新的技术出现了,只是说,嘿,我们只是要成为超级稳定的聊天机器人。所以,是的,值得称赞的是,他们像,他们仍在发现事情,仍然。

是的,仍在添加新的思考LLM和Gen AI的方式,即使承认人们对这两者,特别是这两者有很多批评,但它仍然,是的,他们没有陷入同样的陷阱,我觉得。

我看到的一个令人着迷的用例是,当Honeycomb的Philip来到这里时,他谈到他们是如何将LLM插入到他们的产品本身,并试图让LLM几乎像一个牧羊人来帮助人们。

让他们在产品内部做一些事情,他们知道这会将他们转化为付费用户,我认为这个用例非常棒,但很少见,或者我不知道还有多少其他公司试图以这种方式进行创新,也许你看到了其他人说,哦,是的,我们将

将LLM作为向导或牧羊人,或者更像是在产品内部的销售代理或销售工程师。从那里,他们将帮助用户更快地熟练掌握产品,以便他们成为高级用户并最终购买产品。我的意思是,我认为在大多数情况下,嗯,

大多数公司似乎有点担心将太多代理权委托给LLM。我的意思是,不知何故,聊天机器人就是这样,对吧?就像,我们不能让你完全访问我们的支持团队,但是,嘿,这是一个24/7全天候工作的机器人,你可以尽情使用。问题是......

它通常被视为一种万能药,或者人们不喜欢坚持细节,然后你就会看到人们对产品感到沮丧,我的意思是,当然,我相信你尝试过很多不同地方的随机演示和随机的东西,而且很快你就会意识到,哦,它实际上并没有像

做它应该做的事情。所以人们要么发布这些东西,结果是中等水平,这就是为什么你在人们写的博客中看不到的原因,它不是关于,是的,我们从这件事中赚了很多钱。

而是更关注技术挑战。然后,是的,有很多只是像我们构建了一些内部的东西,因为它更容易。就像我们在那里更能承受风险,人们可以发现它有用,他们可以接受或拒绝它。但最终,他们必须为我们工作,或者其他什么。你知道,这不像他们可以......不能向任何人抱怨。对。

是的,他们不会通过写一个糟糕的Reddit帖子来让股价下跌。所以,正如你所说,想到我脑海中的一件事是,对于我们获得的这些支持机器人,你不可避免地必须认为大多数都是以某种方式、某种形式由RAG系统驱动的。我相信你读过RAG。

比你愿意承认的更多RAG博客。当人们设置他们的RAG并提供上下文时......所以你有一个聊天机器人,作为最终用户,我正在与之交互。然后它会转到某种搜索系统,或者它正在检索你请求的东西。它也可能......

试图提出一个解决方案。我想知道人们是否尝试过添加我一直在应用程序中执行的不同信号。所以这可能会有点令人困惑,

我敢说,让我们谈谈这个流行词,多模态。但是如果我正在点击某个东西,并且我,我喜欢,有些人称之为愤怒点击,因为某些东西不起作用,或者我正在尝试寻找某些东西。我最不想做的事情就是让我与支持机器人交谈,然后它建议我做我一直在做的事情。对。好吧,然后我必须解释像......

过去10分钟的,是的,是的,没错,我不想告诉你我刚刚做了这五个步骤,我希望你知道这一点,并在我的回答中考虑到这一点。我不知道你是否看到有人这样做,因为这感觉很酷,但它也感觉可能根本不可能或没有价值。我的意思是,当然,这是可能的......但我没有看到任何具体的

特别是在你网站上做了什么,但当然客户支持机器人会用客户数据和客户之前的上下文来丰富,这肯定是我能看到的。所以我认为

忘记具体的例子,但就像电子商务一样,这是一件非常常见的事情。客户的个人资料、他们最近购买的东西、他们的偏好。所有这些东西都非常有规律地传递进去。但这确实有点,再次,回到了我们刚才谈到的UX方面,在那里

对于RAG系统来说,是的,就像你想要一点更多的力量和灵活性,就像你可能与人一样,比如快进对话的某些部分或减慢这一部分的速度,或者像,嘿,让我现在给你发送一张照片。不要让我从像六段适用于我的事情的文本中进行选择。所以,

所以,是的,这种事情仍然......人们仍在弄清楚,比如,更大的图景和一些东西。我想象,像,一旦这变得更加稳定,那么你就会开始让人们更多地考虑UX。我不确定。我不是......

是的,我不确定这些东西需要多长时间才能渗透。是的。很多时候,我可以想象最终用户没有意识到他们可以选择发送屏幕截图或其他什么。

因为如果最终用户没有提示,你是否更愿意向我发送屏幕截图来解释你正在做什么?然后你最终试图用文字来解释,这有点笨拙。所以,是的,也许就像你得到的六个后续问题之一一样简单,发送一张带有你问题的屏幕截图。然后他们从那里开始。但想到这一点非常吸引人。我一直......

对人们所采取的产品旅程很感兴趣,特别是围绕他们可能遇到的摩擦,而作为产品的创建者,你从未想过。

好的。因为,你知道,它进进出出,你知道,哦,是的,如果你想这样做,你只需点击这个按钮,然后就会出现一个小小的下拉菜单,你就能得到你想要的东西。但新用户只是到处点击,试图找到他们想做的事情。他们甚至可能真的不知道自己到底想做什么。所以他们以一种方式探索,但他们也在试图弄清楚这个工具是否对他们有用。是的。

这就是为什么拥有一个弹出的小伙伴会很棒,它会说:“我看到你只是随意点击,我能帮你找到你需要的东西吗?或者我看到你做了这五个动作,你知道这里还有什么很酷的吗?这是一个隐藏的技巧。”所以它会建议一些成为更好产品用户的方法,是的,这可能很少见,是的,你看到人们正在尝试这个,我的意思是,像

OpenAI 和还有谁?微软,他们的那种......我们全天候监控你所做的一切,就像你看到人们试图让这种体验发挥作用一样,是的,很明显,这还处于早期阶段,是的,只是想想我们还没有讨论过的一件事,比如评估,以及你如何......

创建你的数据飞轮,所有这些事情。但你可以想象,一旦你达到......

24 小时,比如监控屏幕和互动等等,评估就变得......是的,你需要认真思考如何去做,你可能需要像大型语言模型或多模态大型语言模型这样的循环,它们挑选出有趣的例子等等,但是的,在这一点上,你就像在评估人类行为的总和,是的

没错。说到评估,你有没有看到那里出现了一些常见的模式?我一直都很感兴趣,因为围绕大型语言模型作为评判标准有很多炒作,但实际使用大型语言模型作为评判标准的做法,我不确定有多少人真的在做。

我的意思是,有些人尝试过,结果喜忧参半,他们发现,你知道,他们遇到了很多常见的失败模式,比如使用大型语言模型,以及让他们输出数字分数。他们发现这非常不可靠。所以他们有了大型语言模型。你会得到定性结果。

回应,或者你拥有大型语言模型,它们会将某些例子标记为......你显然会看到大型语言模型被用于合成数据,也许是为了帮助你克服在构建功能方面遇到的某些障碍,但是的,可能这类情况要少得多,而且

是的,常见的模式是:有人构建了 POC 演示,无论如何,在这一点上,评估并不是任何事情的一部分。然后他们开始考虑,好吧,我们如何将其呈现给更广泛的受众,无论是......

公众还是面向公司的内部用户,然后在那一点上,希望人们开始考虑评估,以及我们真正无法承受的真正失败场景是什么,所以你会看到一些非常基本的东西出现,然后是的,取决于公司的规模,他们甚至可能就此止步,但是是的,规模更大的公司,有更多资金投资于......

像这样的项目,这并不一定会影响底线,那么是的,他们实际上是在收集数据,迭代流程等等。但是是的,大多数情况下,人们是......

人们经常构建这些大型语言模型项目,特别是面向内部的项目,这样他们就不会在技术方面落后。他们想要接触它。这有点像他们的一种......

是的,只是接触大型语言模型正在发生的事情。我们在 ZenML 也这样做过。在一年前或一年半前,我构建了一个 Slack 聊天支持机器人。这主要是因为,是的,我们想了解人们如何使用这些东西。这有多难?失败模式是什么?以及

等等。因此,与你做一些更像利润结果驱动的事情相比,这里可能会有不同的激励机制。是的,你更愿意接受某些风险或以某种方式做某些事情。好吧,你说了我最喜欢的词之一,那就是投资回报率和利润。

你从所有这些博客中获得了许多见解吗?许多博客都谈到了它吗?正如你之前提到的,主要是工程师在撰写他们正在解决的工程师问题的文章。所以我认为他们不一定说,这给我们带来了巨大的投资回报率。但也许你看到的一些确实......

考虑到了这一点,或者他们谈论了它在他们所关注的规模上是否可行,除了像 Clarna 这样的少数公司之外,他们实际上确实......Clarna 确实给出了一个实际的数字,一个很大的数字......我认为这也有点像那些谈论......

你知道,用户数量激增,或者,你知道,重新燃起的兴趣,或者一个正在消亡的产品,由于引入了 RAG 或更好的,我不知道,基于大型语言模型的搜索系统或类似的东西而复兴了。我不太清楚这是否像......

嗯,因为......是的,很多人去一些地方尝试一些东西,或者尝试一些新的功能或新技术......而且......是的,对于很多东西来说,很明显,这正在变化,以后会被其他东西取代。我的意思是,我现在最喜欢的东西是......在这种......

呃,领域,比如 NotebookLM,非常流行......这是一种很酷的用例......呃,你知道,他们刚刚推出了这样一件事情,你可以自己参与播客,如果你看到了并尝试了它,它非常酷,使用起来很有趣......我们三年后还会使用 NotebookLM 或玩这个吗?我不知道,可能不会,希望也许会有像......

一个更好的元工具,围绕着......是的,播客或讨论或学习,这取决于你在这个领域的视角。所以很多用例,人们会得到非常好的结果,并且可以给出关于他们有多少客户的具体数字,或者......

人们的用户旅程是如何通过这个得到改善的。我不知道这些东西是否会长期存在。这就像我们发布了一些东西,并且有很多用户。是的。我在这个领域考虑的另一件事是所有这些代理平台。是的。五年后,可能有一半或大部分代理平台将不复存在。但其中一些拥有大量用户和玩耍的人。而且

是的。特别是对于较小的用例,人们会做一些对他们非常有用的有趣的事情。但是是的,我必须认为很多这些东西会......

随着时间的推移,会被合并或融合或变成其他东西。当你提到代理平台时,你的意思是帮助人们构建代理,就像一个可以帮助......

你构建代理的框架,或者是你可以使用的一些实际代理?好吧,其中一些有代理的市场,这似乎是他们赚钱的东西。但是是的,它有点像这些 GUI 界面,网络界面,你可以连接你这样做,如果没有,转到这个代理,以及这类东西。它们非常流行,有些确实在赚钱。而且

也许它有点像......呃......那种创建你自己的化身复制品......这种......服务,你可以创建一个 AI 化身,而且它是个性化的等等,这并不是一个被广泛使用的东西,但它很流行,赚了很多钱,也许其中两三个会继续存在很长时间,但是......是的,我......

不得不觉得很多这些东西都会消失,或者人们会转向下一个东西。是的,这很有趣,因为很明显的一点是,你必须要有足够的耐心才能让这些构建你自己的代理的东西发挥作用。调试很难,因为你不知道你是否......

提示不正确,或者你没有要求它执行足够窄的任务,或者你设置的流程有问题。所以如果你不愿意花时间来创建这个流程,那么这将非常困难。但是,我已经看到有很多......

这些构建你自己的代理的东西开箱即用的常见用例,所以我......我认为我前几天注册了一个,它说你是什么?你如何识别自己?所以我说是......让我们看看他们有什么产品营销或 SEO,我认为只是所有不同的营销用例,而且

然后它给了我很多他们设置的流程。你只需要添加一些简单的东西,比如,哦,这是我的网站。这是我试图提升排名的关键词,或者其他什么。他们让你更容易尝试减少这种摩擦。

是的。我的意思是,这对于我们已经知道 SEO 中重要的事情以及任务或其他什么的明确定义的领域非常有效。但是当你......你知道,人们谈论代理的很多用例是......它是在研究领域,是的,这有点难。如果你知道问题是什么以及如何解决它,你可能不需要代理。是的。是的。

是的。太迷人了。所以,当你将所有这些不同的博客和不同的来源整合到数据库中时,你有没有发现任何始终提供顶级材料并发布绝对高质量材料的来源?

我的意思是,一些众所周知的,Netflix 技术博客,DoorDash 有一个非常好的博客。Honeycomb 始终如一地发布内容。Weights and Biases 自从启动了他们的支持聊天机器人以来,我认为他们已经做了 10 个不同的深入技术风格博客。是的,有很多。其中一些......

是的,然后剩下的只是一堆来自公司的随机博客,是的,也许他们以前没有写过任何东西,或者新公司,是的,这有点......找到它们是......

嗯,很难......我使用了一个非常棒的基于嵌入的搜索引擎,叫做 exa.ai......嗯......是的,你输入一些其他博客,然后说找到类似的博客......因为它基于嵌入,所以你会得到非常好的结果......我会推荐它......

是的,所以它们都是你喜欢的那些,你知道,因为拥有优秀的技术团队,然后是一堆......是的,那些你必须......

希望他们在你的社交网络或其他地方发布,因为有人会重新分享它们,因为很难找到......是的,很难找到这些案例研究,是的,显然像 MLOps 社区一样......绝对喜欢所有视频......我希望我们已经通过像总结转录本中的内容一样,以文本形式解放了一些视频中的内容,因为是的,像......

我认为数据库中引用了大约 100 个视频。或者至少你可以根据摘要决定是否要观看它。你想要在 YouTube 上对数据可视化做一些很酷的事情吗?

因为感觉上,对于所有主题或所有不同的过滤器,你可以创建一些有趣的数据可视化,无论是好的聊天机器人,你都有一个完整的嵌入空间,你正在查看它的方式,或者你正在查看不同的用例以及那种东西,或者你已经完成了,你就像好吧,我已经把它发布出来了,我现在要回去工作,继续在 ZenML 工作。我的意思是,我们正在继续维护它,人们提交用例和文章等等。所以这真的很好。这只会增长。我真正想要做的一件事......我们应该在哪里提交?数据库顶部有一个链接。这只是一个我们填写的表格。好的。

我们还将数据集作为 Hugging Face 数据集发布,所以如果人们不想抓取我们的网站来获取所有数据,我们已经为你做好了,只需访问 Hugging Face 即可。但我真正想做的一件事,而且我没有时间实现它,基本上是允许人们根据所有这些用例按工具进行搜索。

你想查看所有使用 Lama Index 进行嵌入的公司,或者所有使用 Quadrant 或 Pinecone(向量数据库或其他什么)的人,然后查看特定工具和用例周围的常见用例或失败或成功模式。所以是的,这有点难......

以可靠的方式实现工具的提取或至少自动化它。但这将是一件有用的事情。我可以保证的是,我们不会有像......

与你的 llmops 数据库聊天一样的功能,或者如果你想下载 Hugging Face,你可以自己构建它,就是这样,下一个 MLOps 社区黑客马拉松开始了,是的,我们将做那个,太好了,哦,伙计,好吧,你已经......用它做了一些很棒的事情,我真的很感激你把它放在一起,因为它就像我说的那样,这是一个我可以回来并继续学习的资源。

所以我希望你能继续更新它。任何在那里做一些很酷的事情的人,如果你写了关于它的文章,请务必将其提交给 Alex 和 ZenML 团队。这太棒了。谢谢。谢谢。