Beyond the ChatBot Hype: Deep Dive into Real LLM Success Stories // Alex Strick van Linschoten // #287
49:54 Share

我的名字是亚历克斯·斯特里克·范·林舍滕。我是ZenML的一名机器学习工程师。我不喝咖啡,我喝绿茶。不总是喝,但是的,一杯好茉莉绿茶什么的。

宇宙中善良的人们,欢迎回到MLOps社区播客。今天,我们有一期非常特别的节目,回顾一下现实世界中LLM用例的数据库。没错,亚历克斯把各种AI用例整合到一个地方。我感谢他为我们做了这件事。

我们将讨论他在整理这个庞大数据库的过程中学到了什么,以及他是如何做到的。所以,事不宜迟,让我们开始吧。如果你是一位在播客播放器上收听本期节目的特殊听众,我有一些播客推荐给你。

在YouTube算法的收听环节中,你可以找到鲍勃·迪伦和范·莫里森演奏经典歌曲《疯狂的爱》的珍贵片段,拍摄于1989年雅典卫城前。我能听到她从千里之外的天堂般开阔的天空中传来的心跳声。

每次她微笑的时候。是的,当我来到她身边时,那就是我的归宿。是的,我像河水般奔向她。她给了我爱,爱,疯狂的爱。她给了我爱,爱,疯狂的爱。好的,幽默地说,当我感到沮丧的时候。是的,当我来到她身边,当太阳落山的时候。

带走我的烦恼,带走我的,带走我夜里的心痛,像个小偷一样,她给了我爱,爱,爱,疯狂的爱,她给了我爱,我认为我唯一一次看到这么好的作品是你所做的,那就是Evidently AI的人们汇集了

一个巨大的数据库,其中包含各种使用ML和AI的方法。他们从现有的博客文章、与他们交谈的人以及可能使用他们开源客户端的一些人那里收集了许多不同的数据来源。你们在ZenML做了类似的事情,你们也建立了一个数据库,但专门针对LLM。而且,而且

使用LLM进行生产的人。你能解释一下你是如何做到的吗?这是一项多么巨大的工作?当然,是的。我很高兴你提到了Evidently数据库。我认为他们有两个数据库。他们完全是,这完全是我们的灵感来源。我想,是的,所有这些事情都在发生,你会看到,比如,

人们偶尔会发布这些小博客,或者只是随机的事情,或者像你与MLOps社区进行的所有对话一样,这是一个丰富的数据来源,我们都在努力弄清楚这些东西在生产中究竟是如何工作的,比如,范围从大型公司到只有五、六个人试图启动一些新事物,启动一些新事物......

所以,是的,我的背景是历史学家。所以我有点像......

嗯,我不知道是仓鼠还是松鼠,就像囤积所有这些东西一样,所以我一直在记下所有这些链接,当我浏览的时候,在某个时候,就像你到达......是的,到了应该把这些东西发布出去的时候......是的,显然,我的意思是我们可以讨论细节,但是像

每篇文章都有摘要,手动完成这些工作对我来说是不可能的,或者至少说,如果没有巨额预算的话......而且,像LLM本身一样,帮助使所有这些事情......事情变得更容易......所以,是的,这是一项巨大的工作,因为......

没有人做过收集它们的工作。但就总时间而言,整理这些内容并没有花太长时间。是的,现在有一个地方了。我知道,至少对我自己来说,我总是试图将我在互联网上看到的任何高质量的博客文章添加到MLOF社区的新闻通讯中,作为隐藏的珍宝。确实如此,

它作为隐藏的珍宝发布。然后,如果你错过了那一周,你就永远错过了。但在这里,你可以随时查看并参考它。我真的很喜欢你所说的,它试图涵盖小型团队、大型企业正在做的事情的范围。你有没有注意到任何类型的

重复的用例。因为这里另一个有点新颖的地方是用例的多样性。这与传统的ML不同,在传统的ML中,我们已经弄清楚了,我们知道会有一些欺诈检测、一些推荐系统,也许会有一些贷款评分或一些分类。但是对于LLM来说,它是

狂野的西部,关于你如何为你的公司创造价值。现在,企业中有很多工作组都在努力弄清楚这一点。是的。我的意思是,多样性绝对是关键词。有很多不同的用例。我认为大概有两个大类。其中一个可能更大一些。更大的一个是像

让我们做一些我们看到其他人都在做的事情。所以让我们构建一个聊天机器人。这个聊天机器人要么是客户服务,要么是与你的数据聊天。

总的来说,这是两种最常见的类型。这些可以有不同的形式。有些具有代理特性。其他的,是的,是完全内部的。其他的面向客户,等等。这些是......

是的,一些CEO看到其他公司做过这件事......或者内部有人在Streamlit应用程序或其他什么东西上构建了这个POC演示,看起来非常令人印象深刻,让我们推出它吧,它已经可以工作了......所以你看到他们不知道的是,这些是最常见的......然后你有一小群......

要么是,是的,要么是,我不知道。我不知道除了它像......之外还有什么统一的线索,它就像......它就像......那些真正推动技术发展的公司。他们真的在推动创新。他们在弄清楚事情。想想,我不知道。想想......几年前Copilot在做什么,真的像是在为自己开辟道路,或者......或者......

或者是一些公司正在做一些创新的事情,也许是现在使用代理,或者混合内容生成等方面的东西,你无法真正对其进行分类。也许不会有其他一千家公司想要这样做,但这对他们来说确实有效。是的。

所以,是的。但我的意思是,这需要某种类型的公司和一定程度的风险承受能力,才能让你进入......我只是要去做我自己的事情,即使其他人都在做聊天机器人。是的。是的,做聊天机器人很容易,因为它对大多数人都有效,或者至少比我们习惯的聊天机器人更好。所以为什么不呢?我喜欢你......

展示了聊天机器人的不同形式。它可能是代理的,可能是内部的,也可能是完全面向外部的,可能是人们在某个东西上进行黑客攻击,也可能是得到了领导层认可的全面推出的项目。所以当你看到

关于它的博客文章,以及人们写它、谈论它或来到播客上分享时,你会看到各种各样的形式。我想知道很多东西仍然是模糊不清的,因为当我想到像Uber这样的公司时,他们有很多用例是无法谈论的。

他们无法展示各个部门使用LLM以及他们如何使用LLM的每一种方式。这让我想到很多关于......

我们传统上拥有数据治理角色。现在,AI治理角色就是一个庞然大物,因为在一个拥有1000多名员工,或者更糟糕的是10000名员工的企业中,想象一下有多少不同的AI实例

他们正在做的AI,以及他们为重复的工作流程支付了多少重复的许可证,这只是......是的,仅仅想到这一点就让我感到焦虑

是的,我的意思是,当然,你知道,人们发布的东西,特别是Uber或其他什么东西,通常来说,人们发布的东西会让他们看起来很好,或者让他们的团队看起来很好。即使是失败,也像是我们抓住了失败,对吧?或者我们有良好的流程来捕捉失败。是的,非常尊重那些喜欢包含......的公司。

他们搞砸的地方。其中一个例子是Weights and Biases,他们开发了他们的内部,对不起,支持聊天机器人。他们非常擅长公开构建和分享他们如何构建评估等等。他们分享了,哦,是的,我们在评估方法上做错了什么,我们需要花费......

嗯,几千美元来重做所有事情,因为我们犯了一些错误,或者其他什么。所以,是的,当人们投入实际资金时,这很好......但是,如果能够更规范地分享失败和行不通的路径,那就太好了,我想这些是在内部共享的,也许对于一个大型公司来说,这是件好事,你知道,这对他们来说是一件好事,是的,也许这是意料之中的,但是......

显然,看到沿途所有没有奏效的部分会很好。在你整理这些内容的过程中,你还有其他发现的模式吗?它是否指向......

常见的模式,或者人们如何以这种或那种方式进行评估,或者你在阅读这么多内容后注意到的那种事情,你就会想,好吧,这似乎是当今的潮流,也许它是最有用的。是的,我的意思是,是的,很多,很多,我认为是更小的见解,而不是大的见解。我的意思是,如果有一个大的见解,那就是像

所有我们所知道的经过验证的事情,比如软件工程、DevOps,所有这些原则,所有这些东西都非常重要。你最好把所有这些东西都做好。否则,你构建在其上的魔法将无法工作。或者它将无法可靠地工作。而且,你知道,我们考虑了很多,比如,究竟该如何称呼这个数据库。目前,我们选择了LLM Ops,因为这是......

社区似乎正在接受的。微软正在非常努力地推动这个术语Gen AI ops,这只是太多音节了,而且没有人使用它。有人告诉我,我说这话可能会被取消,但有人前几天来这里说,哦,是的,我们正在做Gen Ops。我说,听起来你很进步啊,哈?像,

有没有什么......这让我觉得,GenOps听起来不像你想要它表达的意思。是的,我们有这个术语,LLMOps,它......

是一种思考方式,也是一种做所有这些事情的方式,我们围绕着Gen AI所做的事情,老实说,大部分都是围绕着LLM的,它仍然不在视频领域,人们开始尝试使用多模态,但这仍然有点像......面向未来的......以及与图像生成相同......

但实际上,支撑这一切的很多东西都是MLOps。而且,正如你非常清楚的那样,仍然有很多说MLOps不是一回事的人。它只是DevOps。你可以一直追溯到最根本。这就是为什么我想说软件工程最佳实践,很多都是这样。所以这是一个方面。基础仍然非常重要。

还有一些更小的见解是什么?我非常有兴趣跟踪人们实际在生产中使用它的程度。每年都有人说,这将是代理之年。我听说现在是2025年左右。你最近举办了一个关于这个主题的精彩会议,以及一些用例......

而且它仍然相对来说,我的意思是,有一些成功的案例,比如那些正在做事情的公司,但通常情况下,没有足够的技术细节来了解。这不像你只是像完全不受约束地释放客户工作流程一样,让代理们去处理。它就像,不,一切都尽可能地受到严格的限制。所以,是的,这似乎是我们在......

我们还没有让代理可靠地工作。而且,是的,对我来说还不清楚,没有参与很多这些项目,比如瓶颈究竟在哪里。但是人们设法让它工作的地方是,正如我所说,像真的,真的严格限制了代理的具体任务或规范。Klarna在这方面取得了巨大的成功,他们......

他们增强或支持了他们的客户服务代理。我认为他们计算出,他们将基于此部署获得多少利润,是多少?3000万,4000万美元。他们减少了客户的等待时间,或者其他什么,人们没有回来,所有这些事情。这是一家大型公司。从你从他们发布的内容中可以看出,它就像,是的,它是一个,

非常狭窄的领域,他们可以控制它。而且,C,他们正在准备上市。所以......

当他们进行IPO时,这可以提高他们的股价。我认为2024年最离谱的主张之一是,当CEO出来说,我们不需要雇佣700人,因为我们的AI或类似的东西。这是一个你阅读字里行间并认识到,哦,是的,那是

他只是准备上市。他现在可能正在进行路演。我对他很好。让这只股票在A1上上涨。但是,这很有趣,你特别提到了Klarna,因为它以及支持

用例,因为这在涉及代理时感觉是最明确的,而我所看到的其他用例是,是的,我们仍在努力弄清楚,你不能只是说去成为我的营销团队,对吧?或者去做我创业公司的营销,你必须做的是

深入,深入,深入到一个具体的任务中,然后尝试以一种可能的方式自动化它,你知道步骤。所以你可以说,好吧,去收集我的竞争对手正在使用的所有关键词

围绕整个付费点击活动,然后分析哪些是我也感兴趣的竞价关键词。那种事情对代理来说是很棒的。它不会为我做营销,对吧?因为你越含糊,你获得想要的结果的可能性就越小。所以这可能是现在代理方面最难的事情。然后当你看到他们

试图像我们在生产中使用的代理的OLX魔法用例那样使用它们时,他们试图重塑我们在他们的应用程序中进行搜索的方式,所以你并不一定需要搜索任何具体的东西,你只需要说,哦,我在寻找婴儿车,它会给你一些选择,但它会尝试

在呈现这些选项的方式上更具代理性,而不仅仅是给你那些正在宣传婴儿车的广告或分类广告。你可以获取信息,然后开始关注它。但我仍然不清楚,

我们是否想为此使用聊天?我必须解释我正在寻找什么,与我能够在一个推荐系统中点击四处移动的界面相比。所以我认为OLX Magic所做的很酷的事情是,他们试图将两者结合起来,并说,嘿,

好吧,我们正在给你带来这些第一次搜索或这些第一次点击,但我们也在上面添加了一个推荐系统,以便我们可以从你的点击和离开的地方学习。所以它,

不是因为有新的东西就抛弃旧的东西,而是非常有创意地思考如何将两者叠加在一起。是的,我认为在数据库中,还有一些东西有点被低估了,也许是因为写这些博客的人是技术团队或软件工程师,有点更偏向后端。但是,就像你说的那样,

UX创新也是非常需要的,人们需要进行实验。很多被呈现为聊天界面的东西并不需要是聊天界面,但它们仍然可以使用LLM作为底层技术。它可能只是一个按钮。为什么让我把所有这些东西都打出来?没错。或者通过语音交互。所以是的,这是完全......

是的,我认为即使所有模型的创新现在都停止了,我们仍然需要很多年才能找到新的方法来做这些事情。是的,界面对我来说是一个非常吸引人的方面,因为......

我们有指针,或者光标。我们习惯于四处点击,但我们也有不同的命令。所以考虑快捷键对我来说非常吸引人。然后我一直在参考Linus Lee大约一年前的演讲,可能是当他......那是在Notion AI在其内部实现仅仅......之前

在你写作时,在Notion中你可以使用Notion AI的五个建议。它都是基于点击的,对吧?某种意义上的点击操作。这真的很酷。但是,是的,也许只是......

嗯,全选,然后你有一些快捷键可以将你的声音添加到写作中,或者只是清理错别字,或者其他什么,以更简洁的方式重写,或者浓缩这个想法,或者打开一个框,你可以来回与聊天进行交互,所以

是的,所有这些都是......感觉我们仍然处于第一局。是的,是的。我的意思是,这可能引出了从数据库中得出的另一个教训......

有一个,再次,也许并不令人惊讶,但很多人正在转向预先制作的,我不想说预先制作的,但像围绕Gen AI的安全框架和平台,无论是Bedrock还是AWS所做的更具体的事情

让某人基于公司或企业数据创建聊天机器人变得非常容易的工作。

所以是的,我很惊讶地看到有多少人,我想,正如俗话所说,没有人因为为你的企业公司购买AWS而被解雇。但我担心,鉴于我们刚才讨论的UX问题,如果我们太快地进入一个预先制作的框架的世界,而灵活性相对较低,那么我们可能无法发现所有这些东西。

不同的方式,比如客户可以与我们的东西互动,然后我们只是得到开箱即用的Bedrock可以提供的五到十件事,这是一个非常好的观点,然后所有东西看起来都一样,我们一开始并没有对整个体验感到兴奋,所以现在我们得到了更多我们不喜欢互动的聊天机器人

是的,我觉得我以前见过这种情况。但是这种模式已经发生了。但令人高兴的是,开源方面似乎并没有......人们似乎并没有过于依赖他们的成就。我想到了,我不知道,Langchain或Llama Index,到目前为止,他们可能只是......

停止开拓新的领域,因为新的技术出现了,只是说,嘿,我们只是要成为超级稳定的聊天机器人。所以,是的,值得称赞的是,他们像......他们仍在探索,仍在发现。

是的,仍在添加新的思考LLM和Gen AI的方式,即使承认人们对这两者提出的许多批评,它仍然是,是的,他们没有陷入同样的陷阱,我觉得。

我看到的一个令人着迷的用例是,当Honeycomb的Philip来到这里时,他谈到了他们如何将LLM插入他们的产品本身,并试图让LLM几乎像一个牧羊人一样来帮助人们。

让他们在产品内部做一些事情,他们知道这些事情会将他们转化为付费用户,我认为这个用例非常棒,但很少见,或者我不知道还有多少其他公司试图以这种方式进行创新,也许你看到了其他人说,哦,是的,我们将

将LLM作为向导或牧羊人,或者更像是在产品内部作为我们的销售代理或销售工程师。从那里,他们将帮助用户更快地熟练掌握产品,以便他们成为高级用户并最终购买产品。我的意思是,我认为在大多数情况下,......

大多数公司似乎有点担心将太多代理权委托给LLM。我的意思是,不知何故,聊天机器人就是这样,对吧?它就像,我们不能让你完全访问我们的支持团队,但是,嘿,这是一个24/7全天候工作的机器人,你可以尽情使用。问题是......

它通常被视为一种万能药,或者人们不喜欢坚持细节,然后你就会看到人们对产品感到沮丧,我的意思是,当然,我相信你尝试过很多不同地方的随机演示和随机的东西,而且很快你就会意识到,哦,它实际上并没有像

它本应做的那样做。所以人们要么发布这些东西,结果平平,这就是为什么你不会在人们写的博客中看到它,它更多的是关于,是的,我们从这件事中赚了很多钱。

但它更关注技术挑战。然后,是的,有很多只是像我们构建了一些内部的东西,因为它更容易。我们对那里的风险更舒服,人们可以发现它有用,他们可以接受或拒绝它。但最终,他们必须为我们工作,或者其他什么。你知道,这不像他们可以......不能向任何人抱怨。对。

是的,他们不会通过写一个糟糕的Reddit帖子来让股价下跌。所以,正如你所说,一件让我想到的事情是,对于我们获得的支持机器人,你不可避免地必须认为大多数机器人都是以某种方式、某种形式由RAG系统驱动的。我相信你读过RAG。

比你想承认的更多RAG博客。当人们设置他们的RAG并提供上下文时......所以你有一个聊天机器人,作为最终用户,我正在与之互动。然后它转到某种搜索系统,或者它正在检索你请求的东西。它也可能......

试图提出一个解决方案。我想知道人们是否尝试过添加我一直在应用程序中所做事情的不同信号。所以这可能会有点令人困惑,

我敢说,让我们谈谈这个流行词,多模态。但是如果我正在点击某个东西,并且我,我喜欢,有些人称之为愤怒点击,因为某些东西不起作用,或者我正在尝试寻找某些东西。我最不想做的事情就是让我与支持机器人交谈,然后它建议我做我一直在做的事情。对。好吧,然后我必须解释像......

过去10分钟的,是的,是的,没错,我不想告诉你我刚刚做了这五个步骤,我希望你知道这一点,并在你的回答中考虑到这一点。我不知道你是否看到有人这样做,因为这感觉很酷,但它也感觉可能不可能或没有价值。我的意思是,当然,这是可能的......但我没有看到任何具体的

具体围绕你在网站上做了什么,但当然客户支持机器人会用客户数据和客户之前的上下文来丰富,这肯定是我能看到的,所以我认为

忘记具体的例子,但就像电子商务一样,这是一件非常常见的事情。客户的个人资料、他们最近购买的东西、他们的偏好。所有这些东西都非常定期地传递进去。但这确实有点,再次,回到了我们刚才讨论的UX问题,在那里

对于RAG系统来说,是的,就像你想要一点更多的力量和灵活性,就像你可能与人一样,比如快进对话的某些部分,或者在这个部分放慢速度,或者像,嘿,让我现在给你发送一张照片。不要让我从像六段适用于我的事情的文本中进行选择。所以,

所以,是的,那种事情仍然......人们仍在弄清楚,比如,更大的图景和一些东西。我想象,像,一旦这变得更加稳定,那么你就会开始让人们更多地考虑UX。我不确定。我不是......

是的,我不确定这些东西需要多长时间才能渗透。是的。很多时候,我可以想象最终用户没有意识到他们可以选择发送屏幕截图或其他什么。

因为如果最终用户没有提示,你是否更愿意向我发送屏幕截图来解释你正在做什么?然后你最终试图用文字来解释,这有点笨拙。所以,是的,也许就像你得到的六个后续问题之一一样简单,发送一个带有你问题的屏幕截图。然后他们从那里开始。但想到这一点非常吸引人。我一直......

对人们所采取的产品旅程很感兴趣,尤其是他们可能遇到的摩擦,而作为产品的创建者,你从未想过。

好的。因为,你知道,它进进出出,而且,你知道,哦,是的,如果你想这样做,你只需点击这个按钮,然后就会出现一个小小的下拉菜单,你就能得到你想要的东西。但是新用户只是到处点击,试图找到他们想做的事情。他们甚至可能真的不知道自己到底想做什么。所以他们以一种方式探索,但他们也在试图弄清楚这个工具是否对他们有用。是的。

这就是为什么拥有一个弹出的小伙伴会很棒,它会说:“我看到你只是随意点击,我能帮你找到你需要的东西吗?或者我看到你做了这五个动作,你知道这里还有什么很酷的吗?这是一个隐藏的技巧。”所以它会建议一些成为更好产品用户的方法,是的,这可能很少见,是的,你看到人们正在尝试这个,我的意思是,像

OpenAI 和其他人,微软也这样做,他们就像,我们全天候监控你所做的一切,就像你看到人们试图让这种体验发挥作用一样,是的,很明显,这还处于早期阶段,是的,只是想想我们还没有讨论过的一件事,比如评估,以及你如何

创建你的数据飞轮等等。但是你可以想象,一旦你达到

24 小时,比如监控屏幕和交互等等,评估就会变得......是的,你需要认真思考如何去做,你可能需要像 llms 或多模态 llms 这样的循环,它们挑选出有趣的例子等等,但是是的,在这一点上,你就像评估人类行为的总和,是的

没错。说到评估,你有没有看到那里出现了一些常见的模式?我一直都很感兴趣,因为围绕着 LLM 作为评判标准有很多炒作,但是实际使用 LLM 作为评判标准的做法,我不确定有多少人真的在这样做。

我的意思是,有些人尝试过,结果喜忧参半,他们发现,你知道,他们遇到了很多常见的失败模式,比如使用 LLM 并让它们输出数字分数。他们发现这是非常不可靠的。所以他们有了 LLM。你会得到定性结果。

回应,或者你有一些 LLM 正在标记某些例子,很明显,LLM 被用于合成数据,也许是为了让你克服在构建功能方面遇到的某些障碍,但是是的,这方面可能少得多,而且

是的,常见的模式是,有人构建了 POC 演示,无论如何,在这一点上,评估并不是任何事情的一部分。然后他们开始考虑,好吧,我们如何向更广泛的受众展示这一点,无论是

公众还是面向公司的内部人员,然后在那一点上,希望人们开始考虑评估,以及我们真正无法承受的真正失败场景是什么,所以你会看到一些非常基本的东西出现,然后是的,取决于公司的规模,他们甚至可能就此止步,但是然后是的,规模更大的公司,有更多资金投资于这种

这样的项目,这并不一定会影响底线,那么是的,他们实际上是在收集数据,迭代流程等等。但是是的,大多数情况下,人们是

人们经常构建这些 LLM 项目,特别是面向内部的项目,这样他们就不会在技术方面落后。他们想要接触它。这有点像他们的一种......

是的,只是接触 LLM 正在发生的事情。我们也在 ZenML 这样做。一年前或一年半前,我构建了一个 Slack 聊天支持机器人。这主要是因为,是的,我们想了解人们如何使用这些东西。这有多难?失败模式是什么?以及

等等。所以这里可能有不同的激励机制,与你做一些更像利润结果驱动的事情相比。是的,你更愿意接受某些风险或以某种方式做某些事情。好吧,你说了我最喜欢的词之一,那就是投资回报率和利润。

你从所有这些博客中获得了许多见解吗?他们中有许多人谈论过它吗?正如你之前提到的,主要是工程师在撰写他们正在解决的工程师问题的文章。所以我认为他们不一定说,这给我们带来了巨大的投资回报率。但也许你看到的一些确实......

考虑到了这一点,或者他们谈论了它在他们所关注的规模上是可行还是不可行,除了像 Clarna 这样的少数公司之外,他们实际上确实做到了,Clarna 确实给出了一个实际的数字,一个很大的数字,而且我认为这也有点像那些谈论过像......

你知道,用户数量激增,或者,你知道,重新燃起的兴趣,或者一个正在消亡的产品,由于引入了 RAG 或更好的,我不知道,基于 LLM 的搜索系统或类似的东西而复兴。我不太清楚这是否像......长期适用的东西。

嗯,因为......是的,很多人去一些地方尝试一些东西,或者尝试一些新的功能或新技术......而且......是的,对于很多东西来说,很明显,这正在变化,以后会被其他东西取代。我目前最喜欢的东西是,或者在这种

领域,比如 Notebook LM,非常流行......这是一种很酷的用例......你知道,他们刚刚推出了这样一种东西,你可以自己参与播客,如果你看到了并尝试了它,它非常酷,使用起来很有趣......我们三年后还会使用 Notebook LM 或玩这个吗?我不知道,可能不会,希望也许会有像

一个更好的元工具围绕着播客、讨论或学习,这取决于你在这个领域的视角。所以很多用例,人们会得到非常好的结果,并且可以给出关于他们有多少客户的具体数字,或者

人们的用户旅程是如何通过这个得到改进的。我不知道这些东西是否能长期存在。这就像我们发布了一些东西,并且有很多用户。是的。我在这个领域考虑的另一件事是所有这些代理平台。是的。五年后,可能有一半或大部分将不复存在。但其中一些拥有大量用户和玩耍的人。而且

是的。特别是对于较小的用例,人们会做一些对他们非常有用的有趣的事情。但是是的,我必须认为很多这样的东西会......

随着时间的推移会被合并、融合或变成其他东西。当你提到代理平台时,你的意思是帮助人们构建代理,就像一个可以帮助

你构建代理的框架,或者是你可以使用的一些实际代理?好吧,其中一些有代理的市场,这似乎是他们赚钱的东西。但是是的,它有点像这些 GUI 界面,网络界面,你可以连接你这样做,如果不是,转到这个代理,等等。它们非常流行,有些确实在赚钱。而且

也许它有点像......呃......那种创建你自己的化身复制品......这种......服务,你可以创建一个 AI 化身,而且它是个性化的等等,这并不是一个大众使用的东西,但是它很流行,赚了很多钱,也许其中两三个会长期存在,但是......是的,我

不得不觉得很多这样的东西会消失,或者人们会转向下一个东西。是的,这很有趣,因为很明显的一件事是,你必须要有足够的耐心才能让一些东西在这些构建你自己的代理上工作。调试很难,因为你不知道你是否......

提示不正确,或者你没有要求它执行足够窄的任务,或者你设置的流程有问题。所以如果你不愿意花时间来创建这个流程,那么这相当困难。然而,我已经看到有很多

这些小型构建你自己的代理工具中自带的常见用例,所以我前几天注册了一个,它说你是什么?你如何识别自己?所以我说是营销,让我们看看他们有什么产品营销或 SEO,我认为所有不同的营销用例都在那里,而且

然后它给了我很多他们设置的流程。你只需要添加一些简单的东西,比如,哦,这是我的网站。这是我试图提升排名的关键词等等。他们让你更容易尝试减少这种摩擦。

是的。我的意思是,这对于我们已经知道 SEO 中重要的事情以及任务等等的明确定义的领域非常有效。但是当你,你知道,人们谈论代理的很多用例是,它是在研究领域,是的,这有点困难。如果你知道问题是什么以及如何解决它,你可能不需要代理。是的。是的。

是的。太迷人了。所以当你将所有这些不同的博客和不同的来源整合到数据库中时,你有没有发现任何始终提供顶级材料并发布绝对高质量材料的来源?

我的意思是,一些众所周知的,Netflix 技术博客,DoorDash 有一个非常好的。Honeycomb 始终如一地提供内容。Weights and Biases 自从他们开始他们的支持聊天机器人以来,我认为他们已经做了 10 个不同的深入博客,技术风格。是的,有很多。其中一些......

是的,然后剩下的只是一堆来自公司的随机博客,是的,也许他们以前没有写过任何东西,或者新公司,是的,这有点......找到它们是......

嗯,很难......我使用了一个非常棒的基于搜索嵌入的搜索引擎,叫做 exa.ai......嗯......是的,你输入一些其他博客,然后说找到其他类似的博客......因为它基于嵌入,所以你会得到非常好的结果......我会推荐它......

是的,所以它们都是你喜欢的,你知道,已经拥有优秀技术团队的,然后是一堆,是的,你必须......

希望他们在你的社交网络或其他地方发布,有人会重新分享它们,因为很难找到,是的,很难找到这些案例研究,是的,显然像 MLOps 社区一样,绝对喜欢所有视频,我希望我们已经通过像总结转录本中的内容一样,将视频中的一些内容以文本形式解放出来,因为是的,像

我认为数据库中引用了大约 100 个视频。或者至少你可以根据摘要决定是否要观看它。你想要在 YouTube 上对数据可视化做一些很酷的事情吗?

因为感觉上,对于所有主题或所有不同的过滤器,你可以创建一些有趣的数据可视化,无论是好的聊天机器人,你都有一个完整的嵌入空间,你正在查看它的方式,或者你正在查看不同的用例以及那种东西,或者你已经完成了,你就像好吧,我已经把它发布出来了,现在我要回去工作,继续在 ZenML 工作。我的意思是,我们正在继续维护它,人们提交用例、文章等等。所以这真的很好。这只会增长。我真正想要做的一件事,我没有时间去实现它,基本上是允许人们通过所有这些用例来搜索工具。

你想看看所有使用 Lama Index 进行嵌入的公司,或者所有使用 Quadrant 或 Pinecone(向量数据库等等)的人,然后查看特定工具和用例周围的常见用例或失败或成功模式。所以是的,这有点难......

以可靠的方式实现工具的提取或至少自动化它。但这将是一件有用的事情。我可以保证的是,我们不会有像

与你的 llmops 数据库聊天一样的功能,或者如果你想下载 hugging face,你可以自己构建它,就是这样,下一个 mlops 社区黑客马拉松开始了,是的,我们将做那个,太好了,哦,伙计,好吧,你已经用它做了一些很棒的事情,我真的很感激你把它放在一起,因为它就像我说的那样,这是一个我可以回来并继续学习的资源

所以我希望你能继续更新它。任何在那里做一些很酷的事情的人,如果你写了关于它的文章,请务必提交给 Alex 和 ZenML 团队。这太棒了。谢谢。谢谢。