Future of Software, Agents in the Enterprise, and Inception Stage Company Building // Eliot Durbin // #293
54:26 Share

软件的未来、企业中的代理和初创公司建设阶段 // MLOps播客第293期，Eliot Durbin，Boldstart Ventures的普通合伙人。加入社区：https://go.mlops.community/YTJoinIn 获取新闻通讯：https://go.mlops.community/YTNewsletter // 摘要对于考虑或创办公司的创始人的关键经验教训。15年的初创阶段投资，从数据科学公司如Yhat在2013-14年如何进入市场及其演变，到围绕OSS框架如CrewAI构建公司；Eliot分享了创始人在起步时的关键学习和问题。// 个人简介Eliot自2010年Boldstart Ventures成立以来一直担任普通合伙人。Boldstart是一个专注于技术创始人的初创阶段主要投资者，支持构建下一代企业公司的公司，如Clay、Snyk、BigID、Kustomer、Superhuman和CrewAI。 // 相关链接网站：boldstart.vchttps://medium.com/@etdurbin~~~~~~~~ ✌️与我们联系 ✌️ ~~~~~~~获取所有剧集、博客、新闻通讯等：https://go.mlops.community/TYExplore加入我们的Slack社区[https://go.mlops.community/slack]在X/Twitter上关注我们[@mlopscommunity](https://x.com/mlopscommunity)或LinkedIn(https://go.mlops.community/linkedin)注册下次聚会：[https://go.mlops.community/register]MLOps周边商品/商品：[https://shop.mlops.community/]在LinkedIn上与Demetrios联系：/dpbrinkm在LinkedIn上与Eliot联系：/eliotdurbin </context> <raw_text>0 Elliot Durbin。我来自Bold Start Ventures。我和我的合伙人Ed Sim于2010年创立了它。我们称之为初创阶段投资，因为10年前我们称之为种子投资。我们支持那些最终以第一笔支票出售给企业的公司。我怎么喝咖啡？黑咖啡。我是个彻底的纽约人。所以这通常意味着在柜台上喝咖啡是最简单和最快的。

我们又回到了MLOps社区播客。我是你的主持人，Dimitri Ose。今天，我和我的朋友Elliot谈论他过去10年，15年的风险投资领域，他关注什么，兴奋什么。我最近很享受与风险投资家的对话，因为他们能看到一些最新的东西。他们可以与那些向他们推销未来的人交谈。所以我想知道他们认为未来会变成什么样子。但Elliot也有点哲学，他

谈到了创始人心态以及真正建立那些有价值的公司所需的条件，以及他在第一次投资时寻找的东西。那么让我们开始与Elliot的对话。但在此之前，如果你在Zoom上收听，

Spotify或任何播客播放器，我将为你的推荐系统提供一个小惊喜，播放我最近最喜欢的乐队Emil Brandquist Trio的音乐，让我们进入与Elliot的对话，希望大家今天过得愉快。

告诉我你刚才说的内容，但再说一遍。我在20年的第一次投资中重新学习同样的教训，如果我脑海中有一个想法，我应该投资于某个人，尽管他们可能没有最敏锐的产品焦点，或者我不相信某些东西，

我会后悔。如果我只是听从那个小吉米·克里克（Jiminy Cricket）说，这个人很特别，你应该支持他们。哦，天哪。太多次了。这就是实践，你知道吗？你会整理一个反投资组合吗？你对此很疯狂吗？我会。我会。我发现我放弃的那些最终成功的事情的原因通常是创始人自己找出来的。这是一个反馈循环。每个人都需要反馈循环。风险投资中的反馈循环很长，所以你必须活得足够久才能得到它们。但这总是归结为对那个人将某些全新事物产品化的能力的特殊感觉或特殊概念，以及与用户的共鸣。

他们找到了我从未想象过的新事物。这就是让我早上起床的动力：我能否在这方面变得更好？我有很多时候有这种想法，然后可能什么都没有发生，但没有人会听到那些。所以你不会在那些事情上写博客。

也许有一天，也许有一天这将是下一个章节。你在我们第一次聊天时说了一些我非常喜欢的话，这让我一直记在心里。就是，我如何找到一个我可以持续投资的创始人？无论这是他们的第一家公司还是第五家公司，我只想跟随这个旅程。我没有创造它。我从很多我学习这个行业的人那里学到了这一点。

我最喜欢的关于我进入风险投资的事情是，我称之为邀请，因为我并不真正认同自己是风险投资家。我只是能发现产品直觉，我可以帮助你处理一些可能对你没有兴趣的公司建设相关的事情。但知道当一个创始人有使命感时，有时这个使命会以多个公司的形式出现。如果你想，我可以给你快速而粗略的介绍。最好的创始人，我发现是非理性的。他们可以找到做逻辑事情的工作，这些事情能赚很多钱，但他们却决定脑海中的这个东西必须存在。Superhuman就是一个很好的例子，对吧？Rahul的第一家公司是reportive。他破解了Gmail并在其中放入侧边栏，因为他想让人们变得聪明。至今仍然让人们在他们的工作中变得聪明。电子邮件是实现这一目标的最佳载体。

因为我们在那儿花了太多时间。所以在他的下一家公司中，当我们无法在一个免费平台内实现货币化时，我们不知道你会学到这些东西。他回来时说，我想再试一次，但这次我要构建整个客户端。我将使其成为一个Chrome扩展程序。它将是电子产品。

每个操作的响应时间将少于100毫秒，因为这是大脑注册为瞬时的时间。如果在数十亿的Gmail用户中，有几十万希望以高价升级，我就是一家风险投资规模的公司。

这确实是，他的整个推介文稿都是一个X穿过Gmail。他说，所有这些，所有这些都是丑陋的，速度慢，我们需要，你知道的，这就像欢迎来到沃尔玛。你必须为数十亿人构建，但Superhuman是为一小部分人构建的。所以我认为最好的创始人都有使命感。

但你告诉我，我可以在哪里深入探讨这些事情？现在有很多事情可以讨论。太多了。太多好的东西。谢谢你让我来。我是你们社区的忠实粉丝。我真的很关注它，我听到我们的创始人提到它。所以我很高兴能在这里。这太棒了。听到这个真是太酷了。我们可以深入探讨的地方，在我看来，就是你看到的使命，除了...

Superhuman之外，你现在也很兴奋的是什么？现在，最重要的是什么。好吧，让我们进入主题。我们可以谈谈代理和人工智能。是的。今年的热门话题。好吧，这很令人兴奋。我记得，我有一个朋友在OpenAI，他在2022年初邀请我。我只记得走进那里，我已经在这个行业待了一段时间，办公室里的能量，

一开始是，谁知道我的桌子在哪里？因为他们增长得太快了，他们在问，嘿，有人有GPU吗？我用完了，能量几乎像Facebook一样，快速扩张，随时解决问题。每个人都在忙碌。我只记得我在想，这真是个好消息。我可以再保住我的工作一段时间，因为有一些全新的东西创造了魔法。

他们构建了第一个超大规模的消费应用。如果我们回顾互联网的历史，甚至在那之前，我的意思是，构建基础设施的超大规模消费应用使每个人能够，我的意思是，一个卖书的人使Uber和Netflix等事情成为可能。他们感觉像是相互构建。因此，我们处于一个伟大的阶段，我们可以再次以数量级的速度构建，一切都更快。

一切都更快，速度总是让你惊讶。我给你一个例子。你在2015年、2016年问我，正好在RPA（机器人流程自动化）进行的时候，如果你还记得的话。是的。

这就是，快速解释一下...

以某种方式，我们可以保持人类循环，以便你可以控制它，但这对你来说将是非常具有成本效益的。你将节省大量资金。我觉得它完成了很多事情，但它有其局限性，因为它基于微服务，很多API，事情会崩溃。最大的问题是提取问题。

嘿，我有这个带有手写的发票，上面有一堆增值税代码等。我需要将这张通过传真发送的纸张处理。有些财富500强公司将保持匿名。我走进去。我说，你们的采购订单是如何进来的？他们说，哦，我们有一个传真机房。我只是想象他们坐在那里，试图弄清楚如何用OCR将其放入SAP数据库。这很难。它崩溃了。如果一切都不完全正确，它就无法正确处理和执行。LLMs轻松解决了这个问题。这是我注意到的第一件事。我说，嗯，这可以轻松消化手写，甚至可能为你做得更好。好的。我是说，这里有很多。我认为他们遇到的第一个问题，尤其是与代理相关的问题，是它们并不可靠。

过去18个月的时间里，很多时间都是因为它们会产生幻觉。你知道，我的超级工程师朋友们说，这根本不接近，我不让这个接近生产，诸如此类。但后来我遇到了这个人，他出现了。

看起来他像是插入了墙壁插座。他说，代理，很多事情正在发生。嗨，我发现了一些东西，我开源了这个东西。好吧，你做了什么？他说，好吧，我允许代理被分成小组，并放入具有离散任务的角色。当你这样做时，你提高了准确性，并且能够以更准确的方式在规模上运行自动化，

以更生产的方式。这就是Crew。他之前在Clearbit工作，构建了他们的很多ML基础设施，并在OpenAI开始扩展之前就获得了对OLMs的访问。那时真的很困难。所以我认为当他们被HubSpot收购时，他讨厌我讲这个故事，因为我认为他的妻子在给他施加压力，但他的妻子说，

你应该去写关于AI的博客，因为你对它了解很多，而且你有点，我认为，让我有点疯狂。我不知道。这是推测。我不确定。就像，我厌倦了听到它。好吧，你知道，我不知道。我不在那儿。但有趣的是，你有这些拥有这种经验的人，比如Crew的João，他开源了Crew AI，作为与社区分享的一种方式，它增长得如此之快，以至于你几乎被迫思考这可能成为一家公司，因为大公司会发现它并打电话给他们。我自从CI CD时代以来就没有见过这样的东西，或者甚至像GitHub那样，我认为sneak经历了很多。这是为开发人员构建的。然后突然之间，由于它显示了依赖关系在哪里，哪些库被使用，以及这些库中的漏洞如何影响你的应用程序。是的。

它变成了一个安全工具。因此，在很多方面，我觉得Crew AI在帮助人们组织这些应用程序，它是如此简单。我的合伙人Ellen是一名工程师。她在与我第一次交谈时就和我通话，她在设置它。她说，这太令人愉快了。有趣的是。在那时，我不知道代理是什么。这是去年2月。自那时以来发生的事情，我认为很多与过去的自动化回声相似，因为这就是企业想要做的。

他们想要自动化事情，他们想要节省资金并提高效率。因此，现在我们正在将其部署到这些企业中，很多相同的企业堆栈正在构建。应用层、监控层、基础设施层，你知道的，然后你一直往下到计算，问题变成了计费、定价，如何

如何最小化定价的可变性，以便企业可以消费它，但也不会被一堆成本困住，因为这些东西并不完全，正在进行大量创新。我不会触及那个，但成本会下降，但还没有，而且仍然是可变的。因此，正因为现有的需求，迅速将公司组合在一起。当我在2015年回到原点时，

我会告诉公司，嘿，在18个月内达到100万的ARR，你就成功了。现在，在几个月内达到100万的ARR，并在12个月内从1到达。因此，一切都在更快地增长。因此，执行的速度，你真的必须寻找创始人。如果你要创办一家公司，只需准备好非常专注。但当它快速运行时，

直接进入，倾斜并快速运行，交付客户想要的东西，因为你必须，如果你要乘风破浪，就乘风破浪。如果你是冲浪者，不要太晚出发，尤其是在大浪上。因为你会被卷走，但是的，

我不知道，很多事情，这很酷，因为我看到很多可能不太兴奋的创始人。也许他们过去创办过公司。也许他们有其他事情在进行。他们看到这一点，他们会说，抱歉，我必须乘上那股浪潮。是的。看起来超级有趣。所以这是一个令人兴奋的时刻。但我最兴奋的是什么？是新公司正在构建Greenfield代理应用程序，但也有我们现有的公司，可能更成熟的Clay就是一个很好的例子。

clay.com已经存在七年了，他们是一个非常强大的工具，用于丰富你的数据。然后最终，rev ops人员发现了它，它成为了构建外部销售模型的最佳实践，你通过所有这些不同的数据源拉入所有的潜在客户，就像clear，但在他们添加这些称为clay gents的东西时，他们有很好的品牌，都是粘土动画和其他所有东西。

但这些代理会出去在网上搜索更多信息，以添加到你的数据集中，这使他们的应用程序对用户更好，更多的人开始使用它。因此，你会得到这个。代理可以作为软件的基础，并且可以很好地增强现有软件。因此，这是一个有趣的事情。

在Greenfield和现有之间的划分。我所知道的是，没有利用这一点的公司，你不会获得这些公司所需的需求的任何好处。我认为这是最好的思考练习，当你有一个现有产品，并且你试图推动边界，好的，我们能否找到一种方法使其

以某种方式与AI兼容或更好。可能只是一个LLM调用。可能是我们可以添加到功能集中的一个完整代理。但那枚硬币的另一面是，

你只是有产品经理试图把AI塞进任何缝隙。因此，将会有很多这样的失败，你认为，哦，我们应该在这里添加AI。然后你发现，实际上并不需要AI。事实上，这个产品越不智能，越好。是的。在某些情况下，这会令人沮丧。对我来说，这很令人兴奋，因为...

我不知道。我们回到了一个阶段，失败是很酷的。就像，你尝试了，但它并没有真正奏效。我只会指责整个场景。如果你然后尝试继续让它识别出某些东西没有工作并进行调整，最好的创始人失败得如此之快。我告诉我们的团队，你甚至看不到。因此，如果你能进入一个循环，你就会说，好吧，也许我听到。没有。下一个。没有人会记得。

我记得Rahul在Superhuman教会了我很多，因为他在这个曲线的早期阶段非常早，添加和嵌入这些功能，它可以总结，可以以迭代的方式起草和撰写。现在我们开始看到它向前发展，它可以为你自动化事情。而我还没有看到，但我很期待的是，在个人层面上，像granola是我最喜欢的之一。

因为它坐在桌面上，不会妨碍你，AI找到更多的方法来让用户不受干扰。你甚至可能在不知道的情况下开始使用它。我不知道。这是我能接近消费投资的方式。是的，granola的例子很吸引人。我记得在他...

开始时与创始人交谈时，他说，我们要做像Zoom录音那样的东西，但用于有趣的人会议。自那时以来，他们已经转型，人们非常喜欢它。我在各处都看到他们。我希望我有，但我没有投资，但这真是一个很棒的产品。我喜欢的另一件事是它总是在更新。我只是双重检查，当我注销时，我在想，是否有新版本？因为如果有，里面可能有一些非常酷的东西。

这对创始人来说是一个很好的教训。给用户注入信心的最佳方式是快速发布东西。这就像我每次更新软件时获得的这种迷你多巴胺冲击。有什么新东西。是的，糟糕的事情。但这是一个伟大产品的例子。Superhuman是一个伟大产品。我认为在代理方面，挑战将是什么接口？它如何表现自己？

嗯，你如何表达你想让它做什么？我看到的最大事情是，现在公司对他们的评估感到自豪。代理是否做了我想让它做的事情？你如何开始在规模上监控这一点？所以你看到谷歌推出了那项服务，你可以评估你的空白链或Crew或其他任何东西，你可以有一个服务，基本上检查你的电子邮件结构。所以是的。

在云计算中，人们说，哦，我们不需要测试。我认为Netflix开始测试，因为它的正常运行时间非常高，对吧？是的。我们在云计算出现的几年中没有看到那个阶段。每个人都只是把东西扔到墙上。但要让它已经开始倾向于测试的对话，这对我来说真是太疯狂了。是的。但我认为这是因为企业回到了需求。我从未见过这样的需求。嗯哼。

你有两个人，一个人。我有一个一人公司，刚刚将他们的产品卖给微软，因为微软发现并开始使用它。他看着我说，我认为我们应该再招一些人。我说，我认为是的。但他又说，可能不，因为几乎有一种文化，我可以用更少的东西做更多的事情。所以让我们仔细考虑一下。我认为我们将开始看到在商业建设方面越来越多的效率。因此。

这很广泛，所以我可以在任何地方深入探讨。你觉得呢？首先，它是一个极具竞争力的堆栈。这是一个部分。另一个部分是，你不担心它是建立在其他...

开源工具之上吗？我认为它使用并利用了很多langchain，对吧？然后它现在已经不再依赖于此，因为它转向了一个更中立的框架。因为我认为每个人都在肩膀上站着，无论他们是否知道，如果你没有，你可能花了很多钱，你可能是一个先驱，你很早就开始了。好的，酷。对吧。

但我认为Crew最初在我脑海中所做的事情，你必须问他脑海中有什么，但他让它变得超级简单。这是我见过的最简单的。我认为对于新东西，如果你能让它对那些用代码表达自己的人来说非常简单和直观，你将提高某人使用你的框架创建非常大东西的机会。

这正是发生的事情。就像大公司进来，自动化事情。我是说，一家大型会计公司说，是的，我们正在考虑自动化我们的审计功能。好的。我是说，我敢肯定那里面有问题，但你有两个选择。你可以理性地说。

他们说，好的，让我们找出什么会崩溃并修复它，然后继续发布。你知道，你会看到巨石，这在任何好的初创公司中都会发生。你看到你面前的巨石，你只是尽快通过发布东西来试图打破它们。这就是他所做的。因此，我认为Crew的价值在于它超级简单，但也给你很多控制。我认为有很多方法可以做到这一点。Crew正在以一种本土的方式做到这一点，适应下一代应用程序，而不是之前的应用程序。我认为其他框架可能会走向，无论是图形基础设施还是某种设计，允许它，就像说模拟到数字。Crew将控制你的代理，并创造它所产生的遗产。我问他，我告诉他我今天要来播客。我说，如果你有一个关于Crew的信息，你会说什么？

他说，你现在在测试中做出的决策将决定你在未来十年内维护应用程序所需的维护和核心基础设施的多少。因此，仔细考虑如何设计你的代理系统，无论你是自己构建它，使用第三方，还是使用多个框架、多个模型。你只需创建一种方式，使其能够利用代理本身的创新。嗯哼。

自我修复，彼此监控，对吧。监控小组是我最喜欢的事情之一。你知道，我总是告诉他，我们可能应该得到像表情符号或类似的东西，像剪贴板小组。是的。但它是建立在其他东西之上吗？绝对是。但就像LLMs一样，如果没有互联网，我们就无法拥有它。如果没有互联网，我们就不会有谷歌。因此，我觉得一切都是对其他东西的依赖，但这，

我不担心这些事情。我试着提前应对。我认为潮水正在上涨。因此，真正的问题是，谁能从市场中获取这些意见并创造出最好的产品？是的。现在考虑它们的表现方式，我真的很喜欢你说的，聊天

以及我们如何与这些代理互动的方式仍然有待确定。也许这不是前进的最佳方式。还有很多人正在努力寻找新方法。他们积极地试图找出，我们可以做些什么，而不是聊天。然后另一件事是确保他们做他们该做的事情。你分解了三个不同的领域，我

非常想多谈谈，因为我们与他们的互动方式，以及我们如何知道他们在做他们该做的事情。对吧。让我放大一个层次，因为我认为这是正确的。是的，所有这些事情现在都在发生。但我认为为了上下文，任何听到这个的人都会想，好的，这有点太深入了。你有这个旅程正在发生。我有一家顶级五大银行的AI工程负责人。我不会提到是哪一家，因为我没有媒体批准。是的。

但我不想被起诉。我们正在进行这个旅程，你有，在旅程开始时的副驾驶，在中间有代理，然后你有自动驾驶。因此，从副驾驶到自动驾驶，从代理到桥梁。如果你从这个框架来看事情，你需要信任这个系统，创建一个副驾驶，以便人类能够进入并在循环中获得授权，做他们重复的事情，更快、更好、更准确。我们在质量保证等方面看到了这一点。你现在可以替换整个质量保证团队，对于那些有质量保证的公司，对吧？最好的工程师会说，我自己编写端到端测试。我说，好吧，那可以在光标中自动化。他们已经在自动化事情，最好的工程师。但对于更成熟的公司，质量保证团队可以消失，这些代理可以比任何人类更准确地使用Playwright。

这是我看到的最新事情。因此，你可以走进一家公司，问他们，你们做质量保证吗？是的，我们不喜欢它。我们所有的工程师都不喜欢它。它总是导致可重复性和所有这些事情。那已经消失了。现在用代理来做这件事是显而易见的。

你如何与之互动？好吧，你必须找出一些小的用户体验组件和方法，以通知用户它已经完成，并且已经正确完成，并允许他们进行良好的心理检查。是的。这在很多方面是一个设计实验。因此，我认为第一个接口将在应用程序级别，与用户以副驾驶的方式互动，告诉他们，嘿，我们让这个更好，你可以信任我们。

酷。然后你进入代理，代理开始在更离散的方式下自动化事情，比如在一个多代理系统中，我将使用原始Crew的例子，研究作为博客文章，写一篇博客文章，允许你编辑该博客文章的多个版本，然后将其发布到LinkedIn或其他地方。这是另一种接口，因为那时你正在设计更离散的代理，可以做事情，你可以评估每一个。他们做对了吗？

你知道，我不想完全自动化这个过程，因为这有点像我的品牌。我不确定它是否会开始喷出一堆我不想与我的品牌联系在一起的东西。但是你可以用巡航创新来做到这一点，它可以谨慎地将多个代理组织成一个系统。接下来是疯狂的东西，那就是自动驾驶。一旦你信任这些系统，那么这将允许我们做什么？这将释放出多少时间来做？如果你不再需要测试你的软件，

那就给你更多的时间去做更多的事情。所以我认为这即将到来。我还没有看到任何在未来方面定义明确的东西。所以我们只是处于第一阶段，从副驾驶转向代理，最终我认为是自动驾驶。所以回到这个用户体验的想法，几乎把它看作是

我们可以调整的不同旋钮，以及我们可以尝试与我们现在在这个旅程的第一局中拥有的“人与副驾驶”关系进行实验的不同方式。我一直在思考一种正在出现的设计模式，似乎是从 Slack 或类似的聊天中启动代理……

是的，它非常像聊天启动。我喜欢这个词。我以前没听过。如果你喜欢的话，我有一整本书都是这样的。这很有趣，因为我几乎可以看到这样一个世界，你可以在你与团队进行最多沟通的地方指挥你的代理并协调你的代理。

而且它是无结构的，这对这些事情来说是快速的工作。嗯，也许你正在一个线程中做决定，然后你只是标记代理并说，好吧，我们做出了决定，现在去做吧。是的。我们在支持方面看到了这一点，我们的公司客户有一个 K。他们是我认识的一些最好的工程师。当我们最初支持他们时，是因为图数据库的存在。他们说，嘿，我们建立了大约五家客户支持公司，现在有一个图数据库，所以我们可以制作时间线并摆脱票证。是的。

现在他们说，好吧，现在我们有了向量数据库。因此，我们可以拥有能够执行人类可以执行的所有操作的虚拟代理。但我们将从自动化这种类型开始，降低代理无法处理的内容的异常队列。但正如你所说，这是一种从这个空间的 1.0 接口转向 2.0 的方式。从用户体验组件来看，我觉得这一切都是为了获得用户的信任来自动化事情。

一旦用户开始自动化事情或请求或需求，那时你就可以采取下一步行动了。但我不知道。我坐在风险投资公司的这一边，所以我不太擅长做这些决定。我只是在它有效的时候指出，哦，是的，这就是你如何做的。你需要为此承担责任，并说，我看到了这一点。这是我不做的一件事。我在一群非常资深的创始人身边长大，他们说，不，不，不，风险投资公司是……

你知道，也许看得见但听不见。但这已经改变了很多。你知道，这必须是一份没有自我的工作，因为它不是关于我们。它是关于支持那些想出一些每个人都想要的大事物的创始人，并帮助他们弄清楚如何以高质量、大规模地快速交付这些事物。是的，这确实是这项工作。我该如何扩展公司以满足市场需求？有了这些代理，我的意思是，公司正在购买它们。

如果你向企业销售 AI 代理，我的意思是，在各行各业，你看到的需求比我做这项工作以来看到的都要多。太棒了。回到这一点，我认为这是你与创始人就代理领域进行大量对话的一种方式，那就是你之前谈到的定价讨论，以及有多少……

棘手的问题，因为你不想让别人不得不三思而后行地使用你的代理，因为他们在考虑价格标签。但你也不想，由于某种原因，他们这个月启动了更多代理，现在账单增加了 40K，工程经理进来说，到底发生了什么？就像火警响起，你的客户说，预算变了。什么？是的。

或者他们说，不，不，我只想要 Open AI，而不是 Anthrop。你用 Open AI 构建了你的东西，你就像，好吧。所以有很多这样的事情需要弄清楚。在极端情况下，六个月或十二个月前，我开始看到这方面的劳动力成分。所以它正在取代人工。从历史上讲，软件许可证和 SaaS 向大型企业的销售周期，你必须证明你的投资回报率，对吧？这需要六到九个月。

在最好的情况下，也许三个月。我认为它们从被称为概念验证变成了价值验证。我不知道什么时候切换的。V 代表什么？我也听说过。价值证明。哦，好吧。我不知道。有很多缩写词。我尽量避免它们，因为我会感到困惑。但他们会测试一下它是否更有价值，而且它不会自己支付，尤其是在这种环境下。我认为很多快速发展的公司正在替换三样东西，然后创造巨大的价值。所以他们得到了预算。

嗯，但在定价方面，我看到很多人说，你知道，对于我的前几个客户，只需将其作为一项服务出售即可。这有效，但这只能持续一段时间。我认为我们看到的 Palantir 是我最喜欢的例子。我的合作伙伴 Ed 和我一直在来回讨论这个问题，因为很多人一开始都怀疑 Palantir 的模式，因为他们部署了四名工程师。他们说，是的，我不想派一堆工程师去海上的石油钻井平台。

所以像在边缘计算数据处理一样。但事实证明，他们的销售周期非常高效，因为他们几乎可以与客户一起进入，他们只是设置它，但他们与培训他们的客户一起设置它。

而且你拥有 Palantir AIP，这是一个很棒的产品。它非常早，但它的采用情况非常疯狂。所以我实际上看到很多我们的初创公司采用了这种模式。所以你必须派一名工程师去那里。哦，OpenAI 刚刚发布了职位说明。

用于部署前工程师。看看吧。我很快把它发给了我所有的公司。我说，嘿，这是一个很好的职位。伟大的艺术家偷窃。所以只需提取你想要的部分并发布职位描述即可。你知道，我认为这是一个非常棒的职位描述。所以现在要称赞一下。但我认为，就像早期的任何事情一样，你将不得不部署专家来培训你的客户。嗯，你不想称之为培训，比如研讨会。你可以收取研讨会的费用。嗯，

我认为我看到的大多数公司，如果涉及最佳实践或技能集来适当地利用软件，那么培训客户的最佳方法是派遣他们可以利用的专家来设置它。从根本上说，这就是我们在很多方面看到的，无论是安全公司，甚至是船员。我的意思是，每个人都需要一点软件专业知识，以便他们能够以最佳方式实践。

但他们不是作为顾问进入然后安装。这就是诀窍。这是你必须作为产品肌肉建立的核心基本肌肉。我给很多以前没有做过这件事的创始人举的例子是，你对事情的回答不能是定制的。他们只是确保你将该成本增加两个零。但你必须将事情产品化。是的。

你知道，这就像，嘿，我们如何将我们的入职流程产品化，以便部署前工程师可以进入客户，但他们正在教他们如何使用产品，然后让其他团队入职。是的。所以你是一个销售驱动的公司，我认为很多咨询公司都是如此，或者你是一个产品驱动的公司，或者你是一个混合型公司。我认为成为一个混合型公司真的很好，因为一开始，你可以进入并弄清楚什么最重要，将其产品化，然后看看它是否

转化为下一个客户。如果可以，那就是一个胜利。庆祝一下。创业已经够难了。你必须庆祝这些。但如果你能获得相同的客户，你知道，一个客户，然后是下一个客户，你就可以重复使用其中的一些组件，即使是人工辅助。我认为这是可重复性的新定义。是的。

你谈到了评估以及测试是如何在云生命周期的后期才出现的。现在评估非常早地出现了，这在某种程度上是一种测试形式。云中有很多非常成熟的部分。我想知道你是否觉得它们也会转化到代理领域。好吧，让我们花一分钟时间来听听你刚才说的话。云已经成熟了。

我还记得那些企业说，我永远不会将我的第一层工作负载放到云中。这太疯狂了。好吧，然后中央情报局做到了。每个人都像，哦，好吧。如果他们可以做到，我们可以降低成本。我的意思是，我只是记得过去十年，我想说十五年，看着……

那些全球 MSA，主支持协议和销售协议，出去，逐个部门地将财富 500 强公司放到云中。我认为这为我们现在看到的情况奠定了基础。所以有 CI/CD，对吧？有源代码控制，你知道，我认为开发人员相对来说是有权力的，但现在有一个巨大的收获。所以相对于现有软件的测试，对吧？

在某种程度上是整个公司，特斯拉，它正在倡导 AI 原生开发浪潮。但更重要的是，我认为企业将如何消费它以及对他们来说什么最重要。如果我们处于这样一个阶段，你拥有这些将编写代码的代理，那就是很多代码。那是很多代码。今年将编写比以往更多的代码。

然后我认为可能是过去十年，因为现在就像，我还记得在 2010 年与工程师交谈，他们会说代码生成器。我说，永远不会工作。永远不会。没有人会相信这段代码。现在就像，哦，是的，我刚刚编写了我与数据库的整个集成脚本。你会说，什么？所以我认为，这种测试将变得更加重要，因为有更多的代码被编写。我认为，

它不会改变你需要的正常运行时间。它不会改变你交付软件所需的质量。所以对我来说，测试速度更快是有道理的，但事实是，有时这些东西会产生幻觉。不到一年前，我们还在担心代理完成我们预期任务的准确性。所以我认为将创建新的测试方法。我在这里随意猜测，但我正在考虑……

看看你将如何分析一家公司，假设我来到你这里，我说，我有一个关于公司的神奇想法，它会在代理花费太多钱时发出警报。它基本上是你的警报软件。你会告诉我这是 AWS 将原生构建的功能吗？还是

你会觉得，嗯，警报太小了？然后也许我说，好吧。我会问你为什么。因为需要明确的是，Boldstart，我们于 2010 年成立，当时拥有 100 万美元的基金。我们现在正在从我们的第六只基金中投资。Ed 和我一直都在支持人们，特别是工程师，他们有一个想要解决的问题空间。他们对如何解决这个问题有自己的看法。

这是前面提到的观点，几乎是不合理的。来自 Snyk 的家伙，他的上一家公司叫做 Blaze.io。Blaze 正在解决移动网站缓存问题。被 Akamai 收购，所以他坐在 Akamai。他基本上看到每个人都在更快地发货。这将造成一个巨大的安全漏洞。所以他进来并说，我认为开发人员在不知情的情况下使用的这些依赖项中的漏洞将是一个巨大的问题。然后是 Apache Struts 和 Equifax。

如果他们使用 Snyk，那将不是问题，因为它会修补该漏洞。所以突然之间，事情就变成了，哦，我的上帝，我们该如何解决这个问题？事实证明，安全部门当时并不真正了解开发人员的工作方式。所以他为开发人员构建了这个工具。所以他做了一个很大的赌注，我可能会构建一个开发人员工具，最终增强安全性并成为一个安全产品。学习也是如此。为什么？

为什么警报如此重要，为什么它会变得越来越重要？是因为这会创建触发器来自动化其他事情吗？有趣。但如果你想创业，不要考虑公司。公司是围绕真正成功的产品建立起来的，而成功的产品是由人创造的。对如何最好地做到这一点有自己看法的人，观点越可信，我的工作就越容易。

所以有时候我会想，哦，是的，是的。你知道，你来自一家规模快速发展的优秀公司，这就是你做到的方式。其他公司也会这样做是有道理的。他们可能会听你的，因为你完全可信，你将能够招聘到员工，你将能够获得你的第一批客户。在其他情况下，他们会说，但是市场上已经存在需求了。我创建了一个东西，我只是把它放在那里，就像船员一样，突然之间它就在增长了。

我的意思是，船员的增长速度超过了我见过的任何事情，并且参与其中。所以我觉得处理这种需求是一个巨大的挑战。所以在你的警报案例中，为什么这很重要？为什么这会很重要？你的用户会意识到这能做什么？你想证明什么是有可能的？精彩。在静态环境中，任何想法都好坏参半。是的，但是。

我认为这是，它证明了什么？如果你成功地完成了自行车上的第一次革命，我们可以……我最喜欢的例子是，我们可以将我们空闲卧室里的沙发租给一个我们不认识的人吗？我的意思是，一开始，几乎每个人都拒绝了。因为，你在说什么？我为什么要这样做？现在有点直观了。所以它证明了创建

你知道，Airbnb 等等是可能的。我没有投资于此，但我看到了它的发生，我就像，哇，酷。你刚才说的话我真的很喜欢，那就是，它能实现什么？所以你提出一个想法，它能让你得到什么？还有更多吗？然后，还有……

创始人通常对如何最好地做某事有强烈的意见。我们是否只是回到了每天都要处理 Vault 的创始人，Hashicorp Vault，一个非常成功的产品。但是对于代理来说，我不确定这是最好的方法。如果代理可以进入并读取所有身份，拥有自己的身份，并保护所有正在

相互通信的应用程序，并保护你的秘密，并确保它在正确的时间、正确的地点提供给正确的用户。我的意思是，他们的眼中充满了热情，因为他们说，好吧，我们现在可以替换它了。哦，好吧，让我们开始吧。我的意思是，这正是我所寻找的，就像，你是否拥有这种热情，迫切需要在某事上有所作为，或者让某些东西变得更好，或者摆脱一些糟糕的东西。

但没有更好的替代方案。所以在工具构建者方面，很好。我们正在对应用程序级别进行大量投资，因为我认为我们现在正处于这个阶段。所以无论你构建什么，它都必须面向用户。它不必为了基础设施而成为基础设施。我不，我不做很多，我不投资基础模型。我不是，

你知道，不在大赌桌旁，就像他们说的那样。我现在更喜欢在应用程序级别或当前应用程序的工具级别。而且安全性，我认为可以自动化的许多工作流程都令人兴奋。但这些东西正在比我见过的任何东西都快地集成数据库。我认为我们将看到新的 ERP 出现。

我认为我们将看到新的 PLM 出现，就像来自侏罗纪公园的缩写一样。你会说，哇，我现在可以重做这个了。我只是在寻找合适的创始人，无论他们是通过经验还是自己经历了痛苦，都对如何做到这一点有非常强烈的意见，以便他们可以分享这一点。

我刚看到 Paige Bailey，我认为她在 Google 的 Gemini 团队担任开发者倡导者，她发布了一篇关于 Hacker News 帖子，有人说，我们有这个完整的 OCR 软件，它有一个人工循环，我们正在使用它。

但自从使用 Gemini 2.0 进行测试以来，我们现在已经摆脱了 OCR 软件，因为 Gemini 的速度更快，效率更高，而且体验也更容易。所以当我谈到应用程序时，我想知道，会有那些子集

是应用程序，但可能还会有很多事情会被完成。哦，是的。但这在云计算中也是如此。我们过去常常开会。亚马逊已经意识到了这一点。他们过去常常为我们或所有风险投资公司举办重新发明大会。我们将杀死哪些公司？那，我的意思是，这是其中的一部分。但他们给了我们一个预警，这很好，你知道吗？所以我可以告诉他们，听着，如果你要进入丛林，做好准备。那里有狮子、老虎和熊。你可能不会成功。

我认为，作为一名投资者，我认为这是最重要的技能。要有耐心。不要妨碍创始人，因为你无法解决问题。但更重要的是，你必须能够接受它可能不会成功。因为如果你不能接受这一点，创始人将很难接受这一点。只有当他们真正能够承受失败时，它才会奏效。我有一些公司，如果没有 OpenAI 的出现，它们根本就不会成功。

然后他们开始利用大型语言模型，事情开始快速发展。所以这是双向的。最后我要说的是，是的，亚马逊、谷歌，他们可能会摧毁你的业务。这种情况一次又一次地发生。但你可以比他们移动得更快，他们将构建一个通用的产品。如果你选择正确的狭窄用户群体和正确的狭窄市场……

他们可能不会将他们的解决方案定制到 SageMaker 是一个好例子。你知道，故障注入服务等等。你可以创建他们最终必须写回的最佳实践。我们在 Snake 那里看到了这一点。我的意思是，所有大公司都像，好吧，我正在构建一个漏洞数据库。我说，如果你愿意，你可以写回我的数据库。我说，哇，好吧，那是，

最佳实践就像具有挑战性，你知道吗？最好的日子是，你知道，他们说，好吧，我们会写回它。我们会将你集成到 Lighthouse 或其他什么东西中。但如果你真的相信你拥有最好的方法，并且你可以忍受这场游戏，你知道，有点像胆小鬼游戏，或者你就像 Firebase 一样，好吧，也许我会卖给谷歌，然后我会用我的最佳实践来支持所有移动开发人员，因为这就是正确的方法。我将使，我将使每个人都更好，并且

对我来说，这就是目标。我并不总是做得对，但如果我能找到这样的创始人，他们就不会放弃。但更重要的是，我认为他们会将使命视为无论他们的公司发生什么都会继续下去，因为在很多方面，这就是他们的目标。所以，是的，风险是存在的。这很可怕。他们正在发布各种各样的东西。可能将其作为一项服务来做。亚马逊可能会在他们甚至为此开发产品之前就发布它。但如果你拥有最好的方法，你就有最好的方法。

是的，亚马逊会窃取它的开源版本。这是非常高级别的。我尽量避免。太抽象了。