Best of the Year: Building AI Companies
46:15 Share

感谢收听 A16Z AI播客。我是德里克·哈里斯,今天我们播出一期最佳片段,内容是关于构建 AI 公司的建议和轶事。今年我们邀请了一些优秀的创始人参加播客,他们拥有广泛的经验,从 Docker 全盛时期的产品领导到在谷歌内部构建最先进的模型。在这些讨论中,他们分享了他们对产品构建、发现机遇等的个人想法、历程和见解。

我们已将这些内容汇编到本期节目中。在这些披露之后,您将听到 Flux 系列图像模型、Ideagram、Replicate 等公司背后人士的观点。

提醒一下,请注意,此处的內容仅供参考,不应视为法律、商业、税务或投资建议,也不应用于评估任何投资或证券,并且并非针对 A16Z 基金的任何投资者或潜在投资者。更多详情,请访问 a16z.com/disclosures。

过去一年左右,AI领域的一个重大转变是市场从对大型语言模型的实验和教育成熟到对大型语言模型如何工作、擅长什么以及如何围绕大型语言模型进行构建有了扎实的理解。随着大量广泛使用的工具和产品的出现,我们还看到涌现出一批系统和开发人员工具专家,而不是 AI 专家和研究人员,进入该领域。

其中一人是 Replicate 的联合创始人兼首席执行官本·弗什曼,他于 11 月 15 日与 A16Z 合伙人马特·博恩斯坦一起出现在题为“构建开发者工具:从 Docker 到扩散模型”的节目中。本在开发者工具领域拥有多年的实践经验,包括作为 Docker Compose 的创建者以及大约十年前 Docker 团队快速增长阶段的关键成员。以下是本关于在为开发人员构建任何产品时要尽早现实的看法。

Docker 也让我们吸取了很多惨痛的教训。我认为我们应该真正铭记的核心内容是,我认为 Docker 建立了令人难以置信的自下而上的开发者运动,但他们过快地转向尝试向企业销售。因此,几乎从第一天起,他们就构建了这种自上而下地向大型公司销售的企业产品。而这些公司内部的人根本不知道 Docker 是什么。那些知道 Docker 是什么并从中获得价值的人是那些在日常工作中使用它的人。

因此,我认为这里的教训是,如果您正在构建自下而上的开发者业务,请自下而上地逐步构建。为开发人员制作一些东西,卖给开发人员,然后也许卖一些对他们的团队有用的东西,然后逐步向上发展。然后,也许五年后,您可以向沃尔玛的首席技术官或其他任何人销售一些东西,但您不可能从第一天就能做到这一点。在本期节目的后面,Replicate 的本·弗什曼讨论了从产品角度来看,AI 与其他类型的软件并没有太大区别。

关键是要开始构建,并准备好尽早使用大量胶带。我认为,作为一名现在在 AI 上进行构建的开发人员,最令人兴奋的事情之一就是有如此多的未开发的绿色空间。现在构建强大的 AI 功能、构建强大的 AI 产品的方法

不是复制别人的做法,而是要自己动手尝试,看看是否能找到一些适用于您产品的新东西,请不要再构建另一个聊天机器人,已经有足够多了,有一些新的有趣的东西适用于您的产品或问题领域,您可以通过 AI 实现,所以只需动手尝试,进行实验,并且不要过于执着于某些事情,尝试大约 50 种不同的方法,看看哪些有效,哪些无效,我认为这是

我现在发现真正有趣的事情,因为 90% 的可能性尚未被发现。然后我认为我会——这也是我们之前谈到过的事情——那就是很容易构建原型。使用这些 AI 系统构建真正的产品非常困难,因为

与普通的计算机系统相比,它们是如此不可预测。准备好,一旦您尝试了这 50 个不同的原型并找到了一个非常有效的东西,请做好准备,那时您只完成了 10% 的工作。还有 90% 的胶带、启发式方法和提示工程才能使其在现实世界中混乱的环境中表现良好。但是一旦你通过了这一关,你就会得到一些真正有趣的东西。

我认为,特别是对于构建开发者产品而言,我认为我们在 Replicate 经常说的一句话是,AI 只是软件。这是一款令人难以置信的非凡软件,它正在做一些我们以前认为计算机无法做到的事情,坦率地说,是超人的。但它实际上只是一种软件形式。在其核心,这个机器学习模型只是......

我们喜欢说它是在机器学习模型上进行的推理,您可以向其传递参数等等,但它实际上只是一个带有某些参数的函数调用,它有一个返回值。它碰巧是在内部运行在 GPU 上的模型。许多适用于软件的问题也适用于机器学习。这当然是我们......

我们一直在进行模式匹配,好的,为普通软件构建了哪些工具,我们可以将其应用于机器学习?我认为 Replicate 就像,我们把 GitHub 和 Heroku 结合在一起,这就是......以及 Docker。这就是 Replicate 的许多来源。您可以应用——看看普通软件中发生的所有其他事情,然后想一想,嗯,机器学习中是否需要存在这个东西?机器学习中有一些新问题,

您无法审查机器学习中的代码。因此,了解系统行为的唯一方法是将数据传递给它,然后查看它在现实世界中的行为。这就像机器学习的一件新事物,您需要新的工具。但是,许多工具只是,我们可以从普通软件中进行映射。

关于有助于我们将 AI 产品投入生产的系统级思维,我们还采访了 Ingest 的联合创始人兼首席执行官托尼·霍尔斯特克-布朗,他在 6 月 14 日的节目“为 AI 构建生产工作流程”中出现,该节目还邀请了 A16Z 合伙人横山李。托尼在 Docker 巅峰时期也曾在那里工作过,以下是针对我关于像他这样的人如何帮助提高 AI 实用性的问题做出的回应。

因此,在整个范围内,需要具备一些不同的东西。您有获得博士学位的专家,他们进行自动微分并进行诸如 MLIR 到 LLVM 之类的工作,这对于在基础级别运行 AI 工作负载非常有帮助,实际上是构建 AI 堆栈。这些是英伟达的专家,他们非常棒,正在做很多非常有趣的事情。

然后,您会遇到实际创建运行这些东西的基础设施的人。您可以将 Docker Kubernetes 集群连接到具有附加英伟达 GPU 的各种不同的计算机上。这与十年前已经存在的基础设施非常相似。我们所做的工作,编排,使您能够轻松地将调用多个不同容器或应用程序中的大型语言模型的应用程序级代码产品化,而无需担心队列和基础设施。

也类似于您在 AI 之前必须做的事情。因此,有趣的事情和观察结果之一是,许多人试图创建特定于 AI 的基础设施。虽然这可能很酷,但它与五到十年前我们所做的工作并没有什么不同。也许添加了一些常量来执行特定于 AI 的遥测。但归根结底,Open AI 的遥测仍然是开放遥测。它并没有发生太大的变化。

因此,从根本上说,编排仍然是编排。许多排队理论仍然适用,无论您是将其用于 AI 还是用于原始编排。因此,我真诚地认为,人们试图通过 AI 学习的许多基础设施课程可能在五到十年前就已经学习过了。已经解决这些问题的人处于一个良好的位置,可以继续为 AI 解决这些问题。

同样,Decagon 的联合创始人兼首席执行官 Jesse Zhang 在 12 月 18 日题为“AI 代理最终能否解决客户服务问题?”的节目中解释说,他看到企业买家也以与看待其他软件相同的方式看待 AI 工具。也就是说,主要关注点是它是否能带来价值。如果能带来价值,他们就会学会磨平一些棱角。

我认为人们确实关心幻觉,但他们更关心可以提供的价值。因此,我们合作的几乎每家企业都关心相同的事情,就像字面上的相同的事情一样。您可以解决多少对话?我的客户有多满意?

然后,幻觉可能会被归入第三类,即准确性如何?通常,在评估时,前两项很重要。假设您正在与一家新企业交谈,并且您在前两项上都取得了巨大的成功。领导层和公司中的每个人都会有很多认同感,就像,天哪,这不仅会改变我们的客户群,而且

客户体验有所不同。现在每个客户的口袋里都有他们自己的私人管家。他们可以随时联系我们。我们正在给他们提供好的答案。他们实际上很高兴,任何语言,全天候。所以这是一方面,而且您节省了大量资金。因此,有很多认同感,并且有很多顺风因素可以完成一些事情。幻觉显然必须解决,但这并不是他们最关心的事情,对吧?因此,解决幻觉的方法是我之前提到的那些方法。例如,人们会测试你。

可能会有一个概念验证阶段,您实际上正在进行真实的对话,并且他们的团队成员正在监控情况并检查准确性。如果效果不错,那么通常您就安全了。正如我之前提到的,您可以采取一些强有力的保护措施来防止敏感信息泄露。例如,您不必使敏感信息具有生成性。因此,对于大多数交易来说,这是一个讨论点,它不是......

不重要的主题,您将经历这个过程,但这从来都不是任何对话的重点。

Jesse 还谈到了 Decagon 如何看待其商业模式,以及销售一项新服务(如 AI 代理)的关键之一是如何弄清楚它们所取代的东西以及它们的实际价值,并据此定价。例如,像传统软件一样按座位收费,这对于客户来说并不具有可扩展性,而对于 Decagon 来说,按解决方案收费(Decagon 正在销售客户支持代理)可能会导致激励机制错位。

我们对此的看法是,过去,软件是按座位收费的,因为它的规模大致基于可以利用该软件的人数。对于大多数 AI 代理,

您提供的价值并没有真正根据维护它的人数进行扩展。这只是工作产出的数量。这与我之前所说的相符,如果 ROI 非常可衡量,那么您所看到的工作产出水平就非常清楚。我们对此的看法是,好的,按座位收费绝对没有意义。您可能将根据工作产出进行定价。因此,您想要提供的定价必须是一个模型,在这个模型中,您做的工作越多,获得的报酬就越多。

因此,对我们来说,有两种显而易见的方法可以做到这一点。您可以按对话付费,也可以按解决方案付费,例如 AI 实际解决的对话。我认为我们一个有趣的经验是,大多数人都选择了按对话付费模式。原因是,按解决方案付费的主要好处是您为 AI 所做的工作付费。但接下来会立即发生的事情是,什么是解决方案?

首先,没有人想参与其中,因为那样的话,就像,“如果有人进来,他们非常生气,你把他们打发走了,为什么我们要为此付钱给你?”

对吧?所以这是一个奇怪的情况。然后它使 AI 供应商的激励机制变得有些奇怪,因为那样的话,就像,好的,我们按解决方案付费。那么,为什么我们不尽可能多地解决问题,并在有很多情况是两可的时候把人们打发走呢?更好的体验应该是升级,而客户不喜欢那样。因此,按对话付费模式会带来更多简单性和可预测性。

接下来,我们收集了一些剪辑,这些剪辑通常侧重于如何为 AI 驱动的初创公司寻找并执行良好的机会。尽管它们的范围和主题各不相同,但在寻求您熟悉的领域的机遇,然后努力为客户解决实际问题,而不是纠结于解决新颖的工程难题方面存在一些共同点。这是一种思维方式,它涉及深入思考许多问题,所有这些问题都会影响您的公司和您的客户。

包括基础设施、资本和运营支出以及客户支持。我们将从 Ambiance 的联合创始人兼首席科学家尼希尔·巴杜马开始,他回答了我关于 AI 工程师创始人如何平衡对最先进性能的渴望与仅使用有效方法的问题。

然后,讨论继续进行,尼希尔将如何建议那些试图创建使用 AI 来解决特定行业问题的公司的人,包括那些涉及人性的公司。我在 9 月 13 日的节目“平衡 AI 专业知识与行业经验和垂直应用”中与尼希尔进行了交谈。

我可以谈谈我们的个人经验,那就是对我们来说很重要的许多任务都处于机器今天能够完成和无法完成的任务的边界上。作为一家公司,我们实际上非常关注前沿。

这既包括正在发表的内容和人们在互联网上积极讨论的内容,也包括该领域一些最好的研究人员在思考什么,以及我们如何预测该领域在未来 12 到 24 个月内将如何发展?因为我们自己进行的研发投资必须不仅与今天的最先进技术相辅相成,而且还要与我们对未来 12 到 24 个月内前沿技术将如何变化的预期相辅相成。

话虽如此,如果您今天使用的技术能够很好地为您服务,那么您可以在一个级别上运行,只需说,看,基础模型制造商将继续使下一代产品越来越好。我的目标实际上只是深入了解我的用户、我的客户、他们的业务,并继续构建产品周围所需的其余连接组织,以确保随着这些模型越来越好,我拥有交付它的底盘。

但我认为这确实很大程度上取决于用例。我显然对哪些公司最终会变得有价值有强烈的看法。但我认为这可能是我看待这个问题的角度。是的,让我们深入探讨一下。我的意思是,因为听起来好像区别在于,您是在构建垂直关注的应用程序或公司,还是在构建水平的应用程序或公司?您是在构建您可能称之为 AI 公司的东西,还是在构建使用 AI 的公司?

我认为,在某种程度上,构建 AI 公司与构建传统的企业 SaaS 公司有很多相似之处,对吧?首先,您必须选择正确的用例集。找出人们今天能够为其分配预算的迫切需求、紧急需求是什么。我们内部经常问的两个问题有助于我们解决这个问题,那就是,时间宝贵的人......

最终浪费或花费了大量的精力和注意力。这往往是一个非常好的寻找地方。第二个问题是,工作产品的质量不一致,如果您可以解决这个问题,如果您能够获得始终如一的高质量,那么这实际上具有很高的经济价值。如果您能够解决符合这两种形状之一的问题,那么它很可能是一个非常有价值的用例。

然后,一旦您发现了一个高价值的用例,下一个问题就是,好吧,我该如何确保模型在该用例中表现良好?您将有一系列公司从,嘿,现成的 GPT-4 模型就像击中目标一样,一直到模型甚至不知道从哪里开始解决这个问题。这会极大地改变您需要构建的团队的形状。

然后我认为,人们不能低估与正确的数 据源集成以确保模型能够对重要问题进行推理的重要性,确保您掌握设计、用户体验、工作流程、变更管理,并实际构建强大的交付能力,因为您很可能正在改变人们的工作方式,并且

这意味着您的客户可能需要比您意识到的更多支持才能真正实现您正在构建产品的全部价值。因此,我的感觉是,许多这些机器学习公司和现代 AI 公司实际上将大力投资于交付能力。这可能与许多企业 SaaS 运动很熟悉,但我认为这对于机器学习和 AI 公司尤其重要。

因此,我认为所有这些部分实际上都必须结合在一起。我认为,在周到地考虑如何交付新技术以及交付新技术的顺序方面,人们可以做很多事情,这可以使跨越鸿沟变得容易得多,可以说。我认为绝对真实的一点是,如果您是那种处于中间位置的人,并且需要听到更多关于某些事情有效的证据,然后您才愿意采用,那么被......

那些实际上已经尝试过这项技术、每天都在使用它并赞扬它的人所包围,这可能意味着您是否愿意花时间去尝试,而不是说,你知道吗?

我没有时间做这个。”我们思考很多的一件事是,在我们开始追逐那些中间人群之前,我们如何找出合适的初始部署用户?因为您想创造这些成功的核心,让人们开始谈论他们在做出改变后的生活是什么样的,最终在机构内部创造一股越来越多的信徒的浪潮。

Ingest 首席执行官托尼·希尔德斯托克-布朗也在我们 6 月 14 日的节目中谈到了这个话题,他回顾了他为一家医疗软件公司工作的时间与他在系统和开发人员级别产品方面的大量经验。我认为这就像一个超级有趣的问题,也与 DevTools 创始人/基础设施创始人/为工程师构建事物的人非常相关。工程师很容易纠结于他们正在解决的问题。

与他们的用户正在解决的问题相比。这是一个非常大的区别,因为如果您正在解决这个编排层,您可以考虑如何以一种非常好的方式来解决它,例如 Mesos,以及如何解决所有这些分布式系统问题。从根本上来说很酷,但与此同时,您的用户实际上并不关心。他们关心的是他们的问题得到解决,并且 API 非常流畅易用。因此,在一个特定的工程产品应用中工作非常好,因为您可以看到工程基本上是解决问题的工具。

作为一名工程师,您所做的事情对于使其发挥作用至关重要。但最终,最终用户并不一定关心。当我们构建病历系统和治疗计划器时,医生并不关心我们是否拥有连接您的牙齿、牙根、CBCT 和 X 光照片等的最先进算法。他们只关心治疗计划是否是世界上最准确的治疗计划。我们构建了一些非常酷的技术来实现这一点。但这只是为最终用户解决问题的副产品。

5 月 3 日,我们发布了一期节目,节目邀请了 Socket 创始人兼首席执行官法拉萨·布胡迪·贾伊和 A16Z 合伙人乔尔·德拉加萨,节目标题为“使用大型语言模型保护软件供应链”。我们讨论了生成式 AI 模型在网络安全中的应用,特别是软件供应链。

以下是 Frosted 关于 Socket 如何采用然后开始在其产品中使用 AI 模型的看法,这个过程始于公司试图解决客户关于他们更喜欢如何接收安全警报的反馈,并且至少在那个时候最终形成了各种各样的模型,旨在调整 API 调用的大小并降低成本。

想想智能手机应用程序是如何工作的。当您安装新的更新并且它突然需要您的相机、联系人或麦克风时,它不会只是获得使用这些权限的权利。您必须批准它们。它必须询问。不幸的是,开源升级并非如此。因此,我们的最初想法是,每当权限更改时,以及每当他们引入新软件包时,我们都会告诉开发人员和安全团队这些权限是什么。但是然后

我们很快遇到了这样的团队,他们说,看,我们没有能力或复杂性来解释这种级别的警报。例如,告诉我它是否不好,并且只在它不好的情况下进行干预,否则就不要管我。我们正在构建一些 AI,而不是基于非大型语言模型的 AI,它将综合我们正在

查看并确定某些东西是否安全的所有这些不同信号。然后,像 chat GPT API 这样的东西就在正确的时间出现在我们面前。因此,我们使用它构建了一个原型,当我们识别文件、软件包中的这些风险因素时,我们会要求大型语言模型进行思维链推理并解释,它在做什么?风险是什么?并做出决定,并且

不幸的是,使用 GPT 3.5 时,它实际上太嘈杂且无法使用。但是 GPT-4 推出了,我们实际上有了一些可以交付给用户的东西。因此,基本上,对我们来说,关键时刻是我们获得了 GPT-4 访问权限。实际上是未发布的 GPT-4,我们能够获得访问权限。然后我们意识到,哦,我的天哪,

这个东西每周都会弹出数百个恶意软件包,对吧?所以我们想,这太不可思议了。这个东西正在工作。但是现在它显然已经发展到超越了这一点。我们正在研究很多方法,除了 OpenAI 之外的其他竞争对手,以及我们自己的模型。然后还有多个,

级别。您不希望只使用所有内容。不应该只使用最昂贵的方法,因为您会破产试图扫描每个,你知道的,那里的每个开源软件包。代码太多了。因此,我们最终采用了一种混合方法,我们将它通过一个更笨、更小的模型,然后有一个几乎像共识模型一样的东西,如果足够多的笨模型同意这是有风险的,那么我们会询问一个更智能的模型。实际上,随着时间的推移,有很多事情要做,这非常,非常酷。

另一位安全领域的创始人,这次是 Command Zero 的联合创始人兼首席技术官 Dean DeBeer 在 7 月 26 日题为“使用大型语言模型增强事件响应”的节目中分享了类似的见解。在本片段中,Dean 深入探讨了使用大型语言模型构建垂直应用程序时与模型相关的考虑因素,包括托管、成本和延迟。正如他指出的那样,为客户提供他们想要和期望的东西比您控制技术堆栈的每个方面更重要。不要花时间在

托管您自己的模型上。不要花时间在寻找 GPU 或在 AWS 中构建基础设施以及围绕您托管的模型的实现构建一组 API 上。在您真正深入了解您的数据和用例之前,不要花时间尝试训练模型。

老实说,模型是如何工作的以及您将如何为该数据构建适当的训练集的期望,如果您觉得需要训练的话。今天已经有足够的基础设施可供您验证用例并

构建出色的产品,而无需花费时间构建运行模型的基础设施。无论是在 Azure、Amazon Bedrock 还是 GCP 中,还是直接与您的一位提供商联系,今天都可以利用它。这当然更具成本效益。您将能够比花费时间并引入运营人员来管理和运行您的模型基础设施更快地原型化和

验证用例。这不是您要解决的问题,对吧?您要解决的是,在我们的例子中,安全问题。因此,专注于问题,而不是闪亮的部分,例如,我们运行我们自己的模型。最终,人们关心的是结果。他们关心的是结果。当然还有延迟。我觉得我经常回到这一点,但它存在于您将要做的所有事情中。

特别是当您开始大规模运营时,延迟起着非常重要的作用。扩展基础设施有很多限制。API 使用传入和传出的令牌,以及与之相关的成本。

模型的细微之处,如果你愿意的话,对吧?并且在两者中都创建了自动模型。它们通常非常适合特定用例。它们可能不适合您的用例,这就是为什么我们倾向于对我们的用例使用许多不同模型的原因,无论是几秒钟内的数据响应,因为数据量很小,用户永远不会看到它。或者我需要能够获取 10、20、30 个不同的数据集,减少它们,或者

将它们映射然后简化,应用一种类似于 MapReduce 的方法来构建报告,或者如果是一系列相互关联的问题,则采用一种细化方法,或者我们称之为方面,对吧?因此,您的用例将很大程度上决定您将使用的模型。很快,您就会发现自己会花更多时间在相关的技术或基础设施上。

接下来,我们将回到 9 月 13 日的节目中,与 Nikhil Baduma 讨论如何组建一个创始团队和公司文化,以考虑所有这些技术、财务和产品复杂性。据他估计,这需要具备您可能期望的所有技术和行业专业知识,以及驾驭模糊性和不确定性的能力。关于后一点,他建议在内部利用生成式 AI 工具可以帮助团队保持精简和敏捷。

如果您是今天试图创建一家公司的创始人,如果您认为最有价值的公司将从其中一些,某种程度上应用程序层和模型层之间的垂直整合中脱颖而出,那么下一代极其有价值的公司将由那些多年来痴迷于成为某个行业专家的创始人创建。

我建议有人实际知道如何规划最有价值的用例,并清楚地说明当您越来越多地协同解决这些问题时,这些用例如何具有协同的复合价值。我认为创始团队必须具备正确的机器学习技能,才能实际构建正确的实时学习循环,构建机器学习运维循环。

来衡量,来弥合这些用例的模型质量差距。然后我认为,正如我们讨论的那样,模型实际上只是解决问题的一部分。您实际上需要仔细考虑产品、设计和交付能力,以确保您构建的内容与正确的企业数据源集成,并以正确的方式融入正确的流程。您将不得不大力投资变更管理,以确保客户充分认识到他们从您那里购买的产品的全部价值。

所有这些实际上都比人们意识到的要重要得多。我确实认为,在这个时间点进行构建有一些非常有趣的地方。在某些方面,就像当今世界变化的速度比技术史上任何其他时间都快一样。我认为大多数人可能会说,我们上次看到类似的情况是互联网的激增。

我认为,对创始团队的一个后果是,您实际上正在应对大量的不可预测性和模糊性。因此,如果您考虑一下在这个环境中将会成功的团队,那将是那些纪律性足够强,能够跟踪世界变化,并具备能够做出反应和能够根据新信息的出现而改变战略的能力,以及能够挑战那些定义了您构建方式的一些假设的团队。

我认为,造成这种挑战的部分原因是,随着公司规模的扩大,其敏捷性会越来越低。我认为大多数公司,我认为您必须问的问题是如何用更少的资源做更多的事情?例如,小型团队如何才能产生超大的影响?因为保持团队规模较小可能对生存和保持这种敏捷性至关重要。今天存在的、可用的所有这些 AI 生产力工具,您不仅可以构建它们来销售它们,而且

您也应该作为公司本身的大量消费者,并将它们用于公司建设。事实上,我认为如果您今天走过 Ambience 办公室,我猜每一个人,无论其职能如何,都会在他们的电脑上打开某种 AI 生产力工具。这可能是 ChatGPT,可能是 Cloud,可能是 Cursor,也可能是其他什么。我猜他们可能每小时使用这些工具多次。

例如,每 10 分钟多次执行那些否则可能需要他们花费 2 到 10 倍时间才能完成的事情,这令人兴奋,因为我认为,您知道,依靠较小的团队,它可能不再仅仅是相对的竞争优势了。鉴于世界的发展方式,对于许多这样的公司来说,它可能对长期生存和成功至关重要。

当然,至少在过去十年中,AI 的一个主要主题是许多 AI 研究人员从大学或行业实验室走向创业领域的历程。这可能涉及优先级和技能的巨大变化,并不总是容易实现。今年,我们在 AI 播客中邀请了一些优秀的嘉宾,他们谈到了这种转变,包括 Flux、Ideagram 和 Ray 等流行模型和工具背后的那些人。我们首先采访了 Black Forest Labs 的 Andreas Blattman、Patrick Esser 和 Robin Rombach,他们是 Flux 的创建者。

我们在 8 月 16 日的节目“研究人员到创始人的旅程以及开放模型的力量”中与 A16Z 普通合伙人 Anjane Mitha 进行了交谈。在这个第一个片段中,他们谈到了围绕自动编码器的一些早期工作,这些工作并没有得到研究界的积极回应,并以此为出发点讨论了新颖的学术研究与只需工作的商业产品之间的区别。

如果您从很远的地方看,您只是在训练自动编码器,然后在该潜在空间中训练您的生成模型。这是一个非常简化的视图,因为它不是整个故事。我认为这可能是它不断受到质疑的原因之一。你为什么要研究这个?例如,

你为什么现在要再次使用扩散模型采用另一种潜在方法?我认为我们自己也进行了辩论。是的,我担心我们是否可以再做一次这样的事情。这总是像,这就是你看到研究局限性的地方。你必须提出一些新颖的东西。如果它只是效果更好,而且并非对每个人都清楚它很新颖,那么它将以某种形式受到质疑。

但与之相反,如果您正在创办一家企业,您只需专注于有效的方法,对吧?新颖性不再那么重要了。就像你使用有效的方法一样。这就是为什么创业实际上也是一次非常好的体验。即使在你们开始创业之前,如果您只是考虑一下研究和产品之间的区别......

以及构建人们可以在论文之外使用的工具。当您身处研究界时,对您来说似乎并不新颖的东西,实际上对世界各地的创作者和开发人员来说却极其新颖。直到你们发布了一些

几年后,稳定扩散,这可能才对研究界变得清晰。这是正确的框架还是错误的框架?不,我认为这完全正确。我认为在进行研究和开展业务之间有一个很好的中间步骤,那就是研究在开源环境中使用的模型,因为然后每个人都会使用您的模型。对。

我们很早就获得了这种经验,因为我们习惯于一直提供我们的模型。然后,第一个变得非常流行的模型是这个 VQGAN 解码器,因为它实际上实现了非常逼真的图像纹理,它与这种文本到图像优化程序结合使用,人们使用它和剪辑并优化图像以匹配文本提示。

因为我们已经发布了该模型,并且它在这种情况下被很多人使用,所以这是您意识到,好的,您实际上必须制作一些通常有效的东西的时刻之一。然后我认为这是一个很好的中间步骤。因为如果您希望您的模型在这种广泛的背景下使用,那么您只需要确保它们在许多边缘情况下都能正常工作。

接下来,我们有 Ideagram 的联合创始人兼首席执行官 Mohamed Neroosi,他与 A16Z 合伙人 Jennifer Lee 一起参加了我们 6 月 7 日的节目“多模态图像模型的未来”。这是他对我的问题的回答,关于作为一名 AI 研究人员离开谷歌这样领先的实验室的决定,随后是他和詹妮弗之间关于他自那以后学到了什么,特别是关于为创意用户社区而不是为大型公司的财务目标而构建的交流。

我真的很认为谷歌创造了这种探索性研究的环境,这很棒。谷歌产生了很多令人惊叹的研究成果。我们正在使用的关于扩散模型的一些工作也来自谷歌。但我猜谷歌研究团队的任务不是开发产品。我们尝试过这样做,但这并不容易,因为我想我们是一群研究人员。我们以前从未发布过产品。

我认为没有人相信我们甚至可以做好工作。但是也......

从根本上说,我不确定产品创新能否在大公司内部轻松发生,因为您拥有一个蓬勃发展的业务,而且它正在运转。因此,我确实意识到当时的一些对话,好的,将文本到图像放入谷歌当时拥有的不同生产力工具中,例如谷歌幻灯片。我不记得确切的背景。问题是,好的,这是一亿美元的业务吗?现在事实证明是的。是的。

是的,完全正确。但在它不是一亿美元的业务时,很难看到它。因此,我认为从根本上说,在大公司内部进行这种产品创新更难,因为有很多唾手可得的成果。您不妨花时间将广告提高 0.001%。既然您已经在 Ideagram 工作了,

一年多以来,回顾谷歌的经验,您学到了哪些仍然具有指导意义和价值的关于训练这些大型模型的经验教训?现在您正在构建产品,您正在非常快速地发布产品,这与谷歌的情况有何不同,并且形成了鲜明对比?是的,我想现在我们需要更全面地考虑整个流程,我们还需要

更有效地利用我们的资源,无论是计算资源还是人力资源。我们是一个敏捷的团队,我们拥有的计算资源实际上非常惊人,但它还没有达到谷歌的规模。

所以这是一个现实,我们必须让它发挥作用。我认为拥有这一点可能是一件好事。例如,资源匮乏会促使您更加努力地工作并取得更多成就。还有一点是,我们推销公司的方式是,我们是一家垂直整合的 AI 公司。我们是 AI 优先,但我们也是产品优先,我们是社区优先。因此,Ideagram 的支柱包括社区、技术和产品。

我认为,当我们在谷歌担任研究人员时,有很多重点放在新颖性和研究创新上,新的图像生成方式,文本,新想法。这很好。但在 Ideagram 的背景下,它在很多方面都有更多内容,例如,我们的用户想要什么?我们的用户为什么来到 Ideagram?我们如何进一步实现这一点?然后

我们如何创建新的基础模型,这些模型可以实现新的构思、创造力和编辑方式?各种创意应用程序的未来是什么?视频创作的未来是什么?在进行通用视频之前,有哪些可实现的里程碑?所以我们开始问自己的所有这些问题,当我们戴着研究人员的帽子时,并没有那么多。

我认为这真的很令人兴奋,特别是与我们的用户坐在一起,我基本上每周都会进行这种聊天,这是一种与用户互动的完全有机的方式,人们带着各种随机请求而来,有些人需要在提示或使用产品方面进行指导,然后有些人会提出一些反馈或评论,看到用户对产品的喜爱真是太好了,这

当我们发布产品时,我们看到了用户如此多的关注,他们非常感激。我们还有一个非常慷慨的免费层。因此,在这个层面上与我们的用户互动真是太好了。我认为在大公司里很难做到这一点,因为您通常有沟通和公关以及社区等等。我们 7 月 19 日的节目还邀请了 Jennifer Lee,这次是与 AnyScale 联合创始人 Robert Nishihara。

Robert 在加州大学伯克利分校的 Rise Lab 工作期间帮助创建了用于训练和运行大型 AI 模型的流行 Ray 框架,并在其他研究人员和 Rise Lab 领导的支持下推出了 AnyScale。当 Jennifer 询问在构建 Ray(针对不同类型的 AI 和 ML 用户)时,在那样的地方工作有多重要,然后推出 AnyScale 来对其进行商业支持时,他这样说。这是一个令人难以置信的实验室。

我认为如果我们在其他地方,这是不可能的,或者可能性要小得多。因为,当我们开始使用 Ray 时,

记住,我们是 AI 人员。我们试图进行 AI 研究。我们想为 AI 构建系统,这并不是我们很了解的事情。我们过去没有做过很多系统构建。因此,我们对需求有很好的理解。我们非常了解系统中需要的属性,因为我们是目标用户。我们正在为自己构建这个。但是如何实际构建可用于生产的系统

坚如磐石的成熟系统,我们还有很多东西需要学习。事实上,我们在这样一个实验室里,这是一个令人难以置信的 AI 人员、系统人员、各种不同背景的研究人员的混合体,那些构建过 Spark 并使该项目取得成功并创建了 Databricks 的人。我们能够向那些人学习,这使得这一切成为可能,并提供了

很多,您知道,我们从那些人那里学到了很多经验教训,如果没有他们,这些经验教训将很难再现,所以您知道,我们感到非常幸运能够在创业之前与那些人在那个领域一起工作,我们知道开源项目很重要,我们知道我们想继续致力于 Ray 并使其真正有用,因为存在巨大的需求,人们需要扩展他们的 AI 工作负载,但我们没有,我们不太清楚它是否可以作为一项业务

我们花了很多时间思考这个问题,并问自己,它可以作为一项业务吗?我们应该创业吗?Databricks 的例子展示了这可能是什么样子,这非常有启发性。能够与以前创业过的人、以前创业过一些非常成功的公司的人一起工作,我们能够从他们那里学到很多东西。

然后我们回到 Black Forest Labs 团队,他们还分享了他们对未来产品规划的方法。这在 AI 领域可能特别相关,在他们的案例中,对最先进的图像模型的持续开发是先进视频模型的自然先驱。作为奖励,他们能够在创业四个月后就发布他们的 Flex 图像模型,而不是等待更长时间来发布最先进的视频模型。

我认为也不应该低估考虑开发计划本身的必要性,因为首先,训练图像或视频模型需要不同的计算量。图像模型也有一些更多的经验,这使得它更安全,并且启动速度更快。因此,我认为这实际上也是

这样做的决定的一部分是,您不想追求这样一些目标,即您说这将需要 12 个月才能准备好。我认为持续进步非常重要,在中间步骤中,您也会得到一些非常有用的东西,例如图像模型,我认为从这一点来看,它

走这条路非常有意义。您不会损失太多。您可以通过相对快速地启动图像训练来更好地重叠不同的开发。然后我们可以并行处理所有视频数据工作,并且

是的,这再次归结于我们团队的整体效率和我们的模型开发策略。因此,补充一点,顺便说一下,您会看到,事实上,我们在四个月前成立了公司,我们已经推出了我们的第一个模型。我们必须重建一切。但是由于我们,正如罗宾多次提到的那样,我们拥有这个非常专业的团队。

它只是优化了流程的所有部分,并将其与功能的持续开发相结合,例如图像功能,然后可以将其重复用于视频。这些组合导致,我认为,取得了非常好的进展,您现在正在看到这一点,因为我们在四个月后推出了一个非常强大且大型的模型,我个人对此感到非常自豪。

最后,我们将用一些灵感来结束本集。我们首先从 Databricks AI 副总裁 Naveen Rao 开始,他从 AI 成为热门话题之前就开始从事 AI 工作,并且在我们 4 月 12 日的第一两集中与我和 A16Z 合伙人 Matt Bornstein 一起参加了题为“确定企业 LLM 市场”的节目,我们最近重新发布了该节目的全部内容。Naveen 在他作为重复创始人的任期内,包括在人们将 AI 视为次要事件的时候,对实现 AI 的承诺是这样说的。

出于纯粹的兴趣,我已经在这个领域工作了一段时间了。我在业界担任计算机架构师和软件架构师工作了 10 年,然后回到学校攻读神经科学博士学位,原因是,我们能否真正将智能带入机器,并以经济可行的方式做到这一点?最后一点实际上非常重要,因为如果某些东西在经济上不可行,

它就不会起飞。它不会激增。它不会改变世界。所以我喜欢将技术构建到产品中,因为当有人为某事付钱时,这意味着非常重要的事情。他们看到了为他们增加价值的东西。他们正在解决他们关心的问题。他们正在有意义地改善他们的业务。某些东西。他们愿意合作

用他们的钱,并将其用于他们的产品,这意味着某些东西。我认为一旦您建立了这一点,并且您可以一遍又一遍地做到这一点,那么您就开始看到真正的价值了。

现在,您完全正确。我已经等待很长时间才能看到 AI 增加更多价值并真正发挥作用了。我的意思是,您知道,我们在 2000 年代中期对如何构建智能机器有所有这些疯狂的想法。很多这些想法都会卷土重来。我们进入这些范例的局部最小值,您知道,反向传播、卷积网络、转换器。它们都是局部最小值,但它们都在朝着某种更大的价值努力。

对智能可能是什么的更宏观的看法。因此,我很高兴也很兴奋地看到机器智能的概念成为主流。我们进行的所有讨论,即使是愚蠢的讨论,当我们谈论机器人毁灭世界时,您知道,所有那些疯狂的末日论者的事情。老实说,即使是这些,对我来说也实际上很有趣,因为从我们现在已经将这部分内容纳入我们正常社会结构的对话的角度来看。它不再是一件奇怪的事情了。多年来,我一直是奇怪事情的一部分,但现在不是了。这将是一件大事,并将增加很多价值。老实说,做配角从来都不是那么有趣。就像你可以从中获得激情一样,因为我认为它实际上......

当每个人都告诉你你是配角时,你必须充满激情才能继续前进。我认为你可以将此作为优势。但实际上,拥有这种激情、这种力量的全部意义在于创造一些有意义的东西和一些持久的东西,一些真正能够改变人类进化进程的东西。这就是我在这里的原因。我在这里是为了......

成为构建下一套技术的一部分,这些技术真正使人类能够以更强大、更深刻的方式影响世界。在本集的最后一段摘录中,我们再次转向 6 月 7 日露面的 Ideagram 的 Mohamed Arouzi,解释了经营公司面临的挑战如何使你成为一个更好、更强大的人。

需要明确的是,我们创业不是因为 AI 很酷。我的最后一天是在 ChatGPT 推出两天后。因此,我们创业是因为我们觉得这个领域潜力巨大。这真的很令人兴奋。我们想走在最前沿,构建技术,并享受这个过程。

发生的事情是,我想,AI 也变得流行起来。这是一个很好的巧合,但它不是因果关系。就公司而言,这实际上很有趣。我觉得这是一个机会,让我更多地了解自己,发展更多技能,成为更好的人。因为协调不同的利益相关者并将所有这些发布结合起来存在很多紧张和很多复杂性。

我认为这也是一段个人旅程。它在不同层面挑战着我和团队中的每个人。但好消息是......

你会经历一些挑战和痛苦。然后,结果,你会更多地了解自己,并希望创造一些价值。这就是看待问题的一种方式,我觉得这是走出我的舒适区。这令人兴奋,因为它将帮助我和公司里的其他人变得更有能力,成为更好的人。这就是本期“最佳节目”的全部内容。我希望您喜欢它。

我们将在新年与您相见。