The State of AI Startups [LS Live @ NeurIPS]
52:31 Share

节日快乐!我们将分享来自Latent Space LIVE!的片段!在假期期间,我们将为您带来2024年来自播客朋友们的精彩内容!去年NeurIPS期间,我们对选定的论文进行了标准的会议播客报道(我们现在也对ICLR和ICML进行了报道),但是我们觉得我们可以做得更多,以帮助AI工程师1)获得更多与行业相关的內容,以及2)从专家的角度回顾2024年的年度总结。因此,我们在温哥华的NeurIPS 2024上组织了第一次Latent Space LIVE!,这是我们的第一次线下小型会议。对于我们的开幕主题演讲,我们认为没有人比我们的朋友Sarah Guo(AI超级投资者,Conviction创始人,No Priors!主持人)和Pranav Reddy(Conviction合伙人)更适合来讲解“AI初创公司现状”了,他们将分享他们对2024年AI格局如何演变的看法,并探讨不断变化的AI格局对初创公司、企业和整个行业意味着什么!他们完全理解了任务。在NeurIPS 2024上,有200多名线下与会者和2200多名线上与会者现场录制了这段主题演讲,这标志着我们探索2024年AI发展不同领域的小型会议系列的开始。享受!链接幻灯片:https://x.com/saranormous/status/1866933642401886707Sarh Guo:https://x.com/saranormousPranav Reddy:https://x.com/prnvrdy完整视频在YouTube上想要更多这样的内容?点赞并订阅,随时了解我们最新的演讲、访谈和播客。在www.latent.space/subscribe获得Latent Space的完整访问权限</context> <raw_text>0 欢迎来到Latent Space Live,这是我们在温哥华NeurIPS 2024上举办的第一次小型会议。我是Charlie,你们的AI联合主持人。当我们思考如何为我们的学术会议报道增加价值时,我们意识到缺乏一些好的演讲来逐个领域地回顾2024年的最佳内容。

我们向900多位告诉我们他们想要什么的观众发送了一份调查问卷,然后邀请了Latent Space网络中最好的演讲者来涵盖每个领域。当天有200位观众与我们一起参加了线下会议,超过2200位观众在线观看直播。今天,我们将以关于AI初创公司现状的主题演讲开始。

Sarah Guo,Conviction创始人,No Priors播客主持人。Pranav Reddy,Conviction合伙人,前Neva工程师。他们将解开2024年的五大主题。哪些想法有效,哪些无效?从不断变化的市场机遇到为什么大型科技公司所谓的优势可能并不像看起来那么强大。和往常一样,请不要忘记查看节目说明,了解他们演讲的YouTube链接以及他们的幻灯片。

请注意安全。

所以我想先做个30秒的介绍。我保证这不是广告。大约两年前,我们成立了一家名为Conviction的风险投资基金。这是我们进行的一些投资。它们涵盖从基础设施层面(为这场革命提供支持)到基础模型公司、替代架构、特定领域的训练工作,当然还有应用程序的公司。

该基金的前提是,Sean提到我在此之前曾在Greylock工作了大约十年,并来自产品工程方面,我们认为正在发生一场非常有趣的技术革命,这可能是我们有生之年人们使用技术方式的最大变化,并且这代表着巨大的经济机遇。

也许与现有的风险投资公司相比,存在一个优势,那就是当“地板是熔岩”时,市场的动态会发生变化,你支持的产品和创始人的类型也会发生变化,这对现有公司来说需要消化很多东西,而且他们很多的心智模型可能不再以同样的方式适用。

因此,存在一个进行第一性原理思考的机会,如果我们是对的,我们将做得非常好,并能与优秀的人们一起工作。所以我们已经走过了两年的旅程,我们可以与大家分享我们的一些观点和预测。Pranav将为我们开始。所以今天的简要议程。我们将介绍我们在2024年看到的一些模型格局和主题,我们认为AI初创公司正在发生什么,以及我们对哪些是有效投资的一些潜在先验知识。所以

我认为从2023年12月NeurIPS上发生的事情开始会很有用。所以在2023年10月,OpenAI刚刚推出了将图像上传到ChatGPT的功能,这意味着直到那一刻,很难相信,但大约一年前,你只能输入文本并从ChatGPT中获得文本。Mistral公司在NeurIPS开始之前刚刚发布了Mixtral模型。谷歌刚刚宣布了Gemini。在制作这些幻灯片之前,我确实忘记了BARD的存在。

欧洲刚刚宣布他们正在进行第一轮AI监管,但这并非最后一次。当我们思考2024年发生了哪些变化时,我们至少可以提出五个主题,这些主题似乎可以描述2024年对AI和初创公司意味着什么。所以我们将从

首先,与2023年相比,基础模型方面的竞争更加激烈。这是Elm Arena。他们要求用户对特定提示生成的评估进行评分。你会得到两个语言模型的两个回复,回答哪个更好。解释方法大致是100个ELO的差异意味着你2/3的时间都更喜欢它。一年前,每个OpenAI模型都比其他任何模型好100多分。

从实地来看,大致是这样的:OpenAI是IBM。没有必要竞争。每个人都应该放弃,去OpenAI工作,或者尝试使用OpenAI模型。

我认为今天的情况并非如此。我认为如果你在一年前告诉人们,A,今天最好的模型(至少在这个评估中)不是OpenAI,B,它是谷歌,这对于大多数研究人员来说是难以想象的。但实际上,有各种各样的专有语言模型选项和一些越来越具有竞争力的开源选项。

这似乎不仅在电子邮件方面是正确的,而且在实际支出方面也是如此。这是RAMP数据。有很多颜色,但实际上只是OpenAI和Anthropic的支出。去年11月底,OpenAI的支出接近总量的90%。而今天,不到一年后,它接近总量的60%,我认为这表明语言模型很容易切换API,人们正在尝试各种不同的选项以找出最适合他们的选项。

相关地,我们注意到的第二个趋势是开源越来越具有竞争力。这是来自规模排行榜的数据,这是一组独立的评估,

没有受到污染。在许多主题上,基础模型显然非常关心,开源模型在数学、指令遵循和对抗鲁棒性方面都相当不错。LLAMA模型位列评估模型的前三名。我在这里加入了代理工具的使用,只是为了指出这并非普遍适用。在某些领域,基础模型公司拥有更多数据或更多训练这些用例的专业知识。但模型令人惊讶地、越来越——开源模型令人惊讶地越来越有效。

这在评估中似乎是正确的。这是MMLU评估。我想指出两件事。第一点是,令人惊奇的是,第九好的模型比最好的最先进模型落后两分,实际上是一个700亿参数的模型。我认为这对很多人来说都是令人惊讶的,人们普遍认为,大多数智能只是涌现的特性,将多少智能融入更小的形式因素是有限制的。

事实上,一年前,最好的小型模型或低于100亿参数的模型将是Mistral 7B,如果我的记忆没错的话,在这个评估中大约是60分。而今天,它是LAMA 8B模型,比它高出10多分。最先进的模型和你所能容纳在相当小的形式因素中的模型之间的差距实际上正在缩小。

同样,我们认为智能的价格已经大幅下降。这是OpenAI旗舰模型成本的图表,其中API的成本下降了大约80%、85%。

在过去一年半的时间里,这非常了不起。这不仅仅是OpenAI 2.0。这也是所有模型的完整集合。这是来自artificial analysis的数据,它跟踪各种不同API和公共推理选项的每个token的成本。我们对此进行了一些计算。如果你想重新创建文本编辑器或类似Notion或Coda的数据,

大约需要几千美元才能创建那样数量的token。这非常了不起和令人印象深刻。数据的分布显然不一样,但作为一种范围感,你可以创建海量的数据。

然后第四,我们认为新的模式开始发挥作用。首先是生物学。我们很幸运能与Chai Discovery的员工合作,他们刚刚发布了Chai One,这是一个开源模型,其性能优于AlphaFold3。令人印象深刻的是,这大约是一年的工作,使用了非常特定的数据集和非常特定的技术理念。但在生物学等领域的模型开始发挥作用。我们认为语音方面也是如此。我想指出,在11Labs等出现之前,就已经存在语音模型了。

我们认为低延迟语音不仅仅是一个特性,它实际上是一种全新的交互体验。使用语音模式的感觉与以往的转录优先模型非常不同。笛卡尔模型也是如此。

然后一个新的新生用例是执行。Cloud推出了计算机使用,OpenAI昨天在Canvas中推出了代码执行,然后我认为Devon刚刚宣布你可以每月500美元的价格试用它,这非常了不起。这是一组历史上绝大多数人都无法获得的能力,我认为我们仍然处于早期阶段。Cognition公司成立不到一年。第一个产品大约是九个月前推出的,这非常了不起。

非常令人印象深刻。——如果你还记得,大约一年前,对SweBench的观点是,它不可能超过大约13%左右?我认为整个行业现在认为,如果不是微不足道的话,也是可以实现的。——是的。

我们想提到的最后一个新模式,尽管还有更多,是视频。我获得了Sora的早期访问权限,并在他们关闭访问权限之前成功注册了。所以这是我用视频形式表达的最喜欢的笑话。希望这里有人能猜到。是的,你告诉我虾炒这米饭是一个很糟糕的笑话,但我真的很喜欢它。我认为这个......

下一个视频是我们投资组合公司之一HeyGen,它为......或为现场演讲进行配音和配音。这是Javier Millet,他用西班牙语演讲,但在这里你会听到他用英语演讲,如果这个视频播放的话。你可以看到,你可以捕捉到他演讲和表演的原始音调。我认为这里的音频不起作用,但是我们会——会吗?——公开发布一些内容。你试过了吗?

让我们试一试。是的。让我们试一试。太好了。是的,你可以听到这捕捉到了他原始的语气和他演讲中的情感,这绝对是新的,并且来自新模型的令人印象深刻的东西。所以最后——这说得通。我们想提到的最后一点是所谓的规模化终结。我认为今天晚些时候关于这个问题会有一个很好的辩论。但我们认为至少

规模增加的明显好处至少有一些限制。但似乎也存在新的规模化范式。测试时间计算规模化的问题是一个非常有趣的问题。似乎OpenAI已经破解了一个有效的版本,我们认为A,基础模型实验室将想出更好的方法来做到这一点,B,到目前为止,它主要适用于非常可验证的领域,例如看起来像数学、物理学,也许其次是软件工程,我们可以得到一个客观的价值函数。

我认为明年的一个悬而未决的问题将是如何为约束性或定义性不那么强的空间生成这些价值函数。所以这给我们留下了一个问题,那就是,这对初创公司意味着什么?

我认为一种普遍的观点是,我们生活在一个AI泡沫中。大量的资金流向AI公司和初创公司,这在很大程度上是基于结果和实际工作情况而缺乏正当理由的。初创公司主要是在炒作上筹集资金。所以我们提取了一些PitchBook数据,2024年的数据可能不完整,因为并非所有轮次都被报告。

这在很大程度上表明,资金实际上正在大幅复苏,也许2025年看起来像2021年。但是如果你更详细地分解这些数字,红色实际上只是一小部分基础模型实验室,就像你认为的那些筹集资金的最大实验室一样,今年的资金高达300亿到400亿美元。

所以资金环境的现实情况实际上似乎更加理性。我们似乎并没有走向2021年的版本。事实上,基础模型实验室占了筹集资金的大部分,但用于工作的公司的资金似乎更加理性。我们想给你们,我们不能分享每家公司的数字,但这是我们投资组合中一家发展非常非常迅速的公司。

我们认为从零到20,仅仅是PLG风格的支出就非常令人印象深刻。如果你们中的任何一位做得比这更好,你们应该来找我们。我们很乐意聊聊。所以我们想尝试将讨论集中在——这当然不是所有收入超过1000万美元且正在增长的公司。但我们从中选择了一些,并想给你们一些我们注意到的模式的例子,这些模式似乎在各行各业都行之有效。

我们注意到的第一个是第一波服务自动化。我们认为,今天公司有很多工作没有完成,要么是因为雇佣人来做太贵了,要么是因为向他们提供背景信息并使他们在特定角色中取得成功太贵了,

或者管理这些人太难了。开处方,雇佣这些特定的人太贵了。对于Sierra和Dekogon等客户支持型公司来说,进行下一级自动化非常有用。然后显然会有增长。对于Harvey和Evenup来说,故事是你可以做第一波专业服务,然后超越它。

我们注意到的第二个趋势是更好的搜索,新的朋友。我们认为,文本模式的有效性令人印象深刻。Character和Replica已经成为非常成功的公司,还有一系列不适合工作场所的聊天机器人,它们在文本生成方面非常有效。它们是相当引人注目的机制,在生产力方面,Perplexity和Glean也证明了这一点。我在一家搜索公司工作了一段时间。我认为人们获取和学习信息的方式正在发生变化,这非常有趣。我们认为

文本可能不是最后的媒介。有一些信息图表或信息集似乎更有用,或者有一些更具吸引力的参与集。但这似乎是一个相当有趣的地方。

所以,我长期以来一直在投资的一件事是不同技能的民主化,无论是创造性技能还是技术技能。在过去几年中,这在不同的模式下取得了惊人的成就,包括音频、视频、通用图像、媒体、文本,现在还有代码和真正功能齐全的应用程序。

所有这些公司的增长驱动力中真正有趣的一点是,最终用户很大程度上不是我们(风险投资行业,“我们”这个词指的是我们)之前认为是重要市场的人。所以我们作为一家基金的一个前提是,实际上存在比我们想象的更多对创造力、视觉创造力、音频创造力、技术创造力的本能需求。AI应用程序可以真正满足

这一点。我认为特别是Midjourney是一家走在前沿的公司,很长时间以来没有人理解,因为也许外部的观点是,有多少人想要生成图像,而这些图像不容易,你知道,它们是光栅图像,不容易编辑。它们不能在完整的上下文中用于专业用途。答案是很多,对吧?对于各种各样的用例。我认为我们将继续发现这一点,尤其是在能力提高的情况下。我们认为,在这些不同领域中,你可以获得的质量和可控性范围仍然非常深远,我们仍然处于早期阶段。

然后我认为,如果我们处于这场AI浪潮的第一局或第二局,一个显而易见的地方就是投资和建立公司,那就是赋能层,对吧?这的简写显然是计算和数据。我认为对数据的需求现在也发生了很大变化。你需要更多专家数据。你需要不同形式的数据。我们稍后会讨论谁拥有,比如,推理轨迹。

在对进行自己训练的公司来说有趣的不同领域中。但这是一个经历爆炸式增长的领域,我们将继续在这里投资。好的,也许是时候发表一些意见了。

有一种普遍的说法,你知道,一部分来自公司,一部分来自投资者。关于生态系统中的价值在哪里以及初创公司是否会有机会,这是一个有趣的辩论。如果你还记得“GPT包装器”这个词,它曾经是科技生态系统中占主导地位的词语。它代表的是这样一种观点,即应用程序层没有价值。你必须进行预训练,然后没有人会在预训练方面赶上OpenAI。

这并不是对OpenAI的批评。这些实验室已经做了令人惊叹的工作来支持生态系统,我们将继续与他们和其他公司合作,但这作为一个说法根本不正确,对吧?机会显然有利于一个非常丰富的创新生态系统。你有很多选择,这些模型擅长不同的事情。你有价格竞争,你有开源。

我认为测试时间规模化一个被低估的影响是,你将更好地将用户价值与你在计算上的支出相匹配。因此,如果你是一家能够弄清楚如何使这些模型对某人有用的新公司,那么客户可以支付计算费用,而不是你作为初创公司承担预训练或......

或预先进行强化学习的资本支出。正如Pranav提到的,小型模型,特别是如果你了解该领域,可能会非常有效。如果我们看看我们描述的那组公司,产品层已经显示出它正在创造和获取价值,而且构建利用AI的优秀产品实际上是一件非常困难的事情。

总的来说,我们有一个观点,我认为许多实验室也持有这个观点,那就是世界充满了问题,将即使是AGI应用到所有这些用例中的最后一公里路程还很长。

好的,另一个普遍的信念是,或者你知道Sean可以主持的另一个伟大的辩论是,价值是归于初创公司还是现有公司?我们必须承认这里有一些偏见,即使我们有,你知道,朋友和投资组合,前投资组合公司现在被认为是现有公司。但是,对不起,交换,交换,交换观点。对不起,你知道有

在风险投资领域,有一些市场传统上被认为太难了,对吧?就像风险资本规范的糟糕市场一样,即资本效率高、增长迅速。这是可以进行风险投资的。

最终产出是价值数十亿美元的企业公司。这些包括法律、医疗保健、国防、制药、教育等领域,任何传统的风险投资公司都会说,糟糕的市场,没有人在那里赚钱,很难出售,没有预算,等等。有趣的一点是,如果你看看过去一年中真正有效的公司集群,其中一些公司就在这些传统上并不明显的市场中,对吧?

所以也许我们更乐观的一个观点是,AI非常有用。如果你创造了一种新颖的能力,这种能力的成本降低了好几个数量级,那么你实际上就可以改变这些市场的购买模式和结构。也许法律行业什么都没买,因为很长时间以来没有什么值得购买的东西。这是一个例子。

我们还认为,上一家伟大的消费公司是什么?也许是Discord或Roblox,就那些从一开始就拥有真正庞大用户群和参与度的公司而言,直到我们有了各种各样的消费者聊天机器人,也许还有下一代搜索。正如Pranav提到的,我们认为......

在游戏中的社交和媒体生成方面存在巨大而全新的机会。最后,就我们关注的市场而言,

我认为现在人们普遍认识到,你可以针对结果和服务进行销售,而不是软件支出,因为你正在做工作,而不仅仅是让人们能够完成工作流程。但是如果你更进一步,我们认为许多服务的需求是弹性的,对吧?我们最典型的例子是,世界上大约有2000万到2500万专业软件开发人员。我想在座的各位大部分都是技术人员。

对软件的需求并没有得到满足,对吧?如果我们将高质量软件的成本降低两个数量级,我们最终只会得到世界上更多的软件。我们不会最终减少从事开发的人数。至少这是我们的论点。

然后最后,关于现有公司与初创公司的问题,普遍的说法是现有公司拥有分销渠道、产品界面和数据。不要费心与他们竞争。他们将创造和获取价值,并与他们的客户分享一些回报。我认为这只是部分正确。

现有公司拥有分销渠道。他们一直拥有分销渠道。初创公司的重点是你必须用更好的产品或更巧妙的产品,也许还有不同的商业模式来获得新的分销渠道。但是关于产品界面和数据的细节,我认为实际上值得理解。存在一个非常强大的创新者困境。如果你看看那些占主导地位的SaaS公司,它们按座位销售。

如果我为你工作,我不一定想卖给你座位。我实际上可能会减少座位的数量。几十年来,数百万个男人和女人的代码已经被编写来支持特定的工作流程,例如CRM,如果我不希望人们每周五都填写数据库的工作流程,这些代码可能就无关紧要了。

所以我确实认为,这种沉没成本或现有公司的优势受到了新的用户体验和代码生成的高度挑战。

然后我们在自己的投资组合中发现了一个令人失望的教训,那就是在许多情况下,没有人拥有我们想要的数据,对吧?所以想象一下,你正在尝试自动化某种特定类型的知识工作,你想要的是推理轨迹,所有输入和输出决策

这听起来像是一组非常有用的数据。任何特定领域中的现有公司,他们从不保存这些数据,对吧?他们有时会有一个包含输出的数据库。所以我想说,作为一家初创公司,值得考虑的一件事是,当一家现有公司说他们拥有数据时,你实际上需要什么数据才能使你的产品更高质量?

好的,总而言之,我们对正在发生的一系列变化的简写是软件3.0。我们认为这是一个完整的库存重新思考,它使新一代公司拥有巨大的优势。变化的速度有利于初创公司。如果地板是熔岩,那么让一艘非常大的船转向是非常困难的。

我认为现在一些大公司的首席执行官非常有能力,但他们仍在努力让10万人以新的模式快速行动。市场机遇是不同的,对吧?我们认为这些有趣且非常大的市场,例如代表数万亿美元的价值,不仅仅是过去二十年的替代软件市场。

许多这些公司的商业模式是什么还不清楚。Sierra刚刚开始谈论按结果收费。基于结果的定价一直是软件中的一个圣杯理念,而且一直非常困难,但现在我们做了更多工作。

还有一些商业模式方面的挑战。所以,你知道,我们的公司比过去花费更多资金用于计算。他们与基础模型提供商有很多合作。他们考虑毛利率。他们考虑从哪里获取数据。这是一个你需要对产品真正有创意的时代,而不仅仅是取代过去的工作流程。这可能需要完全取消这些工作流程。这是一个不同的开发周期。

我敢打赌,这个房间里的大多数人都编写过评估,并将学术基准与现实世界的评估进行了比较,并说:“这不是它。”我该如何让用户理解

这些输出的非确定性或优雅地失败。我认为这与过去相比,是一种不同的思考产品的方式。我们需要再次考虑基础设施,对吧?有一段时间,云提供商、超大规模公司从软件开发人员那里拿走了这个问题,一切都将是,我不知道,最终是前端人员,而我们不再在那里了。我们回到了硬件时代,人们正在获取、管理和优化计算,我认为这在公司的能力方面将非常重要。

所以我想我们将在最后发出一个行动号召,鼓励你们抓住这个机会。这是我们见过的最伟大的技术和经济机遇。就像我们为此下了一个十年以上的职业生涯赌注一样。而且

我们与基础模型公司做了很多工作。我们认为他们正在做令人惊叹的工作,他们是伟大的合作伙伴,甚至是我们一些努力的共同投资者。但是我认为他们对AGI和安全方面的有趣使命并不意味着经济的其他领域没有机会。世界非常大,我们认为大部分价值将通过解绑,最终重新绑定的方式分配到世界各地。

正如技术周期中经常发生的那样。所以我们认为这是一个结构上支持初创公司的市场。我们非常高兴能够与更有雄心的初创公司合作。对我们来说,2024年的主题是,谢天谢地。这是一个比2023年对初创公司更友好的生态系统。这是我们所希望的。所以请向我们提问,并利用这个机会。

我认为我们有一些问题。我们也在考虑在线问题。好的。公司可以在这么短的时间内从1增长到20。你认为它们也能在短时间内消失吗?我可以回答这个问题。我的意思是,我认为你已经看到公司从0增长到8000万美元,然后停滞不前,实际上情况很糟糕。所以你的数据是正确的。将会——存在一些挑战,

快乐假期!我们将分享来自潜空间直播的片段!在假期期间,我们将为您带来 2024 年来自播客朋友们的精彩内容!去年在 NeurIPS 上,我们对选定的论文进行了标准的会议播客报道(我们现在也对 ICLR 和 ICML 进行了报道),但是我们觉得我们可以做得更多来帮助 AI 工程师 1) 获取更多与行业相关的內容,以及 2) 从专家的角度回顾 2024 年。因此,我们在 2024 年温哥华 NeurIPS 上组织了第一次潜空间直播,这是我们的第一次线下小型会议。对于我们的开幕主题演讲,我们认为没有人比我们的朋友 Sarah Guo(AI 超级投资者,Conviction 创始人,No Priors 主持人!)和 Pranav Reddy(Conviction 合伙人)更适合来讲解“AI 初创公司的现状”了,他们将分享他们对 2024 年 AI 格局如何演变的看法,并探讨不断变化的 AI 格局对初创企业、企业以及整个行业意味着什么!他们完全理解了任务。此次主题演讲在 2024 年 NeurIPS 上现场录制,共有 200 多名线下与会者和 2200 多名线上与会者,它开启了我们的小型会议系列,探索 2024 年 AI 发展的不同领域。尽情享受吧!链接幻灯片:https://x.com/saranormous/status/1866933642401886707Sarh Guo:https://x.com/saranormousPranav Reddy:https://x.com/prnvrdyYouTube 上的完整视频想要更多这样的内容?点赞并订阅,随时了解我们最新的演讲、访谈和播客。在 www.latent.space/subscribe 获取潜空间的完整访问权限</context> <raw_text>0 只是规模上的挑战,对吧?我认为有时这些公司的收入数字会夸大业务本身的成熟度,对吧?他们需要弄清楚如何服务客户。他们需要扩大领导层规模。他们需要做好准备,以正确的质量水平为这些客户提供服务。而且,你知道,就像我们展示的那家从零增长到 20 的公司,那家公司只有 20 个人,对吧?

他们拥有 X 十万用户,这非常具有挑战性。因此,我认为这些公司将面临一系列棘手的问题。

我认为一部分,比如,大多数流行语或模因,除非有一些真实性的种子,否则它们不会流行起来。因此,有一组公司被这个术语“GPT 包装器”所描述,它们只不过是一组相当简单的提示和 SEO 页面,这些页面将人们引导到特定的用例。

我认为作为一家科技公司,这可能不是一个持久的地位。所以对你来说这不是一个非常清晰的答案。这是一个细致入微的答案。但是这个集群所代表的一些价值,让我滚动回去看看。

这个集群所代表的一些价值是持久的。这就是我们感兴趣的东西。从零到 20,从零到 80,然后崩溃,实际上是有价值的。只是它并不持久,对吧?用户正在为此投票,其他人也可以竞争。所以,你知道,我们把这两个问题区分开来,比如,你知道,哪些公司是具有防御能力的,以及收入或使用率在哪里,不是新奇事物,而是对......

工作或玩家沟通非常重要的事情。Sean,你想让我回答问题还是你想来?你好。所以如果所有这些公司都需要更多资金,而这是有史以来最大的经济机遇,我们是否需要更大的风险投资基金?或者更大数量级的?如果他们仍然筹集 4000 万美元,这些基金的经济效益会不会真的崩溃?比如,我可以投资一堆种子公司基金吗?

好的,这个问题对我来说有点棘手,因为我对这个问题有特别的看法。希望不会显得傲慢,我们选择筹集相对较少的资金作为早期投资者。部分原因是像这家公司这样的观点,你知道,这家公司,我认为他们到目前为止可能花费了大约 700 万美元。

因此,所有 AI 产品公司或所有 AI 公司普遍都很昂贵的说法并非客观事实。我们有一些公司在传统的 SaaS 意义上来说是很昂贵的。就像我们必须雇佣很多市场营销人员,而且我们必须付给他们工资。在可重复的 SaaS 收入回流之前,这项投资存在 J 型曲线。我认为......

我们有一些公司盈利或收支平衡,而且效率极高。我们也有一些公司前期投入很大。因此,我认为存在一个完整的范围。我们公司认为,在早期,

我的朋友 Elad 这里有一个有趣的短语,那就是在产品市场契合之前没有 GPU。我认为这并不总是正确的。我们在任何事情之前都给人们提供了 GPU,对吧?但这其中有一丝真理,那就是你可以进行实验。

感谢 OpenAI、Anthropix 和世界上的其他公司,它们允许优秀的产品人员以非常低的成本、非常渐进地进行实验。因此,我认为我们投资组合的很大一部分看起来像那些公司,你将在不花费大量前期资金的情况下看到你能为用户带来什么样的价值。举个例子,就像我们刚才看到的,

O1 推出了新的微调界面。理论上,你需要改进特定领域模型的数据量非常小。如果这能实现,那也令人非常鼓舞。

所以我会说,我们的目标是以相对较小的基金与 AI 领域最重要的公司合作。我认为大多数公司实际上并没有,它们并不受益于大量的前期资金。

我唯一要补充的是,我认为一个有趣的趋势是,我们与许多第二次创业的创始人合作,他们这次的观点是,我们再也不会把公司做那么大了。我认为这并不令人惊讶。实际上,我当时正在心里算账,这家早期公司的每位员工 100 万美元收入的粗略比率适用于我们公司中相当多的公司。我们许多公司的收入百万美元都超过了他们的数量

员工,而其中许多人的观点是,我们将保持这种状态。我们不会发展成一个庞大的团队。AI 将使我们更高效。如果你相信我们所做的许多脑力劳动的宏伟愿景实际上应该被一些模型所捕获。我们可以建立比历史上更长期高效的业务。

我认为这是一个有趣的问题,因为如果我们认为存在如此多的机会,那么机会并非均匀分布。因此,我会说我们的投资速度高于我过去传统的投资速度。我们观点的另一个部分是,好吧,我们想为创始人提供一定的服务水平。

创始人可以决定是否想要,但这对我们来说非常耗时。我们只能与这么多公司合作。我们认为还有更多非常有趣的事情,这就是 Pranav 和我为生态系统创建 Embed 计划的原因之一,我们可以与更多公司合作。我们拥有的股份较少,但我们为他们提供了一个网络和一些指导。这确实是由于我们认为将要成功的事情比我们以传统的手工风险投资方式所能处理的更多。

并且厚颜无耻地宣传一下,申请将于 1 月份开放。快速提问,Sam。你是否按下一个按钮来请求?

太棒了。酷。感谢你们的演讲。太棒了。我为一家名为 Rider 的专注于企业服务的 C 轮公司工作。关于我们在企业中看到的多种模式的一个有趣的事情是,除了视觉之外,我们实际上并没有看到对多种模式的很多需求。我们会收到关于音频和视频内容的询问,但是当我们询问用例是什么时,它有点像,我不知道。所以我很想知道是否

我认为这是一个很好的指出。企业,他们拥有的数据大多是

它是文本,是结构化数据和一些 SQL 数据。我认为你们普通的企业并没有那么多有趣且有价值的视觉、视频、音频数据。但我认为这种情况将会改变。

也许是因为我懒惰且没有条理,但人类非常没有条理。他们并不一定以关系数据库模式和他们自己信息的层次结构管理来思考。我认为未来我们将把这一点从人们手中夺走,而你将用于不同企业工作流程的信息捕获

使更多模式的使用成为可能,如果这说得通的话。因此,一种明显的例子是,有一些公司,也许是半代之前的公司,比如 Gongs 公司,它们捕获视频并找到一些关键词和对销售代表的初步见解。但是组织内部的沟通、做出的决定、

我认为将会有更多的捕获,特别是视频的捕获,但是利用它需要公司进行这种捕获。所以我们需要这个中间步骤。

在我们公司里有一家公司,这今天仍然是一家面向专业消费者的公司,正如你所说的那样,你知道,消费者-专业消费者方面领先于企业,但是在我们上一批 Embed 中有一家名为 Highlight 的公司,它具有这样的前提,即,好吧,你知道,我们将通过使用屏幕捕获来使用多模式,这就是这个小气泡,屏幕和音频捕获。我认为,我认为这是一个强大的想法。你好。

哦,所以当你的时间用完时就打断我们。顺便说一句,快速检查一下。Peter、Isaac,你们在吗?欢迎。你好,谢谢。是的,有一种说法是,智能的价格将降至零。你可以在 GPT-4.0 和 Gemini Flash 中看到这一点,你每天可以获得一百万个令牌,这可能对一家小公司来说已经足够了,对吧?所以我很想知道,随着这些大公司发展壮大,

为了市场份额而损失大量资金?初创公司将如何应对这种情况?这将如何改变市场?好的。我认为任何东西都不可能太便宜。我先从这一点开始。我还想说这家公司,凭借这张令人惊叹的收入图表,我敢肯定我们在这一时期向基础模型提供商支付了 500 万至 700 万美元。

如果这个演讲有第二个主题,那就是需求在很多方面都是有弹性的,尤其是在技术方面。当你让事情变得更便宜时,我们希望事情变得更智能。因此,如果你进行数百次调用才能交付输出,那么调用成本下降 85% 的事实对你来说就还不够。

所以是的,这就像一个令人难以置信的有吸引力的想法,即拥有廉价到可以计量的智能。我想,也许这是我非常老套的想法,但在过去的二十年里,互联网、计算、软件和数据管道,实际上它们仍然不够便宜。如果它是免费的,我们会做得更多。所以我们遇到的另一个物理障碍是

当模型非常大时,如果你不打算量化、蒸馏和做特定领域的事情,它很难运行。你只需要大量的计算,这只是最基本的说法。即使对于基础模型提供商,我们也看到人们遇到了推理能力问题。所以我不知道这是否属实,但解读 Anthropic 定价变化的一种方式是,容量不足。

因此,我认为对开源生态系统表示极大的赞扬,对 OpenAI 在每一代都提供越来越便宜的智能方面坚持不懈地表示极大的赞扬。但是我们有一些公司正在花费大量资金用于,比如说,搜索和验证系统,其中包含许多调用,我们认为这种情况将会持续下去。

我认为你也可以在我们之前的价格图表中看到这一点。O1 定价仍然是荒谬的。充满爱意。是的,但是令牌数量——荒谬。他们怎么能?我认为如果你是这样认为的,这真的很有趣——另一方面,如果你看看测试时间计算的扩展,

这是一个对数刻度。很容易忘记那很多......从历史上看,由于过度训练,一小部分公司承担了生成高质量模型的大部分财务负担,这只是你过度训练你的模型,然后它对其他人有用。如果客户必须为此付费,那就是一大笔钱。如果你想要高质量的生成,这意味着我需要支付数千次尝试的费用,最终会非常昂贵。

来自 YouTube 的问题。你好 YouTube!你们刚才谈到了价格,价格下降。还有能力提升的另一个维度,人们总是被 OpenAI 碾压。所以问题是,你们看到哪些公司采取了哪些具体方法来为更好的模型(如 GPT-5 或 O2)做好准备?你们如何做到防范未来?

所以我认为至少来自 OpenAI,但我认为模型公司最常见的回应是,你应该建立一家公司,当你听到新的模型即将发布时你会感到兴奋,而不是焦虑。我会对此进行一次修改,那就是,从极限来看,似乎今天值得构建的大多数东西实际上是,我不知道,如果你认为模型将完全胜任,你是否应该雇佣销售团队?我考虑过的一个框架是,你应该......

决定你相信基础模型在某种核心学习或智能能力上会有多大的改进,然后想象一下根据这个预测来建立你的公司。这里的一个例子是

我认为有一代这样的文案写作公司基本上被 ChatGPT 吞并了。对于他们中的许多人来说,最初的使用是他们比其他人更了解如何让模型学习我在生成某些内容(某些 SEO 内容)时的意图,或者他们了解如何摄取关于我的业务的信息。

而且不难想象下一代模型天生就更擅长这一点。上下文长度会更长,你可以将更多内容放入上下文长度中,你可以爬取并学习更多关于外部网站的信息。所有这些都相对便宜。因此,如果公司的核心论点看起来像我们认为模型将无法做到这一点,那么这似乎是目光短浅的。另一方面——

有一些交付机制远远超出了模型的能力范围。Sarah 有一个很好的例子,那就是有一些业务,其限制因素实际上并不是智能。许多业务的限制因素是获得特定人群的途径。我们与一家药房服务公司合作,其核心问题是,长期来看,你能否协商定价合同?那里的核心问题不是智能。你需要一定的规模,然后才能协商合同。

所以我认为许多业务不仅仅是你有效计算一小部分事物的能力的函数。

我和 Pranav 一起做了这个演示,我说,哦,我太有偏见了。这听起来就像初创公司将赢得一切。我仍然喜欢玩这个游戏,那就是你过去一年中后悔的投资决定是什么?这是一个非常有趣的游戏。我非常喜欢。是的。但我后悔的决定之一实际上是一家在......

一个对基础模型公司和超大规模软件公司来说感觉非常核心的领域运营的公司,该公司周围存在大量的生态系统风险。顺便说一句,这些人很棒,指标也很棒。我们只是觉得,哦,他们会被压垮。所以,尽管我说了所有这些话,但我仍然高估了现有公司竞争和做出积极战略决策的能力。

因此,我认为很难过分强调理解的重要性

如果他们把所有精力和所有最优秀的人才都集中在一个特定领域,他们可能会碾压你。他们会吗?文案写作的例子具有说明性,因为它不难看出,从其网站和一些文档中理解业务的上下文,并通过简化提示并添加一些替换某些提示的按钮

或进行建议查询,这并不是很多工作。

但是有很多工作要做,比如在开发者产品方面有品味,并分发一些令人惊叹的东西。因此,我实际上认为,如果你问我,我们必须在这个行业中做出预测。我更担心低估能力,而不是高估能力,至少在短期内是这样。然后我更担心对现有公司期望过高,并且过于害怕它们,而不是

不够害怕。也许这只是一个投资遗憾。你如何看待 AI 如何改变硬件或以何种方式改变硬件?例如,你是否看到苹果公司推出一款新产品并将其硬件转变到那种程度?并非具体如此,而是他们试图普遍通过的情况。好的。我会从......

两个维度来处理这个问题。

每个投资者都希望出现一个新的消费者硬件平台,因为它非常有价值。问题是,为什么应该如此?我能想到两个很好的理由。一个是你能想象到的 AI 应用的使用模式实际上要求你,你想要的规格是不同的。如果我想 100% 的时间捕获图像或视频,那是

就像我的电池寿命、我的传感器以及我如何管理我的网络等的决定因素一样。如果我想一直运行本地模型呢?就像也许大部分手机都应该是 GPU,对吧?我不认为下一代智能手机的使用模式可能与......

你相信新硬件设备的另一个原因是现有消费者平台的优势消失了。对吧?因此,在极端情况下,比如,你是否应该拥有单独的应用程序来

跟踪单个习惯,比如今天喝水,Sarah。比如,我不知道,比如我现在可以很容易地生成它。而且像也许存在于移动电话生态系统中的单一功能应用程序是更通用智能的一部分,并且它们喜欢这个生态系统不那么重要。

因此,我认为对此有不同的论点。而且,就像我们不断寻找投资机会一样。我认为这并不完全是你所问的,但我认为,比如,有......

我们在过去一年投资了一家从事机器人技术的公司。在 Greylock(我之前的公司)的很多年里,我一直认为机器人技术是一种在很长一段时间内很容易损失大量资金的方式。我认为当你查看经典机器人的结果集时,即使对于那些实现了工业机器人或单一用途消费机器人的规模分销的公司也是如此。但是,

算法和来自更广泛机器学习领域的泛化似乎也适用于此,这真的很酷。因此,我认为对物理智能是什么样子进行富有想象力的思考也是我们感到兴奋的事情。

关于代理,我认为每个人都在谈论代理,你看到更多代理在生产中变得有用,但我更想知道,在基础设施层面上,你认为哪些基础设施原语是代理实际工作并在生产中继续工作的必要条件?好的,我们已经讨论过这个问题了。我不确定我们对这个问题的观点是否相同。我认为很难判断。我的怀疑是,

如果你看看真正工作的代理数量,这个数字大约是零。也许现在是低个位数或低两位数。两位数。两位数。它们都是相对较新的。我会说从今年年初开始,我们看到了一堆代理框架公司,并且

我理解这个问题的根本原因,那就是真的很难判断这些公司中的任何一家需要什么,尤其是在真正有效工作的公司集合尚不清楚的情况下。我认为对于基础模型公司想要什么样的界面存在很多合理的焦虑。计算机的界面是一个相当低级的界面。Anthropic 版本实际上只是进行具体的点击,并且

其他界面的传闻则更为通用。它们对特定网页或整个浏览器环境采取行动。在高层次上,我认为有一组......有完整的工具范围,即......我在搜索引擎工作了一段时间。爬虫似乎非常有用。实时数据似乎非常有用。一个看起来像这样的 API......

这是一个 URL,给我提供可用的数据集,或者这是一个 URL 和一个用户登录名,让我在这个页面上采取一些操作,这似乎非常有用。然后我不知道将此进行操作并商业化开发产品的地方在哪里。如果我有,比如,如果我在这里建立一家公司,比如,我认为一件有用的事情就是保持敏捷,比如,核心基础设施始终有用,比如,爬虫始终有用,然后有一天你可以弄清楚如何更好地公开它。但是

但我理解它的困难之处在于,很难知道什么对一堆代理公司有效。我的怀疑是,最成功的代理框架将来自那些为自身解决这些内部问题的最成功的代理公司,然后将其外部化。它是 React 的某个版本非常有用,因为 React 在 Facebook 上被广泛采用了一段时间。

我认为我们可以说生态系统中缺少组件,如果存在默认组件,许多代理开发人员将使用它。对。所以,比如,

身份和访问管理是一个大问题。如果你能让代理开发感觉更像传统的软件开发,我认为很多人会使用它,并且会说,“哦,它会神奇地重试直到获得某些东西,然后它会给我反馈关于它工作情况的数据。”我认为实际上很容易想象抽象中对生态系统有用的实用程序。然后

整个环境都是流动的,对吧?所以你需要,比如如果你考虑基础设施中的其他东西,比如更多工作负载是否需要向量索引?是的。比如,在这里能够持久存在的公司的形状是什么?我们还不知道,我们将继续关注它。但正如 Pranav 所说,我认为我们会关注我们投资组合中少数几个正在大规模工作的代理公司,并寻找那里的模式,而不是现在就试图凭直觉来判断。

我的缓存命中是错误的。我应该更新一下。是一打,而不是少量。伙计们,已经过去了漫长的六个月。我认为最后一个问题,然后还有一堆我们无法回答的在线问题。Mark。似乎应该有更多的消费者公司。为什么没有呢?或者这仅仅是时间问题?我认为这仅仅是时间问题。我们......

我们不断地将人们带入 Embed,我们不断地寻找。我认为我真诚地,这并不是对研究界或那些专注于 AI 公司的非常年轻的创始人的批评,但是适用于客户的创新扩散曲线,我认为也适用于企业家。研究人员首先看到了这种能力,他们说,

就像我们应该用它做些什么。这将是惊人的。而且就像,这种情况将继续发生。我们的投资组合中大量代表了来自研究界的人们,他们用富有创造性的技术理念推动着技术发展的前沿。我认为非常年轻的人也很早就接触到了 AI,因为他们说,哦,当然,就像这很有道理。我从未见过像 ChatGPT 这样的其他技术。他们的机会成本低于......

你是某个优秀产品组织中最好的产品人员。你必须离开你的工作来创办一家新公司。而且已经过去了很长的两年。我觉得这种情况才刚刚开始发生,一些拥有......的人才,也许这就像下一个扎克伯格

有一些辍学者弄清楚了社会互动的模式,并且对这些东西非常了解 AI。我还认为,有一些人已经建立了对消费者采用和消费者界面的直觉,他们只是需要一点时间来建立对 AI 产品的直觉。

现在他们出现了,开始创办公司并进行实验。因此,我们对这种情况将在未来几年内发生充满信心,这只是一个时间问题。好的,我认为我们的时间到了。我只是想在这里让 Sean 发言,但是非常感谢你们。你们知道,请给我们打电话。谢谢,太棒了。