We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode Building an Interestingness Leaderboard

Building an Interestingness Leaderboard

2025/3/29
logo of podcast Hallway Chat

Hallway Chat

AI Deep Dive AI Chapters Transcript
People
F
Fraser
N
Nabeel
Topics
Nabeel: 我认为,评估AI模型的方式应该与评估AI产品的方式有所不同。我们应该创建一个AI产品的趣味排行榜,以促进AI应用的创新和发展。我认为AI生成的应用应该按照“有趣程度”排序,而不是其他指标。通过vibe coding的方式,我们可以创造更多有趣的AI应用,Levels.io的成功案例就是一个很好的例子。我认为下一代AI游戏平台应该类似于一个整合了Cursor和Reddit的平台,允许用户访问和修改其他用户的代码,并查看和学习其他用户的作品。我认为,目前缺乏一个平台来展示和分享AI应用,这阻碍了开发者之间的学习和交流。我们需要一个平台来促进AI应用开发者之间的交流和学习,这个平台应该是一个自包含的平台,而不是一个简单的链接集合。它应该提供一些筛选机制,例如按应用类型进行分类,并提供一个筛选机制,帮助用户快速找到感兴趣的应用。我们可以通过抓取Twitter和AI相关的新闻邮件来获取AI应用的发布信息,并通过分析网站流量数据来构建这个平台,这个平台应该展示新兴和流行的AI应用,而不是仅仅展示最受欢迎的应用。 Fraser: 我同意,目前缺乏一个平台来展示和分享AI应用,这阻碍了开发者之间的学习和交流。我使用Claude 3.7测试了一些vibe coding应用,发现它比其他工具更好,但我目前还没发现任何vibe coding应用因为Claude 3.7的改进而从不可行变成可行。我认为AI生成的早期游戏更像是娱乐消遣,而不是真正意义上的游戏。我计划用Cursor尝试修改开源的《命令与征服》游戏代码,尝试将开源的《命令与征服》游戏代码导入Cursor,看看能用vibe coding实现什么。我认为,一些以前不可行的想法,现在可能因为AI技术的进步而变得可行。我认为AI应用迭代周期变慢的原因之一是成本增加,以及缺乏一个排行榜来展示和比较不同的应用。我认为,这个平台应该足够宽松,以便开发者能够发现和学习相关的应用。早期的一些平台,例如Flickr和Midjourney,通过其独特的机制,形成了自己的创意生态系统。我们需要一个平台来促进AI领域的集体对话和学习,目前,我们缺乏一个合适的指标来衡量AI应用的价值。我认为,这个平台可能需要是一个封闭的平台,类似于Roblox。我不认为每个垂直领域都需要一个独立的平台,我们需要一个统一的平台来促进整个AI生态系统的进步。早期互联网也存在类似的平台,但它们的用户规模较小。这个平台需要提供真实的信号,而不是虚假的信号,并提供客观的衡量指标,而不是主观的评价。Taft是一个尝试构建类似平台的例子,但它失败了,因为它展示的应用不够有趣。这个平台应该按照“有趣程度”来排序应用,就像Flickr曾经使用“interestingness”作为排序标准一样。

Deep Dive

Chapters
The conversation explores the idea of an AI product leaderboard, similar to app store rankings, to foster innovation and inspire new AI applications. The discussion touches upon the viability of AI-built games and the potential for community building around AI development.
  • AI product evaluation is discussed
  • Vibe coding and its role in AI game development are explored
  • The potential for a breakout success of an AI-built game is considered

Shownotes Transcript

We have evals for AI models, what about AI products? Today, Nabeel and Fraser talk about building computer games through vibe coding, and just when we might see a breakout success of an AI-built game. Through this discussion, they also explore what building a platform that curates weird AI experiments might look like, particularly one that builders could use for discovery and inspiration.

  • (00:00) - Ep. 33 - Do we need a leaderboard for AI products

  • (01:32) - Exploring Vibe Coding and Community Building

  • (03:41) - AI Gaming and Future Prospects

  • (07:36) - separate cross talk

  • (09:28) - Creating an AI Meta

  • (11:31) - Exploring AI Apps and Platforms

  • (15:10) - Building a Curated AI Product Platform