We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
State-Of-The-Art Prompting For AI Agents
2025/5/30
Lightcone Podcast
D
Diana
G
Garry
H
Harj
J
Jared
M
Mark Mandel
P
Priyanka Vergadia
Garry: 元提示工程正变得越来越强大，感觉像是1995年的编程，工具还不完善，但同时也像学习如何管理一个人，需要沟通他们做决策所需的信息。我认为评估是所有这些公司真正的核心数据资产，创始人应该将自己视为自己公司的前沿部署工程师。
Jared: ParaHelp 是一家做得非常好的 AI 客户支持公司，为 Perplexity 和 Replit 等顶级 AI 公司提供支持。我期望在提示中看到描述特定场景并给出示例输出的部分，这在流水线的下一阶段会用到。我们需要给 LLM 一个真正的退出机制，告诉它如果没有足够的信息做出判断，就不要编造，而是停止并询问。
Diana: 最佳提示的开头通常是设置 LLM 的角色，然后明确任务，并将其分解为具体的步骤。好的提示会给出高层次的计划，并分步骤细化，同时提醒注意避免调用不相关的工具。提示需要明确输出的结构，以便与其他代理集成，就像粘合 API 调用一样，需要指定接受或拒绝以及相应的格式。最佳的提示会使用 Markdown 风格的格式，将内容分解为标题和子弹点，使其更易于理解。最佳的提示会概述如何推理任务，并提供示例，这种格式更像编程而不是写作。使用 XML 标签格式可以帮助 LLM 更好地理解和遵循提示，因为许多 LLM 在 IRLHF 中使用 XML 类型的输入进行过训练。为了避免变成咨询公司，需要构建围绕提示工程的工具，例如自动从客户数据集中提取最佳示例并将其导入流程的工具。
Mark Mandel: 元提示工程是一个持续出现的主题，初创公司使用它来深入理解和调试提示及其返回值。提示折叠是指一个提示可以动态生成更好的版本，例如分类器提示可以根据之前的查询生成专门的提示。可以将现有提示输入到 LLM 中，并要求它根据失败的示例改进提示，而无需手动重写。
Priyanka Vergadia: 元提示工程是一个非常强大的工具，可以动态生成更好的版本，使用示例可以帮助 LLM 推理复杂的任务。当任务过于复杂时，可以使用示例来帮助 LLM 推理，例如通过提供专家程序员才能解决的难题示例来改进代码中的错误查找。公司可以使用更大的模型进行元提示，然后将结果用于更小的模型，以加快响应速度。使用大型模型进行元提示，然后将结果用于较小的模型，这在语音 AI 代理中很常见，因为延迟非常重要。
Harj: 创始人需要深入了解特定领域用户的细节，并对特定领域用户的细节有狂热的痴迷。垂直 AI 代理的兴起是因为他们能够与企业客户进行沟通，将背景信息融入提示中，并在短时间内达成交易。GigaML 的案例表明，即使是不擅长销售的优秀工程师，也可以通过成为前沿部署工程师来达成大额交易。
Deep Dive
This chapter analyzes ParaHelp's customer support prompt, highlighting its length, detailed structure, role definition for the LLM, step-by-step task breakdown, and use of markdown formatting for clarity. It also discusses the importance of examples and the concept of system, developer, and user prompts within the AI agent architecture.
- ParaHelp's prompt is six pages long and highly detailed.
- It defines the LLM's role and provides a step-by-step plan.
- It uses markdown formatting and XML-like tags for structure.
- The prompt includes examples to help the LLM reason about the task.
- It outlines the concepts of system, developer, and user prompts.
Shownotes Transcript