We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
吴
吴万涛
栾
栾小凡
栾小凡：向量数据库起源于对GPU算力在结构化数据处理中过剩的观察，进而转向非结构化数据处理。通过深度学习模型提取特征向量，再利用向量数据库挖掘向量间的相关性，在大模型时代，因其对语义的关注和对合理推断能力的提升而变得重要，能够更好地处理大模型测试的困难以及大模型输出结果的模糊性。选择向量数据库赛道基于两点判断：非结构化数据占人类数据绝大部分，且该领域未被巨头充分关注，未来前景广阔。向量数据库的护城河在于能否解决工程挑战（好的embedding模型和向量检索算法）和性能与成本挑战（在大规模向量数据中实现毫秒级召回和低成本存储）。向量数据库的准确性通常用召回率衡量，目前业界已能达到95%甚至99%的召回率，但最终准确性还取决于embedding模型的质量。Zilliz的商业模式是纯云SaaS模式，基于公有云（主要在亚马逊云科技）构建，提供标准化服务，避免定制化服务。开源有助于商业化，因为它能帮助公司获得用户，提升产品影响力，并为商业化提供市场基础。开源代码与商业化产品的代码并非完全相同，通过重写核心代码、增加高级能力（监控、报警、embedding pipeline等）和附加功能（数据迁移、备份、安全）来实现差异化竞争。向量数据并非绝对安全，经过精心设计的模型可以恢复用户信息，因此需要采取加密措施和数据移位等技术来增强安全性。Zilliz的全球业务主要集中在北美，营收70%以上来自美国市场，欧洲、新加坡和中国市场也有业务。选择出海而非专注中国市场，是因为美国在AI模型成熟度、用户接受度和资本活跃度方面领先，可以获得一手用户信息并影响产品方向。加入Linux Foundation AI & Data基金会，是为了将Milvus打造成一个真正走向世界的开源产品，并从中获得前沿视野和社区支持。
吴万涛：大模型时代，向量数据库重要性体现在其能够存储和处理大模型无法学习的企业私域数据，结合大模型的推理能力，开发各种应用场景。向量数据库与传统数据库结合，能提升电商长尾搜索质量，并通过检索增强生成（RAG）技术，利用企业私有数据提升大模型应用精度。亚马逊云科技在向量数据库领域的策略是“逆向工作法”，即从客户需求出发，提供多种选择，包括融合向量处理能力的传统数据库产品和支持第三方向量数据库产品的方案。
Deep Dive
讨论向量数据库与传统数据库的区别，特别是基于关键词匹配与上下文和语义相似度匹配的不同。
- 向量数据库利用深度学习模型提取特征和向量，挖掘向量中的相关性。
- 传统数据库基于关键词匹配，要求严格相等。
- 向量数据库更注重上下文和语义，通过语义找到相关信息。
Shownotes Transcript