冉
冉坤
冉坤: 我在RMIT学习AI的过程中，系统学习了从编程基础到深度学习的知识，课程设计将这些知识点串联起来，而非割裂开来。我的学习方法是针对性的，为了解决问题而学习。我之前的创业经历丰富，从校园社交APP到区块链Dapp，最终转向外包。在Wirecraft的工作经历让我意识到之前的工作经验略显‘小打小闹’，并获得了更多学习机会。我选择攻读AI硕士学位，是为了获得更系统化的教育，提升未来的职业发展上限。我选择在国外学习AI，是出于多方面考虑，包括对硅谷的向往以及国内学习资源的局限性。目前我的研究方向是信息检索，专注于检索词优化，以提高RAG系统的召回率。在企业级RAG应用中，效率是一个关键问题，需要解决各种数据类型（如表格、图片）的处理问题。利用大模型生成代码来解决复杂数据（如表格）的分析问题，比直接用大模型分析更有效。目前检索词优化方面还没有形成最佳实践，但实验结果表明，对于质量较差的检索词，优化后效果显著提升。大模型在文档相关性评估中容易被误导，需要考虑如何识别和避免“下毒”问题。RAG技术最初的应用动机是由于大模型上下文窗口大小的限制，但即使上下文窗口无限大，RAG技术仍然有其应用价值，因为速度和内存等因素仍然是限制。搜索技术一直有效，即使上下文窗口无限大，搜索仍然可以获取更新的信息。
潘天一: 本期节目讨论了AI信息检索技术在高校和企业中的应用，以及相关技术挑战。我们与冉坤探讨了他在RMIT的学习经历，包括课程设置、学习方法和研究方向。我们还深入探讨了企业级RAG应用中遇到的问题，例如如何处理复杂结构的数据（如表格），以及如何提高检索效率和召回率。此外，我们还讨论了大模型在信息检索中的应用，以及如何应对大模型被误导或“下毒”的问题。最后，我们还探讨了RAG技术在未来大模型上下文窗口无限大的情况下，其应用价值和局限性。
Deep Dive
Shownotes Transcript