We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode Fraud Detection in the AI Era // Rafael Sandroni // #301

Fraud Detection in the AI Era // Rafael Sandroni // #301

2025/4/1
logo of podcast MLOps.community

MLOps.community

AI Deep Dive AI Chapters Transcript
People
R
Rafael Sandroni
Topics
Rafael Sandroni: 我是GardionAI的创始人兼首席执行官，我们致力于AI安全。我将分享一些关于AI系统安全、欺诈应对和构建安全防护的关键见解。从提示注入攻击到AI驱动的欺诈检测，我们将探讨构建更安全AI的挑战和最佳实践。在苹果工作期间，我参与了Siri的开发，这让我深刻认识到测试、集成和控制AI助手输出的重要性，以确保质量和合规性。在Nubank，我参与构建了个人理财助手和反欺诈系统，这让我积累了传统机器学习模型的经验，也让我了解到实时机器学习模型在欺诈检测中的应用。现在，我专注于AI安全领域，研究如何保护AI应用免受攻击。我认为AI安全需要采取零信任方法，并进行红队测试以发现漏洞。最具挑战性的AI漏洞是提示注入攻击，需要通过实时防护措施和独立模型来减轻风险。在金融科技领域，一些公司在WhatsApp上构建AI助手，这带来了新的安全风险，例如账户余额被篡改。传统欺诈和新型AI欺诈都存在，AI赋予了欺诈者和银行更强大的能力。应对AI欺诈的关键是进行红队测试和实施合适的防护措施，包括构建独立的机器学习模型来过滤恶意输入。多个大型语言模型协同工作会增加AI代理的复杂性和安全风险。AI代理的访问控制问题是重要的安全漏洞。构建安全防护需要数据来了解攻击者的方法，这需要与网络安全团队合作。需要更多关于AI安全的开源资源和模型。 Demetrios Brinkmann: 作为MLOps播客的主持人，我与Rafael讨论了构建应用或使用大型语言模型时需要注意的安全问题。我们探讨了传统欺诈检测与大型语言模型时代欺诈检测的对比，以及如何构建更安全的AI系统。我们还讨论了在应用中使用自己的AI助手还是使用Siri等外部AI助手的问题，以及如何设计有效的防护措施以应对提示注入等攻击。我们还探讨了通过WhatsApp进行银行业务的安全风险，以及如何平衡AI助手的自主性和安全性。

Deep Dive

Chapters
This chapter explores best practices for building better AI assistants, focusing on testing, integration, and establishing guardrails to ensure quality and control. Rafael Sandroni shares insights from his experience working on Siri and other AI assistants.
  • Importance of rigorous testing for AI assistants
  • Need for seamless integration with APIs
  • Implementation of guardrails to control outputs and prevent issues like profanity or competitor references
  • Use of a mix of AI and human testing

Shownotes Transcript

Building Trust Through Technology: Responsible AI in Practice // MLOps Podcast #301 with Rafael Sandroni, Founder and CEO of GardionAI.

Join the Community: https://go.mlops.community/YTJoinIn Get the newsletter: https://go.mlops.community/YTNewsletter

// AbstractRafael Sandroni shares key insights on securing AI systems, tackling fraud, and implementing robust guardrails. From prompt injection attacks to AI-driven fraud detection, we explore the challenges and best practices for building safer AI.

// BioEntrepreneur and problem solver.

// Related LinksGardionAI LinkedIn: https://www.linkedin.com/company/guardionai/




Timestamps:[00:00] Rafael's preferred coffee[00:16] Takeaways[01:03] AI Assistant Best Practices[03:48] Siri vs In-App AI[08:44] AI Security Exploration[11:55] Zero Trust for LLMS[18:02] Indirect Prompt Injection Risks[22:42] WhatsApp Banking Risks[26:27] Traditional vs New Age Fraud[29:12] AI Fraud Mitigation Patterns[32:50] Agent Access Control Risks[34:31] Red Teaming and Pentesting[39:40] Data Security Paradox[40:48] Wrap up