Detecting the Good and the Bad With AI: Airbnb’s Naba Banerjee
34:21 Share

今天，我们播放的是由我们的朋友 Modern CTO Podcast 制作的一期节目，他们最近很友好地邀请我作为嘉宾参加。我们讨论了生成式 AI 的兴起，技术成功的意义，以及领导者在指导技术实施工作时需要考虑的一些因素。您可以在 Apple Podcast、Spotify 或您收听播客的任何地方找到 Modern CTO Podcast。

- 机器学习可以检测欺诈活动，但它也可能错过良好的行为。在今天的节目中，了解一个平台公司如何管理这些风险和权衡。- 我是 Airbnb 的 Nava Banerjee，您正在收听“我和 AI”。- 欢迎收听“我和 AI”，这是一档关于人工智能和商业的播客。在每一期节目中，我们都会向您介绍一位在人工智能领域进行创新的个人。我是 Sam Ransbotham，波士顿学院分析学教授。

我同时也是麻省理工学院斯隆管理评论的 AI 和商业战略客座编辑。

我是 Sherven Kodubande，BCG 的高级合伙人，也是我们 AI 业务的领导者之一。麻省理工学院 SMR 和 BCG 自 2017 年以来一直在研究和发表关于 AI 的文章，采访了数百名从业人员，并对数千家公司进行了调查，了解构建、部署和扩展 AI 能力以及真正改变组织运营方式需要什么。

今天，Sherva 和我正在与 Airbnb 信任产品和运营总监 Nava Banerjee 谈话。Nava，感谢您的加入。谢谢。很高兴来到这里。我认为大多数人都知道 Airbnb，但也许您可以简要介绍一下公司以及您所做的工作。

Airbnb 代表一个促进联系和归属感的地方。你知道，数百万房主向完全陌生的人开放他们的家。你、我以及我们的家人可以前往异国他乡。而且，与其住在酒店，不如真正沉浸在当地文化中。

而且，有时候，如果你足够幸运，你可以住在房主的家里，并且真正体验到房主应有的体验，从而创造和促进联系和归属感。在这个日益封闭的世界里，人际关系变得越来越稀缺。我很高兴能成为一家致力于创造更多联系和

而我的团队，Airbnb 的信任与安全团队，则贯穿整个客户旅程，从您在 Airbnb 上创建帐户的那一刻起。在整个旅程中，有时可能会出现问题。可能会创建虚假帐户，或者您的帐户可能会被接管。您想入住的房源可能是虚假房源。您看到的评论可能并不完全真实。

但我们的工作是确保您可以专注于您的神奇住宿。房主可以专注于成为完美的房主。我们试图预测其中的一些风险，并尽量减少此类问题发生的风险。我的团队的工作是利用技术和数据来实现这种神奇的用户体验。我认为我们都听说过一些事情出错的头条新闻。我的意思是，在你们进行的数百万次交易中，有多少事情会出错？

这是一个很好的问题。2021 年，我们在 Airbnb 上进行了大约 7000 万次旅行。而不到 0.1% 的旅行导致房主或客人报告在住宿期间可能发生的问题。

当我们的团队介入调查并实际查看真正造成伤害或有人必须被移除平台的地方时，这个数字甚至更小。我知道，即使是一起不好的事件也可能太糟糕了，不应该发生。但在更大的范围内，你会意识到大多数人实际上是好人。99.9% 的人只是想从事他们的日常工作，享受美好的住宿或成为一个伟大的房主。

但有时，当发生不好的事情时，我们想确保我们降低这种风险。如果你真的看看一个人对另一个人造成伤害的地方，这些事件就像一小部分中的一小部分中的一小部分。但当我们谈论安全时，我们指的是一氧化碳泄漏。可能是滑倒摔倒。可能是财产损坏，玻璃破碎，你的地毯上可能有污渍。我们也在关注这些问题。

从你所说的话中，我听到你的角色是，首先，一个好的角色。你是善良的保护者，也是邪恶的守护者，对吧？我喜欢这个。你应该加入我们的品牌团队。这是一件好事，对吧？这是一个非常有意义的角色。而它的第二部分是你正在谈论微不足道的事件。是的，大海捞针。对吧？这些都是有趣的问题。

告诉我们更多关于幕后发生的事情。我会说它分为三个部分。首先是我们从“为什么”开始，你已经很好地阐述了这一点，那就是我们是善良的保护者，试图避免邪恶。我们永远不能说我们阻止了一切坏事。就像 Sam 说的那样，

你做不到。但是我们如何学习和变得更好？这就是 AI 和 ML 的用武之地，我们如何利用数据和技术的力量来学习和变得更好？而且，每年风险都不会保持不变。数据不断增长。然后第二件事是，我们如何负责任地使用技术？也就是说，你可以过于迟钝，试图尽可能多地阻止，专门关注欺诈和安全事件，并将它们控制住。

但是，如果你用来做出这些决定的数据存在偏差，可能会造成不公平，那么你可能会关闭许多真正只想拥有美好住宿的好人的大门。

因此，负责任地使用技术。最后，是拥有自我管理机制，即我们有我们的隐私团队、数据隐私团队、信息安全团队、反歧视团队，我认为这些团队非常有趣，就像信任团队以及 Airbnb 的其他团队的镜子一样，每当我们真正专注于这个特定的欺诈媒介、这个机器人检测、这个帐户接管检测或派对检测时，

他们不断确保我们是否以安全、透明的方式使用数据，赋予用户控制权，并且不会引入偏差。

最后，为我们提供让用户重返平台的途径，即我们将根据我们可用的数据和技术以及该技术的成熟度做出我们所能做出的最佳决定。但如果我们做错了，我们能否为用户创建一个透明的流程，以便在我们将他们封禁或移除时，他们可以提出上诉并重返平台？这样，我们又能学习和进步。所以在最高层面上，这就是我的团队幕后工作的方式。

还有一些用例是什么？我们讨论过很多的一个用例是，你知道的，我会带你讲一个小故事，那就是当我 2020 年加入信任团队时，世界刚刚关闭。疫情正在肆虐。与世界等待疫苗的方式非常相似。在等待疫苗的同时，我们进入了封锁模式。就像那是一种迟钝的工具，对吧？就像为了防止人们暴露在可能使他们不安全的情况中一样。

同样，Airbnb 成为未经授权的家庭聚会的令人遗憾的产品市场契合点。当酒店和酒吧关闭时，不幸的是，不到 1% 或 0.1% 的用户正在寻找可以举办这些派对的地方，他们开始租用 Airbnb。结果，我们意识到这给使用这个平台的房主和客人的社区带来了很多痛苦，而这个平台的基础是信任。

因此，最初，我们不得不使用一些非常迟钝的工具。我们首先实施了我们的全球派对禁令，声明 Airbnb 不允许任何类型的派对。其次，我们开始关注一些模式，发现 25 岁以下的人只为一晚或两晚预订整个房屋，距离他们家不到 50 英里左右，

这些似乎都是导致派对的信号。当派对发生时，我们通常会发现一个或多个帐户是在昨天创建的。然后我们实施了一条名为 25 岁以下的迟钝规则，并将其付诸实施。现在，我们必须小心，因为这些规则并不完全适用于全球，但这在北美有效。我们立即看到减少了。

未经授权的派对数量。但随着时间的推移，就像规则一样，我们看到人们开始利用这些规则。他们会让一个年纪较大的朋友为他们预订房间。他们不会预订一晚，而是预订三晚，等等，以及对优秀用户的影响如此之大。

我们说我们需要转向机器学习。我们需要变得更聪明。因此，我们在澳大利亚进行了我们的第一次试点，我们对该地点进行了细分，并查看了采用我们构建的这个新的派对模型的地点与其他地点相比。我们是否看到了减少？同样，这就像大海捞针。但我们仍然看到采用派对模型的地区派对减少了 35%。当我们开始在北美进行实验时，我们确实看到了

它与启发式方法一样有效，对优秀用户的影响也较小。这让我们有信心继续前进，因为什么都不做不是一个选择。我们必须做些什么，并且必须聪明地去做。这是一个我们可以谈论的用例，并非声称我们正在阻止所有派对，但至少 Airbnb 正在对此采取强硬立场。

我从你对问题和解决方案的描述中听到的一个共同点是需要不断适应和持续学习，并为合适的工作选择合适的工具。有时是规则，有时是非监督学习。然后是人为干预。这听起来确实像一个多学科的学习。

包括规则发生变化或欺诈者的操作模式发生变化的部分。你还有这个问题，它是否过于迟钝？它是否限制了一些意外但良好或良性的行为？在这种情况下，人机协作或交互是如何工作的？

你总结得很好，Shervin，这不是一劳永逸的事情。你构建它，然后你必须不断学习和优化你所做的决定，以及你周围的世界是如何发展的。这是人类真正擅长的一个领域，那就是，你知道的，你必须有训练你的模型的纪律，使用最新的数据，使用正确的数据，对我们将要说的最佳阈值做出权衡决定，好吧，这是有风险的，我们准备承担这个风险。

在 Airbnb，我们一直在不断探索如何在循环中利用人类。除了产品和规划团队之外，我还拥有一个信任运营团队。这个运营团队由全职员工以及全球代理组成。每当我们构建一个新模型时，一开始，我们通常会让模型做出基于风险阈值的决定，这是前 1%。这是下一个部分。这是下一个部分。

有时我们会将其交给人类，然后在上面创建标签，说我同意模型的决定，我不同意模型的决定，这随后作为训练数据返回给模型。然后，当我们对模型的决策能力更有信心时，我们会转向自动决策。正如你所说，这个派对模型现在完全是自动决策的。但最终会发生的是

当我们收到用户的上诉说，我被错误地封禁了，这随后成为客户告诉我们的数据。然后代理会查看该上诉，并说实际上，是的，这个决定是错误的。如果代理做出了正确的决定，客户正确地提出了上诉，并且没有发生任何事件，我们知道这是一个误报。但假设代理批准了，然后该客户继续举办派对，这是一个漏报。我们正在不断地从中学习，并且

但我们迭代地进行。首先，我们尝试让模型直接交给人类。同样，不能保证人类比模型更擅长决策，但我们不断衡量绩效。然后我们转向更高的自动决策，更少的人工决策。有时我们也会有，比如说派对模型做出决定。人们继续他们的快乐旅程，进行预订。有时在预订完成之后，我们也会让人类查看仍然是前 1% 的高风险预订，以尝试纠正他们可以纠正的任何事情。

因此，它试图平衡何时是人类做出决定的合适人选？机器应该何时做出决定？这是一段我们一直在经历的并非易事、非线性的旅程。你提到一开始你可能正在审查更多案例，然后从这些案例中学习。

但与此同时，你们有很多人，我的意思是，这 7000 万笔交易正在不断发生。例如，当你讲述大流行开始时酒店关闭的例子时，我的意思是，这是一种不断发生的事情。

对个体房主和客户而言。你如何平衡需要快速实施某些东西与需要经历一个过程之间的权衡？这可能是我职业生涯中最难的事情，我想说的是，我处理过的事情。在此之前，我负责 samsclub.com 的所有产品，它是沃尔玛的一部分。那时我认为我的工作很难。

在这里，当我们为客户服务，帮助他们结账时，仍然感觉我们走在增长道路上，我们可以选择增长速度的快慢。我总是有一些团队在关注那些试图结账但无法结账的人，并在我们构建长期架构的同时为他们服务。但人们的生命没有受到威胁。欺诈者使用被盗信用卡诈骗公司数百万美元。Airbnb 有一支团队试图保护善良并避免邪恶，并且

我们所做的是，我们必须非常擅长确定优先级，这在信任和安全领域也很难做到。在许多方面，选择是 Sam 在一开始所说的。我的意思是，这些类型的经济并非没有风险。它们不可能没有风险。而善良……

总体上超过了邪恶。因此，它就变成了关于优先级的问题。但我必须说，我们已经与许多在其他组织中担任类似角色的人交谈过。你提到了山姆俱乐部，还有其他一些组织，他们正在使用技术、数字、AI、ML 来推动各种用例。我认为你的脱颖而出在于

这是一个持续的平衡行为，而且风险很高。

然后你有了这种目标的威胁以及谦逊地说，好吧，我们相信我们会犯错误，系统不可能没有错误。是的。但随着时间的推移，情况正在好转。这引出了我的下一个问题。你如何衡量这一点，比如你的有效性？是根据不良事件的数量、严重程度和频率吗？

我很高兴你问这个问题，因为我自然会转向这个问题，那就是在最高层面上，我们衡量的指标是

每百万次旅行的欺诈事件数量、每百万次旅行的安全事件数量，以及优秀用户的影响。你知道，这是一个平衡指标，用来查看我们阻止了多少好的房源？我们阻止了多少好的房主和好的客人继续前进，以真正了解我们的误报和漏报？但归根结底，我们关注的是所有方面的良好旅行。我们也在关注美元方面，例如可能发生的欺诈损失。

我们正在查看收到的客户支持工单，以及任何遇到我们团队造成的摩擦的用户 NPS。所以在基本层面上，我们正在查看这些指标。但在我职业生涯中第一次遇到的挑战之一是，在我们可以进行 A/B 测试的欺诈领域并非如此，我们正在不断迭代我们的模型。当你这样做时，你可能也会阻止相当良性的指标

行为和意图。但正如你所说，有一个点是人的判断需要胜过并说这是一个即使对一个人来说风险也可能太高的东西。是的，我的意思是，我们总是谈论

在机器学习和持续反馈循环中进行探索和利用。但学习总是有代价的，对吧？但是当我向你发送你可能不喜欢的营销信息时，学习的成本非常低。所以我将向你发送很多，我会做各种 A/B 测试，对吧？

但是当我将这种 A/B 测试应用于风险较高的群体或人群时，你最好做出人为判断的决定，不要这样做，而是依赖于回顾性数据。我认为你为我们很好地阐明了这一点。是的。我们问自己的一个问题是，是什么让人类信任另一个人？是什么让人类信任 Airbnb？是的。

我们意识到，我们可以在后台运行各种模型，你甚至不知道你是否处于风险阈值 1% 或 2%，或者被标记为优秀用户。

但 Airbnb 和你作为客人或你作为房主之间，或者房主和客人之间也需要进行对话，才能真正建立信任。例如，当我们问某人，如果你想在大学入学前去希腊背包旅行，你是否愿意让你的 17 岁女儿去陌生人的家？你可能可以看出这是一个个人经历。我有一个 17 岁的孩子即将上大学。

我意识到第一个想法是不，不会发生。我在 Airbnb 负责信任和安全。但是当我想到，如果我可以和房主谈谈，如果她要和别人一起住在房子里，如果那个人像我一样是母亲。是的。如果我们作为 Airbnb 可以说我们正在后台运行所有这些模型。别担心，你女儿很安全。我认为这行不通。我认为作为父母，你会想要获得你需要查看的信息，即使你的判断可能不如机器好。

因此，我们也在研究我们需要说什么，我们需要做什么。有时当我们说 Airbnb 将不允许，你知道的，在同一社区内最后一刻预订的一晚住宿时。我认为这也会让很多父母感觉更好，好吧，至少这个选项消失了。你知道的，他们可能会想出其他办法。

而这个信息不能含糊不清。这个信息必须简单明了。这个信息必须易于理解。除了告诉人们不要做什么之外，我们还需要鼓励人们应该做什么好的行为，例如与房主交谈，与客人交谈，提出问题。我们为独自旅行的女性推出了一个项目，因为我们开始看到私人房间中独自旅行的女性可能存在略高的个人安全事件发生率。

我们开始鼓励，比如找出，你的房间里会有锁吗？那个锁会工作吗？你是否可以独自使用浴室？哪些空间是共享的，哪些不是？所以这不是一个阻止任何事情的模型。这只是一个我们发布的教育模块。

多种语言，这对我们的独自旅行者非常有帮助。我的团队的部分工作不仅仅是建立无形的防御，还在于通过教育和信息传递来建立信任和信任的感知。说得很好。我必须说，你提到你是一个五个孩子的母亲，我必须说，当你告诉你的孩子他们可以做什么和不能做什么时，我认为你站在非常坚实的基础上，因为你有如此多的数据和如此多的经验。而对我来说，当我说话时，他们会说，你怎么知道？你可以说，好吧，相信我，我每年进行 7000 万笔交易，我知道发生了什么。并且还在增长。是的。我很乐意随时与你的孩子交谈。是的，那太好了。我会接受你的提议。

关于你的衡量标准，我认为有一点很有趣，也许可以稍微回顾一下。你提到了也有一些积极的指标。所以我认为这有点诱人。我认为即使在这个谈话中，我们也这么做了，那就是我们倾向于消极。这通常是新闻问题，坏消息会卖报纸。好吧，你知道的，我认为在这个谈话的过程中，我们已经转向了这一点。但是你提到的某些指标，我认为它们听起来更积极，不是吗？

是的，绝对的。这是一个顿悟，你知道的，我们在过去几年里一直在经历，因为任何类型的机器学习模型在有大量数据可以学习时通常都能做得很好。

对于这些案例，在 7000 多万次旅行中，只有 0.1% 的旅行导致甚至报告，而其中的一小部分导致实际事件，有人被移除，几乎没有什么可以学习的。结果，这些模型需要时间才能成熟。当然，随着技术的进步，这种情况会好转。但我们意识到，我们拥有更多关于良好用户行为的数据。我们有更多用户实际上正在进入

提前几个月预订住宿。他们可能会按时入住，甚至比他们找到时更好地离开酒店，与房主和客人沟通，留下诚实的评论。因此，如果我们实际上可以转换开关，虽然我们需要继续寻找异常情况、趋势和不良行为者，但如果我们能够真正擅长学习良好行为的样子，

同时确保我们也在衡量我们收集和使用这些数据的方式中是否存在潜在的偏差或歧视以及隐私合规性，那么这对于告知某些事情看起来确实有风险时非常有效。

例如，如果一个通常从美国访问的帐户，突然我们看到该 IP 现在正在从菲律宾访问。感觉像是，哦，这是一个帐户接管。但如果这是一个通常在世界各地旅行很多的好用户，那么这可能不是帐户接管，并且那里有来自良好用户行为的历史，让我们更聪明地了解正常是什么样子以及异常是什么样子，不是广泛地，而是非常具体地基于用户细分。

所以这不是什么新鲜事物，但我认为我们有时倾向于沉迷于学习不良行为的样子并擅长检测它，而不是补充异常行为与正常行为的样子。是的。而且你在一个不断发展的领域拥有如此丰富的见解和信息。我的意思是，不像

典型的协同过滤情况，用户喜欢你也买了这个。我的意思是，在匹配方面还有更多的事情要做。这肯定是一个非常有趣且值得解决的问题。是的，这要求我们走出信任和安全孤岛，与我们的搜索相关性和个性化团队紧密合作。

因为我们的工作，与我过去在电子商务工作时不同，不仅仅是进行协同过滤并说喜欢你的人买了这个，所以你应该买这个，或者你去巴黎旅行，所以也许接下来你想去罗马。而是关于

你这次是和家人一起旅行。你有小孩子。你可能需要托儿服务。我们知道这个房主提供托儿服务，这个位置可能很适合你。或者对于同一个客户，也许是独自旅行，也许我们需要提供不同的建议。并将这些信任和安全信号嵌入到我们的搜索相关性算法中，可以在将合适的人与合适的房源匹配方面发挥非常强大的作用。

Nabi，你并非在 Airbnb 起步。告诉我们一些你如何到达那里。你提到了沃尔玛以及在那里的一些背景，但你是如何最终担任你现在的职位的？我是我家族中的第一位女工程师。我的父亲冒险让我尝试，说你很好奇，你是一个永远的学习者，你想从事工程吗？当时我不知道工程是什么，但我还是报名了，最终成为我家族中的第一位女工程师。我在塔塔咨询服务公司工作，然后加入了 Cognizant。

通过 Cognizant 来到美国，并在 AAA 工作了一段时间。我会不断参与不同的项目和不同的工作，这将帮助我学习一些全新的东西。沃尔玛大约在 2006 年发生。我被要求在沃尔玛从事供应链工作，如果你想在一个公司学习供应链，那就是你要去的公司。

在山姆会员店之后，我被要求领导搜索部门。大约在那个时候，我开始对一个运行在机器学习和人工智能的世界产生浓厚的兴趣。搜索对我来说是一个绝佳的着陆点。我有趣地参加了麻省理工学院的一个课程，学习人工智能在机器学习中的应用。这给了我勇气承担搜索工作。从那里，在沃尔玛工作了近13年后，我加入了Airbnb。

我对旅游业以及这个与我在沃尔玛所做的一切都截然不同的市场非常好奇。所以这里的主题是，我一直倾向于利用我所拥有的技能，然后利用我的好奇心和学习去做一些全新的事情，并在前进的道路上不断提升自己。这就是我的背景。

不，但我们现在有一个环节，我们会问你一系列快速的问题，只需告诉我们你脑海中浮现的第一件事。你最引以为豪的AI/ML时刻是什么？

你让我在我的不同团队之间做出选择，这对我的职业生涯来说是有限制的。但我要说的是，我们在派对检测和派对风险降低方面所做的工作具有开创性。业内没有其他人像我们这样去做。所以这真的让我感到自豪。但我要声明，我对我的所有团队都感到自豪。这是一个很好的答案。人工智能让你担心什么？

让我担心的是它的强大之处。我们有机会近距离接触山姆·奥特曼，因为他来到了Airbnb。这项技术的进步速度以及它拥有的能力令人震惊。我担心它会落入坏人之手。我担心，虽然我的团队拥有这项技术，但欺诈者也拥有这项技术。

所以我担心的是，如果今天我们担心的是伪造的身份证和发送给我们的房主和客人的垃圾邮件，那么这项技术将发展到何种程度，以及我们检测好坏将变得多么困难。我认为人工智能也将能够拯救我们，来检测虚假人工智能。你最喜欢的不用技术的活动是什么？用水彩画画。

我喜欢画自然。所以是纸张、水、颜料，以及宁静与安详。不用技术是我最喜欢做的事情。当然，还有拥抱我的孩子，和他们一起度过时光，倾听他们一天的经历，尽量让他们在和我说话的时候不要玩手机。是的，就这两样。说得很好。你小时候想从事的第一份职业是什么？我想成为一名老师。我来自一个教师家庭，

当我看到别人的眼睛因为知识的馈赠而闪闪发光时，我感到非常快乐。就像我是一个永远的学习者一样。我所做的每一份工作都与我以前的工作完全不同，因为我喜欢学习。所以，是的，这就是我想要做的。而且你目前的职位可能也做了相当多的教学工作。我做了很多指导工作。你已经教给我们很多了。谢谢。谢谢。我确实做了很多指导工作，因为我觉得如果其他人能看到我做的事情，

那会让他们觉得他们也能做到。如果我能做到这一点，你知道，这就是我人生的使命。你对人工智能未来的最大愿望是什么？我对世界的最大愿望实际上是不那么害怕，给它一个机会。因为我认为，有时我们对坏事的恐惧会阻止我们拥抱美好的事物。在活动中浪费了如此多的努力，你知道，

应该通过人工智能实现自动化。例如，许多没有得到治疗的病人，许多可能需要帮助并需要大量资金来建立基本事物的公司都可以通过人工智能来完成。许多发展中国家可能会获得很多优势。我知道，当它落入坏人之手时，它可以被用于作恶，但世界上好人比坏人多。我相信我们利用人工智能行善的力量，利用我们集体的美好。

我认为每个人都会认同你世界是好坏参半的观点。我们确实倾向于听到大多数负面消息，但听到你如何关注如何预防这些负面消息，以及听到你平台带来的积极故事，这令人耳目一新。感谢您抽出时间与我们交谈。我们很享受。谢谢，山姆。谢谢，谢尔宾。我很荣幸。感谢收听。下次，我们将邀请Duolingo首席产品经理Zan Galani加入我们。

请加入我们。感谢收听“我和人工智能”。我们相信，与您一样，关于人工智能实施的对话不会仅限于此播客。这就是为什么我们在LinkedIn上专门为像您这样的听众创建了一个小组。它被称为“人工智能领导者”。如果您加入我们，您可以与节目创建者和主持人聊天，提出您自己的问题，分享您的见解，

并获得来自麻省理工学院SMR和BCG关于人工智能实施的宝贵资源，您可以通过访问mitsmr.com/AIforLeaders来访问它。我们将把链接放在节目说明中，我们希望在那里见到您。