Images and Inspiration With AI: Pinterest’s Jeremy King
20:20 Share

Jeremy King 领导着一个由 1400 名充满激情的工程师组成的团队，致力于持续改进 Pinterest 的图像驱动平台。他的背景包括领导 eBay 的翻译团队以及负责沃尔玛美国零售店和电子商务业务背后的技术，他现在负责 Pinterest 的技术运营。为了支持公司激励人们“创造他们热爱的生活”的使命，他和他的团队依靠先进的人工智能、机器学习和图形数据库来索引和构建图像网络，以便用户可以找到灵感——尤其是在他们不完全确定自己在寻找什么的时候。在本期节目中，Jeremy 与 Sam 和 Shervin 讨论了 Pinterest 在图像识别领域取得的一些最新进展，并分享了他对生成式人工智能将如何改变像 Pinterest 这样的基于图像的内容的看法。在此处阅读剧集文字记录。我和 AI 是麻省理工学院斯隆管理评论和波士顿咨询集团合作推出的播客，由 Sam Ransbotham 和 Shervin Khodabandeh 主持。我们的工程师是 David Lishansky，协调制作人是 Allison Ryder 和 Sophie Rüdinger。通过加入我们的 LinkedIn 群组“AI for Leaders”（mitsmr.com/AIforLeaders）或关注 LinkedIn 上的“我和 AI”与我们保持联系。嘉宾简介：Jeremy King 是 Pinterest 的技术高级副总裁，负责公司的技术愿景以及负责构建和扩展视觉发现引擎的工程组织。在加入 Pinterest 之前，他是沃尔玛的首席技术官和高级副总裁，领导负责沃尔玛和 Jet 美国零售店和电子商务背后技术的团队，并负责云和数据平台上的客户、商家和供应链技术。King 还曾在沃尔玛实验室、LiveOps 和 eBay 担任过高管级别的技术职位。我们鼓励您对我们的节目进行评分和评论。您的评论可能会用于“我和 AI”的材料中。</context> <raw_text>0 今天，我们播放的是由我们的朋友 Modern CTO Podcast 制作的一期节目，他们最近很友好地邀请我作为嘉宾参加。我们讨论了生成式人工智能的兴起，在技术方面取得成功的意义，以及领导者在指导技术实施工作时需要考虑的一些因素。在 Apple Podcast、Spotify 或您收听播客的任何地方查找 Modern CTO Podcast。

一个基于图像的平台如何使用人工智能和机器学习来持续激励用户？在今天的节目中找出答案。我是来自 Pinterest 的 Jeremy King，您正在收听“我和 AI”。欢迎收听“我和 AI”，这是一个关于人工智能和商业的播客。在每一期节目中，我们都会向您介绍一位使用人工智能进行创新的人。我是 Sam Ransbotham，波士顿学院的分析学教授。

我同时也是麻省理工学院斯隆管理评论的 AI 和商业战略客座编辑。

欢迎。

我们今天的嘉宾是 Pinterest 的工程主管 Jeremy King。Jeremy，感谢您抽出时间与我们交谈。很高兴来到这里。非常感谢。通常最好先做一个概述。也许可以告诉我们 Pinterest 是做什么的，以及你在 Pinterest 的工作。

我们喜欢说，Pinterest 是互联网上寻找灵感的目的地。每天都有数亿人来到这里，以弄清楚他们想穿什么，今天下午想做什么，或者想做什么晚餐，或者如何装饰孩子的蛋糕，或者如何改造他们的厨房。因此，我们希望构建一个平台，让任何人都可以创造他们热爱的生活。

这是一个拥有这种使命的好地方。而且很多人，当我告诉他们我在哪里工作时，都会对他们自己的 Pinterest 板和世界上的事情感到非常兴奋。很好。告诉我们更多关于在 Pinterest 工作的事情。是的，我现在在 Pinterest 担任工程主管，已经四年多了。而且

就像任何领导者一样，我正在努力弄清楚如何为我的团队扫清障碍并招聘优秀的人才。我一直告诉人们，当我来到 Pinterest 时，我对这里的人才水平印象非常深刻。这是一个相对较小的团队。我们在全球拥有 4500 名员工，约有 1400 名工程师。因此，与世界上一些最大的公司竞争，这个团队必须拥有极高的素质。我们拥有世界上一些最好的图形数据库人才。我们拥有世界上最好的计算机视觉人才。

这些人真的很有合作精神。到目前为止，你提到了人工智能。那么，人工智能在这 1400 名工程师中扮演什么角色呢？

是的，这是一个很好的问题。Pinterest 以及现在许多其他公司的一个共同点是，Pinterest 从一开始就诞生于机器学习和人工智能。没有它，Pinterest 就不会存在。因此，将人工智能和机器学习与 Pinterest 分开讨论几乎是一种误称。没有它，真的不行。因此，我们所做的几乎所有事情都会触及我们的机器学习系统。我们做人工智能。

每秒数百万次推断。每个请求都会一直返回到图，并向每个人发布一个非常具体的用例。它不是缓存的。每个人都是一个特定的结果。我提到我们大约有 1400 名工程师。我们大约有 350 名机器学习工程师

作为一个百分比，当我告诉其他首席技术官我为谁工作时，他们会说，与我的公司相比，这是一个非常高的机器学习人员比例。这在数据平台方面也是如此。我们有一位很棒的领导者 Dave Burgess，他负责我们的数据平台。您可以想象，我们的数据平台与我们任何其他能力一样重要。

所以我提到了图，但它也是，你知道，某种正常的 SQL 数据库和使这个东西运行的实时系统。Jeremy，你几次提到了图。什么是图？从本质上讲，图就是如果你取一个实体、一个对象，然后说与该对象相关的是什么。所以，在这种情况下，我们在这里使用最近邻图。

我们已经为此编写了很多文档，它说，嘿，我有一张图像，在这种情况下，我还有另一张与这张图像相关的图像。因此，这允许我构建这种图像网络。图在 Pinterest 上之所以有效是因为

每个 Pin 本质上都是添加到一个板上的，这实际上使它成为图中的一个节点。因此，它会继续增加图。因此，它允许您，与 SQL 数据库或关系数据库不同，您必须对标签索引和索引进行排序，图可以被索引。从本质上讲，任何图像都可以索引到任何其他图像。它允许您非常高效地对相关事物进行搜索。这就是 Pinterest 的强大之处。

Jeremy，你提到人工智能一直是 Pinterest 之旅的一部分，并且从其早期开始就融入到 Pinterest 的技术堆栈中。因此，生成式人工智能对你们来说也一定非常重要。我相信这些天每个人都在关注它。所以，也许可以告诉我们你们在这方面做了些什么。

我们拥有一个最先进的机器学习环境，它将这些数据集连接到所有表面。我们称之为主页供稿、搜索系统、驱动 Pinterest 个性化和推荐以及参与度的相关内容。虽然我们的月活跃用户增长非常快，包括 Z 世代的增长速度甚至更快。

我们增加了 1300 万月活跃用户，因此我们非常关注如何提高参与度。毫不奇怪，即使在过去两年中，机器学习的许多改进也一直在推动这种参与度。当然，我们还构建了新功能，使 Pinterest 变得更易于购物。但是，随着我们看到机器学习模型的能力变得有效地大 10 倍或 100 倍，这在今天是比较常见的，我们正在

我们看到这导致我们的结果出现了超比例的增长，因为结果变得更具体了。坦率地说，Pinterest 也与查看各种不同的事物有关。因此，并非每一件物品都与您今晚想做的饭有关。它还包括，我知道你上周在看生日蛋糕，或者新年快到了，我们将把其中一些内容融合在一起。

因此，我们一直在利用一些在过去几年才出现的先进人工智能能力。这包括 GPU 工作以及使这些事情具有成本效益的所有因素。因此，回到你关于生成式人工智能的问题，鉴于我们是一个图像平台，生成式人工智能对我们来说非常有趣。我通常将其分为三个类别。

当我们考虑大型语言模型 LLM 时，我们谈论的第一点是如何提高团队的生产力？我们正在运行几个试点项目。我们还没有决定确切的方向，但这看起来非常有前景。像许多其他首席技术官一样，我们对此感到非常兴奋。这很有趣。告诉我们生成式人工智能如何提高效率。

我和许多首席技术官谈过，我认为一件非常有趣的事情是，一位特定的首席技术官说，总的来说，它将生产力提高了 10% 到 15%，但有一小部分用户，他们的生产力提高了 50%。这太棒了。我正要说的，如果你回到十年前，那时有很多图像和非结构化文本以及诸如此类的东西

对于人工智能来说，要对这些数据进行训练并理解这些数据，需要人工干预，既要标记内容，也要确保输出有意义。感觉现在有了 Gen AI，许多这些类似人类的判断调用将越来越多地由 Gen AI 来完成。

特别是对于大量的非结构化文本、图像和视频以及此类内容。对吗？或者我走得太远了吗？

我认为这是对的。我的意思是，Pinterest 系统是建立在嵌入的基础上的。因此，您会获取图像或文本片段，然后对其进行标记。正如你所说，这就是 Pinterest 真正擅长的地方。您使用我们的计算机视觉技术，有效地构建这些嵌入来检测人、内容、沙发或生日蛋糕。我们在这方面做得非常好，并且长期以来一直引领着行业。而且

而且你说的没错，发生的事情只会变得更好。它只是更准确、更具体。就像在过去，我可以说，我知道这是一个灯，我知道它有吊坠，它是水晶做的，它是金色的，诸如此类。但现在我可以说，我知道它上面有多少个。我知道它们是什么样的灯泡。我可能知道是谁制造的，以及这些事情。我可以更具体。在 Pinterest，我们真的认为这是两件不同的事情。人们来到 Pinterest

因为他们不知道自己想要什么。这就是 Pinterest 蓬勃发展的地方。我认为为什么我们在市场上具有长期差异化，是因为你知道你想要什么。你总是可以去亚马逊、家得宝或 Wayfair 去购买它。但如果你不知道自己想要什么，你可以从 Pinterest 开始，或者进行数百万次不同的搜索，因为我不知道如何描述……

你知道，经典的谷仓厨房。我不知道这些词。所以即使把它放在像 ChatGPT 这样的东西里，我不知道该如何说。你知道我的意思吗？当然，随着时间的推移，这会变得更好，但很多也会基于图像。你是否发现可用的基础模型可以为你做到这一点，或者你们正在构建自己的特定领域模型？

我想答案是两者都有。我们发现，而且现在还处于相对早期的阶段，在生成图像方面，我们发现较小的模型实际上更具体。所以我认为这就是将会发生的事情。我的首席技术官朋友们也这么说，那就是，每一个这样的模型都将非常特定于用例。这不仅有助于提高准确性，而且还使实施成本大大降低。

我认为你多次提到蛋糕很有趣，因为装饰蛋糕我认为几乎是我唯一使用 Pinterest 的用途。它与 Shervin 关于生成的评论有关，因为我强烈怀疑我看到的那些蛋糕，没有人能够创造出来。我当然无法创造它们。那么，在某种程度上，你的四个用例中的一个不是第四个，那就是生成。

人们上传实际上并不存在或产品并不存在的图像。Pinterest 对此有何看法？

是的，这是一个很好的观点。我认为，是的，我们在我们最大的类别之一中经常看到这一点，我们称之为艺术。艺术包括很多东西，包括你传统上会放在墙上和绘画上的东西。但它也包括人体艺术，我们有纹身等等。同样，很多情况下，人们需要一些灵感，这可能是生成的，对吧？它可能并不存在于世界上，但你想看看它在人脸上是什么样子。

你可以看到这种情况即将到来，你将能够打印出一些生成的东西，而这已经发生了，对吧？是的，这与灵感的理念非常吻合。是的，绝对的。像蛋糕之类的东西非常有趣。比较困难的部分是我已经看到了很多关于家居和家居装修的工作，并且

但它所做的是生成大量无法实现的想法，我可以说，嘿，人们还没有真正拿出相机来拍摄他们的房间照片。人们这样做，但我们称之为 1% 的功能。就像，你怎么让人们真正使用手机或手机摄像头？

但是，你知道，如果你可以上传一张图片，我知道我看到了一些关于以下内容的精美渲染：这是我的房间，重新布置我的房间里的家具，我已经拥有的家具，以及诸如此类的事情变得非常有趣。或者你说，我想用 Wayfair 的这个沙发替换这个沙发。我想用另一个灯替换这个灯。这里有 20 种不同的组合。你可以点击浏览。这些就像，

你正在进行虚拟体验，几乎类似于 AR，但你正在放入真实的产品，而不是生成的产品。但这允许你构建更具增强性的用户体验。去年，我们构建了 AR 试穿功能，允许你试穿化妆品。我们看到，同样，虽然它并没有得到大量的使用，但使用它的人购买东西的可能性要高 60%，对吧？当人们真正到达那里时，它非常引人入胜。

Pinterest 的困难之处是什么？你提到了很多你使用这些技术做的事情的很好的用例。当然，不可能一切都很好。有什么困难？我们花了大量时间在包容性搜索和结果上。在 2021 年，我们推出了发型搜索。这是一种技术上的首创。当你搜索发型时，如果你愿意，你如何识别看起来像你头发的发型，对吧？这对于完善你正在寻找的东西至关重要。

我们在肤色方面也遇到了同样的问题，最初我们试图使用早期模型进行肤色检测。我们发现它更侧重于面部检测。因此，我们的团队做了一些很棒的工作，比如进行皮肤检测。就像它可能是侧影、背影或耳部照片或手部照片。你不知道是什么样的皮肤。所以，我怎么检测是什么皮肤？然后你可以检测你正在寻找什么样的色调。同样的方法也必须应用于头发，并且

你知道，我们已经配对好了。我们有剃光/秃头。我们有直发、波浪发、卷发、螺旋卷发、保护性发型等等，这些东西使结果变得好得多，对吧？你可以保存你的发型和肤色，然后我们会根据你的喜好调整结果。

你可以想象，这是一个复杂的问题。这不仅仅是美国的事情。每个不同的国家都有不同类型的发型和肤色以及不同类型的时尚。因此，这些事情确实很难，但当你做对的时候，它们是很棒的项目。我们这里有一个很棒的团队，特别是高级技术团队。我们一直在研究包容性技术和所有这些高级模型，它们绝对很难，但当你做对的时候，它们很棒。

我们这里有一个环节，五个快速问题。我会问你一些快速的问题。只要告诉我你脑海中想到的第一件事。你最自豪的人工智能时刻是什么？包容性产品功能，实际上是发型是我的最自豪的成就，因为我不仅从一开始就参与了产品，而且它也是业内首创。我们从 Pinners 那里得到的回应令人难以置信。所以，是的，这是一个非常好的成就。除了偏差和一些伦理问题之外，人工智能让你担心什么？

这很有趣。在每个论坛上，它都说，嘿，你担心偏差吗？让我们看看。人工智能让我担心什么？是的，我不担心。我不担心太多事情，但这是长期首席技术官的事情。就像，如果你担心太多，你就无法在这个工作中生存下去。你最喜欢的与技术无关的活动是什么？

山地自行车。非常酷。我尽量每周至少去两次。我每周五早上都会和一群硅谷科技人员一起去，然后通常周末会和我的兄弟和其他人一起去。你想要的第一份职业是什么，你小时候想做什么？我认为我五岁时的婴儿书上写着消防员，但我的祖父和父亲都是工程师。所以我实际上认为我会建造房屋，因为我喜欢在户外动手工作。所以这就是我认为我要去的地方，建筑或房屋建造。

你希望人工智能能够做到但目前做不到的事情是什么？瞬间移动。让我在过去一年中通过安检。也许这即将到来。我一直对翻译非常兴奋。我最近接管了 eBay 的翻译团队。

很久以前。而且有一些很棒的人正在从事这项工作。我一直认为通用翻译器是一件非常了不起的事情。它越来越接近了，但在它成为这种设备的消费者版本之前，它似乎仍然遥不可及。但你认为这是为什么呢？因为我们现在有了 LLM，而且长期以来我们也有语音到文本。这里的限制因素是什么？

我认为是外形尺寸。就像，我怎么，你知道，拿出我的手机，点击从西班牙语翻译成英语，你知道，诸如此类的事情。我不知道我是否正在走向旧金山街头的一家供应商，你知道，我不说同一种语言，我想要一些东西，你知道，它必须很接近，但这是一个外形尺寸的问题。但我认为它会到来。它很快就会到来。它似乎是可以解决的。是的，可以解决。

Jeremy，我们非常感谢您抽出时间与我们交谈。了解我们所看到的这些图像背后发生的事情，这非常有趣。但接下来，我很感激所有这些努力，这些努力使像 Pinterest 这样的工作看起来如此轻松。看到人工智能和机器学习背后有多少内容，这非常令人着迷。感谢您的加入。当然。这太棒了。

感谢您今天的收听。在下一期节目中，Sam 和我将与来自大赦国际的 Damini Satija 和 Matt Mahmoodi 会面。请加入我们。感谢您收听“我和 AI”。我们相信，与您一样，关于人工智能实施的对话不会仅限于此播客。这就是为什么我们在 LinkedIn 上专门为像您这样的听众创建了一个群组。它被称为“AI for Leaders”。如果您加入我们，您可以与节目创建者和主持人聊天，提出您自己的问题，分享您的见解，

并获得来自麻省理工学院 SMR 和 BCG 关于人工智能实施的宝贵资源，您可以通过访问 mitsmr.com/AIforLeaders 来访问它。我们将把该链接放在节目说明中，我们希望在那里见到您。