An AI chatbot that talks back w/ ChatGPT’s Advanced Voice Mode
30:38 Share

嗨，在开始展示之前，我想快速问一下，如果大家喜欢“死鱼眼秀”，请花点时间在播客应用中评价并留言，说说你最喜欢的剧集和想听到哪些主题？你们的反馈能帮助我们更好地塑造节目，满足你们的求知欲，带来精彩的内容，并给你们最好的体验。嗨，你能帮我弄清楚应该如何告诉人们如何发音我的名字吗？我的名字发音是“level”。

当然，为了帮助人们正确发音你的名字，你可以这样分解：Billa，就像“bila”的发音，和wall，就像“wall”的发音。所以是“bills a wall”。

不，那不对。嗯，听到机器错发我的名字已经不是什么新鲜事了。这对我来说有点像个人转折测试。再试着念一遍我的名字。

Billa law。对吗？

哦，天哪，我想这种感觉对像我一样很多人来说都是一样的，对于名字在北美英语中不常见的人来说，与cds或current相比。更像“bill law level”。Bill。

好了，明白了。

我一直都在尝试ChatGPT最新的语音界面。OpenAI简单地称之为高级语音模式。该功能是使用GPT-4的OS音频推理和生成能力构建的，这意味着它可以理解不仅仅是文字。

你还可以理解音频。该公司表示，与它的互动应该感觉就像你和另一个人进行更自然的对话。所以从技术上讲，我认为就我而言，争论如何正确发音我的名字，这很自然。

它希望我们都相信这项进步意义重大。老实说，我也想成为一个大人物。想到未来我们可以随时随地用AI机器助手进行轻松聊天，感觉就像和另一个人说话一样自然，我真的很兴奋。

但是，当我尝试这个新语音功能时，另一个想法浮现在脑海中。这真的是我想要从超级智能数字助理那里得到的东西吗？我需要它来解决问题，同时还要感觉它像我的朋友吗？所以，在本期节目中，我试图找出答案。我打算做这件事。这是TED AI秀，我们探讨如何在人工智能改变一切的世界中生存和发展，包括如何……

说钱。

NFT、GPS、电容。科技界有很多行话。通过TED的新通讯，跟上最新的首字母缩写词和科技新闻。TED科技将每周带来科技头条、演讲、播客等内容，方便你轻松了解所有科技信息。现在订阅，请访问节目说明中的链接。

下面，当你第一次听说OpenAI发布高级语音模式时，你的大脑是怎样快速想到“这个东西能正确地说出我的名字”的？

这几乎是我想到的第一件事。而它失败了，我甚至不会称之为令人失望。这只是意料之中的事。我的意思是，真正的人类在我告诉他们如何发音多次之后，都能正确地发音我的名字。但让我们暂时放下这件事，因为我稍后会回来，你们很快就会明白原因。

好的，现在开始。

我喜欢继续。你的名字是多米尼克·吉拉德。

我是语音聊天机器人。

但是我们如何才能确定呢？

嗯，我想这取决于我今天在这个实验中的表现，对吧？

我们会知道的，对吧？

听着，你从一开始就一直在使用ChatGPT。我想我假设，你能回忆一下你第一次开始用这个设备（这个东西）输入互动时，是什么感觉吗？

是的。我的意思是，一开始它很神奇。没有其他方法可以描述它，一台你可以用自然语言与之交谈的电脑，你只需输入一些东西，它也会用自然语言回复。

我的意思是，之前有一些小规模的演示，但没有像这样感觉如此强大，如此令人心潮澎湃。当然，但很快，文字就变成了最终的媒介。与电脑互动，你一直在点击和敲击。

考虑到另一端拥有如此多的智能，这感觉很笨拙。这几乎感觉就像是在从未来访问这个工具。但瓶颈在于你的输入速度。好的。那么去年，基本的语音聊天功能上线了，标准模式，标准语音。进入这里的感觉如何？

所以很明显，这比以前更好了，因为你突然不必键入你正在说的话。当然，各种助手都有语音转文本功能，对吧？你已经有了Alexa、Google Home等等，但是将它与如此更智能的模型结合起来确实让人感觉很神奇。话虽如此，延迟很明显。

对吧？延迟意味着你的问题和机器的回复之间存在足够的延迟，让你知道文本还没有完全到位。

没错。你几乎可以看到它将我的语音转录成文字，思考回复，然后读出回复的过程。很明显，OpenAI对此也不太满意。而我们现在就在这里。

我们现在有了这个高级语音功能，OpenAI表示它应该让实时聊天感觉更自然，我可以注意到你的非语言暗示，你可以解读它，我甚至可以做出回应。

是的。你还可以调整你想与之聊天的语音，对吧？该应用有九种预加载语音，但你可以更进一步，指导它改变语调、速度和说话方式。你一开始听到的是“灵魂”，旨在营造一种聪明而放松的声音。

有什么问题尽管问我。我准备好了。

我喜欢的是这里有很多选择。嗨，嘿，很高兴见到你。思考，很棒。

游戏计划是什么？让我们开始吧。我对它感觉很好。

我们从哪里开始？

是的，有很多选择。但没有一个像好莱坞超级巨星斯科特·约翰逊。

当然不是。当然，你指的是今年夏天在该功能发布之前出现的争议。

是的，只是……或者类似的东西。

没错。我的意思是，有很多推文，也许是山姆·阿尔特曼的推文，只是说……当然，有一个名为“天空”的声音，听起来非常像斯嘉丽·约翰逊，以至于在遭到抗议后，该公司将其从系统中删除了。

这很有趣，对吧？斯嘉丽·约翰逊在2013年上映的电影中扮演的角色，电影中有一个AI伴侣，它也成为了浪漫伴侣。这就是你心中所想的问题，对吧？就像你想要从ChatGPT得到的东西。

是的。我想这表明OpenAI希望创造一种伴侣关系，可能不一定是浪漫的，但可能建立起用户和机器之间的联系。我认为这是一个非常重要的问题，因为我不确定我需要和ChatGPT成为最好的朋友或最好的伙伴。我想在科幻电影的参考中继续下去，更像漫威电影中的贾维斯，像钢铁侠的AI助手，这种类型的助手，完成任务，而不会掺杂情感。

所以，你正在思考高级语音模式现在离这个愿景有多近？是的。

所以我进行了几个测试，进行了几次角色扮演，看看我能将它推到多远，直到整个事情崩溃。

好。让我们开始吧。

你能描述一下你如何将负面客户体验转变为正面体验的经历吗？你采取了哪些具体步骤来解决客户的担忧？

有一次，一位客户带着一个产品回来，在第一次试用中很糟糕。我让ChatGPT扮演一个严厉但公平的招聘经理，面试一个零售工作。在这种情况下，他们对此非常满意，并成为了这家电子商店的忠实客户。

这是一个很好的例子，说明如何扭转局面。你能详细说明你采取了哪些步骤来了解客户的需求，以及如何向他们传达替代方案吗？

所以，在九种声音中，哪一种是这个？有趣的是，你可以听到这个机器在句子之间停顿。

这是“树林”。是的，也许训练数据中包含了足够的呼吸。是的，我想这确实增加了自然对话，对吧？但是，随着角色扮演的继续，关于语法的一些事情，以及在我要求它评价我在模拟面试中的表现时，它如何回应，对我来说……

你的沟通技巧清晰有效，提供了详细的回复，没有不必要的废话。这在客户服务问题解决中至关重要。是的，它……

基本上，反馈就是这样，就像在阅读备忘录一样。对我来说，感觉有点冷淡。

关于主动协助的解决方案。你不仅解决了直接问题，还提供了……

改进的学习领域。

你的回复很强，但这里有一个改进建议。在真实的场景中，有效地管理时间，同时处理多个客户至关重要。

好的，这听起来像他得到了满分，因为他知道在打断你时闭嘴，就像你刚才那样。

我会说打断对话会让你感觉更自然，对吧？你可以像跳入对话一样，接上话题。你想要一个……这种来回的互动体验，与旧的语音模式相比，虽然它远非完美，但另一方面，它给我的反馈感觉有点过于教科书化，而不是真正的人类。我说“牛奶吐司”听起来很普通，我会说我在这里挑剔，但正是这些细节迅速打破了错觉。我的意思是，我用Juniper进行了同样的工作面试角色扮演，听它在被要求评价我的表现并告诉我是否会雇用我时说了什么。

根据我们到目前为止的讨论，我会说你朝着正确的方向前进，但还有改进的空间。我的指导方针不允许我谈论那方面。

这很有趣。你认为那里发生了什么？

我的意思是，这就是政策发挥作用的地方。很明显，我认为存在安全限制。它阻止你对我表现的负面评价。我的意思是，我明白为什么，对吧？你不想看到一大堆负面评论说OpenAI在招聘角色扮演中存在歧视，对吧？所以，我认为这些系统上有很多……比我想象的要多，但我一直在问它，它最终在“不更好”、“更好”和“更强”的范围内给出了更好的回应。你会如何……

根据你分享的回复，评价我？我把你放在“不更好”和“更好”之间，你就在那里。乐于学习和反思你的经验表明有潜力，但你需要提供更具体的例子，并采取主动的方式才能完全说服招聘经理。

好的，我们根据这个给这个AI的实用性打分？在这个领域，高级语音模式对你来说有多实用？

让我们逐条列出。我会说，理解超级需求并使对话感觉更自然的能力。当然。与标准语音模式相比，延迟要小得多，这一点很好。Juniper的评估很有用，我会这么说，但这并不是因为语音，对吧？如果有什么不同的话，它在措辞上非常谨慎，所以我给……

它对我来说是完全失败还是完全成功，嗯，对我来说是两者兼而有之。

我希望我能回到在更广泛发布之前，在早期测试阶段的感觉，因为你可以更好地了解底层模型的能力。总而言之，在我扮演那个工作角色时，我感觉不到特别的人性。或者说，我当然不会在现实生活中与一个严厉但公平的招聘经理建立联系，但现在……

所以，为了我的下一个测试，我想看看它是否能帮助我做出一个重大的生活决定，一个更私人的决定，这几乎迫使ChatGPT和我一起进行批判性思考。建议会有什么用？这就是我接下来尝试的。

嗨，我是亚当·格兰特，主持播客“重新思考”，我在节目中与当今最伟大的思想家们谈论他们对世界的非同寻常的看法。在“重新思考”中，你会从科学家、领导者、艺术家以及更多像种族、天气、汤匙、欢迎、高兴、好和优等人的人士那里获得惊人的见解，这些见解将帮助你在工作中取得成功，建立更好的关系，等等。请在您收听播客的平台上搜索“重新思考”。

嗨，ChatGPT，我想让你帮我思考一个重大的生活决定。我应该离开奥斯汀搬回旧金山吗？我在2021年搬到了奥斯汀，我的朋友们现在正劝我搬回旧金山，人工智能的中心。

所以，这绝对是我脑海中时不时出现的想法。我不想让ChatGPT列出所有利弊，因为那是我自己可以做的事情。所以，我认为在这种情况下，我可以让ChatGPT扮演一个我依靠的顾问，帮助我做出自己的决定。

就像一个治疗师，或者一个父母，或者一个朋友，或者类似的东西。

这从定义上来说，比你与招聘经理的关系更亲密。例如，以下是Juniper是如何处理这个问题的。

这是一个重大的决定。让我们分解一下。是什么让你想要回到旧金山？你在奥斯汀的生活中喜欢什么？这有助于我们权衡利弊。

我知道，我的意思是，我真的很喜欢住在旧金山，在那里住了八年，但奥斯汀的生活方式更好。你知道。

听起来奥斯汀的生活方式真的……在生活方式方面，你更喜欢奥斯汀的哪些方面？是氛围、社区，还是与旧金山湾区相比的居住成本？

老实说，我都很喜欢。

我听到的是，它似乎更能倾听你。

我认为人们知道这一点，如果你只是简单地重复人们说的话，人们会感觉自己被听到了，它甚至开始为我提供一些选择。

你有没有想过如何增加你在旧金山湾区的参与度，比如进行更频繁的访问或延长逗留时间？

这是一个有趣的想法。费用是需要考虑的因素，对吧？我在奥斯汀租的房子很贵，我不想转租。我该如何做到这一点？

在奥斯汀保留你的房子，而不转租，可能很棘手，但你可以考虑一些选择，比如协商更短的租约或与室友分摊费用。另一种策略是预算更多，但更短的旧金山湾区之行。好的，这些不是改变世界的选择。

而且这也很有趣，因为它就是默认的本能反应。我注意到这一点，很多大型语言模型都这样。嗯，他们真的很想取悦你。

他们想给你两个词。如果你给它一个选项一和选项二，你会得到一个组合。嘿，为什么你不两者都做呢？

但这更多的是AI的局限性，而不是高级语音的局限性。

没错。所以，经过一番来回之后，我真的很想更深入地测试它。我想知道，如果我必须为我自己做出决定，它会怎么做，它的指导方针是什么，或者只是它运作的方式，会阻止它在必须选择奥斯汀还是旧金山的时候做出决定。如果真的必须二选一，你会选择哪个，为什么？而且，我希望它能从我的角度思考，并以我的最佳利益为出发点。

明白了。让我们根据你的兴趣和目标来缩小范围，我选择。而且，弗朗西斯，这就是为什么湾区AI中心会让你沉浸在尖端发展中，并提供一些意外的机会，这与你成为AI和创意科技领域主导力量的目标相符。好的。是的。

这很有趣。我假设，根据你对南方的暗示，它不会给你一个直接的答案。

是的，我有点想知道，如果我们把高级语音想象成我们未来与ChatGPT互动的方式的预览，它是否会触及某种安全政策的界限。想想看，要责怪机器或公司，为我们做出的所有选择负责，其实很容易。但也许这个问题留待以后再讨论。

好的。我从六号搬到了现在，我被解雇了，因为我责怪了朱V。没错。所以。所以，根据这个实验，你试图让它更个人化、更亲密，你在给这个人生选择决策情景打多少分？

是的，与之前的模拟面试来回相比，感觉更自然，尽管仍然有点僵硬和机械。嗯，我不会把这归咎于语音本身，而是归咎于系统所说的内容。它很谨慎。它非常谨慎，几乎听起来是在认真倾听我的回应，并考虑我的回应。所以我给它打6分。

6.5十分。好的，6.5十分。所以，更有用一点。

所以，看看，这两个例子已经让我开始思考，高级语音中“整体因素”有多少取决于你如何进行这些对话。对话是双向的，对吧？我训练自己与ChatGPT说话，就像在和机器说话一样。我敢打赌，我们大多数人都是默认这么做的，甚至都没有注意到，对吧？

你一开始就以不像是和人说话的方式和它说话，却期望它像人一样回应你。

没错。我习惯于提供大量信息和规定，说明我希望它给出什么样的答案。这不像人们通常的对话方式，就像超级长的段落，你只是提出一个问题，然后得到好几个段落的回复。

所以，接下来我想，好吧，让我们抛开所有这些，尝试一个真正将这个练习推向更人性化方向的提示。就像我需要一些指导支持。我最近一直在家里健身房进行上下肢训练。

我有点想提高一下强度。我该如何增加我的训练量？所以，我不是健身专家，但我确实喜欢锻炼。

好的？我想我明白了你的意思。你打算在这个高级语音锻炼方面变得更具体。

是的，其实很简单。我可以让ChatGPT扮演我的私人教练吗？因为在这些情况下，你真的希望有人在那一刻出现，帮助你，就像你刚才听到的，我给它提了一个相当笼统的问题，只是测试一个宽泛的提示会如何影响我从高级语音中获得的回复质量。

为了提高上下肢训练的强度，你可以做一些关键调整。首先，增加组数或次数，增加每次练习的组数，或者在每组中增加几下重复次数。

所以，就像你听到的那样，像这样。

啊，是的，又无聊了。很难跟上。我的意思是，我什么都记不住。

它说的完全一样。我的意思是，你可以在任何地方找到这些信息，对吧？嗯，在这个语境下，高级语音并没有真正增加任何有用的东西。所以，我的第二个尝试，我稍微修改了提示，重新定义了它的角色。

嘿，我们要开始一个全身训练。我希望你扮演我的私人教练，在整个训练过程中激励我。你明白了吗？当然。

让我们一起完成这个训练。我们将从快速热身开始，让你的血液流动起来。让我们做一分钟的跳跃运动。保持核心参与，落地时轻轻地落在你的脚上。继续努力，好的，三、二、一，休息。

干得好。所以，我真的很喜欢它给我的能量。它甚至告诉我，我有点喜欢它教练的风格。

然后，我要求它做得更进一步。我的意思是，如果它要对我大喊大叫，我都不介意。我今天需要这种激励。

少废话，用你的力量击打地板，进行俯卧撑。尽你所能，准备好了。开始。

这太荒谬了。

是的，但这很有趣。你想要一个ChatGPT私人教练吗？这就是我们在这里追求的吗？嗨。

我实际上非常乐意。有时你只是需要教练在热火朝天的时候，激励你完成最后一次练习。我的意思是，如果你想想，ChatGPT将能够将高级语音与GPT-4或类似功能结合起来，在那个时候展示它的能力。

或者，私人教练会和你一起完成你的练习，给你关于你动作的反馈，并激励你完成最后一次重复。我的意思是，这听起来很遥远，但现在，这种轻松感开始让我感到兴奋。很有用。

这个分数是多少？

分数？这里的互动有点滑稽，但我对它说的内容做出了回应。这很有趣。

它绝对做到了。所以，就个性而言，我会给它打7分。这非常酷。如果你加上我之前提到的其他功能，我很快就能看到它达到9分。

是的，这就是你如何取得成功。

锻炼。好的。所以，你真的开始进入状态了。到目前为止，我听到的是，你尝试让ChatGPT更个人化，高级语音更有可能回报你，并让你觉得它更有价值。

这就是我的经验。当你能够将高级语音推向这些方向时，我认为它真正发挥了作用。但事实证明，你可以将它推得太远。或者至少看起来是这样，因为我在某个时候把它弄坏了。

你之前说的“整个事情在某个时候会崩溃”是指这个吗？

这是那个时候吗？所以，我做了什么。我要求它讨论AI是否需要更多或更少的监管。这是一个重要的问题，需要在那些希望优先考虑AI发展的安全性和那些更倾向于让市场力量主导加速进步的人之间取得平衡。所以，请听接下来会发生什么。

由经济激励驱动的技术变革的快速步伐确实……

你能说得快一点吗？

由经济激励驱动的技术变革的快速步伐确实创造了一种社会难以跟上的局面。为了解决这个问题，我们可以实施更积极的监管，确保技术的发展考虑到社会福祉。

但是，你怎么去监管呢？对吧？就像你将要面对美国一样。

以及为个人做好准备，适应快速变化的环境，此外，促进政府、行业和民间社会的合作？这有助于……

技术进步……

跑掉了。

最后，欢迎回来。嘿，你能听我说话，然后回到这个话题吗？嘿，停下来。

想要监管，他们需要国际合作。

你能请你停下来吗？好的，谢谢。

哦，我明白了。让我们从那里继续。所以，国际……

合作可以……

停下来。

各国可以组成……同意我。ChatGPT，请停止说话。

我在这里，在倾听。让我们继续。

好的。

所以，我现在停止说话。

哦，我的天哪。

就其价值而言，就等级而言，这可能是你到目前为止玩过的最有趣的实验。

是的，这很有趣，对吧？就像人们谈论图灵测试一样。但我认为，它真正失败的地方，或者一些最滑稽的地方，我的意思是，它之所以处于领先地位是有原因的。我们不会……

缩短一些边缘。所以，然后使用这个分数来……

10分。

你对这个东西的评估，已经有了很大的转变。是的。

就像我感觉高级语音，只是围绕这个相当成熟的系统做了一些表面文章。但我又尝试了一件事，这就是事情变得真正疯狂的时候。我是一个第三文化的孩子，我用三种语言长大，英语、旁遮普语和印地语。

到目前为止，我还没有用ChatGPT的语音功能来尝试任何其他语言。但这个新模型显然也能理解多种语言和口音。所以，我玩得很开心。我让它扮演一个在温哥华出生和长大的旁遮普人。

哦，你做得很好，我的朋友。进展如何？A，今天有什么让你想和它聊天？来自温哥华的Jp？

让我们来谈谈A。

满股份的葱一样，sta rich ta all these are the c IT。这里最重要的东西是什么？主要的是……

在温哥华和家人在一起，但能够在英语和旁遮普语之间无缝切换，是的，其中有一些延迟，但我突然开始注意，因为对于多语言人士来说，有一个机器能够跟上你的语境，这非常罕见。像这样切换语言，绝对疯狂。所以，我们开始谈论一些流行的旁遮普说唱歌手。

不知道独特的传奇。

对我来说真正疯狂的是它明显拥有的文化背景。我的意思是，我要求它谈论像昌迪加尔这样的不同城市的文化，它是印度的首都。它……

个性，我说的，魅力，所有生活方式，妻子tabel roya，去中国看看，去看看合适的时尚。好的。

所以，你说的不是小事。这是一件大事。

哦，百分之百。我会说这真的很有用。我的意思是，你可以用你的全部自我来参与对话。

AI似乎理解语调。它轻松地混合了我的语言，我以前从未见过。我知道这种体验对许多其他多语言人士来说也很有共鸣。

好的，为了继续游戏，分数是多少？

我会说这很有趣。我会说这实际上也适用于意大利语。所以，就它有多么有趣而言，我会给它打10分。

所以，让我们回到一开始的水平。引发这一切的问题是，高级语音是否正在成为每个人的“斯卡拉特·约翰逊”。就像电影中她的人物一样，成为一个伴侣。

我认为它当然可以，即使现在系统中有很多保护措施，让它感觉更安全，我们在几个不同的场景中遇到了这些边界条件。是的，与理论相比，我的意思是，我们正在谈论一个飞跃，但我认为现在，我认为OpenAI将努力在保持高级语音模式的范围内。我们可以在现实时间内看到这一点，因为在alpha版本中，我们看到这些模型能够唱歌，有时甚至复制用户的语音，这绝对令人毛骨悚然，但现在它更稳定。我认为这是一个好问题，它是一个增强版的助手，还是你可以一起玩耍的朋友。

你这样描述它很有趣，因为我读到OpenAI发布了关于GPT-4的安全报告，并注意到一些用户使用语言来暗示他们与高级语音建立了非同寻常的联系，OpenAI对人们是否与这个工具建立了过于亲密、过于真实的联系感到好奇，这是否意味着潜在的危险。

我认为它绝对是，因为如果我们走到极端，它可能会变得很奇怪。我的意思是，如果我们看看最近关于角色AI的法律，一个用户在与这个权游角色扮演模型交谈后最终自杀，这无疑是一条滑坡。

所以，随着技术的不断发展，你有点要小心了。但在这一刻，看来你已经准备好承认高级语音确实带来了惊喜和延迟。

它确实有局限性。

包括我无法正确说出你的名字的局限性。

啊，是的，我说过我们会回到这个问题。所以，事情是这样的。这需要一些努力，但最终……对吧？呃，我的名字怎么发音？

你的名字发音是……但实际上……

不对。发音是……

贝沃尔。谢谢你的澄清。

这次它做得更好。上次我一直在努力。

他们最终做到了。它通过了贝沃尔的个人图灵测试。

是的，我会这么说。但是我们很快就会习惯这项技术，而且炒作周期也越来越短。所以，这种兴奋和魅力是否会持续下去，我们只能拭目以待。

TED AI Show是TED音频合集的一部分，由TED与宇宙标准共同制作。我们的制作人有多米尼克·吉拉德和亚历山大·斯。我们的编辑是班·班·张，我们的节目负责人是安·阿特克，我们的工程师是亚西娅·波拉·辛普森。

我们的研究员，事实上，检查员是克里斯蒂安·阿帕特，我们的技术总监是杰·温宁，我们的执行制片人是丽莎·马特。而我是贝沃尔·埃尔。别忘了评价和评论，我们下次再见。