We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode Claude AI Can Now Control Your Computer for Tasks

Claude AI Can Now Control Your Computer for Tasks

2025/3/24
logo of podcast LLM

LLM

AI Deep Dive Transcript
People
S
Sam (Anthropic 研究员)
播音员
主持著名true crime播客《Crime Junkie》的播音员和创始人。
Topics
播音员: Claude AI 的最新升级版能够控制电脑执行任务,这在人工智能领域是一个巨大的突破。它能够自动完成各种任务,例如填写表单、创建网站、规划行程等。虽然在执行任务的过程中可能会出现一些分心行为,但这并不影响其整体的强大功能。未来,Claude AI 将能够执行更复杂的任务,例如完整的营销活动和应用程序构建。 总的来说,Claude AI 的出现标志着人工智能技术发展的一个新阶段,它将极大地改变人们的工作方式和生活方式。虽然一些人担心 AI 会取代人类的工作,但我认为 AI 更多的是将人类从繁琐的任务中解放出来,让人们能够专注于更高层次的工作,例如系统架构和战略规划。 Sam (Anthropic 研究员): 我们很高兴能够推出 Claude AI 的电脑控制功能。这是一个早期版本,但它已经能够完成一些复杂的任务,例如填写供应商请求表。在这个演示中,Claude AI 能够在不同的应用程序之间切换,获取所需的信息,并自动填写表单。这展示了 Claude AI 在自动化办公方面的巨大潜力。 我们相信,随着技术的不断发展,Claude AI 将能够完成更复杂和多样化的任务,为用户带来更高的效率和便利。我们也在不断改进 Claude AI,以提高其稳定性和可靠性,并减少其分心行为。

Deep Dive

Shownotes Transcript

Anthropic刚刚发布了Claude 3.5的升级版,并赋予其控制电脑的能力。这简直令人难以置信。有趣的是,他们在X上发布公告时,展示了新模型的基准测试,以及3.5 Sonnet的升级如何使Claude更强大、更有效率。但我真正兴奋的是……

他们宣布的所有功能,他们也为Claude的API添加了一些功能,让它可以实际控制你的电脑。我想演示一些例子,向你展示它的功能。我认为这绝对令人难以置信。我们从苹果公司关于苹果智能的声明中也听过同样的话,但他们基本上表示这被推迟了,而且一段时间内不会起作用。所以我们实际上并没有看到这一点。其他公司也为此工作了很久。在我看来,Claude……

Cloud是第一家大规模推出这项技术的公司。这些演示绝对令人难以置信。

让我们来看看。在此之前,我想说的是,如果你有兴趣使用这些AI工具来发展你的业务,帮助你的工作,或者开始一个在线副业,我很乐意让你成为AI Hustle School社区的一员。在这里,我每周都会发布独家内容,介绍我如何使用AI工具赚钱,以及……

我正在做的所有副业,以及一切是如何运作的。每月19美元,价格最终会涨到每月100美元左右。所以,如果你有兴趣加入这个社区,描述中有一个链接。我很乐意让你成为其中一员。让我们来看一些演示。我想谈论的第一个演示,我实际上会播放出来,我会讲解他们正在做的一些事情。但这绝对令人着迷。Claude正在控制一台电脑。看看这个。我是Sam,我是Anthropic的研究员之一。我们认为电脑使用对我们来说很重要,已经有一段时间了。所以今天我们将讨论我们拥有的一个非常早期的电脑使用版本,并讨论一个我们认为它将有用的代表性例子。我们将……

今天进行一个简短的演示。在这个虚构的演示中,一位客户(在本例中为Ant Equipment公司)找到我们,要求我们填写一份供应商请求表。我需要填写此表格的数据分散在我的电脑上的各个地方。我们将要求Claude查看电子表格,检查Ant Equipment是否在其中,如果不在,则转到CRM并尝试在那里查找更多信息。

一旦它拥有这些数据,Claude就会为我们填写表格,并有望将信息传输到供应商表格。首先,Claude将开始截取我的屏幕截图,并很快意识到Ant Equipment公司实际上并不在电子表格中。所以它首先切换到CRM并搜索我们感兴趣的公司。

好的,这绝对令人惊叹。在演示的其余部分,它能够访问谷歌浏览器,在那里进行搜索,找到这个供应商数据库。它找不到它。他们基本上是在提示它,或者它基本上是在其他地方搜索和找到它。他们正在填写整个供应商请求表。整个过程在他的电脑上完全自动化。这绝对令人惊叹。他们还提供了一些其他的例子,其中一个非常有趣的是由……

所以,是的,我认为这是一个很好的问题。

所以这太棒了,因为我们现在在这些提示中,实际上让它完成了所有这些多步骤的操作,它实际上是在你的电脑上完成事情,你正在指导它,比如去这个应用程序,做这个,去那个应用程序。他展示了一个很棒的演示,我实际上访问了网站,而且……

它上面写着:“请为你创建一个90年代风格的蒸汽朋克个人网站。包含动画GIF、访客计数器、鲜艳的背景颜色和基本的“正在建设中”横幅。编写此网站的HTML代码。”好的,我们现在进入代理阶段了,因为他从未告诉它输入该提示。他只是说……

创建一个90年代风格的个人网站。它想出了一个提示,包括鲜艳的背景颜色、访客计数器、“正在建设中”横幅、HTML代码等等。它能够在Claude的Artifact侧边栏查看器中完成此操作。它显示了网站的外观。但是网站上出现了一个问题,那就是……

缺少一个文件按钮,有些东西并不完全是他想要的。所以他能够进一步提示它,他说,看看截图,我可以看到文件列在下面,或者对不起,我想他说,他说只需修复错误,Claude一步一步地进行了修复。这很有趣,因为当Claude执行所有这些操作时,侧边栏会列出它正在做什么以及原因,这非常好。它还会列出……

鼠标在屏幕上移动到的位置(即精确坐标)以及它单击的内容。所以,你实际上拥有一个关于它做了什么、单击了什么、说了什么的详细记录。你可以跟踪它的整个过程。如果出现问题,你可以看到原因。但它实际上能够修复他在网站上看到的错误,并且……

能够为他完成这个可以运行的网站。所以对于代码来说,绝对令人惊叹。其他人将其用于更简单的任务,但这仍然很有趣。她基本上想帮助她计划一次旅行,或者计划有人来访,她想在日出时去看金门大桥之类的事情。所以它想出了一个提示。它搜索了谷歌。它找到了时间和地点,并将其添加到她的日历中。它做了一堆有趣的事情。所以这很酷。

最后一个很搞笑。好的,又搞笑又诡异。所以我想谈论的最后一件事是,他们基本上使用电脑来……

完成一些任务。当它正在完成这些任务时,他们说在尝试处理一些事情的过程中,它只是打开了一个新标签页,访问了谷歌,搜索了黄石国家公园,然后开始浏览黄石国家公园的照片。

这里的推测是,当这些东西被训练时,它们是从人们实际做的事情中训练出来的。所以,当我们正在进行一个项目时,我们经常会分心,然后去查看黄石国家公园的一些随机图片。然后我们,哦,好吧,伙计,我得回到我的事情上。或者,你知道,你在Instagram上滑动几分钟。你会想,哦,伙计,我得回到我的项目上。所以无论如何,这很有趣,因为在这个训练数据中,似乎有……

人们工作懈怠的例子,现在AI模型也在这样做,这很有趣,因为他们实际上在推出一些代码和更新时,基本上阻止它分心和休息,现在一些人说这很诡异,因为这就像,哦,我的天哪,即使是AI模型也对我们的任务感到厌倦,他们想休息一下,我的意思是它只是在做它的训练数据所教它做的,但是肯定有一些有趣的……

有一些有趣的偏离主题的事情正在发生。总的来说,这绝对令人惊叹。这是我们第一次看到AI模型的一些重大更新,它实际上能够控制你的屏幕并完成任务。我认为这对未来意义重大。他们展示了一些例子,比如,哦,它可以编写一些代码,它可以计划一些旅行……

这东西将能够执行整个营销活动。它将能够执行某些应用程序的整个构建。这些东西在他们的演示中只会越来越好。你知道,他们说,我们希望这些东西在接下来的几个月里会变得更好。我们正处于这样一个阶段,我们的所有任务都将能够完成。现在,这很有趣,一方面,

仍然有人在指导它做所有事情,对吧?这个人仍然没有脱离这种情况。所以我认为这很有趣,未来的工作,有些人说我们会完全自动化,但与此同时,我认为人类和人类的创造力在不断变化。正因为如此,我们总是需要一个人来制定一个流程,来找到一个优势,来找到一个套利机会,对吧?这基本上就是我整个职业生涯都在做的事情,那就是弄清楚……

营销中的套利机会是什么?因为这是我的背景。或者构建软件中的套利机会是什么?我认为这需要大量的创造力。你必须身处系统之中。你必须了解人们在谈论做什么、构建什么、什么东西是趋势。也许我们会达到AI模型可以做到这一点的地步,但我认为这还需要一段时间。所以我确实认为我们将获得能够完全自动化任务和工作的AI模型。但我认为……

人们只会做越来越高级的事情。它基本上,就像我两年来一直在说的那样,AI不会取代人类。人们只是,嗯,变成了系统架构师。你的工作是设计AI系统,设计你的代理,决定你的所有代理都在做什么。就像一个管理员工的经理一样。只是每个人都被……

安排到某种管理职位,设计这些AI在做什么,管理它们,并处理它们正在做的事情,所以……

这是一个令人兴奋的时代。这一切都太疯狂了。正如我提到的,如果你有兴趣使用不同的AI工具赚钱,我很乐意让你成为AI Hustle School社区的一员。描述中有一个链接。来自他们创办的价值1亿美元的公司到全新公司的令人难以置信的人。你将获得各种各样的观点和反馈,以及帮助你成功的绝妙想法。非常感谢你收听播客。如果你喜欢这一集,请留下评论,我们下次再见。