We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode Sky and Our 2025 Shortcuts and Apple Intelligence WWDC Wishes

Sky and Our 2025 Shortcuts and Apple Intelligence WWDC Wishes

2025/6/1
logo of podcast AppStories

AppStories

AI Deep Dive AI Chapters Transcript
People
F
Federico Viticci
J
John Voorhees
Topics
John Voorhees: 我认为Sky与其他大型语言模型聊天机器人应用的不同之处在于它内置了约束,例如Shell脚本、Apple脚本和快捷指令。这使得它非常适合自动化任务,可以处理从简单的聊天机器人查询到复杂的自动化流程。Sky允许用户在工作时即时创建自动化,而无需像使用快捷指令那样事先进行抽象规划。Sky能够利用大型语言模型,根据用户当前的任务需求,即时执行或建议创建脚本。Sky使得创建和保存自定义Shell脚本变得非常容易,即使是不擅长Shell脚本的用户也能快速完成复杂任务。Sky可以根据窗口中的内容自动创建任务,并从iTunes搜索API提取信息,从而简化工作流程。Sky能够自动为iTunes和Apple TV的URL添加联盟令牌,并将网页和邮件的元数据合成为Obsidian笔记。Sky可以作为快捷指令、脚本和工具之间的桥梁,与其他Mac自动化工具相比,具有独特的优势。 Federico Viticci: 我认为Sky结合了大型语言模型的简易性和自动化的能力,具有很大的潜力。Sky的灵活性意味着每个用户的使用场景都可能不同,这使得它非常有趣。

Deep Dive

Chapters
This chapter explores the initial reactions to Sky, a Mac automation app leveraging AI. It compares Sky to other automation tools and highlights its unique capabilities.
  • Sky, created by former Workflow/Shortcuts developers, integrates AI with shell scripting, AppleScript, and Shortcuts.
  • It offers contextual automation, allowing users to perform tasks while working, rather than abstract workflow building.
  • Sky's ability to generate scripts based on user prompts simplifies complex tasks for non-programmers.
  • Sky's contextual awareness allows it to interact with the active application, extracting data for automation.

Shownotes Transcript

您好,欢迎收听另一期 App Stories 节目。本期节目由 Notion 和 P 赞助播出。我是 John Voorhees,和我一起的是 Federico Viticci。你好吗?你好,John。你好吗?很好,很好。你注意到我刚才做了什么吗?就像 P 与 Viticci押韵一样,有点像,有点不像。当然,当然。好的,好的。

好的,Federico,Federico。我想提醒所有正在收听的听众,您可以访问我们的网站 maxstories.net/podcasts,在那里您可以找到一个链接来给我们反馈。如果您想,你知道,告诉我们您对我们愿望的看法,分享您自己对各种事情的一些愿望,我们将非常乐意听到。因为今天我们将迎来我们愿望系列的最后一期嘉宾。

本期节目是愿望清单系列的最后一期,我们将讨论快捷指令和 Apple Intelligence,因为由于 App Intents,这些东西现在在很多方面都联系在一起了。

它们有点像是一体的,所以我们将进行一个混合类型的节目。但我认为在我们开始之前,我们需要谈谈 Sky。是的,我们确实需要。这是快捷指令的创建者 Ari Weinstein、Conrad Kramer 和 Kim Beverett 推出的新应用。

他们几年前离开了 Apple,并透露了他们一直在从事的工作,这是一个名为 Sky 的 AI 驱动的 Mac 数字系统。我在 Mac Stories 上发表了对 Sky 的深入预览,并在 Connected 上谈论了它,并在 Mac Stories 上分享了很多想法。所以,你知道,我已经完成了我的……

我的那部分工作。但也许人们不知道的是,你也能测试 Sky。是的。这是一个让你从你的角度谈论 Sky 的机会,我认为这与我的角度大相径庭,因为我们在电脑上做的事情不同。所以我想要从你这里得到关于 Sky 的第一印象,关于这个应用的不同视角。

是的。我认为对我来说,Sky 与典型的 LLM 聊天机器人应用(例如 ChatGPT、Claude 或 Gemini)真正不同的一点是,它具有内置的约束。它对 shell 脚本、AppleScript 和快捷指令等方面有约束。在某些方面,这使得它几乎像 cursor 这样的应用,但对于你的普通用户来说,

进行自动化,因为它非常适合进行各种规模的自动化,我认为从你知道你可以进行一般的聊天机器人类型的查询,你可以说我可以说,我可以快速地,我可以按热键并快速地说 Stack Overflow 是一个词还是两个词,我不记得了,然后得到答案,你知道,像这样的小问题

或者你可以创建自动化并将这些自动化用作你工作流程的一部分。这些可以基于 shell 脚本、AppleScript,以及一般的提示和快捷指令。我一直在大量地这样使用它。

并且非常喜欢它,因为它所做的是,因为你试图在工作时在情境中做这些事情,你不会做你必须用快捷指令做的那种事情,比如,让我从抽象的角度考虑我的工作流程并构建一些确定性和严格的东西,这最适合我如何完成这项任务。

而对于 Sky,因为它可以利用大型语言模型,它允许你在工作和执行任务时处于当下,然后只需要求它执行并查看结果。有时它可以做到,因为它是一件相对简单的事情,并且它有一个内置的流程,无论它与日历、提醒事项、邮件还是其他什么相关。或者它

会建议你组合某种脚本。我一直在做很多事情,我认为最强大的事情之一是,我不是一个 shell 脚本高手,但我可以进入自定义工具部分。我可以选择 shell 脚本,我可以描述我希望我的 shell 脚本做什么。我可以说,

获取剪贴板上的这个 URL,并将 URL 参数中的标记替换为这些其他内容。然后,最棒的部分是,因为它是一种自动化,我可以使用一个简单的名称保存它。下次我必须这样做时,我可以替换它。它使执行从最简单的任务到更复杂的任务都变得非常容易。我的意思是,我已经做过这样的事情,比如

打开 App Store,因为 Sky 可以根据窗口中的内容进行上下文感知,我可以告诉它创建一个任务和待办事项列表,

并在标题中使用应用的名称,并在描述中使用应用的详细信息。它就这样做了。它从窗口中提取信息,或者我可以让它,你知道,我可以,我实际上所做的是将它连接到 iTunes 搜索 API,这是一个,你知道,免费提供的 API,然后将所有这些信息提取出来。

并将其合成到我认为重要的部分,并将其放入任务中。这比我以前的方式快得多。嗯,我已经做过这样的事情,正如我所说,我找到了一个 iTunes URL,一个 Apple TV 网页上的 URL,我可以自动向其附加联盟标记。呃,你可以拍摄 Sky 截图,这是一个

带有许多附加元数据的截图形式,例如网页和电子邮件,网页是关于应用的,电子邮件来自开发者,我可以将所有这些内容合成到一个摘要中,并将其放入 Obsidian 笔记中,这样我就可以在一个地方保存所有这些数据,当我坐下来想写关于这个应用的文章时,你知道

很明显,我一直在做很多与应用相关的事情,因为我们写了这么多关于这方面的事情,我们从很多不同的方向获得关于它的信息。但是你可以将它用于所有这些事情,并将其作为你的快捷指令、脚本和所有东西以及你的工具之间的粘合剂,这与……

我们已经在 Mac 上使用的其他自动化工具非常不同。

是的,这很有趣。将它与 iTunes 搜索 API 一起使用完全是你会做的事情。我和这个 API 有着悠久的历史。是的,我知道。这是一个糟糕的 API。是的,真的很糟糕。但是,这就是 Sky 的伟大之处。我认为将 LLM 的简单性和提示结合起来,只需与

一个小机器人进行聊天,以及自动化,比如覆盖,这是我试图在故事中解释的内容,比如试图覆盖从简单的任务和简单的交互到执行 AppleScript、shell 脚本和快捷指令等事情的范围,我认为这方面有很大的潜力。我的意思是,现在,现在,

某种程度上,等待游戏开始了,看看他们是否真的能在夏天之前发布这个应用?在接下来的几个月里,我相信 Sky 和软件应用程序作为其后端使用的公司将推出新的模型。因此,看看从我们现在拥有的这个封闭的 alpha 版本

到应用需要向公众发布的阶段会发生什么,将会很有趣,他们是否会有更多的集成?例如,MCP 在我们拥有的版本中不起作用,特别是我们喜欢使用的 Zapier 版本的 MCP。因此,看看将会很有趣,我期待更多的人能够上手 Sky 并获得他们的印象,因为它是那些应用之一,因为它非常灵活,每个人的用例都将不同。

在我看来,这使得它变得有趣。——是的,我很想看到一个设置,让第三方开发者可以将钩子贡献到他们的应用中。

Sky 可以使用它与一些 Apple 应用所做的事情类似,或者也许是一种让用户分享他们构建的内容的方式。我的意思是,我们一会儿会谈到快捷指令,但事实上我可以进入自定义工具并使用提示来创建一个简短的 shell 脚本为我做一些事情

是一种耳目一新的体验,因为不幸的是,Mac 上的快捷指令很多时候都存在错误。我觉得我与编辑器对抗的时间比以往任何时候都多。而如果我只是打开 Sky 的偏好设置并请求一个脚本,我就会得到我想要的东西。它运行良好。

我开始运行了,这真的非常好。这也是我使用 shell 脚本可能比连接我现有的快捷指令更多的原因。是的。好的。感谢你的第一印象。谢谢。

本期 App Stories 节目由 Notion 赞助播出。Notion AI 是一个由你的工作和一个一体化场所提供支持的全能 AI。它会自动记录会议记录,即时找到你需要的精确内容,并为你起草详细的文档。此外,你还可以与最好的 AI 模型聊天。Notion AI 刚刚为团队提升了两倍的强大功能,使其成为最好的工作 AI 工具。

Notion 是一款很棒的产品,因为它允许你将所有信息收集在一个地方,并以各种方式查看它。此外,你还可以与所有同事协作。它是一种真正能做到一切的工具。有了 Notion AI,它真正将它提升到了一个新的水平,因为 AI 允许你做一些事情,比如创建复杂的自然语言搜索,从会议记录等内容生成新内容,你可以从中提取

任务或总结每个人在会议上所说的话,并与无法参加会议的同事分享。在这一点上,它真的是一个非常了不起的产品,可以做各种事情。此外,它还有,你知道,还有新的日历和电子邮件集成。所以它真的是一个完整的解决方案,可以帮助你完成工作。

有了企业搜索,你可以使用几个关键词来提出一个开放式问题,以便在所有连接的工具中获得单一的强大搜索体验,将分散的知识统一到你的工作场所中,再加上对结果的快速 AI 摘要。

你也可以搜索跨应用,包括 Microsoft 生态系统中的应用、Google Workspace 和 Salesforce 等常用业务工具。它甚至可以在 PDF 中搜索。

Notion 内置了顶级 AI 模型。从最适合任务的 AI 模型中进行选择,例如 GPT-4.1 或 Cloud 3.7 Sonnet,并直接在 Notion 中与它聊天。无需单独的订阅或标签。Notion 被超过一半的财富 500 强公司使用,使用 Notion 的团队发送的电子邮件更少,取消的会议更多,并且在搜索工作时节省了时间。

他们减少了在工具上的支出,并且让每个人都保持在同一页面上。像 OpenAI、Ramp 和 Versal 这样发展最快的公司使用 Notion AI 来加快处理速度,并帮助他们的团队保持领先地位。立即查看 Notion,这是目前最好的工作 AI 工具,网址为 notion.com/Notion。

AppStories。所有字母都小写,n-o-t-i-o-n.com/AppStories,立即试用功能强大的多合一 Notion AI。当你使用我们的链接时,你就是在支持我们的节目,n-o-t-i-o-n.com/AppStories。感谢 Notion 对节目的支持。让我们谈谈快捷指令和 Apple Intelligence。好的。

好的,所以令人惊讶的是,至少对我来说,我对 Apple Intelligence 的愿望比对快捷指令的愿望更多。好的。如果有什么不同的话,因为我分享的关于快捷指令的内容,你知道,多年来我对快捷指令愿望清单的内容一直非常一致。是的。而我希望的事情从未实现。所以一方面,就像我可以说,好吧,你可以回顾我们之前的快捷指令愿望清单节目,其中许多事情仍然需要发生。

从 Mac 上的个人自动化到更多调试工具,再到更好的稳定性,我不知道,我提到了很多事情。让我问你这个问题,Federico。你认为鉴于这一历史,长期未实现的愿望的历史,你认为现在 App Intents 成为焦点后,Apple 是否已经将快捷指令搁置了,并且不会发生太大变化?

我不知道。是的,有点像,也许吧。我确实有点担心。我确实担心。我认为 Apple 多年来确实使 Mac 上的快捷指令,尤其是编辑器,有所改进。它更稳定了。它更快了。它更容易使用了。我个人发现 Mac 上的快捷指令比 iPadOS 上的快捷指令更容易使用,例如。是的,当然。我担心如果今年……

WWDC 的重点是重新设计,快捷指令团队将再次实施重新设计,而不是再次解决底层限制,特别是对于高级用户而言。而且我认为我也理解这一点,考虑到优先级应该是 App Intents 和 Apple Intelligence。

鉴于目前的科技格局和 Apple 的地位,我认为我会理解。我的意思是,我很想看到高级用户的快捷指令功能,但我也会理解为什么这对 Apple 来说是一个利基市场,现在它不是一个优先事项。没错。尽管我认为鉴于 Apple 在 App Intents 和 Siri 上所处的位置,如果他们让它工作,如果你……

正在使用这个,你知道,更智能的 Siri 来一次性在多个应用中做一些事情,并且它有效,我真的很想能够将其保存为快捷指令。我的意思是,我认为这两个方面可以齐头并进,因为一遍又一遍地发出相同的语音请求

不是很好。我的意思是,如果它是更智能的 Siri,那就太好了,但如果我必须每天一遍又一遍地重复相同的咒语,那么我可以将其转换为一个快捷指令,我可以点击或点击一个按钮,在某些情况下会更好得多。是的。是的。让我们拭目以待。我不知道他们将如何处理快捷指令,但我确实想谈谈 Apple Intelligence。

好的。而我最想在 Apple Intelligence 中看到的第一件事是支持让开发者实际使用他们拥有的 Apple 基础模型。所以是 AFM。根据 Mark Gurman 的说法,这是 Apple 计划今年向开发者开放其大型语言模型的事情。因此,如果人们不知道,Apple 确实有一个大型语言模型。简称为 AFM。

它有两个版本,设备上的 AFM 和服务器上的 AFM。因此,服务器上的 AFM 是位于私有云计算上的一个。它是

这是在 Apple 的集群上运行的云托管的基于服务器的 AFM 版本。还有一个设备上的 AFM,这是 Apple Intelligence 的设备上处理。这是一个 LLM。它目前不驱动聊天机器人,如果你正在考虑 ChatGPT 或 Cloud 或那种东西。但它确实为诸如摘要之类的设备上处理提供动力,

Genmoji,照片应用中的搜索,这类事情发生在一个位于你设备上的小型模型中。现在,该模型用于各种任务,但仅限于 Apple。而谣言表明,我认为这是一个好主意,也是我想看到的事情,那就是 Apple 将开放

AFM 给第三方开发者。这就是 Mark Gurman 所说的全部内容,Apple 将向第三方开发者开放其模型。我认为这是一个好主意,我希望它能实现,特别是如果 AFM 有重大更新的话。所以我确实知道 AFM 定期更新。例如,在过去的几个月里,AFM 进行了更新,以增加对 Apple Intelligence 推出的语言的支持。

因此,即使我们去年只从 Apple 的研究人员那里获得了一份关于 AFM 的技术白皮书,你也可以阅读它。它在线上。有一份 Apple 研究人员的 PDF 文件你可以阅读。

我很想知道是否会有一个主要的新版本 AFM,比如 AFM 2 或其他什么,可以被第三方开发者用来向他们的应用添加 LLM 处理,而不是必须为所有事情都使用 ChatGPT 或 Google 或 Cloud。对。我不是说 Apple 将推出一个能够支持类似聊天机器人的功能的 LLM。

我认为 AFM 不是一个大型模型,它将支持,特别是设备上的 AFM。它不是一个大型模型。它只有几 GB。就像,我不知道,像 30 亿。它是一个 30 亿参数的模型吗?这是一个非常小的模型,可以在 iPhone 上运行,让你了解一下。

但它是一种可以用于摘要的模型。因此,如果你有一个应用,比如说你正在制作一个 RSS 阅读器,并且你想要提供一种总结 RSS 中文章的方法,那么现在你理论上可以以一种注重隐私的方式在本地免费使用它,只需使用官方的 Apple 框架和 Apple API 即可。而且速度也更快,因为它不需要连接到互联网。它将是离线的,因此不需要使用互联网。

还有一个论点是,Apple 也可以开放 Web API 来使用更大的……

更好的 AFM 服务器版本。我不相信 Apple 将为第三方开发者推出私有云计算 API。很高兴被证明是错的,显然。我可以想象它有一天会发生,但我想目前它几乎没有被使用。我认为在这种情况下,他们可能会担心负载以及其他各种事情。是的,但一个小型版本的 AFM,让我们称之为 AFM2。是的。

我甚至可以想象一个提炼版本的 AFM,它就像 AFM,但经过 DeepSeq、QAN 或 Mistral 或任何其他开放权重模型的训练。但一个新的 AFM 版本可以在设备上运行,并且可以执行诸如摘要、图像分类、基本搜索等操作,就像那种小型设备离线私有内容一样。

他们应该这样做。如果它运行良好,作为开发者,你应该考虑一下。是的,我也这么认为。尽管我认为从政治上来说,Apple 很难使用中国市场

模型来提炼他们的模型,我认为他们可能会。而且,你知道,这为像 Mistral 这样的东西提供了理由,也许吧。我的意思是,可能还有一些其他的东西可以使用。我也看不到他们使用 Meta 的任何模型,仅仅是因为公司之间的竞争。你知道,我将深入探讨一些关于快捷指令的内容,Federico,因为我们刚刚谈到的 Sky 中的一件事

是在脚本编辑器中组合自定义工具时,使用模型生成你的脚本并进行测试的能力。而且,你知道,自从快捷指令首次出现在 Mac 上以来,Apple 就一直在 Mac 上运行 shell 脚本操作。

但如果它内置了一个类似的工具,无论它自己的模型还是另一个模型,你都可以从中获得一些帮助来组合该脚本,那就好多了。而且,你知道,我还要更进一步。我觉得一个 AI 开发者

侧边栏工具,一个辅助应用,类似于 Cursor,许多开发者用来编写代码的应用,可以与快捷指令一起工作。拥有一个专门针对快捷指令进行训练的东西,它知道你设备上的所有操作、所有参数,并且可以建议完成事情的方法,你可以对它说,

我想能够获取 Safari 中的所有标签并将它们转换为 Markdown,然后将它们发送到 RSS 客户端。我需要使用哪些应用和操作,以及我该如何组合它们?我认为这将是一种极好的方式,可以

将人们从初学者阶段提升到构建快捷指令的更高级或更高级阶段。我的意思是,我在使用 Claude Opus 4 时发现的一件事是,我碰巧,我为此俱乐部写了一篇文章,但我周末花了一天时间只是摆弄编写一个脚本,该脚本获取我

在我的 RSS 中加星标的所有项目,并将它们存放到 ReadWise Reader 中的特殊格式的文档中。这是一个我基本上通过反复试验与 Claude 一起构建的 500 行脚本。我认为如果你在快捷指令中有一些可以帮助你的东西,它将极大地帮助人们更加舒适,并以类似的方式更深入地挖掘快捷指令。

是的,我真的很喜欢 Zapier 对其副驾驶功能所做的事情。因此,当你现在访问 Zapier 时,如果你想创建,特别是如果你想创建像一个复杂的多步骤自动化,你可以只键入你想要的内容。他们拥有的副驾驶,我不确定它是否基于 Cloud 或其他什么。我认为它是基于 Cloud 的,但它已经被训练了。它已经被训练用于 Zapier。

它可以为你组装自动化的框架。它在很大程度上简化了在 Zapier 中创建自动化的过程。它甚至会指导你完成多个步骤。就像它告诉你,好的,现在去那里,填写你需要的资料,然后回来。这是一个基于自然语言的自动化组合的演练,

极大地简化了在 Zapier 中创建自动化的过程。我非常想在快捷指令中看到同样的东西。即使我确实很了解快捷指令,但有些时候我的脑海里会有这个想法,所以从一个长长的想法到……它基本上就像空白页综合症。如果你是一个作家,如果你是一个快捷指令创建者,那么问题也是一样的。所以……

在快捷指令中有一些 AI 的帮助会大有帮助,我认为。但我不知道 Apple 是否有一个经过快捷指令训练的模型,鉴于他们在其他所有方面都落后了。我知道,我知道。但他们应该这样做,我希望他们在未来考虑这一点。本期 App Stories 节目由 P 赞助播出,这是一个不同类型的饮水应用。通过养成一个简单的习惯,每天都能感觉更好。

大多数饮水应用都会要求你费力地追踪你的摄入量。Pee 采取了一种更简单的方法。当你小便时只需点击一个按钮即可。就是这样。当你最需要的时候,你会收到饮水的提醒。这个小小的习惯可以帮助你了解自己的身体。听起来很奇怪,但它确实有效,用户也很喜欢它。

Apple Watch 应用也是最受欢迎的应用之一。在去洗手间的路上几秒钟内登录,并直接从你的手表表面查看你的饮水量。你甚至可以通过 iCloud 私下添加朋友,这样你们就可以互相提醒补充水分。当你懈怠或萎靡不振时,从爱人那里得到一个提醒感觉很棒。Pee 由一位独立开发者精心打造,他关心周到的设计、隐私以及帮助人们保持水分。这是一个免费下载。

所以今天就试试吧,看看仅仅一周后你感觉有多好。坚持下去,你会发现它不仅仅是补水。它是一个充满周到功能和惊喜的完整体验。

在 App Store 中搜索 Pee Water 应用。这里有一个针对 App Store 听众的有趣促销活动。下载 Pee 后,你可以通过应用向开发者发送秘密消息。如果你是在前 10 名用户中的一员,你将获得一年的高级功能。Pee,提升你的饮水习惯。感谢 Pee 对节目的支持。在 Apple Integra 中,我很想看到更多第三方集成。

除了 ChatGPT 之外,我还想看到一个 Google Gemini 扩展。我还想看到一个 Anthropic 扩展来使用 Cloud。我认为将 Cloud 与 Apple Intelligence 一起使用,将 Cloud 与写作工具一起使用,特别是考虑到,你知道,Cloud 是散文和英语的最佳模型。它在意大利语中也非常好。我不知道其他语言怎么样。Cloud 是写作的最佳模型。我希望 Apple Intelligence 成为一个提供者。

所有这些东西,你可以免费使用它们,或者如果你有帐户,你可以使用你的帐户登录,也许你可以将不同的 LLM 用于 Apple Intelligence 中的不同任务。看起来 Google Gemini 几乎已经锁定 WWDC 和 iOS 了。对。26。它不是……

它听起来不会被称为 19。但我希望 Apple Intelligence,特别是现在 Apple 落后了,他们不会拥有自己的大型语言模型,为什么不拥抱第三方生态系统呢?

我仍然希望 Apple 能收购 Anthropic。Anthropic 也许太贵了,也许太大,你知道,对 Apple 来说太大的公司,现在无法吞并。但它在代码方面也非常好。Anthropic 的问题之一是资源,因为你很快就会用完代币。我遇到了和你一样的难题,就像,哦,我们只是无法访问我们的服务器。你必须稍后再回来尝试一下。

如果你正在做某事,那是一个问题。是的,听起来 Anthropic 的人……

不惜一切代价进行培训。他们在培训和准备新模型方面是最好的之一,但他们总是难以大规模地实际交付推理。他们只是没有足够的资源。Anthropic 经常宕机,API 的中断次数比其他提供商更多。所以他们可以使用一家拥有……数万亿美元的公司。数万亿美元的公司,比如 Apple。

我不知道,也许它太大了,你知道吗?是的,这就是我的想法。好的,让我再给你一个快捷指令的愿望,那就是我希望能够根据

根据操作的类型以及提供操作的应用进行搜索,所以我想能够说找到我找到与 RSS 相关的操作,来自 Unread 或我不知道我做了

我觉得如果安装了很多应用程序并且有很多重叠的操作,搜索和过滤功能将大有帮助。有时很难找到你想要的那个,或者找到最好的那个,或者只是查看你所有的选项,而不仅仅是无休止地滚动浏览应用程序的冗长列表。这是一个不错的功能。我将选择……

我一直提到苹果拥抱第三方生态系统的想法。我提到了基于云的模型。现在我要提到本地开源模型。我希望能够在我的设备上安装本地模型,尤其是在手机和平板电脑上,使用一个统一的框架,不需要我一遍又一遍地在不同的应用程序中下载相同的模型,相同的

3GB文件。只需让我下载一次,然后在我的操作系统中、多个应用程序中从一个共同的数据源使用它。我基本上想到的是一个类似的系统,你可能会觉得这听起来很奇怪,但请和我一起看看。我想象中的系统类似于你在 iOS 和 iPadOS 上安装字体的方式。

你下载并安装一次字体,它就可以在任何地方使用。现在想象一下,如果你可以下载一次开源模型,它就可以在任何地方使用。所以想象一下,有一个模型选择器作为 UI 元素,让你可以选择你 iPhone 或 iPad 或 Mac 上已安装的本地模型之一。

而无需浪费空间和互联网连接来一遍又一遍地下载相同的本地模型,因为它们都在不同的位置。更进一步,苹果应该用他们自己的 MLX 框架来做这件事。MLX 框架是一个用于优化 Apple 硅芯片上本地安装模型的框架。

他们应该完全有一个 MLX 应用程序,就像一个小目录,不需要你去 Hugging Face(一个流行的第三方网站,开源社区可以在其中发现开源模型)。只需有一个官方的 MLX 目录,你可以在其中找到社区的所有 MLX 模型,安装它们,并使它们在你的设备上随处可用。也许这是痴人说梦,因为……

你知道,专有画廊的想法可能与开源的想法相悖。但我认为苹果有一种方法可以简化这一点并拥抱开源,同时也使开发人员和消费者更容易安装本地离线 AI,而无需浪费多个千兆字节的

互联网连接。是的,是的,我同意。我的意思是,我认为拥有这种应用程序的想法非常引人注目,因为它可能有点像字体应用程序。我认为拥有一个画廊的想法,你可以在其中选择一些可以工作的东西,你知道,它甚至可以告诉你它是否可以在你的

特定的 Mac 型号上运行,因为你是否安装了足够的内存,诸如此类的事情,也可以用来管理你已经安装的内容。也许你需要释放一些空间。所以你会说,好吧,我要去掉这个,因为它比另一个大。我不再经常使用它了。我认为这是一个非常非常好的主意。我希望快捷指令 Federico 有一种方法可以将它们可视化,这样我就可以在某种思维导图中看到它们,并且

特别是如果这是一个快捷指令,也许我从我的 iPad 上删除了一个作为依赖项的应用程序,然后我在我的 iPhone 上构建了快捷指令。向我展示哪些依赖项丢失了。向我展示。我的意思是,是的,当你尝试运行它时,它会告诉你没有这个应用程序。你可以有一个按钮,上面写着“转到 App Store”。

我想要一些比这更直观的东西,它可以让我大致了解,哦,你必须先安装这些东西,然后这个才能工作。或者换句话说,它有一些 Mac 依赖项,它永远不会在这个设备上运行。一些真正使快捷指令的这一方面更容易的东西。是的。让我们看看。我还有什么?如果要使用 Apple 设备上的 Apple 模型的 AFM 框架,

我很想看到一些快捷指令操作。我知道你可能无法与这个模型聊天,特别是如果它是一种仅针对特定任务优化的模型。比如,

我的意思是,如果它是一个针对例如摘要优化的模型,你试图与它聊天,你不会得到回应。你会得到你问题的简短版本,因为它只做摘要。这就是我所说的专业化。

但我希望看到这些作为快捷指令操作。如果可能的话,给我一个在快捷指令中使用 Apple Intelligence 摘要操作,它将获取我的文本并输出该文本的较短版本,这样我就不必为此类任务使用第三方 LLM 或第三方 API 了。因此,拥有这种设备上的自然语言处理,即使只是针对某些任务,我认为它将极大地促进

在所有设备上开启一种新的快捷指令创建方式。是的。让我在开启新型快捷指令方面更进一步,Federico。那就是将快捷指令开放给 MCP。因为,你知道,我们看到很多,Sky 就是一个很好的例子,自动化越来越多的通过网络发生,因为这就是 AI 模型的所在地。MCP 是一个基于 Web 的平台

用于将这些模型与数据库连接的协议。如果你能找到一种隐私优先的安全方式将快捷指令连接到 MCP,这将以一种非常有意义的方式将整个世界打开到设备上的快捷指令,因为我确实有,你知道,我的一部分感觉像

快捷指令正被网络和 AI 工具抛在后面,因为我们只是没有智能 Siri。应用程序意图可能有一天会实现。今天还没有。到它实现的时候,还会有人关心吗?我认为这里有一个时间问题。开放快捷指令以更友好地支持大型语言模型将极大地帮助弥合这一差距,并保持对快捷指令的兴趣。

同时。是的。好吧,我想我的 Apple intelligence 和快捷指令列表就这些了。我真的不知道该期待什么。我认为这将很有趣。我看到一些人说,不,苹果今年将对 Apple intelligence 保持沉默。我认为他们不会。我认为他们不会再犯同样的错误了。我认为他们不会炫耀应用程序意图。我认为他们不会预先宣布尚未准备好的东西。

但我确实感觉我们会看到 Apple Intelligence 功能。我不知道,只是我个人的理论,我认为苹果很快就会向第三方社区进一步开放。

这也是他们目前可以做的为数不多的几件事之一。是的,他们应该依赖 MLX。MLX 是苹果在 AI 领域的一个亮点。我认为,正如你所建议的那样,他们可以利用它做一些事情,这今年在 WWDC 上将大有帮助。是的。

是的。好吧,我们完成了,John。我们有了愿望清单。天哪,我们有这么多愿望。让我再说一遍。对于 iOS、iPadOS、macOS、tvOS、watchOS 和 visionOS,26。

哦,是的。我正在努力适应它。我正在努力适应它。是的,适应它。因为,你知道,开发人员可能仍然必须处理其他数字。有可能在幕后他们仍然必须处理这些单独的数字。但你知道吗?这将使我们的生活更轻松。所以这很好。非常好。

好了,大家,感谢您本周加入我们。当然,本集由 Notion 和 P Federico 提供赞助。我下周会回来,我们也会回来。

来自 WWDC。不要期待星期一有剧集。在本周我们将采取一些不同的做法,因为有很多事情要做。但我们会带着一些有趣的东西回来。与此同时,你可以在 MacStories.net 上找到我们。我们也在社交媒体上。通过搜索 @VITICCI 找到 Federico。那是 V-I-T-I-C-C-I。而我是 @John Voorhees。J-O-H-N-V-O-O-R-H-W-E-S。

下周再聊,Federico。再见,John。