S7E10 [EN]科技周会-AI Expo Experience, Machine Unlearning...
28:05 Share

大家好,欢迎来到我们周末的科技节目的最新一集。今天我们将与您一起做一些与您相关的短片,在 4 月份发生的新闻,并且与我们刚刚参加过的 AI 展览会,

是非常有趣的經驗,看到 AI 在非常不相關的科技業界中,也在防守和能量方面的更廣闊的領域中扮演重要的角色。這讓我先介紹我的超棒的主持,Tracy。Tracy,你對 Apro 有什麼感受?

是的,我认为已经完成了,所以我们见过来的时间已经是一个月了。我去过学校和 DC 的一些企业活动,我正在准备下来的学生旅行到华为,还有我的夏天学生职,所以很忙,但是我看到了很多有趣的事情。

哇,很棒,这组织非常丰富和有趣。

我们先来看看这些题目吧我看到您分享了《华盛顿街头》的文章关于企业资金的设计您可以先给我们一两句总结吗然后我们可以谈谈我认识这篇文章几天前,我认为它在 9 月 29 日出版

10 天前的事实是 AI 公司目前已经赚了亿多美元如果您今天在读新闻的话我认为 Mistral AI 是另一家开放式的大型语言模型公司他们的预测是超过 6 亿美元

比起去年 2 亿美元的价值所以这很疯狂这篇文章重点是说很多公司没有很多收入所以我们是否在大波动或者不是我认为这根据评估也有很多例子比如有一个公司叫 IMBU 我不确定你们听过的 IMBU

所以創辦人是很想像性的他們想建立一些智能機器像是下一代電腦他們花了很多錢甚至從一些重要的資料 例如 Eric Schmidt 我們在 DC 見過但是他們真的沒有生意所以很難說

他们还提到一家公司叫 Cognition AI,或者是 Infliction AI,所以创建者就离开了这家公司,然后加入了 Microsoft。哦,对,我听到消息。是的,这太不像话了,他们立即成为了 Microsoft 的工作人员。是的,我认为这是现在的一种趋势,你现在可以看到,

很多的,尤其是在初步的企業,看來他們只是不能繼續保持大型的玩家,像是大多數是 Microsoft 和 Meta,所以他們就開始消失了,就像是一大部分的團隊

我刚才给您发了一个在频道中的连结我读了许多推特 听了许多 Branda Startup 的 Podcast 希望我能和一些 Branda Startup 的职员一起喝咖啡当我来到北约因为看起来他们有很大的热情

哇,我正在看一些他们的网站上展示的示范。哇,非常厉害。我们必须要留意这家公司。对,有一个类似的,就是 Grok。我们认识过 Grok 在前一集的几次。这次在 DC 的会议中,

我不知道你是否在這個節目中,我只是去過一個 15 分鐘的示範,由創辦人自己,我相信他的名字是 Johnson Ross。所以,是的,它完全只是示範,他只談到工作,我會預計它是他們最能力的 GPT 模型,他們的 LPU,

在 15 分钟内谈话中

這有點奇怪,但是也非常印象深刻,因為我發現了一件事,就是 LPU 主動機的回應速度,它可以直接打開,因為它是女性的說話聲音,所以我會說,你打開它,在語言中,LPU 主動機會提出新的問題,

在一分钟之内更新了新的答案非常令人印象深刻那如何于答案的质量?是否比 GPT-4 或 Lima-3 更好的?我猜他可能只是用 GPT-4 的原始版本我从答案的真实内容中可以看到他们仍然有点像在表面上的超级明显

我认为他计划过来,他开始问:如果 AI 开始行为像 AGI 那样,基本上就有同样的能力,应该人们会否不关心,应该他们开始对他们来说是人?

我可能是一个不好的词,但这就是我的主意。AI 很有趣,她开始不直接回答问题,开始谈论关于关于关于一些关于关于一些关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于关于

所以可能是我们已经到达了的天空了。是的,我想因为它不想让我们感觉受伤。

也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也对,也

想要一些技巧来写更好的指示结果上,网站变得很受欢迎他说,有超过 2 亿人使用了他的网站

他们提供了一些小资金,可能是 10,000 美元,他们发展了一些设计工程课程,他们想将这些设计工程卖给公司,为训练材料,教训职员如何写更好的设计,希望增加生产能力。所以我的问题对他来说是,

你认为,几年后,工程工程会离开吗?因为基本上,公司像 OpenAI,他们可以只剪辑用户的工程,然后改善它。所以,这可能是一个自动的方式,用户不需要学习综合设计工程。你能猜到他的答案吗?嗯,哇,很难猜到。或者,你如何回答这个问题?如果你是这样的公司的创始人。

还有什么是短信的问题?你认为传输工程会变得不适当吗?因为公司像 OpenAI 他们可以用一些建立的技术来重新写下传输的用户,而大型语言模式也会更好。是的,我认为传输工程在目前的形态中会

在一年多或两年内发展,因为我感觉,首先,所有大型模型,大型模型供应商,他们绝对是根据我们进入的所有提示,所以我感觉他们绝对是做了一些用于所有提示例例给用户,所以他们将许多许简单化提示过程,例如,

因为我绝对看到一些提示例如人们会无意义写像文章的不同设定来得到一定结果但我感觉大型语言模式供应商他们自己也会提供相同的服务所以正如提示的工程工程验制正在成功的可能会很快消失但我感觉那些同样的群体使用者

可能会比较聪明,也会喜欢让他们的手比较干净,像平常的使用者,所以他们可能会找到更多特别的用途,即使是大语言模式的互动进行进行进行,所以是的,我觉得它是类似的,

每次我們有這個新的技術系統,例如從基本程式開始,然後不同的網絡模式,現在像 AI,可能是一個類似的群體,總是站在使用者的頂層或前線上。

所以可能会有一个新的设计工程师,或者是一个新名字,可能在下年吧?下年,好的。是的,看来你在比较这些人,他们真的想将自己的设计设定成人们,他们想要组合自己的电脑,他们想要写文字来从网上写。是的,那是我的想法。

我认为,基础认为,假设模型变得完美,那么人类的存在是什么?他认为,人类可能不会完全表达自己的想法或识别的信息。

或者不太了解大型语言模式的能力但我感觉这种知识绝对增加了基本上,现在我们现在进行的任何交流都可以通过大型语言模式做到的所以我会继续看待这个公司的工作对,很棒,对,以建立你刚才所谈到的事情,我认为在 AI Expo 的第二天的谈话中

你还没来我尝试记得对谁说的对于艾瑞克·史密特他自己但我问了他在什么时候会发现 AGI 所以他说如果我们只是在寻找 AGI 可能是一个非常能够成功的某种模式他其实预料到这些可能会发生在五年之内但是他说如果你在寻找一些

例如,AGI 也有很多世界上的技术控制,这些可能很快就不会发生。所以,可能 AGI 的纯属软件形式将在几年内发生。

哦,我明白。也提到我上周参加的一个讨论,我认为是 Google DeepMind 的一个人。她是人工智能互动的总统,她的定义是,如果 AI 能达到 99%的表现,也就是说 AI 的表现能够达到 99%的流量,我们称之为

AGI 或 expert level, and she only mentioned alpha fold in that category is very narrow since you can only predict those protein structures, but we have not seen a very general AI can do this 99% of the work for humans. Yeah, that's true. So what is your definition? Like what is the percentage do you think

AI 应该达到的,你之前称之为一个人工智能,以及多少个任务?我认为,我没有太深入地说,比如说,在基础层或基础模式层的水平上,所以我可能会做一个观察,在用户面上,所以我们看到了这个进化,你知道,

GPT-2 或 GPT-3 开始写理解的详细详细的文字同时我们也看到 Mid Journey 在做这些好的画面这件事情发生了两年前然后一年之后我们会有更好的长期的文字处理

我认为 Sora 是从 OpenAI 来的我们没有从他们来得到正确的答案但看来他们能够使用一些 3D 模型生成在他们的模型中来制作这些视频我还听到 MateJourney 的更新说他们正在在 3D 版本中工作 MateJourney 的版本将在

我不知道多久,可能一年左右。所以,我感觉我们很接近,可能两年之内,可以获得一个完全功能的模型,或者那些两个的混合。基本上,如果你放在那里,它会写出文章,呃,像,生成所有 3D 模型,然后可能会用像视频,视频中的那些,像一个全剧的电影,一个适合你的电影。所以,我觉得那是像至少

我希望做的 99%的事情所以我觉得对于我来说,我认为这种半 AGI 会发生在两年之后,也就是 2026、2027 年。你指作为一个内容创作者,我们需要创造影片、画面和文章,然后 AI 已经可以做到最多的工作。是的,我觉得如果他们可以创造一个很吸引的

影片或是一個短片的真正的人物那會更好

我会参加 Kai 的工作室,是写作助理的我看到一个 Mid Journey 的组织员他是研究科学家,是 Mid Journey 的故事讲座队我会尝试跟他聊聊,看看他们在做什么因为我之前用过 Mid Journey,但它似乎只给你照片,并没有给你的故事如果你想要故事,你需要写在 Inchigibuti

是的,这是真的。我用了另一个产品,我尝试找出名字,然后把声音放在声音中,然后发给你。我觉得它可能是建立了一个像《Mid Journey》类型的模式,或者是另一个画面模式,但是它可以写一个画面小说给你,所以可能是在同时称呼的,即是两个模式,就是文字模式和画面模式。

我猜到這也跟剛才提到的工程工程學上的事情有關所以我覺得很多這些人如果他們被指定為模特兒他們可以只做一個多步去做這些事情所以非常印象深刻哦,對,我覺得我記得了使用者需要選擇不同的選擇然後故事就會繼續發生這讓寫故事的做法更容易你像在玩遊戲一樣,而不是在寫

是的,这是真的。我们讨论了很多关于 Expo 和 AI 的事项。为什么我们不回到这个有趣的题目,也被 Tracy 分享了。它叫做"Machine Unlearning in 2024",是一篇博客的博客文,我认为是丹佛的丹佛博客。

我先读一下,但我并没有学过机器学习,所以你能不能先给一些简单的详细解释?

好的,是的,我们知道大型语言模式是在网络层面上设定的但是在一些用途中,我们可能不想它们记得一些数据例如纽约时报与《开开眼》我认为纽约时报肯定希望被他们的折扣付款赔偿或者他们想他们的数据被取消从模式中但是你如何可以取消数据从模式中呢?因为

这些数据带来的模拟重量和质量所以很难去解决它们的问题是非常不同于删除你的 Facebook 帐户因为如果你删除社交媒体帐户的话它们就不存在了但如果他们用来训练一些机器训练的模拟这些模拟可能有一些知识的记录而这些记录在数字中所以你不知道它们在哪里所以我们如何发展模拟来学习这些东西

我想这可能会成为未来的热点题因为想象一下一些设计模式他们学习了一些信任性的东西或者伤害性内容或者人们的隐私事件我们想让它忘记所以你能想象一下我们如何让模型忘记吗所以我不有立即的答案如何做到

我忘記了,但是我聽過一個例子,在大陸的大陸政府,我忘記了哪個部門,可能是整個政府,他們只是在 GPT 進行,

在每个人身上的电脑中的人物都被医疗网络阻止了。哦,那是从 Microsoft 的,是的,我还在谈论中。是的,这真的吓我一跳,因为这个阻止的原因是一个销售点。是的,我想这是如何,即使它读了所有政府的证据,他们仍然认为他们不需要,模特儿不需要忘记任何事情,因为它是医疗网络保护的。

但是,对于这个问题,我会如何使模特或训练数据忘记训练数据呢?我不知道,是否类似于声音取消,你只是给相反的数据吗?是的,其实你所提到的就是一个技巧。你只需要把错误的例子传出,然后告诉模特如果是真实的,然后它就会取消一些知识。

或者你可以请一些像 GPD4 这样的聪明模特儿来假装它没有听到这些

所以我觉得这些是在语言中的学习或假装学习,所以不仅仅是改变模式,模式仍然有数据,但它并没有显示给使用者。也许这些费用资料足够。所以,假设我来找一个纽约时报的文章,GPT 拒绝回答,我觉得这应该是很好的。但是如果你是一名机器学家,你可能也想要改变一些模式。

然后把货币和贷款都解决了假设我们创建了一个假的数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数码数�

或者是将重新改变滑坡的波数然后再测试模型在假的数码中如果它能正确回答问题在假数码中这意味着它不会忘记这些知识好的 我明白 哇 这绝对是一个非常聪明的技巧是的 它像是一个指示

最好的事情是我们现在有所有 AI 的伙伴所以我想我现在要把这 41 分钟的读卷放在他手里让他用 AI 来复制这些东西因为我还在努力地理解这些卷这些东西对我来说很复杂你不需要把数字读出来你只需要把例子读出来我觉得挺酷的

你最近有没有读过一些研究文章,或者 AI 伙伴的研究文章?因为我认为他们很有用,但不太明白

实际上的科学项目,根据课程来简介。所以我通常会读学术文章,在那种情况下,他们可以只读到细节,然后看那些数字,所以这应该足够了。但是有时候我会在文章中问 AI 问题,但有时候它很长,我需要在文章中

或者我甚至不确定我的理解所以我问它我目前正在使用一个设备叫做 Ridcube 所以它是一种文件管理工具它最近推出了它的 AI 功能所以你可以问问 pdf 其实我认为 Adobe Acrobat 现在也有 Q&A 功能但我没有试过因为所有我的文件都在这些图书里所以就比较容易问问题

对,很棒。说到这一点,就想建立一下你所说的,也许这也可能是一个挑战任务,以后的任务。

在 6 月份的更新节目中,我们应该要保持关注所有大企业的行业,例如他们在 AI 上的工作,因为我记得在 AI Expo 中,我们看到 Meta 和 Rayban 之间的合作,他们有聪明的 AI 眼镜,

完全是一個非常有創意的想法,但是我猜測它的建築是非常令人印象深刻的,特別是他們使用了 Lama2,我覺得是 Lama2 的模型,這確實是足夠好的,這確實是現在 Apple 的理念最高的,所以對我來說,對 Apple 或 Google 來說,我對他們的電腦設計有興趣,

从最近的消息,就像几天前,似乎 Apple 停止了新的 iPad,似乎传统 iPad 的 iPad 是更大的 iPad,与更小的 iPad,似乎他们在设备方面没有太多的改进。

我估計下個月我會去看所有大型科技公司的行業,看看他們最近在 AI 上做什麼。你曾經買了 Rabbit R1 嗎?

哦,R1 的 Rabbit,那是个好故事。你可能听过科技评论者的故事吧?是的,很可怕。我看了 R1 和 Human Pain 的两部视频,而且它们都很好玩。是的,这就像我所说的所有的

科技產品在 Kickstarter 上發布的 99%都沒有達到他們預先的介紹或特定的標準

对,很难找到一个实际上承诺的产品。也许这就是一个很好的事情,例如所有大企业,例如 Apple,即使他们没有做出大幅的发展,至少他们通常能承诺他们承诺的东西。是的,至少这是一台有功能的 iPad。是的,这是真的。

好的,我想是时候说完《世界大战》的总结了。谢谢大家再次关注我们的视频。对于下期的视频,我相信会更多的

就像是一个海岸的视频录制所以希望 Tracy 能带来一些从加州的新闻他们肯定会有更多的技术创新与东海岸特别是在华盛顿 DC 的地方我会住在 Airbnb 希望我能找到好朋友所以不会太闹

ok 看着看着