#145 詹雨安（下集） - 有生之年能看到的 AGI 到 ASI？AI 跟其他技術的結合，未來發展的可能性＆安全性
44:52 Share

Engineering mindset 或者說就是這種 Programming mindset 就是這個 mindset 並不是只是用來寫 code 它可以 apply 在生活中很多事情上都可以用但我就覺得說未來甚至可能連現在是很多 high level code 我們可能不需要寫我們可能需要檢查我們可能需要去讀去看它寫對不對還是需要能讀懂它或理解它但花在實際上寫的過程可能就相對會少

我個人覺得 Krypto 最大的 use case 可能還是還是那些 AI 大廠發 UBI 然後發給大家我覺得現在看起來是這樣啊就是 SendOnWin 不是有那個 WorldCoin 就是一個 basis hypothesis 就是說我用 AI 賺了很多錢然後我再把它用 WorldCoin distribute 給所有就是所有人然後讓大家做 Universal Basic Income 因為 AI 出現了大家都不用工作那大家就領錢吧這樣然後領錢拿著 AI 去做你想做的事情所以對所以

我不知道就是至少看起來是這樣嗨 我是 Jacky 歡迎收聽 DMT 走這邊讓我們一起自我成長離開數字圈做最好自己更好的我們這是張宇安 Allen 的下集那上集我們講很多關於 AI 的技術原理恰吉匹敵底層你盡快打開裡面是什麼

LLM 大型语言模型背后的技术原理是什么什么是 transformer 什么是 attention 上集真的是还蛮硬的所以如果你有听上集把它听完的话那要觉得你真的很棒技术成分非常高我们也讲了像是 AGI 什么通用能工智慧那这一集我们讲到说 AGI 的未来

会有怎么样的发展技术层面就比较低比较是大家通用的就是可能 AI 之后到 ASI 超级能工智慧 AGI 的进化版我们距离那个年代还有多久会在我们有生之年看到然后什么时候那它跟其他技术会有什么样的共同结合一起发展的地方像是机械 robotics

AR VR 虚拟世界跟 Crypto 虚拟货币跟 UBI 会有什么样的结合跟共同发展可能我觉得这些很有趣那怎么样在我们从 AGI 通用人工智慧到超级人工智慧 ASI 的过程之后怎么样去达到什么 alignment 安全的开发这个 AI 的未来那 AI 有什么超级人工智慧有什么恐怖的地方我们也会小聊一点

那大家如果不熟 Alan 的背景 Alan 是 Health to Base 的创办人然后我们在第 74 集有聊很精彩的一集 Alan 的人生故事他怎么样在世界上第一加速器 YC 的心脏体验然后怎么样错学两次然后怎么样大量学习跟布局他的人生然后这是大家都非常非常爱的一集他的故事跟他对于这个人生世界的看法非常推荐大家去听第 74 集可以好好认识 Alan 的深度访谈

那在开始之前我跟大家分享我们电粉 T 组这边的自我成长大家庭的社群我们帮助大家深度交流自我成长跟习惯养成那这集刚好是讲 AI 我们在电粉 3.0 会有一些 AI 的工具像是在我们的社群里面可以用 AI 去帮你找到适合你交流的人可能你有共同的兴趣你可以直接问我们的 ChatGP 的 Discord 的机器人说我想找同样喜欢瑜伽同样喜欢写程式跟我共同兴趣的电粉们

他就把所有资料库里面的淀粉里面一列出来让你可以找到适合自己交流的人所以有幸运加入我们的淀粉自我成长大家请欢迎上我们的 IG 或者节目栏里面也有连结 OK 大家都可以去看看那我也念一个陈小姐刚加入的淀粉在加入的时候的动机她说她想要扩展正向的生活圈很荣幸的就会认识新朋友

我深深相信就是这世界上没有陌生人只有你还不认识的新朋友然后一个人可以走很快但一群人可以走更远所以欢迎你加入我们那我们就马上进入今天跟 Alan 张宇安讲 AI AGI ASI 超级能够智慧跟 AI 在各个不同技术上面怎么样可以跟这个世界结合跟未来会有什么样的发展 Let's goThe escalator is speeding upWe saw the handrail and stood

對我們現在都還在講 general intelligence 而已我們還沒講到 super intelligence 真的覺得今年還有可能看到一些前景的 AGI 也很有可能對 yeah I mean 我覺得從我們上次聊的時候 Chachy P 才說還不久嘛對不對對然後到現在已經 0103 對 1234Chachy P 然後 0103

嗯,雖然這個 Chad GPT-0103 是 on the right track 然後感覺是越來越接近這個 AGI 但還是很多限制,特別是現實世界的一些參數 AIS 沒辦法看到的,沒辦法感受到的很多人會說只是一些你會很會猜一下這是什麼那有什麼來不及的這是文字範圍之內可以做到的事情但是

AGI 是限制生活中人類也必須做到的事情很多時候是需要跟正直世界的互動學習所以怎麼樣的方法可以讓我們越靠近這個世界就是我可以看一堆幾百本怎麼樣騎腳踏車的書但我不會騎腳踏車我就不會騎腳踏車我沒有辦法跟這個世界互動這個就有兩種做法就是一種做法就是做 Robotic 你看 Elon Musk 那天在搞那個 Optimus 什麼的然後讓他去限制生活中互動成一隻群然後另外一種就是 Simulated World 所以

我这里有一个 hypothesis 就是如果 Meta 真的做到了一个体验非常好而且非常低成本的那个 VR headsetQuest 之类的因为他们东西便宜相对便宜很多嘛对这样然后他们让人们在这个 Metaverse 里面跟这些 AI agent 互动然后去给予 reward 或是什么什么的那

我们就可以去透过这种方式有更多的 data 来让这些 AI model 逐渐变成 AGI 然后或者说有点像是说我的一个 hypothesis 就是说会不会就到底 robotic 会先行还是 metaverse 会先行如果 metaverse 先行的话那我们在里面训练出了很多就是能真的 serve human purpose better for mankind 的 artificial intelligence 对就是我现在就有这种就是就是

这种感觉对啊但很可能他还可以并行啊一定是一定是并行的有不同公司做不同事情对对那刚讲的就是 JEPAJoint Embedded and Predictive Architecture 对我这个很有趣他就是拿一个影片的一个 frame 然后让 AI 去预测下个影片的 frame 是什么嗯就有点像是刚刚讲的 LM 但是是一个比较视觉性的一个 LM 对

像 Zorua 是用这个吗 Zorua 应该是用其他的 model architecture 所以 JPEG 是一个全新的 architecture 一定都是有用到很多就是 existing ideas 的我觉得基本的要解的问题是蛮明确的但是就是每家的解法会

会不一样但我觉得就是接下来这几年会有比较多的相关结果出来因为我觉得现在大厂很多的注意力都在这件事情上面就是怎么达到真正的 Multi Model 就是因为现在的 Multi Model 比较像是说你拿一些有图片的文章之类的然后去训练的 Multi Model 但它跟所谓的这种 Real World Immersion 在这种 Real World Immersion 里面去 Train 的这种 Multi Model 是蛮不一样的

所以 AI 的兴起真的是会带动很多像 Robotics AR VR 对啊 Maybe 甚至 Crypto 也会带动一些不同的 Use Case 因为你需要个身体去跟世界互动吧那你需要用 AR VR 去看训练这个 Model 学习怎么跟这个世界互动然后如果这个互动会需要花钱的话可能就要用 Crypto 我个人觉得 Crypto 最大的 Use Case 可能还是还是那些 AI 大厂发 UBI 然后发给大家我觉得现在看起来是这样就是 Send on Wind 不是不是

有那个 world coin 就是一个 basis hypothesis 就是说我用 AI 赚了很多钱然后我再把它用 world coin distribute 给所有就是所有人然后让大家做 universal basic income 因为 AI 出现了大家都不用工作那大家就领钱吧这样然后领钱拿着 AI 去做你想做的事情所以对对啊所以我不知道就是至少看起来是这样对

所以才说要早点看就是要要多看那个 singularity is near 就是上次来的时候推的那一本就是所谓的极点大祭司教徒就已经很早的时候就说 OK 我们 2045 年会打什么人机文明 singularity 然后直接 computation cost 的下降 model 的提升等等等等的就是我们迟早会遇到这种超级强的 AI 或 AGI ASI 他的 prediction 跟现在发生的事情其实都非常 track 的

computer 方面的 prediction 是 very on track 那 biology 的比较没有那么 on track 哦真的吗?ok 他 biology 做什么样的预测他好像预测会有奈米机器人到我们大脑里面然后可以去做就是对 ok 但可能只是 time frame 不一样可能未来还有可能哦但对他对于那种 AI 的发展趋势因为他在 singularity 之前也写过另外一本跟 intelligent software 书这样所以我觉得他对于就是 AI 发展趋势确实

对就是很多事情确实就是非常的 align 跟现在在发生的事情确实非常 align 在 longer time frame 上啦就是具体的 specific timestamp 不一定完全对上但是你把时间一拉长就发现 ok 就这个人的 prediction 是蛮准的你在你的文章里面还有拿那个蛋糕做比喻这个也蛮酷的对那个那个就是蛋糕那个比喻是 Younglecon 之前对 17 年吗 16 年对 AlphaGo 的那个时候去

在 Nurse 里面给的一个演讲然后因为那时候

那就是一个 reinforcement learning 最火的,但是现在也很重要,但是 reinforcement learning 那时候最火,就是说,因为 AlphaGo 打了 14,然后 AlphaGo 是用很多 reinforcement learning 去做的,然后但要你看到演讲里面就是说,就是我们的未来 reinforcement learning,如果拿一个蛋糕比喻的话,reinforcement learning 只是最上面那个樱桃,在樱桃下面的糖霜是 supervised learning,然后在下面整块蛋糕是 unsupervised learning,这样,

那我们现在就看到对确实就是那个 deep learning pride 那个 super large language model 是 unsupervised learning 就 transformer decoder 是完全就是 unsupervised learning 因为你用 unlabeled data 去 trend 那 supervised learning 可能就是那些 fine tuning 嘛然后那个蛋糕 reinforced learning 就是那些 reasoning

所以跟现在的这所谓的一个 deep learning prior plusreinformed RL search 的这样的一个架构基本上是很像的但他那时候讲的时候大家就有点就是不知道是没有那么相信或是怎么样应该说好啦其实也也不是说没有那么相信就是我觉得这这个 trend 其实蛮早就是 deep mind 在过去这十几年来确实就是沿着这条路在做的这样 pretty epic 对

所以我们刚刚讲其实基本上 cover 你的 article 大部分的资讯 right?maybe not as deep 但是大家可以去看 Alan 这个 article 然后我会放在节目链接里面那如果我们重新整理一下我们刚讲几个重点 try to summarize 的话对我们刚讲就是 LM 之前是什么样子对刚说 RNN 就是 sequentialencoder decoder 对然后 supervised learningR 或 reinforced learning 为主这样对然后 supervised learningtransformer 这段时间开始比较兴盛

对因为 2017 attention 的导引力呢开始之后有这个 transformer 然后我们可以讲说 LM 就是一个 powerful compressor 嘛就是很强大的压缩器把所有资料压缩在一起然后 attention 就是这些这跟这之间的关系怎么样去一个 vector 去呈现出来然后透过 curry key 跟 value 去找这些之间的关系的距离跟该去移动的位置那我刚刚讲的 multi head attention 就是在

同样的一个资讯里面怎么样去用不同角度去看这些不同值该赋予什么样的注意力嗯那我们刚讲说怎么样去定义 intelligence 是什么就是对在一个基本的环境能力环境之下可以把一件事情做到好嗯除了下棋之外还可以开车可以煮菜可以做些很多有的没有的事情嗯但 11 这个圈就是他就是他没有长期记忆 right 那他没有那么会使用逻辑他就是用一个猜测方法所以我们就是用一些

他没有那么会使用逻辑这个不一定就是就像我讲的就是我们从结果上来讲他在猜字但是他要能猜得好一定是他学到很多的 pattern 这些 pattern 一定可能也会包含一些逻辑的 pattern 或什么的 pattern 所以 LM 某种程度上他也是有一个就是 as a result 我们现在在讲话的时候其实我们也是不断在 predict next token

这是 result 嘛我们在做的事情跟 LM 在做的事情没有什么差别那我们大脑会有一套帮助我们 predict next token 的方式或逻辑 LM 也会有一套对

那当然你说这一套跟大脑这一套能不能一对一的 map 当然就是一定还是有很多差别的但也有蛮多地方是相似的像是我们刚刚讲的你今天一个 vector 就是在那个 attention head 不是会被移动吗然后它透过这 attention 它会有一个 residual stream 然后去把那个移动量 apply 到原本的那个 vector 上那其实我们就是我们的小脑也是有很多的这种 residual 的结构在里面的

所以你要说人类大脑跟 LM 有就是是完全不同的嘛其实有些地方是相似的只是到底有多相似哪些东西不相似就是这还是就是一个科解式性的问题就是你要做 interoperability research 现在大部分的研究可能都还是比较注重就是我们目前能发现的事情都比较像是说 ok 这一个 model 里面有哪些重要的 feature 然后或是哪些重要的 circuit 或者说哪些 neuron 它对应到什么东西然后或是比较有名的研究可能就是什么 superposition 就是说它

language model 虽然就是现在这些 decoder 虽然他在做 next-order prediction 对但是他里面他怎么做到正确的 next-order prediction 是一个正在被研究的问题那其实这里面应该是我自己认为一定是包含很多的就是可以帮助我们理解就是所谓的智慧是怎么被形成的的一个

I mean 的东西这样智慧就是一个 pattern recognition compression 嘛 right 那如果如果如果是 system 1 的话对 system 1 就是确实是 pattern recognition 对对 yeah that makes a lot of sense 对对就是这个黑箱里面的东西是什么我们不知道里面包含很多逻辑很多 pattern recognition 很多我们刚讲很多不同的东西它外表上看起来是在 next repetition 但其实黑箱里在干嘛 we don't know

对 maybe it's already much powerfulyeahI mean like it's already much powerfulin many ways 就是我们人没有办法像这些 language model 一样记得那么多东西或是讲的东西就是都那么精确甚至如果论 hallucination 来讲的话我觉得人更会 hallucinate 只是对啊 of course 只是 AI 被放大解释了这样对对对对就人会胡说八道的局域其实比 AI 高很多对真的 that's so funny 嗯

对啊那我们讲到 AI 之后 HCI 的距离还差什么就是可能跟 real world 的一些互动然后像刚刚讲到就是 ARVR 可以帮助这样的 model 可以训练那 robotics 可以帮助 AI 接触到一些真实世界上的一些讯息然后 crypto 可能也是一个之后 UBI 的一个教室你不觉得 AI 会用 crypto 来当作他们之间交易的一个方法吗我没有研究我对于 AI 之间需要交易也没有研究

那确实我觉得就是因为 agent 如果要打上 human 要做的事一定会需要去花钱跟 transaction 嘛 transaction 也是一定会用到的对只是我还没有还没有看到一定要用 crypto 去做这件事情因为毕竟就是不是会有什么 toolformer 嘛让 AI 去调用各种 API 那理论上它也可以用 striped API 去付 traditional banking 的钱这样所以但要不要用 crypto 就很看场景了对

那你刚刚讲到的就是好那我们就是稍微总结一下你刚刚的那个你的 article 嘛对基本上这些所有的现在没有总结他就是笔记对对对我把我写笔记写下来这样我说我们刚刚那段就其实原先总结了那个 article 那我们现在你现在生活工作上用 AI 的地方有什么你刚说你用 cursor 写 POC 嘛对不对对那可以跟大家解释一下什么是 cursor 然后

Cursor 就是一个基于 VS Code 的一个程式编辑器对反正就是你写程式你就要有程式编辑器那 Cursor 就可以在使用 Cursor 的过程中你可以去问他很多问题然后比方说你可以跟他说你要做这件事情然后把 Code 生成给你或者说你有一个 Code base 你跟他说请帮我把这边改成这样让他做到这件事情那他就帮你改然后你就可以把这些要做的改动去 Apply 上去这样你现在用到这个程度很高吗在工作上 Dependent

Dependent on 什么时候像有一阵子我就要 explore 某个 idea 所以我就开始写很多的 code 然后写很多的 PoC 对那有时候就是花比较多时间在学习那就回去用 HeadedBase 或者是其他就是 ChadGBT 这样所以就 Dependent on 那个 cycle 我在做什么事情但只要是做 PoC 或者是其实我也有一些 production 的 code 是用 Curse 帮我写的对但就相对少你就以后就是写 code 这件事情还会需要人类做吗我觉得人类还是会做 engineering

但是我觉得人类会人类在处理的 abstraction layer 会越来越高就像你现在不用写 assembly language 你现在不用写 machine language 你现在也不用写 C++或 C 对你可以写 high level language 对那我觉得整个人类跟 computer 之间的这种人机互动的整个发展史

就是有點像是我們不斷的就是 computer 在最底層是一個 mathematical machine 就是它就是一個 turing machine 那它是一個非常 abstract 的 mathematical framework 那我們人類就是不斷的在這個 framework 上

加一个 layer 一个 layer 一个 layer 的 abstraction 这样那我们目前已经到了某一个 abstraction level 了对但我们会透过 AI 的技术继续的把这个 abstraction 往上拉那 engineering mindset 或者说就是这种 programming mindset 就是这个 mindset 并不是只是用来写 code 嘛它可以 apply in many 在生活中很多事情上都可以用但我就觉得说未来甚至可能连现在是很多 high level code 的

我们可能不需要写我们可能需要检查我们可能需要去读去看他写的对不对还是需要能读懂他或理解他但花在实际上写的过程可能就相对会少很多至少像我们公司现在 Covase 里面就是至少我们文章专业全部都用 Cursor 哦真的对所以我们 Covase 理论上

還是我們去指揮他怎麼寫的但不是我們自己寫的我們自己寫就是我們指揮他然後去改他的東西或是說除非遇到某個東西我們真的覺得自己寫比較方便自己寫這樣

所以用 cursor 写出来的 code 已经成分已经很高了基本上嗯就是蛮好的对但当然就是还是会有一些场景就是用它写就还没有到非常好对比方说你同时要改很多个 file 然后或者说很多时候你请他写你你要花蛮多时间在检查的那你后来检查的时间你还不如自己写对所以就是不同场景有不同的 tradeoff 但是如果就 single file 里面有一个有一个问题要解我觉得 cursor 应该可以对大部分都解得很好对

那你觉得从 AGI 到 Super Intelligent 的距离是什么你说时间距离吗或者是技术上的距离我自己猜时间距离就两三年两三年而已从 AGI 到 Super Intelligent 对因为我觉得就是 computeAGI 到 Super Intelligent 我觉得就是 scale compute 或者说你正在找到某种方式可以让 model improve model itself

这样对但就是如果你打造一个比人类还要强的 model 那你知道你最简单的一个 scenario 就是 model 可以自己 improve 自己那当然现在你要让 model improve 自己如果我们说说有所谓的 good old fashion AI 的话就是说他就去改自己的演算法之类的但我们现在的这些就是现在这些 deep learning 的这些 model 都还是会

要花很多时间去做 training 这样然后 training experiment test 然后 retrain experiment 这样所以就是会 bound 的那个 constraint 可能还是这些 training 和 compute 我觉得会是比较大的 constraint 对但我觉得不会太久我觉得不会太久我觉得有生之年一定看得到我觉得 2045 年前 ASIA 有生之年一定看得到对然后 2045 年之前的话我觉得有八九十趴看得到 2035 年之前的话我自己现在是一半一半这样

对那现在 2025 吗所以是 10 年 5 到 10 年对对 first of alli'm not the air expert 我还是要讲一下对对对我怕对 take it as a grain of salt 对对 of courseof course 其实我觉得很有趣的东西我们可以聊就是一个我们做个 thought experiment 就是我们来想象未来的世界

是什么样子然后 kind of step by step different phase right 我们刚讲的就是 ar vr ai crypto robotics rightso 这些东西在不断的在蓬勃发展中然后有 ai 的在背后不管是开发过程或是在这种话或是在 find solution 都加速情况之下其实我们很快可以看到这个自己不同的 field 其实都 convergecan grow together rightso that's really interesting

那好我们说假设 AGI 可能在搞不好今年明年都有可能看到 AGI 出现在这样的世界中这是会怎么样变化首先很多可能很多人被取代那之后可能 UBI 会有更多的发展你觉得那个每个阶段会大概长什么样子我们今天只是 whatever 我们去猜去想象

Just for fun 好難喔第一步棋會產生下面好幾個整個世界局勢的變化你覺得從哪個 Miles Stone 來講會比較有趣如果我們講說可能第一個 AGI 出來的時候然後你要怎麼去 define 他然後這個 definition 會對他這個世界對我們有什麼樣的影響我覺得因為 AGI 就是一樣嘛就是他是一個比較模糊的精確定義但我覺得

有一件事情应该一定会发生就是所谓的 Sandalman 讲的他说今年 AI 会有第一个 AI agentfully join the workforce 这样加入他实际上就变成是你的同事然后可以独立的作业那当然我不知道会不会发生有可能不会有可能明年有可能后年但是如果今天真的会有一个 fully agentic 的就是

就是獨立的自主的可以自己去決定要做什麼事情而不是像我們現在 Chad GD 我們要跟他講話他才會回答而且並且這個 agent 他可以調用任何的我們開權限給他的資料然後他可以看到任何我們看得到的東西他可以使用任何我們使用到的工具這樣

我觉得这光从这件事情发生到就这件事情开始 scale 第一个 job market 一定是会被巨大的影响因为很多人可能就不再招真人了而是招 AI 这样子那反过来说好了就是这就代表任何人都可以 start their own thing 你用 AI 就像你用 SaaS 软体一样所以这个世界上我觉得这个世界会从原本

大部分人都是员工员工大部分都是 employee 少部分人是 founderexecutive CEO 变成是逐渐的迈向一个大部分人都是 executive CEO 然后少部分人是员工然后而且并且只有最最最最聪明的人才是员工对就是说最最最聪明就是说

他们在做的事情 AI 做不到但是这个世界需要他们在做对就是我我会觉得他会他他会有点往这个方向前进然后那些最最最聪明的人会被最大的公司让他说 GoogleOpenAI 招进去然后而且是那种 very expensive 就是跟几个 million 的 annual salary 这种

然后但愿同时就是我们有这些非常 agentic 的 AI agent 可以帮助我们做很多很多事情所以你可能不需要太聪明你也可以让这些 AI agent 帮你把很多事情做得很好

或者教你做很多事情我觉得这个 shift 会发生那当然一定还是会有所谓的就是有些人会比较难 adapt 到这个场景下就我们常常就是说技术乐观主义者他们会认为说所有的工作都会迟早会被取代就这件事情以前就发生过了什么 printing press 什么的就是我们很多 10 年前的工作 20 年工作 50 年工作现在都不存在了那人类本来这个社会就会去

去 adapt to 这些东西然后新的技术出现会让新的工作出现所以从农业社会到工业社会到服务业就是本来就是很多的工作形态在改变这样子那但反过来说就是在这种 industry transition 的过程中有些人他们可能可以 adapt 到新的工作有些人可能比较难所以他们可能就会变成是在社会上相对弱势的一群人所以这会是一个经济学问题那我自己也不知道会实际上会会会就是最后最后最后情况会怎么样

那但如果这些 AI agent 真的能取代这世界上绝大多数的 workforce 的话那我确实觉得不管是 Sand Almond 或是其他在做这种什么 UBI 的这些 experience 确实有意义的至少人们看待工作这件事情的对工作这件事情的看法就不再是所谓的生存必须的事情而是更像是一个自我实现在做的事情我会觉得就是如果是以 Sleek and Volley 的一个比较主流观点来讲会比较容易去想这个场景

but what will happen i don't know 就是非常难预测这样对但工作变成不是生存是自我实现

对我觉得未来迟早有一天大部分工作都是自我实现的去做的嗯就像你说很多科学家他们那么聪明他们一定可以做到赚更多钱的事情但他们去做科学研究也很大部分就是因为他们觉得这种 intellectual curiosity 他们想要理解这个问题所以他们去做这样嗯对但如果 AI 可以被很低成本的 low cost 的 widely distributed 到非常非常多人包含就是这个社会比较贫穷的那一半的人

那如果这件事情真的能很好的发生的话我觉得确实对于整个世界经济一定是比较好的对对对如果一般的 task 都可以被在一个一定品质之上处理完成的话那 the quality of life 我们人类生活品质一定会提高很多因为不会有一些就是品质很差的一些东西嘛对对这个其实 Sandalman 在 20114 还有 15 就讲了

就是说如果你只能 work on 一个创业题目他第一个 work on AI 第二个 work on energy 就这两个东西是 widely distributed 到全世界的话你可以解决非常非常多人的问题 energy 是很大的问题但 first of all 你刚刚讲到 UBI 可以 distribute 就是很集中 resource 的

產生出來的價值嗎?對但他有什麼 incentive 需要去 distribute 他呢?很多情況就是會貧富差距會越來越大嘛那這些有 resource 的有運算資源的人就會把所有的 value 都集中在他們身上對 Why would they distribute it?well so 所以你需要有一些 governance 的 structure 去做這件事情所以 OpenAI 現在一開始的時候才會說 oh it's a non-profit 就是如果你是 for profit 的話你確實沒有這個 incentive 嘛你就是對你是 general profit

但如果你上面有個 nonprofit 或是你有一個跟 nonprofit 合在一起的結構的話那 nonprofit board 他們的 incentive 就會是更符合這個 nonprofit 一開始要做的事情對但現在他們要 turn to for profitwith a non profit arm 好像是我不知道他們現在是要轉成什麼樣子但是對啊那這樣就是蠻可怕的對不對對就所有人都在看就是到底會發生什麼事我其實也沒有很清楚

对我们现在就是在在猜嘛对对对想想哈哈哈 guessing 对 no one knows 对我觉得技术层面是一个层面嘛但我觉得经济政治整个世界局势也会很大很大的改变对啊特别是经济上一定会巨大的改变因为

这些 intelligence 就在提供 productivity 那整个经济就是在探讨这些 productivity 的问题对那这些 AI 产出来的 productivity 的 value 又是该给谁拿是按指定人拿吗还是那个提供订算人拿都有可能对然后一定会有一堆人抗议 AI 就是 anti AI 一定会是一个很大的一个这些什么那个 writers 吗对 writer movie industrycreative industry 然后这些一定会抗议然后

我不知道 Suffering Engineer 会不会看你我就是看你的 level 我觉得现在很多 Suffering Engineer 都是有点就是还蛮乐见其成的对就这样这样的感觉啊我写 code 可以写好快这样对但是我觉得就是你如果你是一个 entry level 的 Suffering Engineer 那你可能应该是第一个被取代的然后你看刚刚说的可能最后还会是员工中的都是最聪明的人就是那些 level 8 level 10 的人我觉得其实不一定是最聪明的人而是说你需要的性质不太一样就是

像我現在如果要找 entry level 我不一定會找寫程式能力最強的人但我可能會去找那些最有 agency 的人或是 product sense 最好的嗎 product sense 最好的然後或是最能去基於這個 product 去 try 很多不同的 idea 因為就是寫程式只是變成一個工具結果我還是會需要去人去 explore new ideas 然後去做 experiment 然後我會更看重比方說

overall 他们看到一个东西的时候他们能不能看到很多不同的方向之类就是你会对这种 general capability 更感兴趣而不是对那个 specific skill 说你能不能把程式写得很好

- 这样 - Interesting 对,因为像我上次,我上次招一个实习生就是他竟然也没写过 web 对,但是我就让他 try 各种不同的 idea 那他一样就是用 cursor 用 AI coding tool 一样可以做出很多 prototype 那所以他的 output 到底好不好就是取决于他有没有成功的 try 够多的 idea 然后有没有 try 出有会 work 的 idea 他 hypothesis 是什么,他怎么去 try 这些 hypothesis

就这种比较靠近 end result 的能力会比那个 specific skill 在这个 contact 下更重要一点

其实我刚开始在想这个问题的时候我以为是更 general 的人会更容易被取代 but actually no right 因为你越 specific 的人你越容易用 AI 的方法去取代你因为你只要有一个 skill 它足够 specific 你就可以去设一个 eval 然后你有这个 eval 你就可以 optimize 这个 eval 你就可以把 computer skill 上去把 model optimize 然后得到一个很好的分数然后这个 skill 就取代了所以对那个越容易 repeatable 的东西就越容易被取代或是越容易 measure 的东西

对,或者我们越知道他怎么 work 的东西,对反而是一个 generalist 他是需要掺所不同 idea 然后去跟不同人沟通互动嗯嗯人跟人之间这些沟通互动反而是机器还有 flashlight,right?就是怎么样让一个 as a 像是 as intern 怎么样去跟产品使用者跟他的同事们跟他老板去互动这些是很会写 code 的 AI 做不到的事情所以反而人跟人之间的这个一些技能显得更重要嗯

像很多人会说就是啊,只有体育会是个很大很大的一个产业,你听过这个吗?因为就是基层无法取代的嘛,基层没有要做出个 LeBron James,但人类就是想看到就是这样的 LeBron James 四十几岁还在那边灌篮,就觉得 Oh my god,就是其实也不一定体育嘛,就像是围棋好了,就是 AI 下比人类好,但是 AlphaGo 出现之后,整个围棋新生程度比 Alpha 出现之前还要高

因为人类就想看人类跟人类打人类会去关注其他人类在做什么事情那我觉得这个关注是跟 AI 能不能做到人类能做到的事情没什么关系的 Yeah 做 AGI 出来之后然后又配上 Robotics 的结合的话嗯那能做的事情真的很多耶就是你同事不一定是就是一个 AI 成员他可能是坐在你旁边在你旁边打电脑的一个机器人他会不会需要打电脑这我们确定 You know what I mean 就是他不一定是一个他可能是个物体的存在对

我想说为什么要做一个机器人在那边打电脑我们直接让他做 Next Token Prodution 在里面就好了他有个双萤幕看另外一个萤幕 OK 懂关于 AI 这个主题你觉得你有什么其他的想法吗比较天马行空或是比较 anything 我觉得对我来讲它最让我感到不确定是恐惧还是 uncertain 的一个东西

就是我會覺得這很像是一個新的物種就對我來講 Superintuitive Genres 降臨就如果它降臨了它就跟一個超強的外星人文明降臨世界是很類似的意思就是說他們知道的比我們多他們比我們聰明然後他們可以無限的 replicate 然後他們可以做到我們做不到的事情然後我就想說就是就是如果我今天有一個超強的三體文明好之類的就是他們來到地球

我会去怎么看这件事情你当然一定会有一种有种恐怖的感觉那当然这就要看所谓的我们的 alignment 的 research 到底做的多好这样但这一部分也就像刚刚讲的 alignment 就涉及到很多 interoperability 但 interoperability 的 research 就本身就不是一件容易的事情对这样可以解释一下 alignment 是什么吗

Alignment 就是对齐就是你要怎么样让 AI 在做的事情能对齐全人类的福祉或者对齐人类的道德或是让它不会对人类产生物种灭绝的危机或是不会让单一人类太容易的做出会对世界有风险事情这样那因为我们就是所谓的 With great power comes great responsibility 然后这个 AI 显然就是 very powerful 那我们要怎么样 make it responsible for humankind

我就觉得这就是最顶尖科学家现在很多在做的研究吧像伊利亚从欧凡尼亚离开他现在就是在做 Safe Super Intelligence 就是他前面就是有个 Safe 就是安全的 Super Intelligence 这样

對,但是要是我們不小心做出一個 unsave super intelligence 我是會蠻擔心的但同時對於這樣的 AI 能幫助我們怎麼樣更深入的去理解世界或是解決很多我們人類百年千年難解的科學問題或數學問題就是我自己是對這件事情是很興奮就是很多很多我們自己沒有我們沒有辦法靠我們回答問題我們現在可以做一個機器來讓他回答就對

如果加上 Quantum Computing 的话那我们是离 ASI 更近对不对

呃首先 Quantum Computing 我觉得他要上转的话他要上转的话我觉得应该会在 ASI 之后哦真的吗?对个人是这样觉得啊为什么?就是他有一个物理系学长他之前做 Quantum Computing PhD 那物理上转三大难题就是 Quantum Computing 常温超大题然后还有核融合对这三个就是每一次我们都说哦在十年在二十年就做到了然后过十年后哦在十年在二十年就做到了这样那

当然不可否认是说他们确实困难 computing 像 Google 最近好像 logic qubit 那边就是有一些 progress 但就是那些 progress 是对于说我们五年内十年内就如果你问我十年内困难 computing 会出现还是 asi 出现我就会读 asi 我把所有的身家压在 asi 上面哦真的对我不会压困难 computing 对那那你如果你说 asi 出现会不会让困难 computing 进展更快哦我觉得一定是会的那只是具体怎么做啊毕竟这种前端的科学研究

现在在做的事情都还是既有的 AI Model 比较做不到的事情嘛就现在的 AI Model 有点像说你有一个 well defined 的问题那你要去解决这个问题我觉得他是相对上这件事情的但我觉得最厉害的科学家他们擅长的事情是

他們可以去 define 一個問題是不是重要的並且用一種方式去描述這個問題使得這個問題變得是我們可以用一些 angle 去處理它那這種 teach hypothesis 問正確的問題然後用正確的方式去 frame 這個問題然後讓 solution 在這個 framing 之下能更好地被 search 出來我覺得像這樣的一個能力是現在 AI 沒有那如果未來的 ASI 是有這樣的能力的話那確實我們在這種類型的科學問題上一定是

会有更好的进展然后当然就是说 Quantum Computing 如果出现的话它就是更好的 compute 嘛一定可以让 AI 处理复杂性更高搜索空间更复杂的问题但是不可计算的问题一样还是不可计算因为 Quantum Computing 本质上还是 tool machine 所以对就是一定还是有些问题是我们本质上是解不了的这样

对那我们就可以问说这个世界上有多少问题是 incomputable 有多少重要问题是 computable 那至少在那个 computable 下限里面的东西我们应该都可以解就是理论上都可以在 AI 的持续的发展之下去解决所以 alignment 真的很重要的

之前很多人说什么 deaccelerate 这些东西你知道你对这些有什么看法吗就很多人说 AI 要要暂停但有另外派人觉得说就是科技发展就是科技发展就是无法暂停就是也不可能暂停啊因为我不是 stakeholder 嘛所以对我来讲就是

我说我不是 stakeholder 就是我不是开发这些 AI 的人所以对我来讲我会觉得就是这个世界就这样就是说你总是会有两边的声音你不能只有一边的声音你就会有两边的声音然后两边的声音会有一个有一个对抗这样然后世界就会在这个双向声音的对抗下去想办法去寻求到一个平衡这样

我自己是比较看待这件事情就是他们说有道理而且正是有这些整天在说 the accelerator 的人才能去加大可能就是世界对于某些事情的监管力道这样但也正是有这些一直说 accelerator 的人我们才能去发展好的科技

但 The Accelerator 也有好的跟不好的就是有些 The Accelerator 就是想要把整个 industry 砍掉这样那有些是说我们要有合理的监管方式有专家所建立的好的监管方式那我认为 AI 的这个发展发展好对这个世界会有巨大帮助但是我们要怎么去监管它就是

应该是由 Expert 去决定说怎么样监管才是合理的监管而不是由不懂 AI 的那些想要 de-accelerate 的人去说哦这东西太危险了因为科幻小说说我们人类会被毁灭所以我们不能去发展它对因为发展这个的人同时也是最适合去研究怎么监管这个的人我自己是这样觉得没 sense 但监管一定是在发展后面通常 right 通常是同时像是 Anthropic 就是边发展边去把不同的 risk level 列出来然后

变去设一些 industry 的 standard 像 Darrell 就 Anthropus 的 CEO 就会常常说这种 raise to the top 就是说因为 Anthropus 现在是最重视这些 AI 安全性的人所以其他 AI 大厂如果不跟进去也一样重视 AI 安全性的话那就是大家就会去谴责其他大厂等等等等这样所以这种 industry standard 有时候就是在这种 multiple competitor 的环境下有人跳出来说我很重视安全性其他人就必须要跟这样那对 Anthropic Cloud 他们是最重视安全性的

是目前这几个大厂里面最重视的就是不同大厂 How do you define 这个重视他们就是他们的投入资金吗还是他们的研究方向就是他们从 OpenAI 出来最主要就是他们更重视安全性当然就他们有一个 vision 就是说要怎么打造安全的这些 AGI 或是 SI 对所以对啊像我们刚刚讲很多 alignment 或是 interoperability 这些东西很多都是 N-traffic 先开始其他家才开始花更多资源在做

你刚说的 interoperability 是哪方面的 interoperability 那个 model 的 interoperability 因为你要有办法 align 这些 model 你必须要先理解解释他们是他们里面具体系统是怎么 work 的就理想情况下我们可以像大脑一样就是说我们大脑可以说他有这几个 part 那每个 part 会做什么那我们应该会想要对我们的 model 说他有这几个 part 那每个 part 里面具体在发生什么事情那什么东西对应到什么东西这样比方说他们可能会发现说就是

就是把某个 neurondeactivate 的话 AI 会说谎或不说谎之类的那就是我们可以去研究这个 model 的运作方式对 OK 这样才可以 built 个 kill switch 之类的之类的对所以他们也有一些我印象上像 interreality 也有一些 library 就是专门在 visualize 就是在研究 model 然后 visualize 里面在发生事情

而且全部都是 open source 的就是在他們的網站有一個 research section 裡面就會有這些他們寫的論文所以要 build alignment 的方法很多時候是更多了解這個 model 在幹嘛這是其中一件事情還有什麼樣的角度可以看 alignment 其他我就沒有很確定因為我不是

我不是演演講家還是要強調一下對我真的很怕大家這樣對但對這是我的學習過程中接觸到的資訊然後我覺得

对算是我我目前理解是这样子 OK 呃我觉得我们今天 cover 到很多东西那要录多久这一次 4 个小时而已 4 个小时哈哈哈哈上次 5 天就有 OK 哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈 啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦

如果在月球上可以放一个看板给这个世界上看在什么在月球上可以放个看板一个 billboard 对如果你要想一句话送给这个世界你会 what would it beum

我可能会把现在那个会把现在最先进的 AI 的 model 的那个 weight 的贴在那个看板上的那个什么的那个权重就是 model 的权重就是等于是整个 model 本身对因为 model 就是一堆数字就是一堆权重对把它贴在看板上然后这样的话以后要是有人发现他就可以把这些东西解码然后他就有 super intelligence

可是放在桌上大家是看到的啊对啊对就是应该说我会放在那个东西就是我认为可能我们人类相对重要的资产就是如果我们只能记得一个东西的话 better like store something that compress all human knowledge 对吧对我刚才就想说你放个 F 等于 MA 的话那你就没有 E 等于 MC 平方了但如果你放个 Large Energy Model 的话里面上你有所有的东西就是所有的东西 compressing thein the matrix 或是 in the huge like

yeah so nerdy but also poetically beautifulok yeah soyeah 今天谢谢你的时间然后你有什么你想任何想补充的吗嗯没有没有好嘞好我不知道这边 thank you 阿伦谢谢你的收听 thank you for listening 帮我个忙帮我把这集 podcast 分享给一位你觉得也会喜欢这集 podcast 的朋友

我認為 feedback is a gift 回饋是最美好的禮物對於這集 podcast 對於整個節目有任何的回饋你覺得可以更好的地方或是有其他來賓你覺得想要我去訪問都歡迎來我們的 IG 告訴我們我們的 IG 是 leftsideescalator.jackie 不定時也會辦一些抽搐活動所以如果聽到你們的回饋在現場看到你們我會非常非常的開心

那如果喜欢这个 podcast 想要支持除了可以在 SpotifyApp 上订阅给五颗星之外也欢迎加入我们的淀粉自我成长大家庭我们集结了一群想要自我成长的好伙伴透过一起养成习惯一起探索兴趣

在自我成長的路上有很陪伴那我們會透過每個月的澱粉咖啡廳幫你配對每個月最適合你深入交流的一味澱粉然後還會有 Mentor Mentee 的 Program 讓你可以在技能跟知識上有實質的成長那每個月會有大師的 Q&A 我們會邀請過往來賓或是一些專業人士來我們的 Discord 跟大家講個講座跟我們做 Q&A 的活動那

會害羞的朋友們我真的相信這世界上沒有陌生人只有你還不認識的新朋友所以我希望在澱粉社群裡面看到你們或是線上 IG 收到你們的回饋那接下來我也會分享一些澱粉們加入澱粉大家庭之後的心得 Alright, I'll see you soon!

加入淀粉时间大概两个月的时间我觉得因为在淀粉生存会遇到的人都不是过去的生活圈所以比较不会聚焦在关系啊连接这些事情上面反而是会因为议题兴趣还有想法去交朋友然后可以更好地分享这些感受我是在疫情的时候就是 2021 年的时候加入淀粉我自己觉得是一个很棒的旅程因为在这边认识很多好朋友

最大的不同我觉得是有更多的勇气做自己想做的事情当我想做什么事的时候我第一个念头会是说我要做吗是我想要的吗那要我就去做而不是说我会不会做不到我今年一月才加入然后我觉得到目前最大的收获就是这里的人都能量很够然后可以让我想到很多东西例如之前的咖啡厅交流然后跟不同的人

聊天 然後可以激發自己的很多想法我加入澱粉超過了一年到今年的八月就兩年覺得最大的收穫是我開始重視自己的生活步調然後會開始去調整一些自己的生活作息然後也開始真的會去想自律這件事情然後也在這裡交到非常多好朋友所以我很期待下一次的澱粉活動