37. 【中英访谈】对话赫拉利&王小川：AI 无法受苦，但人类会受苦
01:06:36 Share

AI 正以前所未有的速度发展人类真的准备好了吗它是人类史上最大的改革它是著名的历史学家 哲学家人类简史系列作者尤瓦尔·赫拉利它的著作《人类简史》《未来简史》和《今日简史》以及最新出版的《智人之上》被翻译成超过 65 种语言它只是时间的一分钟之前 AI 会比我们更好

也因此他被称为当今世界最具影响力的公共知识分子之一而他是坚定的技术乐观派做看潮起潮落的连续创业者更是中国大模型的一线实践者王小川他与 2023 年 4 月创立的大模型公司百川智能两年来先后发布 12 款大模型今天机器掌握一年之后其实同时掌握了思考

交通支持后的文化小川坚信 AGI 将会为人类社会和生活带来更大的福祉我们认为今天在现在只要不负面人生命的时候它都是相对可控的这是由他的这样一个算法给神所决定的两位顶尖的思考者身处不同立场将会产生哪些精彩的碰撞大问题是 AI 能否感受教授的这个观点有什么意义

终将只飞于炎之与不乐伴随 AI 演进的人类人民可能面临哪些挑战欢迎来到赛博对话很高兴认识你你可以叫我 Jane 谢谢

我们的另一位嘉宾小川今天来到我们的讨论中他是一个实际的创新者还有一个在中国的智能技术中的伟大伙伴所以欢迎小川我也非常感谢教授我也是被他激发的人之一你最后的书写的封面是六年了在这六年里

在 AI 技术中有破裂而整个世界都变了如果你要用一句话来描述你的感受那会是什么

我非常驚訝在過去六、七年來,我驚訝著什麼事情發生了我知道很多人急於作出判斷有些事情發生了,他們想判斷是否好,還是壞我覺得我們應該抵抗這種要求首先,我們必須明白因為不管是好還是壞可能在人類歷史上是最大的革命因為這是人類創造了什麼

不是工具,而是一名人員,例如石頭刀,飛行機,甚至是雷霆這些都是我們手上的工具現在我們創造了一名人員,而一名人員意味著可以決定,而創造新的想法自己所以,你也知道,刀不能決定要怎麼做你可以用刀剪沙拉,或者用刀打死或殺死別人你決定,不是刀

AI 是第一个能自行决定的创造方式所以在这种意义上它和我们之前遇到的任何事情都完全不同我们先来看看发生了什么事有哪些最令你印象深刻的大型语言模式的变化吗当然是大型语言模式的速度发展

因為我寫《Homo Deus》在 2016 年的時候人們已經知道 AI 的存在而有不同的預測但幾乎沒有人包括我自己期待到語言的分別語言是人類的定義整個人類世界終究是靠語言而人類的存在很多人說 AI 永遠無法習慣語言

我現在讀到 AI 寫的詩詞我驚訝它們的好處我從來沒有看過人類詩詩的新方法是美麗的、創造性的當 AI 學會了語言

這將成為我們所有的基礎從銀行到寺廟到政府辦公室中的主要目標就是語言 AI 革命的時代幾乎十年了

而且它已經到達了如此程度的學術我認為在 10 年內 AI 將能夠寫書,例如 NexusAI 將能夠創造新的錢、新的宗教、新的意義,所有人都能用語言來做

所以,教授,您是否使用 AI writing?目前,只用了一些,我用它來翻譯,有時候用它來問問題,但我仍然不夠相信它,因為我不明白它如何達到它的結論,它找到它的資料。

当然,它会做错误,会做错误,它只能用上它所训练的数据来解决。所以,当我发现重要的问题时,我仍然相信在读书和与其他人类的专业人士谈论的古典方式,不再只是问 chatGPT 或 DeepSeq 来回答我。你认为你会使用 AI 的想象技巧吗?

我覺得這是適合所有人的想法因為人類想法是限制的我在 2016 年發佈了《Homo Deus》就是在 AlphaGo 和 Lise Do 的名字遊戲中發生的很多人都視它為 AI 革命的轉變點而這遊戲的驚人之處就是 AI 不是敗家敗家這也發生在 D.Blue 的 Casparov

是 AlphaGo 贏的方式因為它玩弄動作它創造了完全不知情的方法超過人間想像十萬億人在東亞、中國、韓國、日本玩了 Go 超過 2000 年

整個哲學是如何玩 GO 的發展它被視為一種生活鏡頭你用來玩 GO 的哲學就像你用來管理你的生活而人們認為在過去的 2000 年我們已經探索了所有玩 GO 的方法

然後 AlphaGo 出現了幾小時或幾天後它不僅變得比任何人都更好它也發現了全新的玩法讓任何人都沒有 2000 年來玩過的玩家所以我經常想像 Go 的地圖像是一個星球人們在 Go 的這個星球上困在一起 2000 年來以為這是整個星球但我們不知道其他東西

然後 AlphaGo 出現了再次,在沒有時間內,它們在這個 Go 的全球上,都找到全新的地區

這是想法, 它超越我們的想法因為我們的想法是有機的它是有機的脳中的產品, 它是有機的化學化學或是有機的化學化學而 AI 並不是有機的, 它並不是有限的它是一個非常先進的 AIAlphaGo 是第一代 AI 非常先進的, 但它仍然超越人類想法我期待更多的事情會發生

比玩遊戲更重要最新的諾貝爾獎在物理和化學上是為了 AI 發展而獲得的

所以在化学上,像是蛋白包裹的化学,AI 已经在人工科学上显示了更多的创意力。可能在十年内,所有奖金会议都会通常通过 AI,人类就不会再...你知道,在科学上,要创意力,你必须要有新的理论,新的测试。而又再一次,我们可能在这些科学岛上困难,

AI 會推出全新的科學理論、模式和實驗同樣可能會在金融方面發生當然它有暗面的一面同樣可能會發生在戰爭方面 AI 也可能會推出新的方法來操控和操控但我認為我們絕對是進入了想像外的世界

我听说你提出了很多期望但是我还是很不高兴你刚才说了数年后 AI 可以写一本像 Nexus 的书所以你害怕 AI 吗是的我两个都希望它会在医疗中发生破坏在讨论冠状病毒的讨论中在很多方面而我非常害怕它也可能对我们有影响我们会无法控制未来

如果我們不正確地處理這件事我們可能會被奪走或被殺害我認為這是一個新的宇宙物體所以至少在英文上我會想起 AI 的名字為宇宙智能宇宙不是從外界來的

Aliens in the sense that this is an entirely different kind of intelligence than human or organic intelligence.And again, it doesn't mean that it's evil, but we need to learn how to coexist with it.

我发现你曾经与 Segberg 谈论,他是网络公司的总裁。你认为他对科技的影响有什么关键吗?是的,我与他谈论后,他更加明白了他所创造的机器的厉害力。

他擔心自己的工作,但不僅是他自己最多的領導新科技大人都擔心但他們不知道如何處理當我旅行世界,與美國、東北、歐洲的人談話時,我跟幾乎所有人都擔心我通常問他們兩個問題

第一个问题是:如果你这么担心,为什么你这么快速地移动?为什么不慢下来,更加投入安全?做的更加小心。几乎所有人都回应同样的。他们说:"我们知道有巨大风险,我们想慢下来,但我们不能,因为我们不能相信我们的人类的竞争。"

如果我們慢下來但其他公司的競爭者也不會慢下來他們會贏 AI 的競爭者他們會擋住世界然後世界會被最不公平的人擋住因為我們不可以相信他們我們必須快速移動當然你和他們的競爭者談話他們的競爭者都會說同樣的東西現在我問他們另一個問題你不可以相信你的競爭者

你認為你能夠相信你所發展的超級智慧人工嗎?同樣的人,剛剛說了他們不能相信其他人物現在確信我,他們覺得他們能相信智慧人工這幾乎是瘋狂的事情

因為雖然人類與我們有問題但我們與人類有千年經驗相反我們沒有 AI 的經驗我們知道甚至有機智能騙、操縱、達到我們無法預測的目標和策略

小川,是真的嗎?

对刚才教授讲的话对很多理念是非常一致的那么刚才提到这个里面好的概念是放在一块讲的了比如说算法人工智能我是认为就今天到现在为止的这个人工智能包括到前的 GBT 已经很强大了但我一个内心觉得相对还是安全的

当我得到一个错误的信息之后它激发了你内心中间的某一种仇恨人种之间的民族之间的到今天为止这个是本源是用每个人做一个生命他为了自己活下去为了延续自己的一个生命有种利益纷争我相信这是一个不变的源头我前段时间正好看了一部不单的电影是叫做《生女与枪》

大概里面就讲了在一个不单的社会当中大家变得非常的平和就是他会制止这样一个屠杀所以我认为到今天为止的话我们得到了所有的这样的一种正面的负面的信息更多是来自于与生机的人对资源的稀缺对自己生命受到威胁的这种不安全感所带来的今天这样一个人工智能虽然他可能会撒谎但事实上对他而言的话今天并没有一个目标去获得一个生命权

所以当一个 AI 不是生命的时候我依然觉得今天它的威胁度是小的到目前为止的话 AI 并没有参与到与人去争夺生命权争夺资源这件事情那更大的一种恐惧的地方刚才提到是有一进程当中的时候我们开始让 AI 参与到了战争我们开始会研发会打仗的机器人那看着无人机器人开始不用人驾驶了那么谁说我们就在设定目标还是他有个活下去的欲望他需要躲避子弹

一个机器人你要扑发成水的时候它可能就会躲开你要拔电源的时候它就会跳起来所以一旦给 AI 赋予了这种生命去延续的力量的时候那这个时候会变成一个更加恐怖的世界所以我到今天为止的话我心中觉得是安全的

我相信問題是,商業組織是否能鼓勵 algoritm 按下恨意的按鈕?我覺得這很重要。Zack Berg 和 伊明章,中國的經營商人,是科技無限的主導者。

所以我非常想問 教授您是否對此看法的對手?這方面有什麼平衡性?他們認為技術是自行負責的我知道高科技人

他們有時會有不明的理解他們認為我們只需要增加世界的資訊量和數量並且有一個完全免費的資訊市場而真相就能發生但如果這是你所說的話這在歷史上從來沒有發生過因為資訊不是真相

世界上最多的資訊是幻想、幽默、謊言等等因為首先真相是高價的,而幻想是便宜的真相通常會很複雜,因為現實很複雜而幻想可以做得你喜歡的簡單而真相通常會痛苦、不吸引人而幻想可以做得你喜歡的沉悶所以在一個完全免費的資訊市場中

假如我們想要找出真相,我們不需要有太多的平衡我們需要發展高價和特別的機制,以找出真相並幫助我們這是我們在科學上的工作

我們不只是等著資料的免費市場去發現相關的理論或歷史的真相,真相不會出現的你認為為何 AI 使用企業是最重要的問題嗎?

我可以与一个有趣的例子说我和丈夫在 23 年前在一家社交媒体平台见面所以社交媒体给了我这件美好的事情

所以我不反對人們用社交媒體連結網路我只是也知道有些人的危險方面作為一名企業人們通常主要是關於正面的

首先,因為他們需要吸引投資者和公眾來投資和支持它第二,因為大多數投資者的意見很好的所以他們專注於創造一些東西,想想自己的好意見他們不經常想想其他人的想法

可能和我的創造有完全不同的用途有著阿爾弗雷德·諾貝爾的著名故事他後來用錢去開發諾貝爾獎他創造了鋼鐵以為它會主要用於破壞洞窗、建造路、讓建築更容易至少他說他挺驚訝人們在戰爭中使用它

我每次提到 AI 和情報科技時,就像蘇格爾伯克或 Silicon Valley 的企業人一樣,他們總是想把印刷革命作為他們的理想或模式。他們有個故事,印刷科技從中國到歐洲在 15 世紀時,

這導致了一種花絮有這麼多新的資料所有書都被印刷了這導致了科學革命和革命這對人們的生活真的改善了很多人他們只是不知道歷史因為這不是發生的印刷在 15 世紀中歷史在 1450 年代印刷到歐洲花了 200 多年

直到歐洲經歷了科學革命和明智的發展,包括牛頓、黎明、德卡爾特等人。這是 17 世紀,200 年後的時期。200 年後,馬上接著印刷的發展,歐洲經歷了最糟糕的宗教戰爭。

幽默探險中最大的早期歷史中最大賣家是極端宗教文化偽謠的偽謠論述很多假新聞非常少人讀過科學書

我们只創造了更好的信息科技,也有科技和进步,这并不在那时候有效,也许现在也没有效果。但真正引起科技革命的原因并不是印刷媒体的创建,而是新的社会,如学术博物馆和科学协议组织的创建。

那些人做了一個非常高價值的和複雜的過程,告訴我們有什麼分別是可信的資訊,這只是一個很小的部分,而是不可信的資訊,這就是大多數的資訊。

我们来谈谈您的生活故事因为我认为我们经历的事情形成了我们的未来观点老师,您一直在您的过去书中有关未来的关注你总是提出我尊重的挑战问题而小川是一个真正的天使

所以我請問您是否有意見要將您們分為理想者和敵人?我問您如何將自己的身份、經驗和個人性形成您的未來的看法?

首先,我是歷史人我起初的專業是在中世代最暗的時代,即歷史上的歷史中有很多宗教戰爭、殺戮和拘捕所以這給我一個不太信服人類的看法更重要的是

我 25 年前在生命中發生了一個很大的事情我開始了獨立我學習了一位教授叫做 Senguenka 是一位佛教獨立的獨立教授這獨立教授真的改變了我的世界觀感

这个运动很简单第一步是关上眼睛坐舒服地专注整个注意力感觉呼吸进口

我去過這次的獨立獨立獨立獨立教學時期在奧克斯佛大學上我以為自己是個非常聰明的人但我做不到 超過十秒然後突然間我心裡突然有些記憶會在我心裡上升起一些幻想 想到未來的想法然後它將我的注意力拖延了我開始在這幻想或記憶中滾動兩分鐘 五分鐘直到我記得我正在獨立獨立獨立教學我應該要看著呼吸這次發生了幾次

我發現了兩個事情首先 我沒有控制我的心我以為我這麼聰明的人我沒有控制我的心第二 心就像幻想的工具我坐著 閉上眼睛呼吸進出我每一刻都在呼吸但心無法集中在心中因為它被拘捕

幻想著不真實的事情這就是人類的心理中常常發生的事如果我無法觀察自己的自然現實我會有什麼機會能夠觀察政治系統和經濟系統的現實

或世界上其他大事物所以在我所有的寫作和研究中我集中了這麼多在幻想和幻想當中最強大的力量人類歷史的基礎並非智慧

它是幻想和幻想而這也配合我對新技術的方式例如 AI 它會調查現實我的恐懼是它會創造更大的幻想它會傳播人類的幻想

对 我觉得跟教授有截然不同的这样一个背景但最后很多想法最后能够走到一起还是很惊讶的一件事情在我从小的话是穿过这个物理世家的我母亲 我舅舅 我外公都是物理学的老师和教授那我自己的这个数学非常好

计算机 programming 也非常的好包括这个 96 年拿了这个国际的信息学奥赛国内的像这个物理学的奖所以我对于物理世界有个建立有极其理性的一个思考那到这个 96 年的时候上了新华大学

然后也在学习计算机在数学物理计算机这个世界当中浸泡了很多年之后在 2000 年对我巨大的一个变化是在清华读研究生的期间我们这个实验室是叫高型的计算就是研究更快的并行计算机的那当我们做并行计算机的时候很自然会找到它相应的应用场景其中一个大的场景就叫做天气预报天气预报是动用很强的计算机让它像地球仿真一样去模拟这个天气的运动天气预报是需要巨大的一个算力我们都知道有一个词叫做蝴蝶效应

就是在非线性的系统当中间最后首先混沌所以最后结果是不确定的我们都读过一本小说叫三体三体里面叫做就是三个球互相绕着转的时候未来的轨道就不确定了三体新人他们的文明非常发达但是不知道自己未来的命运是如何的

所以在我的信念当中天气就是一个不可被计算的事情时间长了就走向混沌那我就跟老板就说那我并不躺在一个这个去做天气报相关的工作这个应用一点都不性感那正好是 2000 年是人类基因组计划开始了

当时正好是做基因测序那也是需要动用很多的算力所以当时我选择的题目就是基因测序的拼接算法也是动用大大的这样一个算法能够把之前人类测序的各种基因把它最后拼成一个人类基因序列所以我就无打无撞地开始对着生命科学对技术医学产生了一个连接

在当时的话呢这个出作经测序以外我们有同事在这个研究像细胞到今天为止细胞都是一个非常复杂的题目在 19 年到 21 年α4 相对解开了这个基因道蛋白质结构折叠的问题但是今天的话要模拟个细胞还是做不到的而且我们就讲着这个细胞本身比天气预报还要天气预报是复杂后面的更复杂所以如果从原则上讲那比天气复杂它也是出现一个混沌

但是我们知道细胞有非常清晰的界面,有细胞膜,有细胞核,甚至会做有丝的分裂最后从一个瘦菌卵在十个月后还能生出一个婴儿来甚至婴儿还长得跟爸妈像这件事情完全是不可计算的一件事情我们从哲学上可以看到,因为人生出人,老鼠生出老鼠来,跟爸妈长得像其实这是一个哲学问题,这不是一个数学问题但牛顿是用数学解释了物理所以物理学是代表了一种数学去解构这个世界非常高的一个水平

但是用这样的一种数学工具这种公式是没有办法去解释生命的生命依然处于一个哲学的问题但是尤其清楚的又能够产生出很多的有序性当这个理论不能解释现象的时候我们不能说现象不对只能说理论不完善

所以我当时很大的好奇心就是什么是生命今天我都能好评什么是生命我相信 99%人说不清楚的是代白质吗是一生生代谢吗那从这样一个数学物理的视觉观它对生命的定义是这个系统它能够自我复制并且的话呢它能够在变化当中保持自己的稳定性能复原的能力就 resistance 的这么一个能力你们知道一个煮熟的鸡蛋它不会自我复制的

但是基基在下蛋是一个复制的这种能力而复原的能力的话呢从一个细胞它可以自我的复原甚至 DNA 是自我复原一个人的话如果人要杀你的时候你还会逃跑这种复原是非常高的一种智能

当我们用这两条法则去判断生命的时候我发现它脱离了我们一种生物学的循环定义但同时又能够对于生命在本源里面有非常好的一个简单的规则去定义它我是非常信仰这样一个定义的方式的所以它脱离了数学物理化学是在信息论的方式来定义了生命那之后的话作为一个理性我就突然间想明白了一个问题如果我是一个生命那我的细胞是生命吗细胞也会自我复制它也有复原的能力

那 DNA 是生命吗 DNA 的模板上一个地方断掉之后以另一个模板它会重新也复原那之后我就想到如果体内有生命我体外有没有更大的生命当时接触一些社会学的这些书籍然后在看的时候的话突然想明白了一个道理其实一个民族或者一个国家它也是有一种类似生命的这种形态的

它为的是维持它的稳定性它会制定各种秩序有道德有法律以维持它自己的一个稳定不被破坏公司也是一个生命因为公司要活下去比如公司臃肿了就像人肥胖一样的这个人需要裁员甚至公司中间一些人能够离开这公司之后创立新的公司也是一种播种的这样一种能力所以重新建立这种新的审美之后我以生命的方式来重新认识这个世界就完全脱离了物理学的这样一个背景在物理学世界里面看到世界好像是非常的有规律非常的精准

但是你没法预测五年后十年后一百年后的变化我们把一个苹果放在地上那可能五年后它长什么样你可能它就被细菌吃掉了但生命反而代表一种生生不息延续力量它走向伤减的

因此物理学代表精确最后走向混沌而生命开始混沌走向了商减这使得我重新建立了世界认识所以当我看到一个国家的一个总统他的想法的时候你都会看到他实际上是一种活下去的这样一种欲望你都理解他都是一种生命的力量当用这个维度的时候能把很多复杂的事情变得非常的简单了因此我开始建立了我对一个大生命的这种尺度的理解甚至包括我是谁那我与这个世界的关系找到新的一种解释的方式

这就是我后来的这么一个大世界观甚至我们当时记得看到这个有一个皮克斯电影叫做 Coco 中文叫做追梦环游记追梦环游记它对生命的理解什么你死掉不是你肉身的死掉是被你的最后一个记得你的人忘掉了你就真的死掉了所以很有意思就是当你对世界还有改变的时候你就是活着的每个人都会死掉那么怎么延续自己呢那我想一种做法是生孩子但有些人的话会创建一个公司

像乔布斯他同公司能延续他自己的这样一种生命那第三个重要的关键词就是语言从 2003 年开始我当时这个是在做搜寻情就开始在做语言相关的工作后来我们做了搜狗的输入法当时我就特别想强调 AX 怎么能够帮你去写文章或者帮你去回答问题

只是在那个时代里面,AI 是做不到的 2016 年到来的时候,当 AlphaGo 来了,我会非常的兴奋从 95 年的这个深蓝到 2016 年的 AlphaGo 我是精确预测了这个机器能够赢的我在知乎上有两篇帖子,一篇帖子就是在 2 月份的时候当看到 AlphaGo 论文之后,我讲的它能赢因为我是一个 AI 狂热的这么一个爱好者

之后的话 AlphaGo 赢了之后我又写了篇文章说是 AlphaGo 的这样一种做法其实重演了一次人类的进化史就 2000 年来怎么下围棋的这个过程 AlphaGo 它自己就学会了甚至来讲 AlphaGo 可能跟人的走其规则不一样就像市民进化一样对我们的一个哲学思考究竟从围棋的一个人类的进化里面跟 AlphaGo 有什么异同也能看到人类进化的这样一个区别

但那会儿我也知道虽然非常大家觉得这个启蒙 AI 到来了但是毕竟没有解决语言的问题我甚至当时想如果说能有条语言系统它能够你输一句话的时候它能自己把它翻译成一个短语或者一个短语所能翻译成一句话这个能够解释所有语言的这种现象那我就当时就理解强人工智能就会到来

因此我在 18 年的時候又寫過一篇文章叫當機器掌握語言 強化人工智能就到來這是 18 年我這個思考到 19 年我就決定把公司賣給騰訊還沒看到 AI 被突破的這樣一個前景 21 年終於完成了這樣一個交易所以到 2020 年底 10 月份 ChadGBT 發布之後當我一旦用到了 ChadGBT 我就覺得已經變天了語言真的

被变成了数学问题 原本掌握了所以我很快在圈子里面就强调人工智能 AGI 到来了我相信你们知道当时的话在 23 年初的时候还有很多争论到底是不是强调人工智能呢很多的我坚定是到来了我说那不关键 智力是藏在语言里面的我的语言有特别大的一种情感因为我们的智力本身是类比和推理而语言就是人类类比和推理的这么一种符号

那之后我预言还有两个东西会也是跟语言一样强大一个是数学语言数学本身也是一种类比和推理的工具还有是代码

代码它也是能够在里面是这种抽象类比代码的运行也是一种推理我之前对语言有很多很多的这种思考所以在最近两年里面也不断给大家讲像维特斯根斯坦讲的叫做语言编辑就是世界的边界甚至包括这种图灵测试开始讲到了这个用语言会说话来代表一个智能因此的话从我自己背景里面我认为就能开始看到了这个一个新的时代的到来

他走出了以前我们的一个科学时代我把以前的时代称为科学时代是对于物理世界的建模是物理变成了数学我们理解了引力理解了量子力学但这次的话呢是叫语言变成了数学语言变成数学意味着不是对物理世界建模它是把人类的思考沟通和知识变成了数学问题所以

所以它不是对客观世界去理解而是对人的主观能动性和人的方法进行了一种理解和掌握几百年来是第一次发生了一个重大的变化我会把我们的世界分成三个阶段以前叫做科学时代现在的话叫做智能时代智能时代是指的语言变成数学就是这个时代的起点

再往后我称为我称为共生时代是把生命变成了数学然后解码生命之后我们会获得人跟这种世界之间有新的一种相处的方式因此这个是我觉得我的过去的背景和工作里面所给今天所带来的实际观所以这个非常有趣所以我想提出一个非常重要的问题什么是生命因为这决定了我们如何向未来的生命前进我认为我们没有一个正确的定义对生命

但我认为重要的意思不是生命或智慧而是自我或知识而最重要的事情是对受受伤的能力有关或者对受伤的能力有关对我来说 知识是受伤的能力不能受的东西不是一个知识的组织所以它没有道德的标准

你提到國家、公司和文化等種類的生活他們無法受到

一家國不能受傷 一家公司不能受傷如果一家國失去戰爭 人類也可能受傷但不是一家國 國家沒有意識它不能感到痛苦 它不能感到傷心一家公司可能被遷退但當一家公司遷退後公司的經理或工作人員可能會感到傷心公司不能感到傷心 它沒有意識 它沒有意識

人類和其他動物,他們是靈性的生物,他們可以感到痛苦和恐懼,當然也能開心,感到喜悅和愛。我覺得這是宇宙中最重要的一件事,就是感覺到的這個能量,無論是悲傷還是幸福。這就是所有的道德的主題。

大问题是 AI 能否感受 AI 是智能的,没有疑问但智能不是自知,只有高智能并不代表 AI 能感受喜乐、悲伤、恨或爱,也不代表 AI 能受苦

这也有很重要的影响,在人类和 AI 之间的未来关系中。我们知道 AI 可以假装感觉,我不是确定,像 AI 可能会说我爱你。

我说你真的感觉到爱吗我确实不确定你感觉到爱我确实确定你感觉到爱他们的行动和词中他们可能能够描述他们的感觉现在一个人工智能的人读了所有人文史上的浪漫词词和浪漫诗本它可以比任何一个诗家的爱更好

它能够证明我们,并且它亲自知道我们,它能够证明我们,它爱我们。但也许它只是数学的数据,真正的关系必须是两面的。所以,我认为,AI 和人类 AI 的未来的大问题是,首先,AI 会发展吗?

教授的这个观念我同意一半

同一半我认为今天的人工智能是没有这个 consciousness 就它没有 suffer 这样一个事情的但我原头认为它不是生命今天的这么一个智能它没有一个活下去的欲望所以它没有一种恐惧没有这样一种欢乐就没有这样 purpose 在后面未来会有吗未来如果我们做了这样的一个军用机器人所以我相信同一半今天是没有的

但人是否有 suffer 这事的话呢也是重大的一个哲学问题甚至叫他心问题就我只知道我自己有痛苦但别人痛苦是真的有痛苦还是装出来的这件情况下是无可得知的一件事情我们当然可以测他神经元的这种变化去通过这种神经元的变化去感知他这个某个神经元被激活了所以产生了这样一种痛苦

那如果以这个为标准的话 AI 最后变成富有生命之后它的神捐可能就同样被激活今天我们越来越发现了大模型所带来的神捐网络结构里面它的特征已经跟人的大脑是越来越像了哪个区域是一些跟记忆相关的哪个区域是跟活动相关的所以我的认为生命而言的话它确实是带来有痛苦但痛苦并不就是生命的本质也许它有痛苦但是我们不知道它有没有中文讲子非于焉知欲知乐

所以这件事是一个不可求证的问题所以它不是个科学问题它是个哲学问题因为痛苦这件事情就不是属于科学范畴的事情我曾经面试过凯文·凯利我认为您也认识他他对于我们人类的观点我们人类总是担心失去控制但他认为我们能够让这件事发生那么您的意见是什么您认为我们会找到新的命令在所谓失去控制的过程中

它可能會很危險其他動物失去控制,我們就把他們毀滅了像是貓和豬,牠們失去控制的生活現在牠們生活得非常苦惱因為我們控制著牠們而這只是一場大賭博,只要我們失去控制,也許 AI 能控制我們的未來也許牠們會把我們毀滅,也許牠們會對我們就像我們對貓和豬一樣

所以我会小心点 才会急着放弃控制我一直在想 自 2016 年开始你有很多机会与一些科学家 业务人员 政治人物和这三个人的关系相似但是更接近 AI 发展决定你能不能分享一下你和这三个人的关系什么东西他们对你更加关注

有些聊天是在網上的我會保持私人的私人聊天我只會說人們在公眾和私人聊天都會有不同的發言特別是他們擁有公眾角色例如政治家或創業者他們必須非常小心地說話在私人的情況下他們經常會更加擔心發生的事比他們公開的表達更加擔心因為他們不想太多的影響公眾

科学家有最容易的时间,他们可以更多的说话。我之前说过,我问了几个问题,尤其是企业家和政治家,我问他们这两个问题:为什么你们动作那么快?你们能否相信超级智能人物?几乎所有人都在这种迷茫中说他们不能相信其他人物,但他们认为他们能相信超级智能人物。您是否满意他们的回答?

不为什么因为我认为如果有人告诉我我完全相信人类那我也能明白为什么你相信人工智能但他们不相信人物如果你有人物的深深疑问很奇怪你会有这么多信心在我们没有经历过的无人物类中有很多动物在世界中

牛和豬我們要用來操作因為我們想要牠們的肉我們想要牠們的產品我們傷害了很多其他動物不因為我們想要用它們只是因為我們不在乎牠們例如我們把他們住在的森林破壞了以為要建造新的高速道或什麼的我們甚至不想要他們我們可以這樣做因為我們非常強大

我对 AI 的怀疑是一样的它不会想要我们被毁掉或毁灭但它也不会很关心我们

我们每次工业革命都对这个科官世界在物理学上有一个重大的突破到很能源的掌握开始有了这样一个内燃机

然后到最后对信息的掌握有我们的互联网的革命而这次的话呢它不是对客观世界建模的它是一个类似人一样去感知认知思考的模型所以它这样今天的这个技术的发展跟我们前三次科学革命所带来的是不一样的

从现象上也是,以前科学革命带来之后是生产力的一个提升,并且社会分工会变得越来越细。工业革命虽然带来了很大的物质财富的发展,但是人变得更加渺小了,大多数人面对牛马,只剩下罗斯丁一样的活在这个世界上。而这次智能革命的变化,刚才强调了它是对于人类行为的一种掌握或者模仿。

使得我们第一个现象社会分工会变得越来越少而不是越来越多包括我们现在做医生也是以前在分科越来越细有内科的外科的甚至在医院里还有上肢的甚至手腕的科室我们在儿童医院做 MTD 会诊的时候里面做了十几位儿童医生顶尖专家来自他各个科室的但今天用一个 AI 就能把十几个人他的思考一个 A 进程他就能去完成

您是否同意?我认为我所说的主要的差异是在工业革命时,我们创建了工具,例如蒸汽车、车、车车等。

現在我們創造了代理者以前所有決定是人們的使用業務現在更加多數人工智能決定和創造

我认为这就是企业的主要教学,这仍然是有关系的。即使技术最终是有利的,企业技术最终在人类的世界中创造了更好的世界。但问题不在于目的地,问题在于路线。

19 世紀製造工業技術時,沒有人知道如何建造工業社會所以人們去體驗,而很多這些體驗都錯了歐洲的國民主義是如何建造工業社會的體驗納粹德國是如何建造工業社會的體驗人們以為這是一個方法現在我們更清楚了,但這已經花了兩百年

如果我作为一名学生,如果这是一个大学考试,我必须给人类一个分项,那人类得到的分项是什么?在工业大革命的考试中,我认为人类得到了 C-,足够过去。最终,这也没问题,但非常非常难。现在 AI 在一个类似的情况下,AI 可以带我们去美好的目标。

但是我们没有一个模式如何建立一个 AI 社会也许我们又要再次经历这些糟糕的试验新的帝国和战争等等我们要做得比 C-这次更好因为它是

否则有万万人的压力我对 C-的问题有点疑惑我们先谈谈这个刚才小川提到他的公司在建立一个医疗部门正如我们所说,人类医疗部门的医生是有利的医疗部门的医生是有利的医生

其实当我用好医生坏医生的时候就已经赋予他过多的含义了因为我们现在知道医生是他一个目标就是让人变得更健康他不是一个自己有生命他自己有自己欲望的这么一个 agent 所以这种情况就像我们做文家史的样子然后我们很难去想象一个好的文家史坏的文家史他就天天琢磨出怎么去装车把人给搞死掉

所以这里面我们认为今天在现在只要不赋予 AI 生命的时候它都是相对可控的我让他成为好的一个工人他是一个好工人他是一个医生就是好医生这是由他的这样的一个算法底绳所决定的如果他做的不是好医生我认为更多是因为我们今天人类对医学的认知不够

所以今天我认为在讲医生的时候当用好坏去判断的时候我们可能已经过度放大了这样一种恐惧是对这种算法的本身的不理解或者是人类一种自大因为人类医生来讲的话坏医生肯定比机器医生会多很多因为人有更多的欲望他甚至为了这种自己利益所以他有可能是这个不仅做善良的事情 AI 感觉没有痛苦没有情感没有欲望所以大体上我认为 AI 医生会比人类医生这个会更加的善良和更加的这个工作有效因为他的欲望更少一些是吗

那关于刚才教授提到的问题就是我们怎么样能够做到比工业革命人类的 C 减的表现更好一些这是很难的一个问题其实我们通常都好心办坏事交通很发达的时候我们说世界是平的就好像代表了一个更加美好的社会结果发现这个形成一种新的阶级富的人更富穷的人更穷全地球变成更大的一个金字塔

所以这里面是否能够变得更好一个社会的话呢确实是有他自己的压力我们相信经济上医生是一个好的事情是能让大家身体更健康能让大家精神更自由这可以做到身体更健康是我们可以用的词叫做生物自由以前我们提过词叫财务自由不会因为没钱带来一种不自由但身体变得健康我觉得这件事情是可以到来的所以我觉得我尽力能够使得我自己所工作的环境里面是更好的但基本上也会有点风险比如说如果每个人都能活成 200 岁到 500 岁

可能这个社会会带来新的问题所以这个来讲我们只能一步走开所教的刚才叫 C-这次是什么到 60 分这事我确实这事没有那么强的信心从整个这个社会而言 Professor, you have an opinionwhat makes a technique really out of controlis the centralization of power

我想要给大家一些建议,让他们有能力去影响整个生产世界的发展。我认为这两个重要的事情。首先,如果所有能力都在一个公司或一个地方,比如说一个公司只能够生产所有 AI 医生,而这个公司做错了,

那就是所有的 AI 醫生所以如果你有幾個不同的醫生也很好的就好也許這個醫生不會做得很好但是另一個醫生會做得很好所以這就減弱了 C-病毒的危險另一個問題就是自復我們也看到在生物系統上非常重要的是一個好的系統總是有自復的機制例如一隻孩子學習走路

他嘗試走路,但他跌倒了,然後步步學習走路。即使是年輕人,我走路時,我腦中總是有一個自動調整的機制。我偷看右邊太多,它會調整我,偷看左邊太多,它會調整我。我們需要同樣的技術。AI 中最重要的一件事,任何 AI,不管是 AI 醫生還是 AI 軍人,就是要知道自己可以做錯誤。

所以我不该太自信如果我怀疑的话我应该说我怀疑了我应该开心地承认和正确自己的错误我们必须非常小心地训练他们以为他们可能会做错误

對,避免中心化和抗爭的問題不要太中心化,而避免你或 AI 認為的不可靠的法律這在人類歷史中,總是如此最糟糕的事情是當有人確定自己從來沒有錯過

今天我们的题目非常重大 深入和严重但我相信普通人的大部分他们对 AI 的关注是否会代替我们所以最后我们回到基础的题目今天 AI 似乎可以做任何事情

是否有任何人物的不可替代性的价值?您的建议是什么?首先,是自我感觉和感觉。与智能有关,我觉得游戏已经结束了。任何一种从玩游戏到治疗病毒的专辑,甚至做医学研究,这只是时间的一部分,在 AI 比我们更好之前。但智能不是自知,并不是神经。

在深入的层次中,生活中真正重要的是知识,不是智慧,而是能感受的能力。我认为,绝对的,律法是关于痛苦的。我们如何在世界中减少痛苦呢?我们知道,只有人和动物可以痛苦,而且有悲惨。所以这还是最重要的事情。

如果 AI 发展了敏感能量发展了感觉能量的话那是个完全不同的情况而且重点是我们甚至没有办法知道但至少现在

我认为人类太注重自己的智慧,并且忽略了自己的知识。而这两个,知识是更重要的。教授,您能否分享一下自己的知识和受苦的时刻?每次我们生命中,我们所感到的重要性是什么?

不是智能智能是我們用來得到的工具我們最重要的是愛我們最重要的是悲傷 喜悲 痛苦 悲傷我先講一下這次的獨立獨立

在身体中的身体的物质感觉就是呼吸进来和出来这就是你意识中的东西至于我们所知 人工智能不能感受到甚至这种非常简单的东西就是空气的动作进出

我相信,而且這動作非常深入,這就是我們與宇宙有關的東西。你每天做的獨立獨立獨立,我看到你沒有使用手機。這是真的嗎?這是主要的原因,因為我丈夫有手機,所以手機的所有壓力都在他身上。

但我总的来说,我尝试保持一个情报饮食,多花时间,想想,冥想。电脑是一个让我们的时间和注意力被抵押的设备。所以有时候是好用的,但我尝试把这些情报技术处理成食物。

同樣地,人們要吃食物,我們需要資訊餐飲,以減少我們消費的資訊量,以給我們更多時間去吃、去反應,並且要注意我們消費的資訊質素,而手機通常都會充滿了垃圾資訊。最後,您可以給予人們一切的祝福嗎?我覺得,只要人類

相信其他人的信任比我們相信 AI 更多的話我們會沒問題的而且我們也能夠建立一個與 AI 的好關係如果 AI 能夠釋出與人類合作的努力的話這將會反映合作和合作的心態如果 AI 能夠釋出強大的競爭力的話那麼 AI 也將會有這個價值

OK 谢谢你时间多谢谢谢 谢谢你谢谢克拉利教授因为时间的关系所以先离开了我们录制的现场但是我还有一些问题想追问小川总所以很感谢小川总的时间要不先从刚才聊到一半的医疗 AI 可不可以给我们更多的细节大模型其实大家应该说它是一个人工智能或者我们就是在造人

像人一样的思考能沟通店里面的话呢对我而言我觉得非常性感的一件事情就是去找医生找医生我觉得有两个重要的意义第一件事情的话呢今天这个全地球包括中国的医疗资源是不够的有些医生是匮乏的有些儿科医生是匮乏中的匮乏的我们每个人都希望自己有一个医生朋友或者一个死人医生为什么儿科医生是最匮乏的因为儿科医生的话呢是不赚钱所以大家不愿意做儿科医生中国只有 20 万儿科医生我们的缺口大概是 100 万因为成人的医生的话呢是可以做手术

儿童的话呢他严重的这种罕见病是少的治疗方案相对也有限所以就使得大家不愿意做儿科医生咱们的医生是要做科研的但是医生做科研的话尤其他每个人看的病人可能也不够多甚至有一个日常工作很繁忙在临床的时候他也没有足够的收集数据比如说病人来之后开了药但是患者的一些查体也没有被记下来大家很忙的时候甚至记下来也不是真的所以这样的话呢使得他工作里面的数据的维度准确度

是不够高的甚至医生一辈子也就看可能几万个病人几十万个病人没有做过大的样本因此当我们有 AI 医生看病的时候他能够把你的这样一个全病程的数据做记录甚至全生命周期的数据做记录因此这个整个过程就变成一个可以研究的课题有这项数据之后的话呢我们对于医学的理解里面就能够上个台阶有新的一种发现咱们知道今天的医学其实相对物理学是落后很多今天的药品一个最领先的药那你在临床实验的时候如果上了一千个人做实验其中有八百个人有效医生成交有应答

这就是很好的药了 10 年时间 11 美金发明这么一款药但剩下 20%可能没效果这是我们对医学里面的人的了解很少那有可能是今天你吃的有效明天没效这个男的吃的有效女的没效你在这个旧金山吃的有效你在成都吃的可能没效所以没有太多的数据没有得到观察维度包括奥斯洛比克的 C.U.Darrel 他就讲今天 AI 对我们做这个医疗很多时候不是帮助我们只是总结数据他能够做闲事就帮我们更好的生产更多数据

去观测更多数据人家 AI 医生就能够一方面是能够去做很多的这样一个临床的服务但同时还收集数据也帮助我们最后做科研做解释就又做实验又做理论对的也是我们是一个科学的范式是 A4Sense 的一部分所以你们的大模型像具体可以做些什么什么

像大目形的话这个大的功能在院内的时候它其实已经根据你的这个提供的你的检验检查对吧你的这种症状然后各种这种数据能够帮你做你的这样一个病情的分析那么从诊断到治疗原则到治疗结果里面会给出很多的意见并且这个意见是有过程的我们以前老说 AS 是一个黑箱对吧你刚说是这个 black box 但其实这件事情已经是过去时了

今天我们类似用 deep-seq 大家用过的就知道说它会有个思维链对过程中它会把怎么思考的过程给打给你看因此我们家 AI 医生也是用我们的 M1 的推理引擎的时候我们的内部的这医生包括医院的医生都看到说觉得

家的推理过程漂亮思考得非常的严谨完整对医生都很大的一个启发所以它比大多数医生社的绝大多数医生他的这个见过的病只是更多思考得更加的完整更好的推理这次能够辅助医生的部分那另外一件事情的话他工作场里可能在家里面他能告诉你说一些建议你是否该去医院我们称之为做人等级你去家再观察一下还是需要去医院还是需要急诊就像医生朋友一样给你很多的这样一个建议既能帮助到医生也能帮助到具体的患者家长所以现在数据这一方面有难点吗

现在讲的话跟以前不一样以前做图像处理的时候大家是有很多数据难点的而这次而言的话更多的地方是激发他的一种推理的能力把医生推理做进去现在我们跟北京儿童医院是有深的合作成立北京的重点实验室背后没一套方法能够构造不错的数据所以在今天这个医生而言比以前图像处理来讲他的强大能力会多很多并且和大家提到的幻觉问题是也今天不是大问题因为我们今天的这个 AI 它是通过思考就像人一样的会翻书

发生之后把中间的指南用药的这些方法都能够注入到他答案里面去因此今天讲我们讲的幻觉问题或者是叫做黑箱问题今天都是可解的事情这么坚定的吗就是完全可解错误率现在可能是 1%以下因此我们认为比绝大多数人他的在内科在这种诊断或者这种治疗原则上已经远远超越了

你刚才讲就是医疗模型的这个推理问题很有意思我理解是不是他就是把人类医生的这种经验他的所有的这种推理过程都传授给模型对 他不只经验我们老说医学是叫经验的科学但经过做总结之后会形成一些我们的这些思维方式治疗原则他在这种推理过程也学过去了所以既有经验又有这样的一个原则

所以刚才教授提到的一个非常关键的问题我听下来在你们的应用场景里面暂时还没有给到所谓 AI 医生一个决策权他可能更多给到的是一个建议或者辅助诊断的一个角色是吗对 这是来自于法律法规但是法规里面的话是这个诊断和最后的处方权是给医生的因此医生之外是 AI 是不能给的那我相信随着这个技术成熟我们对他理解那更多的这样一个权限会放给 AI 的

我最感兴趣的一个问题就是我完全理解你对于生命科学的这种热忱但是我还是会觉得你做医疗大模型这件事情是一个很勇敢的决定因为所有跟医疗相关的它似乎人们的健康人类的生命一旦有一些失误就会有特别的

特别大的舆情今天其实没有来得及讲到 2016 年发生两件大事一个是 AlphaGo 战胜人类棋手另外一个是百度魏则西事件我知道你之前有提过百度魏则西事件其实给你非常大的触动当时也埋下了一颗种子令你后面想做生命科学相关的探索

所以大家会用勇敢这个词或者我们用这个叫 BET 去赌件事情其实在我看起来我已经看到这个未来长这个样子了所以我不觉得这是一个这种赌或者是一个勇敢 16 年两世现在的话当时我们一个看 AlphaGo 人工智能是已经有次启蒙但是那次启蒙的话机器没有掌握语言所以并不代表它是能够像人一样的去工作那会儿还有 Ivan Wilson 最后也失败了如果大家问我为什么失败其实

一个大的原因就是那会技术还没有到今天这个机器掌握远之后已经带来巨大的一个变化而确实来讲 2016 年之后的话百度也遇到了威泽西事件作为 SOGO 的带头人我们当时的话也知道 AS 没有能力像人一样去帮你解答问题了因此我们当时发布的这个模型能力是叫做叫 SOGO 名医这个名是日月名叫明明白白看医生使你得到更多充分的信息去跟医生去接触那么当时我们也知道靠连接医生互联网传统做法是不 work 的

比如淘宝你可以做连接美团做连接滴滴做连接但是医生靠连接没用因为优质的医疗资源就有限这会使得挂号网春雨医生等等他们能做到这个服务是有限制的好的医生就那么多当时我的认为是知道技术如果突破的时候能够去造医生而不是找医生才能带来大量的变化

因此到 20 年代的时候 A 阶段这样一个突破语言的突破使我们就知道了医疗行业赵医生会变成一个可行他是既能够造福大众又能够实现我以前的一个愿望是生命科学解码中间的一个关键的环节所以我就觉得这是一个特别有意义的事情只是在那会儿的话在 23 年的时候技术还不像今天发展这么快

到了这个二五年的时候反而来讲这个环境变得更好了对我们特别知情像 DeepSeek 它已经这些很多方向上有它的这种探索从论文到代码上都有它的这个开源使得这个整个行业能够在未来做突破是变得更快了所以照医生来讲的话它的这个进展也会加速我完全不怀疑就是 AI 的这个技术发展的速度就像刚才教授说的就是大家都觉得在很快的

发展然后所有的商业机构其实都没有办法停下这个当中可能一个很值得关心的问题就是我们怎么确立飞速进展的这个技术的边界因为一旦要落地到应用我们就需要知道它的边界在哪就是它能做什么不能做什么尤其是涉及到医疗这个严肃的话题

对 其实这件事并不是多难的一个话题这个医疗医疗核心东西叫做评价体系发论文的时候都知道你的有效性所以医学统计它都不是一门课是一个系如果你把它当成一个药当一个器械来看的时候已经是很有标准的了只是当这个人来在考虑的时候那么今天大家还有很多蒙圈状态尤其是我跟一些大专家一些院士沟通的时候在大家这些的心血停在之前这个叫影像时代所以当它这个有试点落地之后那么这个过程会非常快的

包括我们儿童医院的这样一个合作我们在这个试点的地方能够在医院医生指导下真实上岗真实能够对患者产能作用真的能够舍得你的这个卫生经济学上能够使得这样社会成本降低那么这个国家政策会相应变化的这个速度我觉得比我们驾驶可能还会再快一些试点的这个场景里面具体会发生一些什么能不能给我们介绍一下首先我们的医生已经跟 AZ 联合上岗了

在医生的使用的时候在复杂疾病的时候这个系统就会给医生相应的建议那么在今年内很快就会把这些部署到更多的儿童医院它的一些这些更加偏基层的医院使得这种医生也能够有这样的一个 AI 小伙伴去辅助他们做诊断决定权的医生这是不违规的再往下的话使得每个家庭里面都能拥有一个你的 AI 的保健的儿科医生从法规上不能给你做后面的这种开除方治疗但是能给你相应的建议甚至这个时候它能跟医生连接在一块使得吧

这个互联网医疗能跟这种家庭的东西连在一块整个社会的这种效率都能够大大加速很多事情就看到以后的家长就不用带着孩子天天往医院跑了可以缓解我们的这个医疗资源匮乏的问题我们国家儿科医生不足一共像强基层大家都到三甲医院去挤堆使得这样的一个早诊早发现甚至在市区里面去做大家变得更健康对国家的医保开销也能得到巨大的缓解虽然未来在 18 月内我估计就会有巨大的普及

这么乐观 18 个月所以逊模型和说服应用落地这两件事情哪件更难

两年多的这个过程当中有没有让你觉得比较 suffer 的事情所以这里面的话呢确实我认为太多的这些人可能有的时候信仰不够或者没有看到未来当然有多大的声音所以不管是这个社会层面也好甚至包括公司内部层面也好不代表所有人都能够有这么坚定的信仰在一个困难时往前走所以当时很多时候是叫你先相信甚至你一看见了那你才去实现它所以我觉得这个如果你 suffer 来讲的话是内部的有一些同学有一些这些员工他们这些事情没有坚定信仰有的困难时他就会停下来

这是个我觉得这个是需要去不断寻找更加自信道合且有信仰的人所以对你来讲因为你内心一直有相信所以你很少 suffer 什么对我不 suffer 这事对我只觉得大家没信了就很遗憾那你能不能分享一个最近应用案例当中让你比较兴奋的其实之前的话呢就是上次内蒙古我们当时在那个在我们推理引擎的时候内蒙古当时一个市医院的一个父亲被诊断应该是脑梗什么的在医院住十几天医生已经下最后通知觉得没得救了

没得救了就把他往北京送那过程当中的时候正好有联系就我们推理引擎就开始做推理告诉他有三个这个病的可能性是一种三个健美诊断到了协和之后的话协和的专业医生一查有四个其中当时已经病重三个了这次发生在春节前的这么一个事情所以当时我们已经看到了 AI 在里面能够比一个市级的医院已经会在某些问题上强很多了这次创业有带给你更兴奋的感觉吗

我觉得会的就是因为之前头一次创业的时候坦白讲它是一个搜狐公司的子公司自主性相当于有些限制另外的话当时做搜索引擎也比百度玩了好几年你做了一个并不是世界需要你的事情对 到事物法来讲是叫做无心插柳所以能做一个世界需要你的事情会变得特别的重要不在你多年这个时代给了我们这种机会而医疗是时代所需要的因此 Effort Science 也是需要的做世界需要的事情会变得很幸福好吧 祝你幸福谢谢好 谢谢

好了本期节目就到这里欢迎在留言区评论分享听后感也欢迎留下你想听的选题或是嘉宾这期节目已经在苹果 podcast 网易云音乐 QQ 音乐豆瓣微博音频等平台同步上线欢迎订阅我们下期再见