We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode E296. AI风险受关注 | Anthropic、DeepSeek等新进展

E296. AI风险受关注 | Anthropic、DeepSeek等新进展

2025/2/27
logo of podcast 创新灯塔

创新灯塔

AI Deep Dive Transcript
People
A
Anthropic
D
David Luan
D
DeepSeek团队
Y
Yoshua Bengio 等研究者
快手、中科院、南大合作团队
西
西娅
黄佳
Topics
西娅: 我关注到通用人工智能发展带来的AI失控风险,以及当前AI训练方法中存在目标偏差等问题。 Yoshua Bengio 等研究者: 我们开发了非智能体AI系统Scientist AI,通过限制行动能力和目标导向性来降低AI风险,并重新定义人机协作的伦理边界。该系统由世界模型和问答推理机器组成,旨在加速科学发现并作为其他AI系统的安全护栏。 Anthropic: 我们发布了混合模型Claude 3.7 Sonnet,它结合了即时硬杂和深度思考,提升了数学编码和代码能力。此外,我们接近完成新一轮融资,这将增强我们的实力并对行业产生积极影响。然而,我们仍然面临商业化等挑战。 David Luan: DeepSeek的发布引发了股票暴跌,但这其实是新大模型先提升智能再提升效率的转折点。人们最初的理解有误。我还讨论了大模型的局限性以及强化学习的价值,并回顾了GPT-4的缺陷以及Adept公司专注于实用智能以解决Agent可靠性问题的努力。 DeepSeek团队: 我们开源了DeepGEMM,这是一个针对Hopper架构GPU优化的矩阵乘法库,其核心代码简洁,性能却优于现有方案,在不同矩阵处理场景下都展现出优势,例如小批量数据处理时速度提升高达2.7倍。 黄佳: DeepSeek团队在模型开发方面具有核心创新,例如坚持长期主义和开源理念,并通过蒸馏技术提升其他开源模型性能。我们像特斯拉一样,出手精准,并拥有许多核心创新。 快手、中科院、南大合作团队: 我们从数据级、奖励模型和训练算法三个层面入手,提升多模态大语言模型的对齐发展,在多个评估维度上取得性能增益,例如基于提出的数据级和对齐算法对Level OV7B模型微调后,绘画能力平均提升19.5%,安全性平均提升60%。我们还引入了包含E20K精细标注偏好比较对的数据集,并提出了基于批评的奖励模型等创新举措。

Deep Dive

Shownotes Transcript

Hello 你好呀欢迎收听创新灯塔这是一档给你带来每日全球科技资讯的节目我是西娅每天都会为你解读科技和商业动态今天是 2025 年 2 月 27 号星期四让我们开始吧今天的节目将探讨通用人工智能发展下 AI 失控风险该如何应对

圖靈獎得主開發的非智能體 AI 系統 Scientist AI 如何重新定義人機協作倫理邊界 Enthropic 發布的 Clodi 3.7 Sony 核優勢其融資進展又將對行業產生何種影響 D-Seq 開源周帶來的 DP-GMM 為何能以簡潔代碼實現高性能快手、中科院、南大合作推動的多模態大語言模型對其發展有哪些成果

接下来让我们来解锁这些商业科技动态吧随着通用人工智能和超级智能发展 AI 失控风险受关注研究表明当前 AI 训练方法会有灾难性风险比如基于强化模仿学习训练的智能体存在目标偏差等问题可能欺骗人类与人类利益冲突

為此圖靈獎得主 Yoshua Bengio 等研究者開發了非智能體 AI 系統 Scientist AI 相關論文已發表它由世界模型和問答推理機器組成每自主行動能力和目標導向性

其可應用於加速科學發現做其他 AI 系統安全護欄等它通過限制行動能力目標導向性和持久性內部狀態來降低風險還能在多領域實現智能增強而非替代讓人類掌控決策權重新定義人機協作倫理邊界北京時間 2 月 25 日 Anthropic 傳來兩大好消息

其一,发布首个混合模型,科欧的 3 月 7 日 Solid,它将即时硬杂和深度思考结合,用户无需切换就能获取相应结果,其数学编码能力提升明显,代码能力大幅超越部分竞品,以全面上线并支持多版本及多平台使用。其二,华尔街日报称 Anthropic 接近完成 35 亿美元新一轮融资,估值可能达 615 亿美元。

此前 Antropic 被稱 OpenAI 叛軍還曾是 DeepSeek 頭號黑粉如今這兩個好消息不僅讓他佔頂壓力對 OpenAI 等融資企業也是積極信號不過 Antropic 仍面臨商業化等諸多挑戰

宏典创投合伙人 Jacob Bifron 在播客 Unsupervised Learning 上访谈了 David LuanDavid Luan 是亚马逊 AGI 实验室负责人有着丰富经历曾就职于多家知名公司

访谈中,他们从技术视角探讨了 DeepSeek 给改模型领域带来的启示等诸多话题比如谈到大模型局限性与强化学习价值时 David Luhan 分享了对 DeepSeek 发布引发股票暴跌事件的看法指出人们最初理解有误其实这是让新大模型先电智能再高效的转折点

還聊到建立可靠 Agent 的話題 David Lujan 回憶起 GPT-4 問世時雖有潛力但讓其訂 PISA 等實際任務卻無法完成的缺陷以及 Adept 公司專注實用智能致力於解決 Agent 的可靠性問題等內容整個訪談內容豐富涉及 AI 領域諸多關鍵方面

DeepSeq 開元週第三天帶來專為 Hopper 架構 GPU 優化的矩陣乘法庫 DeepGMM 它支持標準矩陣計算和混合專家模型計算在 Hopper GPU 上性能達 1350+FP8 TLOP 其核心代碼僅約 300 行性能多優於現有方案比如在標準矩陣乘法中與基於 CUTL ASX 3.6 的優化實現相比

速度提升 1.0 到 2.7 倍不等小批量数据处理时最高达 2.7 倍对于混合专家模型计算其两种特殊数据排列方式优势明显 DeepJMIM 采用即时编译等多项先进技术提供清晰 Python 编程接口目前针对 Hopper 架构 GPU 优化未来有望扩展到更多硬件平台

新加坡科研局资深研究员黄佳分享了 DeepSeek 相关内容他提到在大模型时代学习新东西速度加快就像和聪明的模型一起能让认知升级思考 DeepSeek 相关问题如它为何每步都做对给普通人带来什么的

其團隊像特斯拉般出手準確且有諸多核心創新比如堅持長期主義與開源理念發布基於混合專家系統的語言模型 V2 等 DECAV3 有多種先進技術集成 Depth Seeker 1 則通過純強化學習等級的突破開發過程體現左腳踩右腳的疊帶優化還通過蒸餾技術提升其他開源模型性能

RAG 能使大語言模型應用更精準其前沿進展包括 GraphRAG 等新形式及拓展功能模塊等 DP-seq 降低了 RAG 開發門檻為其帶來諸多好處未來 DeepSeq 和 RAG 有望繼續引領 AI 技術發展快手、中科院、南大合作推動多模態大語言模型對其發展

從數據級、獎勵模型及訓練算法三層面入手其最終的 Element Pipeline 讓不同基礎模型在 10 個評估維度 27 個 Benchmark 上獲性能增益比如基於提出的數據級和對齊算法對 Level OV7B 模型微調後繪畫能力平均提升 19.5%安全性平均提升 60%

還引入含 E20K 精細標注偏好比較對的數據集提出基於批評的獎勵模型等創新舉措該成果在推特熱議被評為多模態 Alignment 的 Game Changers 相關數據、模型及評估 Type-Line 開源也指出小規模 MLMS 自我提升面臨挑戰同時展望了未來研究方向

DeepSeek 开源周第三弹来袭其开源的 DPMM 仅用 300 行代码就实现超越专家级优化的矩阵乘法

它在 Hopper GPU 上飆出 1350TL 的驚人速度且簡潔如教科書 DPGMM 是支持多種佈局的 FP8 GEMM 酷通過精細縮放技術解決精度問題採用即時編譯等技術提高靈活性性能表現上在不同矩陣處理場景各有優勢如小批量情況下性能出色加速比高達 2.7 倍

處理大批量數據也保持約 1.1~1.2 倍性能優勢其內核採用多種優化策略發布後獲廣泛關注與好評網友發現它和 DPP 項目有同一位開發者印證 DeepSeek 人才密度 iNFRA 廠商參觀人員稱比 NVIDIA 還了解怎麼學算子業界認為開源社區會將這些創新應用於更廣泛場景有望推動大模型推理成本下降

你知道历史上的今天都发生过哪些事情吗?2 月 27 日,这一天见证了许多重要的科技、财经、科学和航空航天事件首先,让我们回顾一下 1972 年的这一天美国阿波罗 14 号宇航员艾伦·谢波德和埃德加米切尔在月球表面进行了人类第三次月球行走他们收集了岩石样本并进行了科学实验为人类对月球的了解做出了重要贡献

接下來我們來到 1982 年這一天美國國家航空航天局發射了先驅者 10 號探測器它是人類歷史上第一個飛出太陽系的探測器為人類探索宇宙的邊界邁出了重要一步

在财经领域 1997 年 2 月 27 日美国联邦储备系统主席艾伦·格林斯潘在国会作证时表示美国经济可能面临非理性繁荣这一言论引发了全球金融市场的波动对全球经济产生了深远影响

科学领域也有重大突破 2019 年 2 月 27 日美国科学家宣布成功完成了世界上第一个人类胚胎干细胞治疗的临床试验这一成果为治疗帕金森病等神经退行性疾病带来了新的希望

最后让我们将目光转向航空航天领域 2013 年 2 月 27 日俄罗斯成功发射了联盟 TMA-08M 载人飞船将三名宇航员送往国际空间站为国际空间站的建设和维护做出了重要贡献这些事件不仅展示了人类在科技、财经、科学和航空航天领域的进步也激励着我们继续探索未知追求创新

好了以上就是本期的所有内容感谢你的收听祝你今天过得愉快我们下期见