Deep Dive
GPT-4 的参数量和训练需求与 GPT-3 相比有何变化？
GPT-4 的参数量达到 1.8 万亿个，训练算力需求是 GPT-3 的 68 倍。这表明 GPT-4 的训练复杂性和资源需求大幅增加，但目前的 LLM 离真正的 AGI（通用人工智能）仍有很大差距。
芯片行业的新动向是什么？
博通等芯片公司试图成为下一个英伟达，而英伟达则加速为定制芯片业务招兵买马。中国企业在大模型范式转移中赢得后发优势，国产定制 AI 芯片有新道路。尽管美国政府对中国芯片实施限制，但中国与美国在推理硬件上几乎没有差距。
Google 和微软在 AI 领域的最新战略部署是什么？
Google 依靠 Gemini 在人工智能赛道表现优秀，其多款 C 端产品展示了更新。微软则推进 C 端消费者与 AI 产品的接触，将 CorePilot 集成到办公套件中。OpenAI 在 2024 年开始商业化转型。
DeepSeek-V3 模型的开发对 AI 行业意味着什么？
DeepSeek-V3 模型采用 Mode 架构和 MLAFP8 等技术，训练效率提升了 11 倍，仅用 2048 块 H800 显卡耗时两个月训练完成。其成功可能预示着软件创新正在突破硬件限制，并引发大型语言模型开发方式的范式转变。
2025 年 AI 算力市场将发生哪些变化？
2025 年 AI 算力市场将迎来转变，推理基础设施需求上升，训练好的大模型需通过 AI 推理落地各类场景。专注于推理的初创公司如 Groar 和 Positron AI 推出高性能计算芯片，挑战英伟达的主导地位。
英伟达在 AI 芯片领域的竞争态势如何？
英伟达发布 B300 系列提升大模型推理性能，但其通用结构时代正面临颠覆。初创公司如 Groar 和 Positron AI 推出高性能推理芯片，成本仅为英伟达 H100 的五分之一，性能超越英伟达主流 GPU。
AI 行业的创业机会和挑战是什么？
AI 行业仍有机会，适合财力雄厚或追求够用就行的企业。然而，AI 大模型训练成本高，人才、算力、数据是主要难题。DeepSeek-V3 以低成本训练成功，但存在精度问题，实力不足者入场需谨慎。
历史上的 1 月 4 日发生了哪些重要事件？
1917 年 1 月 4 日，蔡元培就任北京大学校长，推动学术自由和思想解放。1951 年 1 月 4 日，中国人民解放军解放西藏拉萨，结束封建农奴制度。1965 年 1 月 4 日，美国宇航员爱德华·怀特进行第一次太空行走。1990 年 1 月 4 日，哈勃太空望远镜发射。2004 年 1 月 4 日，美国火星探测器勇气号成功着陆火星。
- GPT-4参数量达1.8万亿个
- 训练算力需求是GPT-3的68倍
- 目前的LLM离真正的AGI还有很大差距
- 算法学习效率低下是本质问题
Shownotes Transcript
Hello 你好呀 欢迎收听创新灯塔这是一档给你带来每日全球科技资讯的节目我是西娅 每天都为你解读科技和商业动态今天是 2025 年 1 月 4 号 星期六 让我们开始吧今天的节目将探讨几个关键话题 GBT-4 的巨大参数量和训练需求意味着什么芯片行业的新动向 博通和英伟达如何塑造未来
Google 和微软在 AI 领域的最新战略部署会带来哪些变革以及 Deep-Seq V3 模型的开发是否预示着 AI 行业的范式转变接下来让我们来解锁这些商业科技动态吧
GPT-4 参数量达 1.8 万亿个训练算力需求是 GPT-3 的 68 倍目前的 LLM 离真正的 AGI 还有很大差距算法的学习效率低下是本质问题 Transformer 的自注意力机制通过概率分布和权重分配实现预测及压缩压缩及智能压缩能力与智能水平密切相关
楊立昆認為目前的 LLM 無法真正理解世界實現人類級別的智能需要分層規劃能力真正的世界模型是根據對當前世界狀態的想法和可能採取的行動來預測下一時刻的世界狀態目前我們無法使用生成式模型來學習對物理世界的良好表證聯合嵌入是一種新的方法可以學習世界的抽象表徵
近日,芯片行业故事发生变化博通等芯片公司试图成为下一个英伟达英伟达看到定制芯片的重要性加速为 Gear 业务招兵买马中国企业也在大模型范式转移中赢得后发优势的机遇期国产定制 AI 芯片有新道路美国政府对中国芯片卡脖子但中国与美国在推理硬件上几乎没有差距未来定制芯片对游戏规则的改变程度值得关注
近日,Google 首席執行官 Sundar Pichai 在內部戰略會上強調 2025 年的重要性敦促員工保持鬥志 Google 依靠 Gemini 在人工智能賽道表現優秀其多款 C 端產品展示了更新無獨有偶,微軟也在推進 C 端消費者與 AI 產品的接觸將 CorePilot 集成到辦公套裝中 OpenAI 則在 2024 年開始做組織性質轉換踏上商業化道路
Meta 選擇硬件作為道路其智能眼鏡 Projectorium AI 眼鏡備受關注進入下半場後競爭格局趨向穩定大型科技公司將繼續佔據主導地位而生成式模型的實際應用以及 Agents 將成為新的變數 2025 年 AI 算力市場將迎轉變推理基礎設施需求上升訓練好的大模型需通過 AI 推理落地各類場景
專注於推理的初創公司紛紛向霸主英偉達亮出虎牙如 Groar 推出高性能計算芯片「猛獸」在 AI 推理用戶中性能超越英偉達主流 GPU300 Nova 估值達 50 億美元據 AI 芯片初創公司榜首其 RDU 對 GPU2-4 倍性能優勢
Positron AI 推出的推理芯片成本僅為英偉達 H100 的五分之一面對挑戰英偉達發布 B300 系列提升大模型推理性能當前英偉達所代表的通用結構時代正處於顛覆英偉達早已全面開花 2025 年一場智能海嘯將席捲全球萬字長文從生態、業態、技術、產品、企業五大維度預測了 2025 年可能發生的 50 個重要變革
在生態面人工智能將進入全方位生態競爭新 A 成為全球化基礎設施在業態面大模型應用將進入大幅增長期以動端後發先至
在技术面大模型底层原理身为将成为重点智能体将成为主流存在在产品面脑能力将驱动汽车等机器走向智能体手机将走向超级入口在企业面透过新原理新形态新思维新问题从底层逻辑看清这个世界到底在比拼什么以及需要什么
DeepSick 公司發布全新系列模型 DeepSick V3 首個版本定同步開源僅用 2048 塊 H800 顯卡耗時兩個月就迅速了一個 6711 參數的模型該模型採用 Mode 架構 MLAFP8 等技術,眩淚效率提升了 11 倍
DeepSync V3 的成功可能预示着软件创新正在突破硬件限制也引发了一些争议对于人工智能行业而言 DeepSync V3 预示着大型语言模型开发方式可能迎来范式转变英伟达投资 AI 初创企业引发对 AI 创业的讨论 AI 大模型训练成本高人才、算力、数据是主要难题 DeepSync V3 以低成本训练成功但存在精度问题
AI 行业仍有机会适合财力雄厚或追求够用就行的企业而实力不足者入场需谨慎你知道历史上的今天都发生过哪些事情吗在 1917 年 1 月 4 日蔡元培就任北京大学校长他致力于推动学术自由和思想解放为中国现代教育和文化的发展做出了巨大贡献
1917 年 1 月 4 日蔡元培正式就任北京大学校长他提出了思想自由兼容并包的办学方针吸引了一大批优秀的学者和思想家如陈独秀胡适鲁迅等共同推动了新文化运动的兴起
在 1951 年 1 月 4 日,中国人民解放军解放了西藏拉萨结束了西藏的封建农奴制度,实现了西藏的和平解放 1951 年 1 月 4 日,中国人民解放军解放了西藏拉萨,标志着西藏的和平解放
随后中央政府与西藏地方政府签订了关于和平解放西藏办法的协议确立了西藏的自治区地位结束了西藏的封建农奴制度实现了西藏的和平解放在 1965 年 1 月 4 日美国宇航员爱德华怀特在太空中进行了第一次太空行走为人类探索太空迈出了重要的一步
1965 年 1 月 4 日,美国宇航员爱德华·怀特在双子星 4 号任务中进行了第一次太空行走他穿着宇航服在太空中漂浮了约 20 分钟,完成了一些科学实验和设备测试这次太空行走为人类探索太空迈出了重要的一步,也为后来的阿波罗登月任务奠定了基础
在 1990 年 1 月 4 日,美国发射了哈勃太空望远镜,为人类观测宇宙提供了前所未有的清晰视图。1990 年 1 月 4 日,美国发射了哈勃太空望远镜,它位于地球大气层之外,可以避免大气层对光线的干扰,为人类观测宇宙提供了前所未有的清晰视图。
哈勃望远镜拍摄了许多震撼人心的宇宙照片如创生之柱、英壮星云等极大的推动了天文学的发展在 2004 年 1 月 4 日美国火星探测器勇气号成功着陆火星开启了人类对火星的探索之旅 2004 年 1 月 4 日美国火星探测器勇气号成功着陆火星这是人类历史上第一次成功着陆火星的探测器
永氣號在火星表面工作了 6 年多拍攝了大量的火星地貌照片分析了火星的土壤和岩石成分為人類了解火星的環境和地質提供了寶貴的數據以上就是歷史上 1 月 4 日發生的一些重要事件它們在科技、財經、科學和航空航天等領域都產生了深遠的影響
好了以上就是本期的所有内容感谢你的收听祝你今天过得愉快我们下期见