cover of episode WTR | o3发布,我玩上M3 Ultra啦!

WTR | o3发布,我玩上M3 Ultra啦!

2025/4/24
logo of podcast 一周科技回顾 | WTR

一周科技回顾 | WTR

AI Deep Dive AI Chapters Transcript
People
周周
Topics
白白/周周: 本周科技新闻主要围绕AI模型及相关应用展开。ChatGPT新增图片库功能,但功能有限;OpenAI计划淘汰GPT-4.5,推出GPT-4.1;发布了O3和O4-mini模型,支持多模态COT,并具备一定的地理位置猜测能力,但实际效果有待提高。在视频生成领域,阿里巴巴开源了通义万象2.1模型,Lvmin Zhang发布了FramePack,可以在低配置设备上生成视频,但长视频效果有待提升。Google发布了TPU v7,算力强劲。 总的来说,本周AI模型发展迅速,但仍存在一些挑战,例如模型的准确性和效率问题。 周周: 本周我体验了M3 Ultra Mac Studio,其在推理大模型方面性能强劲,但Mac平台的推理框架还不成熟,缺乏对Batch Inference的支持,导致GPU算力利用率低,性能未得到充分发挥。与H20服务器相比,性价比不高。

Deep Dive

Chapters

Shownotes Transcript

科技新闻

  • 00:37   ChatGPT 加入图片库功能

    • 无法查看prompt、无法定位到对话
  • 02:59 GPT-4.1

    • OpenAI计划逐步淘汰GPT-4.5
  • 03:59 o3,o4-mini

    • 支持多模态 CoT
    • 有 Geo guessing 能力

  • 尝试让o3 和 o4-mini 数数和画定位框

  • 10:32     OpenAI开发社交平台?

  • 11:54 阿里巴巴开源Wan 2.1     14B视频生成模型,支持输入首尾帧生成视频

  • 13:09 Lvmin Zhang 新作:FramePack

    • 可在3060laptop上生成视频

    • O(1)      计算复杂度,4090 大概 2s 一帧,3060 laptop 要慢4-8倍

      • 允许在训练时开更大的 batch       size
    • 效果很不错,比Sora强,不过长视频表现欠佳

  • 18:46 Google 推出TPU     v7

    • 代号Ironwood,FP8算力有4600TFlops 和 192GB      HBM显存

  • Google说最多可以租9216个节点的集群,总算力高达     42.5 EFlops,算力是世界最强超算的24倍
  • 21:37 Switch 2似乎货源充足
    • 淘宝 4k/4.2k 左右预定港版
    • 许多第三方平台,甚至711,都可以预定
    • 美版预定时间为4月24日

科技心得

  • 23:25 我玩上M3 Ultra啦
    • 推理大模型:

      • Qwen 7B TG       120 token/s
      • Qwen VL 72B 19       token/s
      • Qwen QWQ 32B 30       token/s
      • DeepSeek R1 671B       20 token/s
    • Mac平台的推理框架还不太成熟,甚至很少有支持Batched      Inference的

    • 150万可以买20个Mac      Studio,和H20比起来……差挺远的