周
周周
白白/周周: 本周科技新闻主要围绕AI模型及相关应用展开。ChatGPT新增图片库功能，但功能有限；OpenAI计划淘汰GPT-4.5，推出GPT-4.1；发布了O3和O4-mini模型，支持多模态COT，并具备一定的地理位置猜测能力，但实际效果有待提高。在视频生成领域，阿里巴巴开源了通义万象2.1模型，Lvmin Zhang发布了FramePack，可以在低配置设备上生成视频，但长视频效果有待提升。Google发布了TPU v7，算力强劲。
总的来说，本周AI模型发展迅速，但仍存在一些挑战，例如模型的准确性和效率问题。
周周: 本周我体验了M3 Ultra Mac Studio，其在推理大模型方面性能强劲，但Mac平台的推理框架还不成熟，缺乏对Batch Inference的支持，导致GPU算力利用率低，性能未得到充分发挥。与H20服务器相比，性价比不高。
Deep Dive
Shownotes Transcript
科技新闻
00:37 ChatGPT 加入图片库功能
- 无法查看prompt、无法定位到对话
02:59 GPT-4.1
- OpenAI计划逐步淘汰GPT-4.5
03:59 o3，o4-mini
- 支持多模态 CoT
- 有 Geo guessing 能力
- 尝试让o3 和 o4-mini 数数和画定位框
10:32 OpenAI开发社交平台？
11:54 阿里巴巴开源Wan 2.1 14B视频生成模型，支持输入首尾帧生成视频
13:09 Lvmin Zhang 新作：FramePack
可在3060laptop上生成视频
O(1) 计算复杂度，4090 大概 2s 一帧，3060 laptop 要慢4-8倍
- 允许在训练时开更大的 batch size
效果很不错，比Sora强，不过长视频表现欠佳
18:46 Google 推出TPU v7
- 代号Ironwood，FP8算力有4600TFlops 和 192GB HBM显存
- Google说最多可以租9216个节点的集群，总算力高达 42.5 EFlops，算力是世界最强超算的24倍
- 21:37 Switch 2似乎货源充足
- 淘宝 4k/4.2k 左右预定港版
- 许多第三方平台，甚至711，都可以预定
- 美版预定时间为4月24日
科技心得
- 23:25 我玩上M3 Ultra啦
推理大模型：
- Qwen 7B TG 120 token/s
- Qwen VL 72B 19 token/s
- Qwen QWQ 32B 30 token/s
- DeepSeek R1 671B 20 token/s
Mac平台的推理框架还不太成熟，甚至很少有支持Batched Inference的
150万可以买20个Mac Studio，和H20比起来……差挺远的