We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
A
Anjney Midha
Anjney Midha 认为，大型语言模型和生成模型的兴起，对硬件和界面提出了新的要求。当前的界面无法满足这些模型对新型输入和上下文的需求，这需要重新思考人机交互的方式。他指出，计算的瓶颈在于硅，但最终会有人找到方法制造出功能相同的替代品。英伟达在训练工作负载方面的优势可能是暂时的，因为推理层是一个更公平的竞争环境，许多令人兴奋的创新正在这里展开。他提出了一种理解未来硬件的方法，即从客户需求或计算机历史演进的角度出发。计算机历史可以分为推理和界面两个发展脉络，两者共同推动了计算革命。当前我们正处于推理和界面转变的交汇点。他认为，未来的AI界面将以语音和音频为主，视觉作为补充，并需要解决隐私问题。为了实现这一目标，需要在输入、推理和输出三个方面进行硬件创新，其中推理层（即“大脑”）的创新最为活跃，一些公司正在为特定模型定制芯片。他预测，未来的产品将是小型模型的组合，它们协同工作，效率更高。未来的训练将更多地关注在个人数据上的微调，而不是大型预训练模型。他还指出，人类通过类比进行推理的能力，在计算机设计中可能是一个盲点，目前Transformer架构的局限性，可能需要新的架构来实现更高级的推理能力。对替代架构的投资不足，可能是未来计算的一个盲点。他认为，最佳的商业模式应该是雇佣关系，而不是免费服务模式。
Deep Dive
Anjney Midha discusses the current state of AI hardware, focusing on the dominance of Nvidia in training workloads and the potential for innovation at the inference layer, particularly for wearable devices.
- Nvidia's strong hold on training workloads may be temporary due to supply chain issues.
- Inference workloads are becoming more important and offer a more level playing field for innovation.
- Wearable devices could become a natural part of everyday interactions with AI.
Shownotes Transcript