Andrej Karpathy软件革命论：从编程语言到人工智能操作系统的时代跨越
18:46 Share

欢迎来到深入的探索今天我们将进入了一些不错的基本的软件你知的,那些东西基本上都能够运行我们设计的所有东西

而且目前正在進行著很大的改變確實是,不只是一種新版本就出現了,感覺更大了,像是我們在如何思考程式的真正變化,如何與電腦談話,這在幾十年來都沒有感覺到這個感覺。沒錯。所以我們今天的任務就是將這件事提供一些最新的思維,特別是從 Andrej Karpathy 所說的「Tesla AI」的意見。

他有些令人感動的看法,他在 AI 上的現場中, 更加改變了軟件。

我们想要探索他的最新的观点,可能挑战一些普通的想法。我们会看看,你知道,哪里是真正的商业角度?这些东西是否实际上可行?什么是竞争的?而且重要的是机会,但是也有风险,对吧?因为确实有风险和一些意外实际的实际性,可能没有足够的注意力。绝对的。目标是给你一个短线,一个图表,在这整个进展 AI 软件世界中,实际的行动和实际的疼痛。

OK, let's do it. So, Carpathy often talks about software in eras. It helps to get a handle on where we've been. For ages, we were in software 1.0. That's your classic handwritten code, right? Like C++, Python, explicit instructions typed out by a programmer.Yep, the bread and butter for decades. Then...

maybe 5 10 years agowe really shifted into what he termed software 2.0and that's the neural network eraright where the code isn't lines of C++Ait's weights in a networkexactly you're not writing if this then that

你把大量的数据运行设备,例如画面网络,传输到一个综合综合,然后让定位器调整连接,等级,他们基本上学习了这个设计。而你找到的地方不是 GitHub,而是像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型,像摆设的模型

但卡普迪在說我們已經超過了這個限制或至少再增加了一層這就是他所說的 3.0 軟件這就是我覺得很令人心疼的地方他的最新觀點是大型語言模式 現在是自己可以計算的但不是用來計算的不是用來調整數據的同樣方式那怎麼做呢用來提示 用來自然語言 英文基本上他在說 LLMs 是一個基本上新的機器因為計算語言只是

英文哇,所以意味著突然間幾乎所有人都可以去寫如果你可以明確地解釋你想要的英文你就可以在某種程度上,將這部新機器計劃出來這就是這個想法它會大大改變誰是開發者或創作者它非常可接受而且他之前也看到這種轉變在特斯拉上發生了對,他給了一個很好的例子他看了 2.0 軟體的軟體,自動飛行視線,他簡直就是

consume the software 1.0c++ codeHow do you mean consume?Well the neural nets got so good at understanding the driving scene directly from pixels that

OK,so the new paradigm just swallowed the old one whole in certain areas.exactly,and Carpathy's point is that software 3.0,the LLM stuff,is starting to do the same thing now.It's eating its way up the stack.which means

OK

如果 LLMs 是這個新的電腦,這個 3.0 的軟件,我們應該怎麼去想它們?它們在生態系中是什麼?卡普特用了一些有趣的例子。第一個例子是用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來說用來说用來说用來说用來说用來说用來说用來说用來说用來说用

OK, that makes sense. Big upfront investment.And the operational cost.

OPEX 是用 API 来服务这种智能,而你通过它通过 1 亿元的使用,通常是以电池费用来支付的,正如你的电池费用。对,而且竞争方面也很有趣,因为它是软件,有许多供应商可以在一边,你不需要在物质空间中,像是电源线。你可以很容易转换,用像是 OpenRooter,可以直接转换 GPT,Claude,Gemini,无论如何最好或最便宜。

它建议是一个相当竞争的市场,根据质量、费用、可靠性。但这种可靠性带来的风险,他谈到智能暴露。是的,这是一个非常令人惊讶的词。什么会发生当一个大型的 LM 下降?我们已经看到了,团队突然不能工作,产品失败。就像是维持线路线的减轻,如果我们在这些 LMs 上建立更多的我们的系统,卡珀蒂的词是:"地球越来越愚蠢,当它们失败时,那是一个严重的风险。"这对于这方面的建议是维持线路线的严重风险。

OK,所以用途是一个例子,那什么是半线线线?那是他用的另一个例子,主要是投资方面。建立一个充实的 LM,需要绝大量的 CAPEX,类似建立一个切割线线线线线线线线线线线线线线线线线线线线线线线线线线线线线线线线线线线线线线线纔线线线纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔纔

但,而且这是一个重要的差别,软件比硬件更加强,比较容易修改。所以,比较强的比较少。这使得长期经营模式可能比研究室更麻烦。可能,是的,这是一个特别的挑战。但,卡普特用的最强大的模式,是一个让人的观点更改变的模式。

is thinking of LLMs as operating systemsOKOCs, how does that work?They don't feel like Windows or macOS usuallyWell, think about the structureYou've got the big closed source playersGPT, Claude, Gemini, analogous to Windows or macOSand then you have the open source alternativesparticularly the Lama ecosystemwhich he sees as kind of like Linuxpotentially growing into a major forceOK, this is a paralleland the LLM itself is like the

Currenal, CPU?是的,類似於核心處理器的樣子。而 context window,即是它能在一次的持有的資料的數量,就像是它的工作記憶體,就是 RAM。

The LLM uses that context to orchestrate how it solves problems.It's running the show, like an OS.And applications can run on different LLML OCs.Exactly.He points to apps like Cursor, the coding assistant.You can just select whether you want it to use GPT-4 or Cloud 3 or Gemini from a drop-down.It's like running VS Code on Windows or a Mac.The app is portable across the underlying OS.Got it.

但是他还说我们在 1960 年代的 OS 中是很早的是的 这是重要的点 LLM compute 仍然是非常贵的所以所有东西都被集中在大型数码中心

我们主要是跟他们互动,通过 API 连接网络。就像以前在一天中使用主板连接到主板时,在大银行的时间分享。对,这意味着 AI 的个人电脑革命,在你处于复杂的模型中,在地区和便宜的情况下,这并没有发生过。这是一个大量未来的机会。

可能是这样的事情,例如在现代 Mac mini 上的运行模型,这些是那种人工智能未来的第一个瞬间。可能是这样的事情,例如在聊天中的 GPT 面对应用的电话互动,真的感觉像是用一个指挥线,一个电脑。我们还没有真正的创造了正常的图表用户面,GUI,以对这些全面的 LM 产品产生互动。

好 另一件他指出的反映的事情就是這個科技的流行程式通常大型的轉變科技開始是政府 軍隊 大型公司 電力 網絡 加密貨幣

因为它开始是贵的,很复杂,可能需要资源,开始大幅度,然后最终会被消费者淹没了。但 LLM 完全翻过了那个调整。完全翻过了。CHATGPT 基本上被人们几百万人都被封锁了,人们都在用它为日常的东西,例如"我怎么煮蛋",

在很多公司之前,他们都没有理解该怎么做。所以公司和政府实际上是在后面的一条线上,相比起个人用户和公司。这就是他所观察的。这有很大的影响,在新产业的第一步中发生的地方。从消费者的角度上,从发展商的角度上,从大型公司来的角度下,

这就是科技扩展的重大变化。所以如果我们想建立这些新的 LM、新的 OE,我们需要明白他们的思维。对,卡普迪说了很多这些东西。他称之为"人类的综合模式"或"人类精神"。因为他们基本上都在用人文字,他们吸收人思思、思想、执行、

OK,Superhuman Memory

但缺乏的也挺嚴重的,噩夢是明顯的。對,他們有時候會確實做到一些事情。然後還有他所稱的"狹窄智能"。狹窄智能!意思是他們可以在一個區域中做出很複雜的思維,但卻做出非常基本的錯誤,人人都不會做到。例如,混淆簡單的數學,9.11、9.9,或是寫 2R 和草莓。這些就是你能夠輕易切割自己的硬邊,如果你在建造產品。

对,你不可以只相信他们的隐秘。那什么是"安特鲁·格雷德·阿姆尼西亚"呢?这就像是一个电影名称了。啊,是的,他把它比较成"梅梅托"或"五十第一个日子"。正如一个人的同事,他学习和记得一切,从一段话题到下一段话题,LLM 不仅仅是在时间中的知识结合,他们的记忆也在每个时间中的结合。

OK,That's a big limitation for complex ongoing tasks and security.

另一个,他们可以被骗取,容易被引诱攻击。有人可能会让 LM 忽视它的原始指示,或是它不应该有 access 的液体。所以,理解这种奇怪的混合,超人能力,非常像人,甚至是非人的错误,

是必須用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的, 能夠用得到的

对

他认为成功的应用程序有几个好处第一,他们能够管理你的语言语言,给你把对的信息传输到 LLM 第二,他们能够与不同模式或工具进行联系第三,这对于文字的提示来说,他们有所有的想法:具有应用程序、图表、用户、GUI 为什么 LLM 能够理解文字的 GUI 那么重要?因为人类仍然在连续中,人类是视觉的

GUI 是我們要快速地調查和檢查這些可否的 AI 的工作看到一個綠色和綠色的改變的顯示圖的顯示圖的改變是比看改變的寫字更快的啊 它快速地進行人類的檢查

很合理。它能够连接人工智能的合作。最好的应用程序也给你一个自动滑动的滑动器。一个滑动器,就像自动智能的功能。对。在 Cursor 里,你可以用 cmd+k,用一个小的建议在一个笔记上,或者 cmd+i,用它问问整个座位。或者,你可以做一个快速的搜索,或者让它做一个更深入的、更自动的研究工作。

你 使用者 控制 AI 的程度的應用所以是關於保持人在控制 管理 AI 的危險 走下路嗎?對 卡普蒂真的推翻了全體的機器人的熱情 立即解決了 complex tasks

在 AI 提供的 10,000 字的新程式上,如果要你去查看和确认,那你不需要用人的时间。人的肩膀。对。他宣布将 AI 保持在轮胎上,在小小的、加密的步骤中,在确认的速度上,

用具体的特定的指示因为明显的指示会引起不好的结果和浪费的运动他在这里用了特斯拉自动自动车的例子他说了 12 年后自动自动车仍然是一种 23 层的半径自动车它需要人工执行所以这种想法是一年的经纪人都要取消了这些事情是很不方便的比较像一年多的经纪人好 慢慢的 人在路上他用的语言是

就是专注于这些半自动化的产品,经常使用选择的 GUI,设计以使人生产生的确认运动速度越快越快。

那就是近期商品價值的地方了對 現在這對開發者來說是他最重要的信息這也連接到 vibing 的概念因為你可以用自然語言 現在任何人都可以去 code 對 它就像是一個謎你只要能夠描述你想要的 vibing 而 LLM 就能幫你建造

而且是真的,英文设计是无法预期的,它帮助更多人创造软件,这是一个巨大的机会。但是有一个重点,一个很大的重点,根据他的经验。这是一个非常重要的重点,这是他对这种风格的真正的发展,并且这对他表示了一个巨大的商业挑战。

而用 LLM 来写出一个应用程序的应用程序就像他建立的一个简单的 IOS 应用程序或者他的 menugenon 例子, 例如他建立的饭店应用程序,是非常快和简单的。其余的不一样。

不,完全不,他说,他在做一切事实,例如执行执行,用户币,支付,获取名字,发布程序,所有他在 DevOps 下的东西,那些时间非常长。是的,而且它主要是在网上按钮,并不是在复制文件。哇,所以 AI 的酷是简单的,但实际上的垃圾是很难的,是个瓶子。对,这实际上是一个大量的压迫点,为了实际建立一个商业。

对

Agent as users, what does that mean?He frames agents as this entirely new category of digital entity.They're not humans clicking buttons, they're

人類的電腦或網上人類的精神需要用來消費和互動的資訊和服務好,所以我們需要讓我們的網站和 API 更容易使用嗎?對,我們需要半途遇到他們他建議像是在網站上創造 LM.txt 的資料,就像是 robots.txt 的網路掃描者一樣,提供具有特定的指示或資料,為 LM 的網路掃描者為了理解網路內容

所以发展商应该在做的事情是要让他们的服务是 AI 纯正的,而不是人类纯正的。绝对的,这是一个机会。

他提到的工具是可以改变 GitHub 的 URL 稍微,然后它可以把所有的文件混合在一个文件处理,完美地传输到 LM。或者是工具可以分析一个连接,并自动发布 LM 准备的文件。对,就像 DeepWiki。

理想是把资料准备成颜色让 LLM 容易去解决和作用即使 LLM 最终能够很好的在复杂人工智能复杂人工智能复杂人工智能复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复杂人工复

非常多的軟件需要重新思考、重新寫作,並且需要建造全新的軟件。確實,這些 LM 在投資方面像是資源的負荷,但最強烈的就是在 1960 年代的 OCS。

And understand that the autonomy slider is going to move slowly

对,所以,卡普迪提到的那种压力点。既然使用 LLMs 现在的主要应用逻辑是很简单,但使用 DevOps 的所有的执行和监控都很难做到,

你认为什么基础改变在数字、数字构造、甚至商业模式上会是必须实际地启动这种 AI 时代的全面商业能力?这就是一个很大的问题,对吧?这是我们所有人都在这些新的前景中继续扩展的一个重要问题。