最近,ChatGPT及其背后的技术引发了广泛关注。与其说是对技术的解读,不如说这是一场关于未来、关于机遇、关于人机交互方式变革的思想碰撞。我与百姓网创始人王建硕先生进行了一次深入的对话,试图解开ChatGPT的神秘面纱,并探讨其带来的无限可能。
建硕首先澄清了一个关键概念:ChatGPT首先是一个产品,其次才是大语言模型(LLM)。它并非简单的聊天工具,而是OpenAI公司基于GPT-3.5(GPT-3的微调版本)开发的一款应用。GPT-3.5中的“3.5”并非简单的版本迭代,而是基于GPT-3(拥有1750亿参数)进行针对对话场景和安全边界等方面的微调后的产物。 GPT-4的发布更是将这一技术推向了新的高度,其多模态能力更是令人瞩目。
我们深入探讨了GPT三个字母的含义:Generative(生成式)、Pre-trained(预训练)、Transformer(变换器)。预训练如同培养一个具备基础技能的“阿姨”,而微调则如同根据家庭需求对“阿姨”进行个性化调整,大幅降低了模型训练成本。Transformer模型则通过编码器(Encoder)将输入文本转化为向量表示,再由解码器(Decoder)根据指令生成输出文本,这其中就包含了信息压缩和生成的过程。
建硕巧妙地引用了科幻作家Ted Chiang的文章比喻,将ChatGPT比作人类知识的模糊JPG图片。这形象地解释了模型在压缩和生成过程中信息损失和“人工智能幻觉”(AI Hallucinations)的产生机制。他指出,这种“幻觉”并非完全是错误,部分是模型基于现有信息进行合理推断的结果,而部分则是由于信息不足导致的“添油加醋”。 通过恰当的提示词(Prompt)和指令,可以有效引导模型减少不必要的“幻觉”。
建硕从创业者的角度分析了ChatGPT的应用前景。他认为,ChatGPT并非仅仅是AIGC(人工智能生成内容)浪潮的一部分,更重要的是,它打开了自然语言用户界面(LUI)的大门。这将彻底改变人机交互方式,如同当年浏览器改变互联网一样具有革命性意义。
他将ChatGPT带来的变革与浏览器、智能手机的出现相提并论,认为这都是人类与计算机交互方式的重大飞跃。他强调,与其专注于大模型本身的竞争,不如关注LUI时代带来的新机遇。他预测,未来将出现新的域名系统和机器人协作平台,实现机器人之间的无缝协作。
关于如何基于相同的GPT模型API进行产品差异化,建硕提出了一个独特的视角:将ChatGPT视为一个“翻译官”或“网关”,而非一个封闭的、不可开发的产品。通过构建独特的知识库和业务逻辑,即使底层模型相同,也能创造出差异化的产品,构建强大的竞争壁垒。他认为,未来的价值捕获将主要集中在基于LLM构建的应用层,而非底层模型本身。
我们还探讨了ChatGPT带来的挑战和隐忧。关于版权问题,建硕认为,ChatGPT生成的文本内容的版权归属是一个全新的法律领域,需要进一步探索。关于隐私问题,他指出,ChatGPT本身并不直接收集个人信息,隐私问题主要来自于上层应用的开发和使用方式。
关于AI可能带来的负面影响,例如低质量内容泛滥、信息茧房效应等,建硕表达了乐观的态度。他认为,虽然AI可能产生大量低质量内容,但它同时也极大地提升了生产力,这如同历史上其他技术变革一样,最终会带来更大的福祉。他认为,ChatGPT并非加剧世界分裂,反而可能促进世界大同,因为其输出结果是基于海量数据的一种加权平均,这有助于形成更广泛的共识。
最后,我们讨论了AI教育的重要性。建硕认为,AI技术的发展速度远超法律法规的制定速度,但我们不必因此感到恐惧,而应该积极拥抱变化,学习如何利用AI提升自身能力,从而“因AI而强大”。 他分享了百姓网正在进行的AI教育项目,旨在帮助更多人适应并掌握AI技术。
总而言之,与王建硕的对话让我对ChatGPT及其背后的技术有了更深刻的理解。它不仅仅是一个技术突破,更是一场深刻的变革,它将重塑人机交互方式,并为创业者带来前所未有的机遇。 然而,我们也必须正视AI技术带来的伦理和社会挑战,积极探索应对之策,确保AI技术能够真正造福人类。
欢迎各位收听 Traders' Talk 大白话系列第 3 期。
这次建硕和我聊的是一个充满未知和想象力的话题——ChatGPT。就在今天凌晨(2023/3/15),OpenAI 发布了 GPT-4,它比之前的产品更加可靠、更有创意,能处理更细微的指令。
在本期节目中,建硕科普了 ChatGPT 的定义和原理,澄清了关于它的常见误解,并从创业者视角畅谈了 ChatGPT 的应用前景和创业机会。最后,我们还探讨了与 AI 相关的隐忧。
感谢各位的收听,我是 Sarah,让我们开始本期节目吧!
———以上文本由 ChatGPT 生成———
【相关文稿及视频】
关于如何收看视频直播👇
王建硕,百姓网创始人、董事长,公众号:王建硕。
一、ChatGPT 定义及原理
00:02:58 ChatGPT 首先是一个产品,其次才是一个大语言模型
00:04:23 自然语言处理 NLP 的两大分支:大语言模型 VS 特定语言模型
00:08:30 GPT-3.5 中的 3.5 编号是怎么来的?
00:10:36 ChatGPT 中 G、P、T 三个字母以及微调的含义
00:18:26 特德·姜的文章比喻:ChatGPT 是人类知识模糊的 JPG
00:21:18 人工智能幻觉 AI Hallucinations 是怎么产生的,需要规避吗?
二、澄清关于 ChatGPT / LLM 的迷思
00:30:41 为什么 ChatGPT 是数学很差的文科生?它在做的是文字补全 / 文字接龙
00:34:41 近两年大语言模型的突破性进展:涌现、思考链路,但依然算不上通用人工智能
00:40:52 ChatGPT 敲开了 LUI 的大门
00:45:09 建硕经历的四次历史上的惊叹时刻,其中浏览器时刻与 ChatGPT 时刻极为相似
00:49:48 Web3 目前还相当于互联网的 1979 年,虽改变人类世界的能力,但还未到火候,在行业里等待可能是危险的
00:53:51 中国有必要再做一个类似 ChatGPT 的大语言模型吗?
00:59:51 ChatGPT 与搜索引擎的关系
01:01:33 ChatGPT 有没有自我 / 意识 / 人格?
01:13:14 如何看待 Yann LeCun 教授的评价:ChatGPT 所应用的技术并无多大创新,只是在工程设计上非常优秀?
三、创业视角看 ChatGPT
01:15:36 ChatGPT 可被应用的领域有哪些?
01:19:34 基于同一套 GPT 模型 API 开发的产品该如何进行产品差异化、构建竞争壁垒?
01:22:38 ChatGPT 这一次浪潮究竟是谁的机遇,产业链的价值捕获最终会落在何处?
01:28:43 国内外创业者在这条路上有时间差吗?
01:35:31 ChatGPT 会让人失业吗?
01:39:50 会用 AI 和不会用 AI 的人之间会形成更大的不公平吗?
四、AI 隐忧
01:42:13 ChatGPT 生成的内容应该受版权保护吗?
01:44:45 ChatGPT 背后的语料是否可能涉及侵犯隐私或非授权的数据爬取?
01:49:48 未来互联网会不会充斥着 AI 生成了大量同质化或平均水平的语料?
01:59:48 ChatGPT 不仅不会像抖音算法那样割裂世界,反而给人类世界大同的可能性
五、其他
02:10:07 AI 教育的重要性,以及建硕在实践的瀛海威互联网分享精神
1. ChatGPT 的核心是大型语言模型(详见第 4 点),及《ChatGPT 中,G、P、T 分别是什么意思?》。
2. 微调(Fine-Tuning):这部分训练是在预训练之后进行的。该程序接受一项任务,然后针对更具体的数据在更小、更具体的任务上进一步训练它。
3. OpenAI 各代产品
2018 年 GPT-1(开源):首次让人工智能像人类一样「理解文字」、写出文字
2019 年 GPT-2(开源,1.5 billion 参数)
2020 年 GPT-3(未开源,175 billion 参数,45T 文本)
InstructGPT:专注于让其听懂指令
ChatGPT(GPT-3.5,500G 文本):基于对话场景以及安全边界等进行加强,是 GPT-3 模型上进行微调的产物
2023/3/2 GPT-3.5 API 开放:人人可用、接入门槛低
2023/3/15 GPT-4 上线,最大亮点是多模态能力
4. 自然语言处理(Natural Language Processing,简称 NLP):是 AI 领域的一个子领域,旨在让计算机能够理解、处理、生成自然语言。
大语言模型(Large Language Model,简称 LLM):是自然语言处理领域中的一种技术。LLM 可以基于深度学习算法构建的模型,通过学习大量的文本数据,可以对文本数据进行学习和预测。“大”指的是参数多、语料多。
特定语言模型(Specific Language Model):是一种针对特定语种和领域的自然语言处理模型。它在大语言模型的基础上,使用特定领域的文本数据进行训练和优化,以提高模型在该领域中的预测和生成能力。
意图检测(Intention Detection):是 NLP 领域的一种技术,旨在识别和理解用户在一段文本中的意图。在应用中,意图识别通常与语音识别和语音合成等技术相结合,以实现智能对话和交互。
实体检测(Entity Detection):同样是 NLP 领域的一种技术,旨在从文本中识别出具有特定意义的实体,例如人名、地名、组织机构、日期、数字等。
5. 提示词(Prompt):一种文本片段,包含了对输入数据进行处理的指令或提示,系统可以根据 prompt 生成相应的输出。通常用于生成文本、回答问题等任务中。
6. 人工智能幻觉(AI hallucinations):人工智能系统在生成输出时,所产生的一些错误或不合理的结果。这些结果通常是由于模型在训练过程中,所接受的数据不足或不平衡所导致的。
7. 涌现(Emergence):从简单的算法、模型或数据中出现的意想不到的结果或行为。当神经网络的复杂性和训练样本的多样性超过一定规模后,就会有抽象的推理结构在神经网络里自发地涌现出来,这个过程是非线性的,量变导致质变。
8. 思维链路(Chain of Thought,CoT):用于描述神经网络中的信息流动和计算过程。这一概念试图复现慢思考模式的过程。
9. 通用人工智能(Artificial General Intelligence,AGI):与目前大多数人工智能系统只能解决特定领域的问题不同,AGI 可以具有类似人类的智能,能够在多个领域中学习和应用知识,处理和理解不同类型的信息,并具备自我学习和自我改进的能力。AGI 被认为是人工智能领域中最具挑战性和最具科学意义的目标之一。
10. AIGC(Artificial Intelligence Generated Content):由人工智能自动生成的内容,这些内容可以是文字、图像、音频、视频等。
11. Yann LeCun 杨立昆教授:Meta AI 首席科学家,2018 年图灵奖获得者,CNN 卷积神经网络之父,是世界上最有影响力的人工智能研究人员之一。
13. 乔布斯与 GUI:1979 年,在一次对施乐的帕洛阿托研究中心(Palo AltoResearch Center)的拜访过程中,史蒂夫·乔布斯(Steve Jobs)发现了 GUI 的设计图纸和鼠标。随后便将它运用于 Apple Macintosh 的开发过程中。
14. Netscape Navigator:第一个广泛使用的商业化 Web 浏览器,由美国公司 Netscape Communications Corporation 开发并于 1994 年发布。
15. 图灵测试(Turing Test):一种测试人工智能是否具有智能的标准之一,由英国计算机科学家图灵在 1950 年提出。
16. HTTP 协议、HTML 协议、FTP 协议、Telnet 协议、Mailto 协议、Gopher 协议、NNTP 协议(大家感兴趣的话自行查定义哈……字数太多放不下了)。
17. 阿帕奇(Apache):一款开源的 Web 服务器软件。它以高性能、稳定性、灵活性和安全性著称,可以满足各种 Web 应用的需求。
18. 红旗浏览器:中国自主研发的一款浏览器软件,由中国红旗软件股份有限公司开发,它是国内第一款支持 IPv6 协议的浏览器。
19. AI 军备竞赛:2023 年 2 月,Google 推出 Bard;微软推出 New Bing。国内百度类 ChatGPT 聊天机器人项目名字确定为「文心一言」;中国初创公司元语智能首发 ChatYuan。
20. 巴别塔:《圣经》故事,讲述了人类曾经想要建造一座高耸入云的巨塔,以便让自己的名字传遍全世界,但被上帝惩罚,使得人类的语言不同,无法相互理解,于是他们停止了建造,分散到世界各地。这个故事被认为是对人类的骄傲和自大的警示,同时也是对人类语言多样性的认识和尊重。
2. 《ChatGPT是网上所有文本的模糊图像》,《降临》原作者、科幻小说家 Ted Chiang(特德·姜)发布于纽约客的文章。
4. A Conversation With Bing’s Chatbot Left Me Deeply Unsettled,出自《纽约时报》专栏作家、 Hard Fork 播客主播 Kevin Roose,他讲述自己体验 New Bing 后被 AI 示爱的过程。
5. “ChatGPT is 'not particularly innovative,' and 'nothing revolutionary', says Meta's chief AI scientist”,《Meta首席AI科学家:ChatGPT并无特别的变革创新》,LeCun 教授认为,与其说 ChatGPT 是一个科学上的突破项目,不如说它是一项成功的工程实践。
6. A16z《Who Owns the Generative AI Platform?》,这篇文章将 AIGC 产业链玩家分为了以下几种:
实体基础设施供应商可能是迄今为止这个市场上最大的赢家,捕获了大部分的价值,占据了流经此的大部分资金。如底层的芯片等硬件制造商、云服务商(基本无创业公司机会)。
上层的 AI 模型开发公司,也就是创造最大价值的公司——即训练生成式 AI 模型并将其应用于新应用程序——并没有获得大部分价值。
终端的纯调用模型 API 的应用开发公司的收入增长非常快,但往往在留存率、产品差异化和毛利率方面苦苦挣扎。
8. 百姓网 AI 教育负责人 ElfeXu 文章:《因 AI 而强大》《如何在遍布 AI 的世界里游刃有余地生活》
9. Hung-yi Lee 关于 ChatGPT 的原理剖析视频系列
10. 老华《关于 ChatGPT 的一些问题和思考》分享:建硕视频号 2023/3/4 直播回放。
11. 《ChatGPT 与人类未来:AI 茧房、安全漏洞与未知的社会形态》,硅谷 101 公众号文章,创新工场 CTO 王咏刚在朋友圈中写到:「悲观情况是:因为人类的极度懒惰,互联网被AI生成的、错误率普遍高于人类知识工作者的『灌水内容』占领,我们的孩子成为『迷失的一代』」。
12. 《AI 作图的版权属于作者吗?》 by 刘飞 Lufy
剪辑:二琳
制作:Sarah、我不跑调