We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode What Claude Shannon Figured Out

What Claude Shannon Figured Out

2025/1/16
logo of podcast What's Your Problem?

What's Your Problem?

AI Deep Dive AI Chapters Transcript
People
D
David Tse
J
Jacob Goldstein
Topics
Jacob Goldstein: 我对克劳德·香农的贡献感到好奇,他被认为是现代科技的奠基人之一,在20世纪中叶的贝尔实验室工作,他的思想使得现代科技成为可能。然而,我并不完全理解他究竟取得了什么成就,以及为什么这些成就如此重要。 David Tse: 香农在信息论领域做出了开创性的贡献。他的工作对现代通信技术,特别是无线通信技术,产生了深远的影响。我的研究工作就受益于香农的理论,我的算法被应用于每一个手机通话中。 贝尔实验室作为AT&T的研发机构,其研究不受商业部门的直接限制,吸引了众多优秀人才,推动了科技创新。贝尔实验室孕育了诸多信息时代的基石技术,例如激光、晶体管和信息论。香农在贝尔实验室工作期间,对通信理论进行了深入研究,并取得了突破性进展。 David Tse: 香农在1948年发表的论文《通信的数学理论》中,提出了信息论的基本概念,例如信道容量和冗余。他巧妙地忽略了信息的意义,将通信问题简化,并取得了突破性进展。他将通信问题定义为在多种可能性中选择正确的一种,这为后续研究奠定了基础。香农的研究核心在于探究通信速度的极限,以及影响通信速度的因素。他提出了“信道容量”的概念,将通信系统比作管道,容量限制了信息传输速度。香农还研究了不同通信方式中的冗余问题,并找到了添加冗余的最佳方式,以确保信息可靠传输。香农的贡献在于优化了不同信道上的通信,平衡了效率(速度)和可靠性之间的权衡。他发现,通信的效率和可靠性之间存在一个“悬崖效应”,超过信道容量则无法提高可靠性。 在90年代,信息论一度沉寂,但无线通信革命的兴起使其重新焕发生机。我基于信息论原理,设计了一种比例公平调度算法,提高了无线通信的效率。无线通信中的衰落现象,是影响通信效率的重要因素,需要在算法设计中加以考虑。我的算法被应用于3G及后续的通信标准中,对现代无线通信技术产生了深远的影响。香农的信息论原理已被广泛应用于各种通信系统的设计中。信息论与机器学习、大型语言模型之间存在哲学上的联系,都关注模式而非意义。区块链技术与信息论之间也存在哲学上的联系,都关注容错性和对抗干扰的能力。 香农为人谦逊低调,这可能导致信息论及其影响力未能得到更广泛的认知。香农一生都保持着对问题的探索和解决的热情,无论是信息论研究还是业余爱好,都体现了他的这种“玩乐”精神。在科研中,抓住机遇的关键在于时刻准备着,只有做好准备才能在机会来临时抓住它。从香农到我本人,其科研方法的核心在于抓住问题的本质,并在此基础上进行研究。

Deep Dive

Chapters
This chapter explores Claude Shannon's monumental contributions to technology, focusing on his time at Bell Labs and the groundbreaking nature of his work. It highlights Bell Labs' unique research environment and Shannon's independent approach to problem-solving.
  • Shannon's work at Bell Labs was crucial to the development of modern technology.
  • Bell Labs' research environment fostered creativity and independent research.
  • Shannon's work laid the foundation for the information age.

Shownotes Transcript

普希金。有时,康复比生病更难。等待预约电话,在药房排队,整个医疗系统都让人头疼。亚马逊One Medical和亚马逊药房正在改变这一切。

使用亚马逊One Medical享受全天候便捷的虚拟护理,并通过亚马逊药房将您的处方药直接送达您的家门口。无需排队,无需麻烦。只需负担得起的快速护理。感谢亚马逊药房和亚马逊One Medical,医疗保健变得不那么痛苦了。访问health.amazon.com了解更多信息。

嘿,新年快乐。我们很高兴回来。在我们开始节目之前,我有一个请求。我请求你帮个忙。这个忙是这样的。请您发送电子邮件至pushkin.fm的problem邮箱,告诉我们……

您喜欢节目的哪些方面,不喜欢节目的哪些方面,具体来说,您想听到更多哪些类型的内容,以及您可能不想听到哪些类型的内容。再次强调,邮箱地址是[email protected]。我会阅读所有邮件,所以提前感谢您发送邮件。

克劳德·香农是科技史上一个举足轻重的人物。他是20世纪中期在贝尔实验室工作的关键人物之一,他提出的理念使现代科技成为可能。但说实话,我从未真正理解克劳德·香农发现了什么如此重要的事情。但那些了解技术、了解思想史的人说,香农是一位巨人。

克劳德·香农就像书呆子中的书呆子。他是技术知识分子中的技术知识分子。因此,在今天的节目中,我想了解克劳德·香农发现了什么,以及它对现代世界为什么如此重要?我是雅各布·戈德斯坦,这是你的问题是什么?我今天的嘉宾是大卫·谢德。

大卫是斯坦福大学的电气工程教授。他研究香农几十年了。他向他的学生教授香农的作品。大卫利用香农的研究成果在手机技术方面取得了突破。而这一突破,通过香农和谢德带给我们的突破,影响着我们今天所做的每一次通话。

大卫和我讨论了香农的关键见解,以及大卫自己的工作是如何建立在香农的基础之上的。我们还谈到了香农生活中很大一部分时间都花在了玩杂耍、骑独轮车和制作机械玩具上。但首先,我们谈到了20世纪中期,贝尔实验室是如何推动如此多的技术创新的。是的,贝尔实验室是AT&T的研究实验室。嗯哼。

当时的AT&T是电话公司。如今,我们有很多电话公司。我们有Verizon,我们有T-Mobile等等。但在那些日子里,只有一家电话公司,那就是垄断企业。因此,垄断企业需要证明其存在的合理性。因此,它不会被政府拆分。它当然最终被拆分了。但在那时,它是一个垄断企业。因此,证明垄断企业存在合理性的一种方法是

它对美国人民、对政府说,我们将始终将一定比例的收入用于这个名为贝尔实验室的研究实验室。贝尔实验室的任何成果都是我们对公司底线以及对国家技术的贡献。因此,他们肩负着某种公共使命,以防止政府将其拆分。

是的。因此,这也让研究人员可以非常自由地进行研究,而这些研究不一定与某个特定的业务部门相关联。好吗?所以他们可以很有创造力。这就是贝尔实验室的氛围。因此,贝尔实验室吸引了一群非常聪明的人,因为聪明的人想解决他们自己的问题,而不是经理交给他们的问题。是的。

这是聪明人的一个特点。所以,是的,那是贝尔实验室的鼎盛时期。许多聪明的人发明了令人惊叹的东西。激光在那里发明。信息论。晶体管在那里发明。信息时代的几乎所有基础。是的。无论是硬件、算法还是软件。

从某种意义上说,所有这些都起源于贝尔实验室。这实际上是对人类的贡献,我应该说,不仅仅是对美国的贡献。所以香农在这个时候来到这里,对吧?他和……在一起,你知道,当他们发明晶体管的时候。他在那里做什么?告诉我他到达那里后在那里做的工作。他在做什么?是的,我认为香农总是有他自己的议程。嗯哼。

我们确切地知道,他一直对通信问题感兴趣,即拥有一个宏大的通信理论的想法,甚至在1938年,我认为是37年、38年,因为他当时写信给一位名叫维纳·布什的非常著名的人。维纳·布什非常有名。我认为他是麻省理工学院的校长或院长,后来成为总统的科学顾问。

所以他在1938年给范德罗赫·布什写信说,嘿,你知道吗?我真的很感兴趣这个问题,即如何找到一个统一所有可能的通信系统的理论。那里有许多不同的通信系统,但我认为每个系统的核心都有一些东西。我正试图找到核心。就像没有人那样想过这个问题,对吧?这似乎是他的一部分……

香农之所以如此重要的一部分原因是,据我所知,人们明白他们试图弄清楚如何让电话工作得更好,他们试图让电影更清晰等等,但香农出现之前,并没有这种抽象的想法。原因实际上很简单,因为如果你有一个你想构建的物理系统,对吧?你看到了什么,对吧?你说,嘿,伙计,视频。例如,我现在正在看你。

我不得不说,我看不太清楚你。是的。

我在壁橱里。我在壁橱里。对。然后我会说,嘿,如何尝试改进图像。也许我可以尝试修复这个像素或对你的噪声进行一些过滤。所以我与特定问题的具体细节紧密相连,因为我是工程师,我需要改进系统,不是在10年后,而是在明天。你不需要系统的理论。你只需要更清晰的画面。是的。

是的,我陷入了困境,对吧?我陷入了困境。而香农,由于他的训练,也由于贝尔实验室这样的地方的氛围,可以承受后退一步,看看更广阔的森林,而不是具体树木的细节。

所以,好的,香农的伟大想法发表在他1948年发表的一篇论文中。这篇论文名为《通信的数学理论》。这是他的伟大作品。告诉我关于这篇论文的情况。这篇论文实际上是一篇非常有趣的论文。事实上,当我教授信息论时——

我从论文本身进行教学,因为我认为这是一种惊人的方式,不仅可以学习信息论,还可以学习如何正确地撰写科学论文。你知道,并非每个人都在进行信息论研究,但每个人都必须写作。每位研究人员都有权向同行和观众表达他们的想法。所以在这篇论文中,非常有趣。论文的第一段就已经非常有趣了。

因为如今人们撰写论文时,通常会告诉你,哦,我的发明有多么伟大。它将改变世界。每篇论文都将改变世界。但事实上,他的第一段侧重于告诉你他的论文没有实现什么。我的意思是,那是一位大师。那是一位大师。

对吧?我的意思是,你今天读到的有多少篇论文在一开始就告诉你,嘿,你知道吗,伙计们?在这里进行期望管理。这篇论文不是关于这个,不是关于这个,也不是关于那个。不要抱太大希望。嘿,不要抱太大希望。是的。没错。这正是他所做的。期望管理。好的。如今。今天,我们称之为期望管理。是的。

现在这些事情,我想他只是称之为诚实。他的要点是,人们经常将信息与意义联系起来。然后他说,在这篇论文中,我们忽略了意义。我们忽略了意义。所以这是他做的第一件事。

这很精彩,因为一旦你将信息与意义联系起来,他就永远无法取得任何进展。这只是太困难、太广泛、太模糊的问题了。每个人都纠结于意义的概念以及什么是意义。他说,忘了意义吧。那么,如果我们忘记意义,还剩下什么?

是的,我认为这篇论文最大的突破是真正关注重要的事情,并摒弃许多实际上并不重要的事情,不是说它不重要,而是在解决通信问题方面并不重要。通信,然后他说,好的,什么是通信问题?通信问题如下,即一个词有多种可能性

我的目标是告诉接收者、目的地,哪种可能性是正确的可能性。是的。所以在语言中,它基本上是一个有限集。语言是一个有限集。它非常大。但是如果我们正在说话,并且我们都知道我们正在说英语,那么基本上你正在听到这些词并对其进行解码。你知道这是一系列单词,你只需要弄清楚哪些单词。对。

例如,像那样吗?是的,像那样。好的。所以这就是他构建的框架。然后呢?好的。好的。然后一旦你有了这个框架,对吧,然后你可以问这个问题,好的,什么是沟通的目标?沟通的目标是尽可能快地沟通,对吧?自然而然的问题是,为什么会有限制?

关于我多快可以和你沟通。因为如果没有限制,那么世界就会变得不可思议,对吧?我们可以沟通得如此之快。这就像瞬间心灵感应。这就像你瞬间向我传递你脑海中的每一个想法。是的,好的。没错。一旦你建立了这个有限集,正如你提到的那样,自然而然的问题是,好的,给定这些有限集,我多快可以和你沟通是有限制的吗?嗯哼。

所以这就是论文的核心问题,即他制定了通信系统容量的概念,就像管道一样。就像你正在将水推过这个管道,管道的尺寸限制了你多快可以将水推过它。类似地,在通信中,存在管道尺寸的概念,称为容量。嗯哼。

他找到了一种计算不同通信介质容量的方法。

任何通信介质,你实际上都可以计算出该通信介质的容量,这限制了你多快可以通过该介质进行信息通信。无论该介质是无线的空中介质还是有线介质,就像我正在和你说话一样,我通过空中进行通信,我与我的wifi进行通信,wifi通过一些铜缆、一些光纤,所有这些都是物理介质,但他可以计算

这些不同介质中的每一个的容量。我知道论文的一部分研究了各种通信模式中的冗余。相关的是模式,对吧?论文的整个部分研究了英语中字母出现的频率,并围绕这一点构建了一个想法。告诉我论文的这些部分。

是的,让我们从冗余这个词开始。是的,那是错词吗?那是对的吗?不,不,不,不,不,不。这不是错词,但我认为它是最重要的词。好的。几乎。因为如果你回到这个问题,回到我刚才谈论的事情,即你多快可以沟通,对吧?是的。所以他发现实际上沟通速度没有限制。你总是可以非常快速地沟通。

但是这个人听到的是胡言乱语,他无法真正区分你想说什么。系统中有很多噪音,以至于他无法真正弄清楚他在说什么。即使你是面对面的,对吧?即使你是面对面的,你也没有通过电话或其他方式。如果你说得太快,听者就不会理解,因为你说得太快了。是的,任何去听疯狂教授讲座的人都会知道这一点。当教授不停地说话时,它……

以每小时百万英里的速度。是的。学生只是坐在那里,没有人理解任何事情。是的。教授在结束时宣布当天结束。是的。所以,所以基本上他是在说,嘿,你知道吗?为了确保信息可靠地传递,可靠地传递,这是第一个词。是的。你需要在你的信息中加入冗余,冗余。好的。是的。

他所发现的是,从某种意义上说,这是添加冗余的最佳方式。因为你知道,你总是可以在添加冗余时很愚蠢。例如,我可以不断地重复同一个词100次给你听。然后你可能会明白。然后我继续下一个词。我无法继续下一个词。但这会让我慢100倍。对。对。

所以这不是添加冗余的明智方法。所以他找到了一种最佳的添加冗余的方法,这样你就可以可靠地进行通信,并且以他所谓的最大容量限制进行通信。这实际上是一个完全令人惊叹的公式,而且非常不明显。我认为这是某种

这个家伙香农的惊人贡献。这是优化。他优化了任何通道上的通信,你在其中平衡效率或速度和可靠性。这就是权衡。他找到了如何优化这种权衡的方法。是的,是的。他找到了如何优化这种权衡的方法,但这项权衡结果是

非常有趣。这是一个非常有趣的权衡。所以通常当我们考虑权衡时,我们会想到一条平滑的曲线,对吧?当你调整某些东西时,你可以获得更好的性能。但他所展示的是,存在一种类似于悬崖效应的东西。好的。悬崖效应是,如果你在低于这个称为容量的数字的情况下进行通信,那么你总是可以设计一个系统来使信号

通信尽可能可靠。非常可靠,完全干净。哇。而如果你在这个容量数字以上进行通信,那么你什么也做不了来使你的信号干净。这完全是胡言乱语。所以这是一个非常尖锐的权衡,他确定了这一点。这不是一个平滑的权衡。

如果你经营电话公司,这正是你想要知道的,对吧?这样你就可以将其调整到容量,然后不再尝试调整它,因为它不会变得更好。正确。这就是60年来工程的目标,以实现他的目标,他的愿景。他在1948年的愿景,人们花了大约60年的时间才实现它,实现了他的愿景。

好吧,所以你也是这个故事的一部分,对吧?现在让我们让你进入这个故事。所以你,告诉我关于你的工作以及香农的工作,你知道,你如何建立在香农的工作之上。告诉我你是如何建立在香农的工作之上的。是的,我在90年代获得了博士学位,好的,在90年代。我的导师是香农的学生。所以我从他那里学习了信息论,好的?现在,那时,

信息论几乎是一个死气沉沉的学科,好的?当我还是博士生的时候,我的导师告诉我的第一件事,也许他是在效仿香农,是,嘿,不要从事信息论研究。哇。你永远找不到这份工作,好的?这是一个艰难的时刻。对你来说一定是一个艰难的时刻。这很艰难,是的。因为那时,理论上并没有取得什么进展,对吧?

而且也没有杀手级应用。没有非常杀手级的应用需要所有这些复杂的信息论。好的?所以它就像一个死气沉沉的领域。有一段时间人们用它来做什么,比如让固定电话工作得更好吗?比如在50年代或某个时候?人们会说,哦,太好了,现在我们有了这个理论,我们可以让电话工作得更好吗?是的。所以事情是这样的

人们想出的实现这些容量限制的解决方案非常复杂。电子设备、技术不足以构建这些复杂的电路。因此,信息论在50年代、60年代甚至70年代都没有产生非常显著的影响。所以这就像那些理论远远领先于技术而无法发挥作用的情况之一。是的。

所以人们开始对这个理论失去兴趣。就像,哦,这是一堆数学。它没有影响现实世界。所以学生们开始远离这个领域。但总有一些学生,好的,他们只是如此迷恋这个理论,以至于他们继续追求它。我的导师是这个领域的主要教授之一。他每十年会有一个学生,每十年一个学生。

进行信息研究。- 你就是那个学生?你就是那个学生?- 我不是那个学生。- 哦,好的。- 我不是那个学生,好的?那时,那个位置已经被一位早期的学生占据了。- 好的。- 他比我聪明得多。- 好的。- 他比我聪明得多。就是这样。他是信息论领域十年一度的学生,好的?现在,所以我被分配去处理其他一些问题,好的?完全不相关,好的?但无论如何,重点是,当我毕业时,发生了一些事情,好的?

那是无线革命的开始。那时只有100万人拥有手机。那些手机,我甚至不记得了,就像巨大的砖头一样。是的,就像电影《华尔街》中那个著名的场景一样,对吧?这是每个人都在谈论的那个场景,它就像比砖头还大。人们说砖头,但它实际上比砖头还大。它就像一本厚厚的平装书或类似的东西。

是的,实际上在那些日子里,因为这些手机太少了,所以它就像一种声望。拥有这块砖头是一种声望。是的。好的。是的。你得不到那块砖头。你必须富有才能得到那块砖头。是的。是的。无线革命正在发生,因为人们意识到,嘿,你知道吗?能够随时随地进行沟通非常有价值。是的。所以人们现在开始感兴趣了。那时,人们意识到,哇,这项无线技术

物理介质真的很难进行通信,因为带宽非常有限,噪声非常大,对吧?联邦通信委员会正在严格限制这些应用程序的带宽分配。嗯哼。

- 联邦通信委员会。政府不允许无线公司为手机使用太多带宽。- 是的,因为所有带宽,大部分都分配给军事用途。那时只有很少的带宽分配给平民。因此,这些带宽以非常高的价格拍卖给公司。因此,在使用这种非常昂贵的财产方面变得非常重要。然后人们意识到,嘿,如果我们想真正高效,

那么我们需要一个关于效率的理论。所以人们开始思考,好的,好的,所以信息论已经死了,但现在它将重获新生,因为我们有这个非常重要的问题,联邦通信委员会分配的非常昂贵的频谱,我们想尽可能多地从中榨取。尽可能多的沟通。我们需要某种通信的数学理论,如果你愿意的话。

这就是无线技术引发的信息论复兴,它将我们的手机数量从100万部增加到今天的100亿部。每个人都有1.1部手机。信息论在这个革命中发挥了重要作用。

一会儿,大卫是如何利用克劳德·香农1948年的论文提出一个我们每次打电话都会使用到的想法。

嘿,我是雅各布。我和瑞秋·博茨曼在一起。瑞秋在牛津大学讲授信任,她是普希金新有声读物《如何信任和被信任》的作者。你好,瑞秋。你好,雅各布。瑞秋·博茨曼,告诉我三件关于信任的事情。第一,不要将信任误认为是能力。这是关于信任的一个大错误。所以当人们做出信任决定时,他们经常寻找的是自信而不是能力。第二,透明并不等于更多的信任。这是一个很大的神话和误解。实际上在科技界也是一个真正的问题。原因是,信任是与未知事物建立的自信的关系。那么,如果你让事情变得更透明,你会做什么?

你是在减少对信任的需求。第三,成为一个杰出的期望设定者。与期望的不一致会严重损害信任。我喜欢它。再说一遍书名,以及为什么每个人都应该听这本书。所以它叫做《如何信任和被信任》。故意地,这是一个双向标题,因为我们必须给予信任,我们也必须赢得信任。

我写这本书的原因是,我们经常听到关于信任处于危机状态或信任正在下降的信息。但是你可以做很多事情来改善你自己的生活中的信任,来改善你团队中的信任,信任自己去承担更多风险,甚至做出更明智的信任决定。瑞秋·博茨曼,新的有声读物叫做《如何信任和被信任》。很高兴和你交谈。

很高兴和你交谈,我真的希望听众能收听它,因为它可以改变人们的生活。

让我们花一点时间谈谈你的角色,对吧?就像你实际上在那里扮演了重要的角色一样。是的。所以我当时在贝尔实验室。嗯哼。就像克劳德一样。就像克劳德·奇亚塔一样。是的。所以我博士毕业后在贝尔实验室做了一年的博士后,然后才去伯克利成为那里的教授。我在那里待了一年。这就是人们当时在贝尔实验室谈论的事情。嘿,这个新事物,无线技术。

信息论正在复兴。我们可以尝试使用信息论,并将其应用于无线通信问题。

所以那时我说,哇,我从鲍勃·加拉格尔那里学到的信息论。终于有地方可以使用它了。最后,我可以靠它谋生了。不像我的导师告诉我的那样,它并没有死。它正在复兴。所以这就是我进入这个领域的方式。是的,所以我做了,我,你知道,发明了一堆东西。

并将这种信息论与现实世界联系起来。每次你使用手机时,你都在使用我的算法,它是基于信息论的。哈。所以首先,这是一件很酷的事情。这是一个非常好的炫耀。你的算法,它是比例公平调度算法,对吧?是的,是的。那是什么?它做什么?

好的。我应该给你讲一个小故事。我认为故事是,然后我会告诉你它做了什么。好的。所以我去了,所以那是1999年底左右,大约是1999年。所以我一直在伯克利做所有这些信息论方面的事情,写了很多论文。但我脑子里总是有一个想法,那就是,嘿,这东西有用吗?

所以我去了,我决定去一家无线公司,他们实际上制造了这些东西,看看这个理论是否可以使用。我去的公司叫高通。好的。我听说过高通。你听说过高通,但那时它还是一家小公司。它不是很大。好的。那时他们正在处理这个问题。好的。如下所示。好的。在无线通信中,有一个叫做基站的概念。好的。基站为许多手机服务。

在基站附近。它被称为小区。- 它就像一个塔吗?我们通常会称它为什么?- 是的,它就像一个塔。没错。它总是在塔上。那里有一些电子设备。那个小区,那个基站,应该向许多手机发送信息。- 你仍然可以看到它们。当你……无论如何,在高大的建筑物顶部或当你驾车行驶在高速公路上时,你都可以看到它们,对吧?你说的就是这个,是的。- 没错。有时在假树上。- 是的,我喜欢假树。在新泽西州,他们喜欢假树,是的。

新泽西州,没错。新泽西州的工厂。是的。所以那时,他们正在研究这个问题,那就是,嘿,好的,我的带宽有限,但我有很多用户需要服务。是的。好的。我该如何在我的所有用户中调度我的有限资源?对吧?因为我只有一个总带宽。所以那时,人们说,好的,也许很简单。

我给最终用户八分之一的时间,对吧?所以提升到五个用户,我为这个用户服务一会儿,然后为第二个用户服务一会儿,第三个用户,第四个用户。其想法是你切换得非常快。你就像在切换一样。切换得非常快。是的。没错。然后当我到达那里时,我说,好的。这是一个问题。这是一个好问题。我说,嘿,与其专注于这个特定的调度策略,

我们为什么不做一件香农式的事情?一件克劳德·香农式的事情?你想到了,你想到了,是的,好的。克劳德·香农式的事情是什么?是从第一性原理出发看待问题,而不是预先假设某个特定的解决方案或某种类型的解决方案,然后问自己,整个系统的容量是多少?

我该如何设计系统以达到这种容量?好的。事实证明,如果你这样看待这个问题,那么最佳的调度方式并不是他们试图设计的那种方式。原因在于,在无线通信中,存在一个非常有趣的特性,称为衰落。好的。当我通过空中与你交谈时,

信道实际上会上下波动,强弱交替,非常迅速。我的意思是,当我从基站向手机发送电磁信号时,该信号会非常迅速地被放大和衰减。它会上下波动。我们可以说它变得越来越强和越来越弱吗?越来越强和越来越弱。好的,是的。

因此,信息论告诉你的最佳方法实际上不是盲目地将时间分成时隙,而是尝试在信道较强时调度用户。从那时起,我设计了一种更实用的调度算法。

通过利用信息论的这个基本思想。因此,基站基本上是在监控来自所有不同手机的传入信号的强度。正确。然后说,哦,那个很强。我要抓住它。哦,那个很强。我要抓住它。这就是正在发生的事情。正确。正确。这如何……我的意思是,我以一种非常宏大的第一性原理的方式,类似地,它遵循香农的理论,但是否有任何具体的东西……

在香农的理论中引导你得出这种算法?-记住,香农的理论是一个非常通用的理论。-是的。-好的?它基本上说,给定任何通信介质或任何通信设置,

你可以尝试计算这种容量的概念。所以这是一个非常通用的理论。我所做的是将其应用于一个非常具体的上下文,即这个基站为多个用户设置服务,然后应用他的框架来分析该系统的容量。在分析容量的过程中,你也可以找出达到该容量的最佳方法

记住你提到容量实际上是一个优化问题。香农能够普遍地解决这个问题,但我现在在某种程度上将其专门化到这个相当具体的设置中,除了这个设置被每个人使用之外。但在那时,就像,你知道,研究是关于时间的。我在正确的时间出现在正确的地方,因为

高通公司最终完全主导了整个第三代技术。是的,3G。因此,当我能够说服他们,嘿,你们做事的方式不好,香农提出的这种方式实际上要好得多。请使用这种方式。我花了几个月的时间,但我能够说服他们实施它。然后它通过这种主导地位进入了标准。然后之后的每个标准都使用相同的,基本上是相同的算法。

所以这很好,因为正如我所说,我在正确的时间出现在正确的地方。当你试图为工程做出贡献时,如果系统已经建成,那就太晚了,因为人们不想改变整个系统来适应你的新想法。但这是在设计阶段的早期。所以你利用香农的工作在无线通信方面取得了突破。在其他领域是否有类似的突破?

任何通信介质,对吧?它可以是光纤。它可以是DSL调制解调器。水下通信。几乎所有这些通信系统现在都是基于他的原理设计的。因此,他的理论的影响是全球性的。它是整个通信领域。背后有一个故事

我读到关于香农的一个故事,当他正在发展信息论时,他从书架上取下一本书,他读了一句话给,实际上是他的妻子,内容大概是,“灯放在……”,她说,“桌子上”。他说,“不,我给你一个线索。第一个字母是D”。她说,“书桌上”。

当我听到这个故事时,我想到了大型语言模型。就像,这听起来完全像一个大型语言模型。所以我只是在试探。我只是好奇。就像,他的工作对机器学习、大型语言模型等等重要吗?还是不重要?是的。这是一个非常有趣的问题。现在,我绝不是人工智能或大型语言模型方面的专家。是的。

我不是该领域的专业研究人员。但我认为你实际上可以看到一些共同点,对吧?那就是,你知道,这些模型在某种意义上,它们也不关心意义。是的,非常好。非常好,是的。对吧?实际上,我刚刚想到,这场讨论非常有趣。因为它实际上只是模式。

只是哪些模式比其他模式更可能出现,对吧?你给出的关于DESK和LAM的例子基本上是关于模式的。信息论实际上是在分析某种意义上的可能模式的数量。所以我相信,从香农到这些大型语言模型之间肯定存在哲学上的联系。

那么让我问你另一个问题,这是你专业参与的一个问题。加密货币和区块链。你已经研究过它,并且你创办了一家公司,对吧?香农的工作与加密货币之间有什么联系吗?是的。吸引我从事区块链领域工作的原因是

区块链实际上与信息论有一个非常普遍的哲学联系,如下所示。在区块链中,问题不是通信本身。它被称为共识。这是一个不同的问题,但它基本上允许位于不同位置的一群用户就某事达成一致。好的?

是的。现在,设计区块链的目标实际上是所谓的容错。容错。这意味着即使,比如说,三分之一的用户是坏人,并向你发送一些无意义的消息,其余三分之二的人仍然可以达成一致。好的。好的。

所以你看这个问题,它实际上与通信、信息论并没有太大区别,因为它是一种对抗。坏人是噪声,好人就是信号。好人就是信号,他们试图引入冗余来帮助他们对抗这些坏人。是的。这是一个优化问题,你拥有的冗余越多,系统就越慢,越笨重。因此,你尝试,优化问题是试图找出

你能容忍多少坏人,而你的系统仍然有效?这类似于容量问题。所以我发现这种哲学联系非常吸引人。所以这就是我被吸引到这个领域工作的原因之一。你认为为什么更多的人不了解香农?就像所有技术领域的知识分子都说他就像……

20世纪最伟大的思想家之一。但大多数人从未听说过他。你认为这是为什么?香农实际上是一个非常害羞的人。非常害羞的人。他讨厌公众。他讨厌人们采访他。你还记得吗?他基本上是一个非常谦虚的人。你还记得我告诉你的第一段话吗?是的。他告诉你他没有完成什么。是的。

他是一个非常谦虚、非常害羞的人,不喜欢出风头。我认为这不仅影响了他自己,也影响了该领域的所有人。嗯哼。

并将其作为一种衡量标准,对吧?那就是,嘿,我们都应该谦虚,因为,伙计,看看这个成就如此之多的人,他仍然如此谦虚。我们是谁?我们是谁,对吧?因此,这个领域并没有很好地推销自己。营销引擎,营销基因并不存在。所以人们不知道他们。

所以我想花一分钟时间谈谈香农余生的事情。他在30岁出头的时候写了一篇非常重要的论文,最终成为麻省理工学院的教授。他似乎在他职业生涯的大部分时间里都在玩杂耍、骑独轮车、制作机械玩具、制作游戏。而且他从未,你知道,再次做过具有重大影响力的工作,对吧?

我很好奇,你知道,你对此有什么看法?你如何将他的整个职业生涯联系起来?在我看来,有一个主题统一了所有这些,那就是趣味性。因为在他看来,研究实际上是关于谜题的。他不理解某些东西。对他来说就像一个谜题。他试图找出谜题的各个部分。信息论就是这样。

谜题,他看到了所有这些现实世界的系统。他们似乎都有一些共同点,但没有人理解它。所以这是一个谜题,他一直在思考这个谜题。最后,他的论文基本上解决了这个谜题。所以对他来说,一切都是趣味性的。我认为这是游戏,这是一个游戏。谜题,他需要解决谜题。这就是他的想法。这就是他的思维方式。所以尽管他信息论前后所做的事情看起来非常不同,但在我的脑海里,它们实际上有很强的共同点。

我们将在稍后回到闪电轮。

你好,瑞秋。你好,雅各布。瑞秋·博茨曼,告诉我三件关于信任你需要知道的事情。第一,不要将自信与能力混淆。这是关于信任的一个重大错误。所以当人们做出信任决定时,他们经常寻找的是自信而不是能力。第二,透明并不等于更多的信任。

这是一个很大的神话和误解,实际上在科技界是一个真正的问题。原因是因为信任是对未知的自信关系。那么你在做什么?如果你让事情变得更加透明,你就会减少对信任的需求。第三,成为一个杰出的期望设定者。与期望的不一致会严重损害信任。

我喜欢。再说一遍书名,以及为什么每个人都应该听这本书。所以它叫做《如何信任和被信任》。故意地,这是一个双向的标题,因为我们必须给予信任,我们也必须赢得信任。

我写这本书的原因是,我们经常听到关于信任处于危机状态或信任正在下降状态的说法。但是你可以做很多事情来改善你自己的生活中的信任,来改善你团队中的信任,信任自己去承担更多风险,甚至做出更明智的信任决定。瑞秋·博茨曼的新有声书叫做《如何信任和被信任》。很高兴和你交谈。

很高兴和你交谈。我真的希望听众能听一听,因为它可以改变人们的生活。我读到你最近要求公司的人做五分钟的演讲。我很好奇你为什么这么做。这对我来说很有趣。你为什么这么做?所以演讲越短,越难做。是的。所以如果你不能在五分钟内解释一个想法,那么我认为你的想法实际上不是很好。啊哈。

这很好。大多数好主意你都可以在五分钟内讲清楚。记住,我受过信息论的训练。所以沟通到极限是我所热衷的。如果你必须做一个五分钟的演讲,你会讲什么?关于香农,我想。他是我的英雄。他是我的英雄。

所以,你谈到了研究中时间的重要性,不仅要找到正确的问题,还要在正确的时间找到正确的问题,对吧?无论是在香农的工作中,还是在你的工作中。你知道,你也是一名教授和,你知道,一名管理者。就像,你如何帮助其他人找到正确的时间的正确问题?

是的,在正确的时间找到正确的问题可能最困难,因为,你知道,时间就是一切。然而,这很难教。你试图做的是做好准备。一位非常著名的信息论学家告诉我这个。他说,你知道,每个人在职业生涯的某个时刻都会走运。然而,大多数人,当他们走运时,

他们没有准备好,所以他们没有意识到自己走运了。所以他们错过了机会。他们去了不同的方向。运气告诉你应该走这条路,但你却走了另一条路。失去了它。这让我很害怕。所以我教我的学生要时刻准备着。就像你的肌肉一样。你必须始终锻炼你的肌肉,这样当你走运时,你就能利用好运气。是的。

所以你谈到了香农的玩乐天性。就像他是一个杂耍演员。他骑独轮车。你做类似的事情吗?你有什么奇怪的爱好吗?没有。没有。唯一奇怪的爱好是,我喜欢和你这样的人交谈。公平的。你喜欢参加播客。这是21世纪的杂耍。你第二个最喜欢的被低估的思想家是谁?我的导师。啊,好的。

鲍勃·加拉格尔。鲍勃·加拉格尔,是的。他教会我如何思考研究,因为他向香农学习,而我向他学习。如果你把你的导师从香农那里学到的东西和你从你的导师那里学到的东西总结一下,那会是什么?你学到了什么?是的,我学习了如何将一个非常复杂的问题分解成本质,然后围绕它制定一个问题并解决它。

这是一门艺术。这不是你可以将其转换成数学公式并教给学生的东西。它只是基于直觉、经验。这就是香农教给我的导师的。这就是我的导师教给我的。这就是我试图教给我的学生的。实际上,教学并不是真正地给出公式。它实际上只是通过例子学习。我观察他做什么。

然后我的学生观察我与他们互动时所做的事情。希望这种艺术能够一代一代地传承下去。找到问题的本质。是的。大卫·谢亚是斯坦福大学的教授。今天的节目是由加布里埃尔·亨特·张制作的。它由丽迪娅·让·科特编辑,由莎拉·布鲁吉尔制作。你可以通过[email protected]给我们发邮件。

我是雅各布·戈德斯坦,我们下周将回到《你的问题是什么?》的另一集。有时,好起来比生病更难。等待预约电话,在药房排队,整个医疗系统都让人感觉像头痛一样。亚马逊One Medical和亚马逊药房正在改变这一点。

使用亚马逊One Medical随时随地获得便捷的虚拟护理,并通过亚马逊药房将您的处方药直接送到您的家门口。无需排队,无需麻烦。只需负担得起的快速护理。感谢亚马逊药房和亚马逊One Medical,医疗保健变得不那么痛苦了。在health.amazon.com了解更多信息。

嘿,我是雅各布。我和瑞秋·博茨曼在一起。瑞秋在牛津大学讲授信任,她是普希金新有声书《如何信任和被信任》的作者。你好,瑞秋。你好,雅各布。瑞秋·博茨曼,告诉我三件关于信任你需要知道的事情。第一,不要将信任混淆。

自信与能力。这是关于信任的一个重大错误。所以当人们做出信任决定时,他们经常寻找的是自信而不是能力。第二,透明并不等于更多的信任。这是一个很大的神话和误解。实际上在科技界是一个真正的问题。原因是因为信任是对未知的自信关系。那么如果你让事情变得更加透明,你在做什么?

你正在减少对信任的需求。第三,成为一个杰出的期望设定者。与期望的不一致会严重损害信任。我喜欢。再说一遍书名,以及为什么每个人都应该听这本书。所以它叫做《如何信任和被信任》。故意地,这是一个双向的标题,因为我们必须给予信任,我们也必须赢得信任。

我写这本书的原因是,我们经常听到关于信任处于危机状态或信任正在下降状态的说法。但是你可以做很多事情来改善你自己的生活中的信任,来改善你团队中的信任,信任自己去承担更多风险,甚至做出更明智的信任决定。瑞秋·博茨曼的新有声书叫做《如何信任和被信任》。很高兴和你交谈。

很高兴和你交谈,我真的希望听众能听一听,因为它可以改变人们的生活。