Shownotes Transcript
哈喽哈喽大家好这里是 Chad PhD 第 19 期欢迎大家来到我们的频道我是南中我是 Summer 就在录制的这一天刚好是我们 Chad PhD 一周年的纪念日谢谢各位听众这一年的陪伴和我们各位嘉宾来我们节目的做客和分享谢谢大家好谢谢在生活中你是否有过这样的疑问博士们平时都在做什么
他们是否总是眼目在厚重的书堆冗长的公式或复杂的实验中呢出于这样的好奇我们创办了一档打破学术壁垒揭开博士面纱的栏目每一期我们都会邀请一位嘉宾分享不同领域和专业的科研生活不过今天我们邀请了两位我们
的主持人豪华阵容终于迎来了第一位可以开题的朋友那就是我们的彭彭但伴随着她的开题我们也迎来了她的缺席这一期呢就像南中刚刚说的我们请到了两位嘉宾而且是一个在我们前 18 期节目里面大部分的嘉宾都会提到如果我们毕业了找不到工作我们再不及也可以转码呀
所以我们这期就请到了宇宙镜头的专业 CS 由于南周和我都不太了解计算机科学我们就邀请到了机器学习的下游使用者也是我们之前节目的嘉宾 Jimmy 来作为甲方和我们的客座主持人聊一聊他的产品体验欢迎 Jimmy 哈喽大家好我是 Jimmy 那我来介绍一下我们今天的两位嘉宾吧我们第一位嘉宾呢是我们来自港三的 CS PhD 一年级学生 Henry
Hello 大家好,我是 Harry,现在在港三一年级读 PhD 我的主要的研究方向跟文本和语音的代言模型相关欢迎 Harry,下一位嘉宾是来自于 UC Riverside 的 CS PhD 二年级学生阿张,欢迎阿张各位听众大家好,我是阿张我的研究方向是 System and Network,就是系统与网络方向
完全是一个完全没听说过的方向有没有什么例子可以给我们讲一讲最简单的例子一台计算机比作我另外一台计算机比作南中假设我们现在都不认识对方我们在路上见面我们想建立一个连接我们会说比如说 hello 如果在国内的话我就会说你好如果说南中听到了我说的 hello 然后他也懂英语的话他会说一个 hello 这样的话我们就都知道两边都会说英语然后我们就可以开始往下继续讲英语相当于是我们就建立了一个连接
而对于计算机来说呢一台计算机想跟另一台计算机建立连接也需要发送固定格式的信息给另外一台计算机能由第一台计算机说一个 hello 第二台计算机返回一个 hello 这样的话我们的连接就建立起来我们才能真正开始我们的说话这就是最经典的一个连接建立的方式
而我们能不能优化这个方案呢就假设说我预先看到南中我看到他是比如说黑头发黑眼睛我假设他是中国人虽然说我并不确定他是中国人但我假设他是中国人我有一些预先的信息那我就可以直接跟他说你好然后如果说他听到你好之后呢他并不回复我说你好他就直接说有没有吃饭之类的就我们直接开始我们的对话相当于说我们就已经开始建立了一个连接就可以节约掉这个往返的
一个消耗我们会利用一些现有的信息来节约掉不必要的步骤来提高这个整个系统的效率来做到我们的优化对于我们的研究方向来说我们更关注的是每一个过程呢我们到底需不需要这个过程它是不是必要的我们可能不能把这个过程消除掉或者是换成一个更加高效的过程来替代于这个是我们所说的优化那你这个生活中你们这个领域有什么例子
切了 GPD 刚出来的时候我们每一次请求的价格都是日常的高昂的而我们可以看到仅仅过了两年的时间到现在我们一次请求的成本就已经降到了原来的 1%以下这就是一个最直观的例子所以这是实际上是系统的优化并不是因为成本降低了而就是因为仅仅是你们比如说研究系统的连接方式进行了优化然后让这个过程变得高效了
当然也有一部分硬件进步的原因但假设我们在同样的硬件上系统能做的优化也是非常多的它可以降低很多很多的成就这可能是大家意想不到的程度说 Harry 他们是上游我们是下游我们帮他们打工他们设计出一个新的算法我们帮他们优化节约大家的钱那今天 Harry 怎么说自己的专业呢
其实我现在研究方向我觉得还没有特别确定但是我可能从之前我背景是在做语音相关的然后语音市面上的应用特别多自动给我夹字幕的功能这个叫语音的识别但我之前可能更多的做的是 text to speech 的 synthesis 就是用文字去合成语音这个就类似于我们打开那个 Google translator 然后它就可以给我念嘛
我自己感觉整个这个领域它是一个相当的偏应用的就是用户导向的然后就有一些应用是好的有一些应用是坏的有不法之徒吧他们用一些这个声音克隆或者用 text to speech 的这样的一些技术伪造了一些语音造成不好的社会影响
比如说我可以用巴菲特的声音说大家重仓苹果然后大家一听巴菲特说重仓苹果然后我们大家都去买苹果了然后苹果股价就嘎嘎涨但其实这个可能就是不法之徒故意去操纵的在这个情况下就是不需要关注到它的安全相关的问题所以你是在做安全相关问题还是你是在做 text to speech 这个东西我都在看
你都在看就是你是在这个 sub-spell 就在这个字领域里面观众比较多明白明白想起那个 text to speech 前段时间是去年嘛就是从 AI 变成出来了之后然后就会有广大的留学生的父母就会被诈骗而且这个特别巧妙因为大家在美国街道的这个诈骗的话都会说那么一两个词
然后他就可以很精准的捕捉到你这个语音然后用你的声音找你的父母要钱然后因为时差没有联系到你要一来二去父母的钱就已经过来了提醒说海外的留学生就如果接到诈骗电话可以不说话就你听到是诈骗就挂了如果你要是说了他就利用你这么一两声然后就给你的父母去诈骗了
刚刚说 AI 克隆的声音啊或者图像啊或者是比如说 GPT 帮你写的文章啊很多时候都已经到达了一种高仿真的地步就你很难辨认他到底是真是假所以能辨认出来吗可能每年都有不同的结论我其实我光靠人耳我是完全听不出来他跟真的有什么区别的就是真的已经非常像了然后不管是音色的克隆的相似程度还是他的音质还是他的整个的那个
表现力和自然的程度就是已经非常的接近了从它发展的历程可以看到可能今年是能检测出来的今年就不一定能检测出来了它是一个毛和盾的问题就是先有了锋利的毛再有了一个强大的盾你们也会有那么一个小的领域他们的方向会不会就是反侦查专门去对 是有的比如说像你们这些从事 LM 工作的人
你们更多想做的呢比如说就是做一个更牛的 GPT 还是说就是真正的实现一个比如说有智能的东西呢那可能 99%的 project 他们都是在做某个特定场景下这个场景下的某个 benchmark 上 performance 稍微好一些的某个 GPT 的编辑
叠假叠太多了其实真的当然是有人是真的在研究这个 real intelligence 或者叫就研究 artificial intelligence 但是这是少数那可不可以请 Henry 和阿张先给我们讲述一下计算机科学这个专业的学科脉络那就以我个人的划分方式可以分为三大块第一块应该说是关于算法第二块是关于系统
第三块可能就是更偏向基础和理论的研究
第一块的算法就是 Harry 肯定是属于这个范畴我觉得目前算法的人最想做的肯定是人工智能这当然是大家的圣杯但是算法里面也有研究各种解决方案比如说我们想做语音识别图像识别人工智能在系统这个领域里面基本上是在于你如何调集资源然后实现你的预先制定的目标就比如说最常见的我们的操作系统直接上就是调集你本机上的各种资源比如说我们的
CPU 我们的显卡我们的内存我们的硬盘然后它去实现你用户制定的一些目标第三个方向我知之甚少我只知道这些人都是世外高人就是偏基础的理论方向的同学可能他们研究的是什么样的问题是可以计算什么样的问题是不可以计算当然还有比如说密码学的同学
那个我不太了解感觉太深奥了那你比如说你说做软件开发前端和后端它是属于在系统里吗感觉那是属于就是技能向的分类他们说的这三个是不是属于研究向的分类对于我个人来说我觉得前后端这样的确实是作为开发的一个用词我们跟纯开发的区别在于我们是作为一个研究导向的开发也就是说我们自己出了一个系统然后我们会把它实现而
而现有的公司的开发可能是他并不是研究导向他就是用一些现有的比较成熟的解决方案把它集合起来实现你已有的目的像这个轮子嘛你们是在造轮子然后呢像这种工业界的一些工作他们可能是在用轮子就把造好的轮子拿过来用你们是什么时候你们的这个学制中开始导向就是有的人要选算法有的人要选系统
选这些专业没啥区别他们可能上的课都是一起上的都一样的出现这个方向上的这个区别可能就是从开始做 research 开始吧就是因为他在 research 上可能区分度会大一些举个例子就比如说大家看到的软件工程或者是计算机或者是现在的网络安全专业其实都是在一个比较大的范围内进行一个划分
它的根源其实都属于一个领域只不过为了各种各样的现实考量把它划分成了好几个院对于自体研究的方向来说你才是更加细分的我们刚才说的那些方向
我觉得不知道为什么就聊 CS 莫名其妙就会在这个机器学习和人工智能这个领域就不断前进就一直在 go deep 但其实阿张当然是做系统的但是你也不免的往这个上面靠因为对于我们系统来说我们需要有一个优化的目标像我之前说的我们需要调节资源去完成大家预先固定的一个需求
而目前最大的需求就是大家对 AI 的需求或者说对 CHRGBT 的需求大家需要跟他对话
这就是最大的需求所以说我们大部分人都在朝这个目标进行奋战然后需要把它优化的更好让大家的体验变得更好 AI 现在既然在你们的领域里面感觉已经是一个就是非常的主趋势了吧那 CS 没有完全研究跟 AI 一点都不搭边的专业吗就是小方向吗当然有做纯系统的应该就一点都不搭边吧就是包括做网络对拿 GP 来说吧
它其实是我们优化的一个任务但我们并不是针对这一个任务进行优化我们有很多领域包含在系统里面它做的跟 LM 可能并不是太相关当然也有其他的这段期更大的方向比如说做理论的同时
他们可能做的是可计算性的工作或者是做的是密码学的工作当然这些跟 LM 它的光谱离得就比较远了那现在来说大概有多少比如说你们医院里大概有多少组是在跟做这种相关的
八成九成我感觉是有的有一些做传统领域的组他们也会可能找一些交叉的点就包括我们有 AI for systems 然后 AI for networkAI for software engineering 这都是研究方向就他们就大部分都还是会有相关的交叉的对我来说有很多是交叉的但有很多是正交的就比如说研究这张机体系架构的同学他们可能就研究的是更基础一点的东西
或者说对于系统来说他们研究的是更下一层更深一层的更靠近硬件的系统那跟上层的应用就是比较结尾的状态所以说我觉得对于系统领域可能有 30%到 40%的同学可能跟 LIM 相关你如果一点都没有大趋势的话就没钱
因为他们又这么吃钱的一个领域如果你不搞这些没有交叉那资源不波向你你反而更难推进所以我觉得是可能你不能就是完全脱离这个主趋势我觉得现在算法就已经是主趋势了做系统的人是远远没有做算法的人多的可能做算法里面可能九成或者都是做 LLL
然后整个学计算机里面可能有七成都是在做算法然后只有可能两成到一成的人是在做系统你们里面也有 50%的人在做跟大语言模型相关的东西对应该是这样这里的大语言的这个语言是只有 text 还是也包括你说的语音还有图片对那个我们一般叫 multimodal language model 多么台语言模型语言呢是就是信息的一个带权纯粹是一个壳子你往里面套就是
只要结果变得更好就行我有一个特别大的我觉得这都不应该算是刻板印象我看我们听友群也有人问到同样的问题
CS 的 master 已经是薪资的顶端了我现在 PHD 的时薪还不如我的好朋友在 CS master 的时候拿到的时薪高所以我就没有 guess 到就 CS 为什么要读 PHD 呢是为了更多的薪水吗当然是为了科学啊听听听听什么为了钱太肤浅了可能分什么方向吧主流的就是两三个方向一个叫就做开发做开发可能就是我们传统意义上的去
build up 一个软件那就是前端我们可能跟人交互的界面到底长啥样然后他那个网页上有什么功能然后后端就是可能更多的跟数据库啊一些相关的内容软件开发可能就是相对偏偏技能向的一个一个方向吧他可能不用去读 PhD 很少会有 PhD 专门去有专门做 software engineering 的
研究方向他们更多的是优化这个开发的流程之类不会去专门就是读一个 PhD 去学怎么开发一个软件如果说这种方向就是 Master 甚至是本科生都会更多一些另外一个主要的方向就是做算法国外可能叫 Machine Learning Engineer 或者叫 Data Scientist 如果是 Data Scientist 或者 Machine Learning Engineer 的话我的了解是说应该在北美 PhD 会更多就是说可能 Master 的机会会少很多国内比较特殊的是国内的 Master 是 Research Based 的
就他们其实在数学期间会发很多论文然后他们的话算法工程师的工作也会好一些有一类算法工程师他们可能比如说我们公司需要某个模型或者我们需要达到某一个功能 OK 那我用一些现有的 model 现有的算法去把它
实现出来去加入到我们公司的系统里然后还有一种就是可能更多的就是类似于像研究院微软他们也有自己的那个研究院他们的研究院可能更多的就不是说实现一个现有的算法就更多的是说对现有的算法进行一些优化让它效果更好或者让它更 efficient
工作叫 research scientist 或者 data scientist 这样的工作可能就更适合 PhDs 有点如果从薪资水平上来说因为 PhD 它时间其实也蛮长的如果你读了 master 有积累了这么长的经验可能跟你 PhD 出来的薪资确实是区别不会太大的
就是说读完 PhD 其实还是有工资提升的就是 master 要努力五年然后跟你读完 PhD 出来的工资其实差不多的我觉得是说可能这个可能国内就是大家会觉得有那个 35 岁危机嘛就大家觉得 35 岁就该被优化了
这个可能我说的不对就是因为偏 research 的港它相对来说不可替代性要强一些然后比较少有这样的 35 岁的危机阿张呢你为什么读博呢我觉得这个事情可以有几个点第一个点就是刚才 Harry 也提到了读博之后的薪资确实是有提升的你进入一些大厂
博士毕业的级别会稍微高一点第二个我觉得是在于认知的深度可以说就是为了科学就是在你硕士的时候你的研究方向可能是相对浅长者止的你可能想在某一个方向进入深入的研究
而这双机器它有很多的细节它的复杂度是很高的如果你不花专门的时间进行研究的话你很多细节是难以掌握的第三方面可能就是为了更高的一个 career selling 读到博士之后在很多的大厂里面你最后是可以做到研究岗位的比较高层次的
领导而你的硕士岗位你的 selling 就会相当于说是一个比较固定的情况所以说为了你长远的职业考虑选择去读博士我觉得从这三点来说博士相当于是一个比较长远的投资虽然说你硕士毕业你的薪资可能已经很高了因为我就读过计算机的硕士我毕业的时候我可以拿到比较不错的薪资但是我为了追求一些不可替代性或者是职业的更高的天花板认知水平的提升所以说我选择去读 PhD
他们群里面一些同样是 4S 专业的朋友不是问到底是 attention is all you need 还是 money is all you need 做 PhD 是要 attention 还是要 moneyattention is all you need 就是一篇论文了就是一个 transformer 模型了现在很多 research 就很花钱很烧钱可能只有工业界才有这么多钱去烧或者说只有最好的那几个组
才有这么多的资源去给你烧其他的做不出来就是因为他们没钱能不能给我们一个概念就是这个烧钱有多可怕很可怕的一张 A100 多少钱我可能还真十几万我不是很了解它具体多少钱它应该反正十几万大概是这个量级的这个数字然后一张要这么多钱我们说的很多集群叫做万卡集群就至少是上万张你想十几万上万张是多少钱我们自己去做
研究的话我根本没有钱给我一万张卡其实现在很多组能有个十几张或者接近一百张都已经是就是算资源很多的组了这个还只是购置这个计算资源的成本其实还有涉及到一个是网络
就是电费其实这个电费应该是很花电的就是有一个研究方向是专门研究怎么去做更环保的这样的计算就是一天的那个电费一个月烧下来都要烧几万块钱就在我们就实验室这种小作坊级别的都会花这么多钱然后就是硬盘了对八张他们可能也有类似的就系统他们如果 scale 上去应该也需要很多节点之类的
刚刚讲了很多这个数 4090 A100 这些的这种是行业目前最前沿的一个配置吗还是说这个东西它迭代的很快明年可能要换一批新的现在 A100 已经不是最新了但是每一次发布都会有新的产品出来一般的做法是说用
好新一点的卡去做训练他计算量会更大一些再用上一代的卡去主导去给用户做推理比如说在 GBT 我用最好的卡训练的然后每个人去调的时候他也是涉及到一次计算的那这一次计算就用稍微差一点的卡去做
然后这样稍微会节约成本一些但是如果再叠一代那这一批这个用来做推理的卡也就只能再淘汰掉给其他的地方用了所以听下来是你们烧钱还是南中他们烧钱呢肯定是他们烧钱给大家一个直观的感受吧我刚才顺手查了一下大概一张 A100 的市场价格大概是 7000 美元一百张就 70 万块钱
这么一想确实没有我花钱就是你得用仪器的东西都得花钱这么看来反而这个人力智力成了最不值钱的东西了 PhD 是最便宜的吧所以如果能用 PhD 干就能干的活肯定都不是很花钱智力好的 PhD 简微镜就用差一点了
你说这个花了这么多钱搞了这么多闲咖那你最后这模型要是没迅出来咋办呢还是煮饺子饺子去哪了这个很现实的问题每个学科的失败它是不一样的比如说你像我们的失败可能成本会稍微少一点比如说我们辛辛苦苦搞到了一个合作跟企业界合作的一个机会然后我们什么都没做出来那这可能是一个挺大的损失因为时间成本都耗掉了
然后我们的发刊的时间又特别的长所以这是一个很大的损失但是呢咸中这边万一做了这个实验做了两年没出成果这也是一个很大的损失嘛如果你们训了一个很大的模型特别是像 OpenAI 这种万一它的 GPT-4 训失败了那这些钱就砸里面了那这怎么办呢
可能更多的就是一个实验导向的它肯定是失败过的像显卡这样的固定资产其实买回来就是你做了实验下一次还能用吗以后还能用吗其实这个还好就是可能你主要浪费的还是说你的人力成本时间成本然后就最多是那些电费了像阿张呢
我们的化销是比你们要少很多相当于说我们的成本要更低一点对于我们系统和网络来说最主要的就是找到一个值得优化的点然后你有一个新的解决方案你设计这个解决方案然后你开发并实现它然后验证它的结果其实很多时候这个优化的点如果你真的找到比较直接的优化的点的话最后的效果应该是比较好就算是不是那么好但是也有一些优化的效果所以说大概最后是都会形成一些成果
也就是说我们需要花很多时间进行实验或者说实现吧我们的周期可能更长一点而为了减少这个机会成本的消耗我们就需要认真地检查问题真真正正地找到一个比较可行的优化的点然后才会去投入进去也就是说我们前期的调研会比较长
因为我们刚刚在通话讲 PhD 和 Master 有什么优势但怎么感觉在你们的言语里面 S 的尽头其实是 Industry 呢你们没有想过为了科学的人可能最后去了 Academy 吗还是这个就是你们 S 就是再不积我们还可以回到教职呢我感觉可以更多的现象是说因为教职很难尤其是可能像做 Machine Learning 就是大家发论文真的很猛
屁孩的人一年发十几篇这找教职其实难度挺大的话又说回来我其实看到更多的现象是大家会觉得我如果找不到教职我就回工业界吧就是更多的其实是这种那你们的教职的薪资跟工业界是可比的吗
应该还是差挺远如果在国内的话教职 AP 副教授就只能拿到比硕士还要低一些的工资工业界可能是教职的两三倍至少是两倍但还有一些什么补贴各种各样的什么基金属实说纯 salary 的话
北美好像也是这种情况就是业界的工资会多一些所以可能真的留在学界的话为了这个科学的追求会比较多一些那我感觉好像现在业界和这个学校好像也没有分得那么开感觉像很多大厂他们有自己专门的这种 CS 的 research team 然后他们干的也是跟学校里面这样发文章
好像也没什么区别在我这个方向就比如说网络和系统方向其实我个人认为工业界其实是比学界研究的问题更加深入和领先的学界基本上处于一个职人衙会的状态我个人是有这样的一种感觉的因为当然我并不清楚 SAR 那边的情况
算法那边可以 openAI 已经很领先了可能学界甚至还更落后这个 gap 可能还更大一点至少从网络和系统方向来说我觉得工业界他们解决问题的规模所触碰到的真实数据和真实的挑战其实都是学界难以接触到所以说我个人认为其实学界的话还没有到问题的前沿从某个意义上来说那你为什么要上博士因为在工业界他们解决问题的人也是博士
我就是说你需要通过博士期间的训练然后做好进入工业界解决问题的一个准备那哪一个入场券工业界其实要比学术界领先很多这个是只有在 engineering 这个领域才会出现的事情就是因为 engineering 大量的要做测试比如说你做一个产品你需要做大量的测试测不同的参数然后去看哪个东西做出来的产品最好
然后带来的服务质量最高这个是 engineering 的思想如果是 science 的话那么学术界一定是在我的印象里一定会领先工业界因为 science 就是那种小规模的突破性尝试即使失败了也没有关系就是再换一个 idea 然后继续突破我问个很冒犯的问题当然问之前我要先叠个假因为我算是社科嘛
然后我们经常会自嘲就说这个不是 real science 我就很想听一下你们做这个 CS 你们觉得它是 science 吗其实从 computer science 这两个词来说 computer sciencescience 已经嵌在了一个专业名里我们叫 social science 我们也是 science 按理来说这个 science 已经嵌入了这个名字这可能已经是一个属于 science 的范畴对于我来说 computer science 即不 computer 并不是专指研究 computer 的一个过程
他研究的工子的理念其实是研究计算和认知的一个过程然后也更不 science 因为我觉得我们认知的过程更偏向于从一个 engineering 的角度相当于是我们会去优化一个过程而不是发明一个新的过程所以说更偏向 engineering 而不是 science 的
我可能自己是研究 AI 的我觉得肯定是有 science 的就是有 real science 的这个是毋庸置疑的但是呢确实是现在尤其是那个 LM 出来之后这个其实我们有一部分的研究他在研究什么事呢有一个很流行的一个论文的 title 的标题叫 Can LLM Do Something
一般会被大家骂故事会它的其实主要的宗旨就是它可能去就已有一个讯好的一个 LLM 然后它就通过去调 API 或者说就让这个 LLM 输出吧去测评它在一些特定的任务上的表现可能在我们看来就是一个很小的它其实蛮有趣的吧但是它是不是一个 real science 这个事儿
我也不太确定现在看起来 computer science 真的不太像是一个 science 更像是 engineering 这就 call back 我之前的观点我个人认为 computer science 有一部分是 science 为了达到人工智能我们必须对人的人脑或者是人智能产生的原因有一些认知但其他方面比如说计算的本质计算的根本的模型已经早就被接受我们更多的是在做一个优化的工作就更偏向 engineering 方面
而作为 engineering 的话工业界有更多的问题更多的数据更多的挑战而学术界是相对缺乏这样的机会的而且我们可以看到工业界有很多企业有很多的研究院他们最新的成果是不会发表在评会的他们最好的成果都是把它封闭起来自己用而并不是会发表出来
这就是一个现状所以说学术界发表的文章距离最领先的前沿是稍微有一点距离对嘛新闻令可能也有类似的现象吧就或者说其实我感觉这种现象可能更明显其实在工业界说白了更有钱他们有更大量的显卡和更大的数据存储在学校其实很难去说他们那个量研究的问题在数据量大的情况下和数据量小的情况下可能能暴露出来的研究问题都是不一样的
在这种情况下在公司它会有更多的钱和更多的更大的硬盘去存储更多的数据而且它的数据可能更多都是 real world 的数据不是那种学术的数据集就是能更接近那个问题的本质吧
那现在聊完了大概你们都在各自做什么工作就想聊一聊你们的人生道路你们是为什么会走到这条研究道路上的因为我知道阿张他之前不是学 CS 的他最早是学数学的到底为什么现在变成了学 CS 我本科的时候确实学数学大三大四的时候就萌生了想转到这段级的想法
然后在硕士的时候就转动计算机然后也就进入个 PhD 进行后续的学习当时本科的时候最直观的原因就是数学太抽象对于我来说我比较习惯更实际一点的东西触摸得着的东西可以更操作的东西而不是那么抽象的所以说我觉得计算机就比较适合我但现在读到博士的这个阶段也产生了一些后悔
现在又感觉好像数学其实也挺美好也非常的美丽我的数学知识如果能更好一点的话当然就可以支撑我做更多的研究但是他高中不是这么说的
高中的时候我们解数学八章就会跟我说你看这多美可能是我不是那么一个努力的数学学者我不喜欢做题我是喜欢证明的过程为什么你不选其他专业要选 CNC 为什么不来我们这个生物
因为我感觉转到一语的话需要有比较多的前置的要求你就要对硬件比较了解要学很多课程而大家现在都说美洲镜头就是转码当然这一部分是因为马农确实工资高另外一部分是它的门槛相对低所有人经过一段时间的学习都能掌握一定的技能这也是一个方面好奇一下哈瑞你本科大一是哪一年的呀不会刚好是阿张转码的那一年 19 年 19 年我刚毕业大概就是我转码的那一年
实在是一地霞落在了你们俩的肩上那年是华为他当时什么孟晚舟什么的然后当时那两年就是受到制裁这个一亿相关的那些专业就很热门大家说我要进华为报效祖国当时读的是一个一亿相关的专业用好多那种什么少年竞赛什么信息的什么奥赛什么的然后他们本来就有很多变成金属
我在上大学的时候是一点都不会的一也是要学一些 C 语言就是一些编程的基础啊啥的在那个过程中我觉得这个科目学的是我最开心的另外一方面我的物理啥的就是比较的差代码的时候我就真的会很开心就是我某一个程序调通了然后就会有那种多巴胺充满了大脑的感觉
然后我就大二的时候转专业到了 software engineering 就是算转码了我大学读了四年就是所有的科目就我的安排高数挂了我都没有很沮丧但是真的是在考 C++的前一晚我就那里就哭了就是蹲在我们教学楼前面哭 C++是什么东西我们当时不
对
不一样人家是多班呢我是皮子纯那你们是为什么要读博对于我来说是在硕士的时候吧因为我决定读博的这个决定下了比较晚之前也就想可能就找找实习然后就工作在硕士二年级的时候果然获得了一个研究的机会就跟一个博士的学长开始做他的论文
然后在这个期间发觉好像还挺有意思就是系统领域的工作我就发觉我很多知识其实学的并不是很牢靠我的很多基础掌握的其实并不是那么好跟我理想中的状态有一定的区别可能是学数学之后讲究一点穷酸的完备就是要对这个某个东西的认知要稍微更完备一点
就觉得自己差的太多了可能只需要通过博士然后进行继续的学习提升自己的认知同时达到自己心中理想的一个状态所以说就决定读博士那你现在觉得自己完备了一点吗稍微完备了一点相比于硕士来说
不是需要关注的细节更多对于系统来说我们毕竟是要做优化你需要在整个的一个非常大的解空间里面寻找到可行的道路然后把它的性能提得更好这其实是一个非常需要你认知和对细节掌控的一个过程是一个磨练的过程
我以为阿张会说知道的越多也就知道的越少一上来说这是对的越学越不完备总有毕业的时候你这个破缺在某个时候就会定下了接受自己的不足那 Harry 呢有什么特别的契机吗我读博这件事可能是完全被 chatGBT 的出现给影响了
我之前本科的时候从大二开始我在一个老师组里去做 research intern 我觉得 research 的过程让我觉得很有意思探究各种各样的问题其实对我来说很有意思的过程但是并不顺利就是当时可能第一篇 paper 投了两三次都还没有中第二方面就是我其实当时第一次写 paper 就是写得很烂
当时觉得不行这个如果以后要发 paper 为生的话那感觉我可能自己没有那个能力去做这个事无法胜任这个工作第三个方面是说我当时做的那个语域它其实是一个也是 NLP 相关的当时还没有 GPT 是一个前 GPT 时代的 NLP 后来有一天突然 GPT 出来了然后我们觉得哦
那我们这个前 GPT 时代的 NLP 是不是所有因为都没有必要做了有很多以前的老的任务在今天这个 GPT 时代都已经已经被 GPT 这么一个模型给干完了我就想着我虽然很有兴趣但是我一方面觉得自己能力也不太行第二方面可能研究方向也不太顺畅那我就去读个 master 吧就我申请了一些美国的 master 嘛
当时就已经拿了签证准备准备去读了八月份我还没有出发前我就在想 master 可能在北美更多的是做开发相关的工作然后我自己其实是很不喜欢做开发相关的工作做 research 的这个过程其实是更让我觉得开心的一个过程真的喜欢吧然后第二就是说我们当时在 GPD 刚出来之后我觉得整个领域都没什么好做的了
但其实是完全相反的出来了一个全新的模型之后反而让这个领域指数级的增长然后有了更多更有意思的可以研究的内容它的出现奇迹让我见证了一次这个领域的一个突然的一个大跃进我觉得在领域上还有很多以后还有很多机会能做第二方面就是 GP 出来之后不只是 writing 包括还有 coding 的能力在 AI 的帮助下我极大的提高我的生产力
包括最近有一个很火的叫 Cursor 我就是可以说我现在已经离不开它了以前三天写的量我现在可能一天就写完了或者说半天我就写完了然后而且我整个写的过程都非常的惬意就我跟他聊聊天他给我生成然后我就看一遍 OK 确定好 就进入下一个我们现在说 2024 年最好的编程语言是英语
会觉得说不说他可以完全替代这些开发工程师吧但是以前十个人做的那就只需要三个人来做了就是敢去读一个 master 可能更多的还是只能去做开发 career 上的机会不是很多我就决定 OK 那我就不去了然后我就开始了重新申请了 PhD 给我的感觉是 CS 确实是一个非常务实的学科就大家在申请的时候已经会考虑到自己的职业发展或者是什么之类的
确实你能看到它跟工业界联系的非常非常紧密至于你在读的时候你就可以看到你未来的到底是什么样的方向然后你根据那个在做自己的调整是吧借此机会就想问一问 Harry 就是香港博士和北美博士或者说和内地博士他有什么样的不一样我没有真的在北美读过博士所以我可能不是特别了解我可以先说一下跟内地的学院内地其实会有更多的横向项目
可能每个组都不一样我只能说可能就是大部分的会有更多的横向项目可能跟某个公司有合作内地有很多硕士生就容易就是一个组有很多人然后他就会像一个一个博士生我再带三四个硕士生然后硕士就全部来跟我打
也有做那种纵向的就纯瑞设计项目的那纯瑞设计项目可能也类似可能是一个博士生带好几个硕士生或者还有几个本科生或者 RA 更多的是有一个这个团体的这样的一个过程嘛
我感觉在香港其实这样的现象就很少香港其实大家都是单打独斗就是我自己就需要去 handle 我自己的那个 topic 里面的全部的问题香港这边可能就如果在 CS 领域其实跟产业界的结合也有一些组跟产业界结合的很好但是大部分的可能没有内地的一些比较好的组结合的好所以香港可能在整个 IT 产业就发达
就是它不像美国不像内地有这么多 CS 的相关的公司然后有相关的问题所以香港这边可能就是就比较纯粹的在做研究然后比较纯粹的就是可能跟其他专业就更像一些吧就自己一个 PhD 然后做自己的研究这样的感受谢谢
香港的学制大概多少年 hopefully 四年那阿张呢你们是大概是多少年毕业我们五年毕业吧我们要上比较多的课一个半学年吧就是全部上完之后都搞研究对那哈瑞刚刚讲了你单打兜兜是不是你就没有组会了有组会但是组会就是大家也会上去讲一下自己的内容但是就是可能大家都不太一样其实他讲的我也不太懂我讲的他也不太懂阿张呢
你们的组会也是 update 自己的 progress 吗还是你们其实是一个组在做同一件事情大家其实是在从不同方向对同一个项目进行研究
我们的整个组的方向都很多每个人可能像 Harry 说的一样都是处在单独的方向上可能有一个同学吧跟你的方向比较接近所以组会的时候大家就是老师拍个问顺便大家自己报告然后问老师问题还是想了解一下你们典型的一天是什么样子我平常的话大部分时候都会去学校的实验室每天早上八点钟起床
九点钟坐公交去学校然后在学校工作中午吃自己带的午饭晚上尽量吧在五点钟下班学校健身房运动一下运动到六点或者是六点半坐公交回家吃晚饭吃晚饭之后再工作一下或者是休息一下就睡觉我跟阿张的作息类似吧我吃早上睡醒然后玩一会儿去吃个饭人家可不可以玩一会儿别骂了别骂了
然后就吃个午饭去学校开始工作到五六点可能再去吃个晚饭然后晚上再回来工作一会的时候就不工作了去办公室的原因就是因为那里效率更高自己有点就是要去其实我认识好多人他们都不去的我们是完全不需要去实验室的理论上来说在学校可以跟组内的同学见面交流吧可能更多的线下交流除了工作以外你们没有什么娱乐活动不干点啥吧周末会出去玩吗
我有的时候也经常打打羽毛球啥的阿张呢我都是工作可能是自己觉得得工作吧然后被迫了也可能是周中就稍微放松了一些工作量没有完成当然也有每天坐公交是得花坐公交是娱乐吗稍微比较长的时间吧在上面看看书听听 chatpc 有空的时候玩一玩游戏工作强度我觉得阿张还是很
但 Harry 感觉就还好就跟我们差不多我也一样我周末也要工作你周末也要工作怎么会这样我感觉跟我们比较方便的 work from homework from everywhereanytime 但是说实话我觉得这其实 PhD 挺常见的除了像你这种就是离开实验室就不工作的其实大部分 PhD 应该周末或者晚上就晚上不工作的就周末工作也有晚上和周末都工作起码我周围认识的 PhD 大部分就是晚上不工作的周末都在工作
大家也都是平常比如说早上八点九点工作到晚上六点然后周末还加班那我发不了文章的原因有原因的我另外一个爱好就是做饭做饭会花很长时间
一些美国爱好确实在美国国内的博士生我觉得比我们最轻松的部分就是不用做饭而且他们还有宿舍就感觉把生活的最两大的开销都已经给他们搞得很清清白白了那工资就全部了还买菜和租房了
你们觉得博士生活中最好的部分是什么我自己感觉一个 project 一个 project 或者一个 paper 最开心的时候是他把它挂上 archive 的时候他有没有重视令说第二方面就是我自己完成了一个完整的系统的工作其实是很开心的最开心的是说看到自己的工作真的被
被一些人用起来不管被学校还是被其他的公司然后去真的把它用起来是最开心的就觉得自己真的在做一些对大家有帮助的事吧这个 paper 到底发到哪或者这个 paper 重没重相对来说也没有那么重要
比如说我们会有 data set 放在一些平台上然后会有一些人他发邮件来问你然后还有一些人专门来找你约一个 meeting 就是大家会围绕你的工作产生一些讨论然后这个讨论可能就是还没有到他发一个论文来赢我的这个程度就已经有这样的讨论这种时候是最开心的这种人再多再烦也很乐意去给他当客服啊啥的
我必须得给你的这个多巴胺再添把柴作为你们的这个下游学科其实我们比较创新的时候我翻一翻顶会上又发了什么文章我用数据的时候翻一翻顶会上的这些文章又用了什么数据拔过来用一用还没有听阿张的答案之前我觉得 Henry 这个回答非常符合我对博士生一年级的想法听听阿张对于我个人来说博士的生活更多的是比较自由吧你可以自由安排自己的时间
但是你得保证有一定的进展每天可能你都要自问我今天学了点什么东西我今天进步了点什么我掌握了点什么而我觉得在一年多这个博士生活里面最高兴的时候就是我发觉我又学到了一个什么东西我又掌握了一个什么东西当我可以对别人讲一讲理解跟我的导师讨论一下的时候他说你的想法很不错的时候我觉得就是比较好的时候
这样十颗多吗我只能说不少第二方面也是编码编码的时候
你调通了一个特别困难的系统当然也是会感到有成就感和快乐听上去两位都在很轻松又快乐是怎么回事对对对而且他们的导师好像都特别的 positive 然后 supportive 就回到我们提友问的问题就是 CS 的导师的比例中到底多少是真正对科研有激情的我的老师已经是属于功臣名就他已经快 70 岁了然后还在努力工作非常的有知情
他是我们系最 push 的老师会经常推动你去完成任务因为我们做系统的话实现是要付出很多的努力这是很困难的我们的工作力或者是劳动力其实相对紧缺的特别是涉及到系统这样需要大规模的写代码的场景简单的一个例子吧
就比如说我们发一个顶会他可能一篇工作平均下我觉得得写一万多行代码才行哈瑞来说说你们需要几个代码让我们有概念我们多的其实可能也要写几千接近一万但是现在有好多那些调 API 的工作就一百行就可能跟每个工作的性质就不太一样对一百行是可以发顶会吗可以我
我想知道阿庄那你 enjoy 这个 push 的过程因为我觉得我老师的 push 算是比较合理的他推动你完成一些应有的事情当然任何人被 push 肯定都是会有抵触的心理但我觉得这应该是非常合理的一个行为
因为他自己工作也非常努力他也获得了很多成就所以说我觉得对于他来说这是我学习的目标和榜样那想问一下像你老师这样依旧非常有激情地搞科研的老师在 CS 里面大概有多少我个人觉得周围的老师大家的学术分文还是很好我们的老师都非常认真的在科研大家都还是比较有热情
因为 AI 这个其实现在很挣钱我感觉是可能 50%左右吧大于 50%这样的比例不只是想搞科研吧尤其是有一些老师可能是有硅谷背景的就是这个比例可能就更高了他们那边创业氛围很浓回到内地或者回到香港他们有很强烈的这样的创业的意愿在这个如今的这个 AI 的大潮中到一桶金
我自己的老板的话其实就有点类似于阿张的情况就他可能是相对工程明就所以主理没有那么但是就有的 push 也就是说某一个 topic 他觉得非常有意义希望早点能发出来或者说不要被别人抢了或者说某一个论文要 deadline 了这个是会稍微忙一些平时的时候都还好
听起来有种时间紧任务重的感觉就是我们不发别人就要发我们不占坑别人就要把坑占了你们两个导师会对你们每年的 paper 有多少有量化的要求吗我们不会我们不会有量化的要求吧就你只要这些年都是在努力工作的就好你们这个领域平均大家一个人每年要发多少
好一点的组就是一年可能一个人三篇五篇都有然后我自己肯定做不到那个程度我觉得我要是一年能发一篇就可以了但是一般可能大家就一年两篇大概这个水平那阿张呢
对于我们来说确实我们没有量化的要求也量化不了因为很多工作你做到那个时候做不完那确实是做不完这个确实是没有办法往前推的对于我们来说你在毕业的时候能有两三篇领会的文章就是很好 OK
那听起来也很难不同领域可能大家对这种成长的不管是质量还是数量可能都有不同的求那比如说像你们现在这个领域它大概是一个什么样的行情呢毕业的时候什么样的发表算是一个好的什么样的可能会要再努力一些呢我们的话你毕业其实它没有隐形教授的这个毕业在于你能完成你的 SYS 我们的导师觉得你能毕业这个就能毕业了但是你如果要去找工作找
我前段时间看了一个内地的 211 学校它有一个标准如果是在 AI 这个领域的话你如果要讲师需要三篇顶会然后你如果要副教授就是五篇顶会它就会有明确的量化的标准如果是做 System 或者做什么理论记忆学习的然后它就会要低一些就可能一篇或者两篇就够了
大概是这么一个对评平时自己会有压力吗就是说我有一个目标我毕业我必须达到一个什么层次要找到一个什么水平的工作然后你会这样子推回来说那我必须在某个节点完成什么事
其实会有但是我更多的想的是我毕业吧其实现在很多包括内地那些 funding 那些基金他好像有五个代表作的要求吧你发了五篇以上也没有用你只能选五篇你的代表作对于自己的发展也是我觉得有代表作这件事还挺重要的就你可能去参加一个 conference
然后跟大家一提我是某某某的作者就像一个你的名片一样一下子就知道了你这个人然后这个其实我感觉会比我发了五篇顶会要来的实在一些
但是我就很怕就是专业其实渐渐会变成就是量变才能推动质变就是你真的要去搞五个代表作可能真的是你靠了十篇甚至十五篇的这种量变然后终于累积出来了啊那你们有个代表作就是你不是说我凭空五篇就一下就成为代表作了可能是我写了二十篇你们有五篇代表作对也有可能最后问一下哈瑞和阿张你们觉得什么样的人适合读 CS 的 PhD 什么样的人
其实对于计算机来说你的背景并不是特别关键
我觉得计算机反而是一个比较包容的领域确实转码门槛相对低一点如果是为了精致效应那我觉得建议不到硕士完全足够你可以找到一份体面的工作只要你在硕士期间磨练自己的技能尽量把自己的基础弄得扎实一点这样的话硕士是完全足够你可以找到一份体面的工作
对于博士的话你需要有一点额外的追求要么就是对你的职业生涯有更多的规划要么就是对于知识有一定的探求要么就是单纯想换个地方在某个地方开展一段新生活想做一些有挑战性的事情你总得需要有一点激情或者是有点冲动支撑你每天早上起床
还能继续完成 PhD 的生活如果你有这样的冲动不管它是啥那你可以选择读 PhD 读计算机的 PhD 当然对于计算机 PhD 的话有一些细节跟其他的 PhD 不一样有些细节你掌握不了
你需要认真的去学习它们然后跟它们认真的沟通你是在做一个沟通和权衡的过程最后达成一个比较好的目标和比较好的效果这就是计算机的一个所谓调和之道如果你觉得你可以深入学习深入了解它的细节有一些构造性的想法有一些灵感那我觉得读计算机的 PhD 是非常适合的调和之干什么第一回事件
因为计算机是一个不断妥协的过程你再跟硬件妥协再跟你的软件妥协再跟你交互的环境妥协这是一个调集资源然后实现目标的一个过程其实你是在调和不同的资源其实就是一个妥协的过程你不能完成超过你硬件支撑范围之外的事情
所以说在这个机构上你需要认真地了解你每个部分它能力的边界是什么你可以做到什么样的程度然后在此机构上完成你的设计我并不是做计算机这块的但是我有时候又要做这些大的模型我的设备不支持所以很多时候你发现设备的卡是没有办法解决的但是大脑的卡还可以再优化一下看看能不能把大脑优化一下来解决一下这种经济上的限制那 Harry 呢
第一肯定是需要有热情吧因为尤其是在这个领域硕士出来就能挣很多钱了那这个时候你 PAT 的工资其实是很低的那你干的活其实比那些硕士出来干的活要更复杂这个时候你拿着不如人家五分之一甚至十分之一的薪水其实这件事是需要就是为某些知识有一些渴望或者有热情的
第二就是说我感觉 doctor of philosophy 整个读 PhD 过程还是是一个 academic training 的过程其实我们在这个中间学的是某种 philosophy 就像刚才阿张说的某个调和之道这是某个计算机上面的 philosophy 还有就是我们可能怎么去解决一个 research 问题的 philosophy 还有一个问题是说其实现在解决问题的能力相对来说甚至没有那么重要了
因为答案是就是很容易获取的但是更重要的是怎么去提出问题就是我觉得提出问题的这个能力其实是这个过程中所培养也是你在开始决定读的时候是需要具有一定程度的这个提出问题的能力才能够完成这个比较完整的这么一个学术训练那最后一个问题就是就是你们到目前为止你觉得自己最大变化是
和当初入学的时候有区别吗最大的变化我觉得是深刻认识到的一些本科学科应该掌握的一些方法论吧因为在深入了解很多细节之前你可以凭脑子想出很多空中楼阁的设计但这些设计都会被否定被狠狠地否定这是不行的你是要认真地做每一次的实验就像我说的了解能力的边界这些能力的边界并不是别人能告诉你而是你是要通过实验自己去测量
然后找到它的数据,得到它能力的边界,然后你在这个边界的基础上,你才能知道现有的缺陷在什么地方,可以优化的点在什么地方,才能针对这个问题设计新的系统,而这个获取边界的过程可能是大家很多人所忽略的。吹牛的人都会吹,但是能不能把它实现确实要更重要一点。对,因为 system 是一个非常务实的场景,甚至我个人现在认为很多学术界的研究者,
他们做到的基础的训练其实还是不太够也就是说很多人其实缺乏这方面的认识没有意识到我们需要认真的去了解他的边界了解他的很多细节很多发的文章都是稍微有点空想性这个就是对应了我之前说的其实我认为工业界他们是稍微更领先一点的原因因为他们对这个边界掌握得更加清楚对于这个问题的规模估计
更加诚实也就是说他们可以掌握第一手的信息然后做出更多的优化和改进那生活上呢心态上呢有没有什么其他变化更享受被 push 了感觉自己应该是有能力完成这个 PhD 不过得需要一些更多的努力吧掌握更多的东西才行而且我也能分辨一些工作的好坏
虽然只读了三天有个 pre-doc 又感觉有什么变化吗有区别我觉得就是不用上课我觉得在本科的时候又要上课又要做科研我其实那个时候我觉得 work load 很大然后也挺烦的觉得很浪费时间更多的都还是用过网络学 YouTube University 我觉得不用上课基本上所有的工作时间都在做 research 就比较开心那节目的最后就问问阿张和 Harry 有没有什么
要送给我们的节目和听众吧那就祝 Chad PhD 一周年生日快乐吧谢谢我觉得在 PhD 这个过程当中我们最需要注重的东西只有一句话那就是 learning is all you need 不管在什么方向在什么方面我们都要努力学习然后努力的进化这才是我们需要的
谢谢阿张和 Henry 的分享好都今天我们所有的内容就是这么多啦感谢 Henry 和阿张的分享也谢谢 Jimmy 来当我们客座的主持人帮我们答疑解惑和提出问题这里是 Chat PhD 欢迎大家关注评论加转发如果大家有感兴趣想了解的专页也欢迎大家给我们留言那以上就是今天全部的内容啦大家晚安大家晚安大家晚安大家晚安
优优独播剧场——YoYo Television Series Exclusive