EP47: AI落地、策略咨詢：AI真功夫，為客戶創造商業價值
01:04:28 Share

哈喽大家好,欢迎收听新一集的数据女孩的中年危机,我是 Amy 大家好,我是 Stella 每周二我们邀请来自各行各业的有趣灵魂一起聊聊科技、工作和生活的方方面面分享他们的独特行业见解和人生故事和你一起画个角度看世界今天我们的嘉宾是 ZZ,ZZ 跟大家打个招呼吧

大家好,我是 ZZZZ 是 Kung Fu.ai 这家公司的 Founding Engineer 也是 Co-Founder 之一 ZZ 可以给我们介绍一下 Kung Fu.ai 这家公司是做什么的以及你自己在其中的角色吗 Kung Fu.ai 其实不是把 AI 应用于武术和散打

我们的定位是我们是一个咨询公司其实刚一开始是 AI 方面的 engineering 起家的然后后来慢慢地加入了 strategy 的这个方式我们的目标是帮助企业在 AI 的浪潮当中能够成功转型能够提高自己的竞争力保持自己的竞争力我们现在主要是面向企业的 CEO 和其他的领导层主要是提供策略和 engineering 这两方面的 solution

对我们是纯 service 公司我们没有产品所有的 IP intellectual property 都是属于呃我们的 client 我们等一下可以稍微聊一下这个因为

大家都想做产品公司然后甚至有些公司会想要避免被标签成咨询公司可是你们公司完全是把自己定位就是在咨询方面所以是还有想要募资吗还是你们是处于比较自己自主的状态现在是自己自主的状态这个也是做服务公司做咨询公司的一个好处吧

不用有太长的投资周期然后你去 build product 然后再去找市场 go to market 这样你做 service 的话基本上刚一开始你就可以有 revenue 去签 contract 刚才问的这个问题非常好就是为什么要做 service 我其实加入空服之前也没有想好到底是加入做产品的还是加入 service 的公司其实各有优缺点吧产品公司增长的比较快但是 AI 它的特点是

AI 它有一种普世性它在各个设置领域都有应用就像我之前是在 Google Apple 还有 Xpedia 这三个比较大的公司做的时候比如说 Xpedia 它是做 Travel 的我当时就想 AI 好像在很多其他的领域应该也都能用得到所以就感觉如果是做 service 的话就可以不用有这个方面的限制就可以接

各个行业的活然后学各种各样的东西我这个人比较好奇所以我觉得 service 比较好然后另外一个原因是啊这其实得归功于我们的口方的 stephen 他是我们 ceo 然后他之前的背景是

hosting VC 的 general partner 他之前也是呃一个 serial entrepreneur 他自己做个 service 公司然后也投资过很多公司他当时对于 AI 的判断就是这个很接近于当时互联网革命嘛就是 90 年代的革命然后如果说是找一个类似性的话那现在其实属于可能就 495 年啊就是还比较早的阶段那么在比较早的阶段的时候呢呃如果说

太早的做产品就比较冒险因为我们其实也不想做一个赌注说我就选这一个 Vertical 那万一选错怎么办可能也有这个方面的原因空服 AI 这间公司是什么时候成立的我们是 17 年我是 18 年的时候加入的

已经有接近八年是啊太快了 AI 这个概念其实也可以很宽泛那功夫 AI 在做这个 AI 的 service 的时候你们对于 AI 的定义是什么这个问题很深刻因为 AI 的定义好像一直在变反正有个笑话我也记得不是很清楚就是它没有做出来的时候它是 AI 但是已经实现的时候大家就不认为是 AI 了就认为它是传统的 software

就好像之前的专家算法嘛五五十年代六十年代包括七十年代其实一直到九十年代都有很多 heuristicexpert system 比如说 IBM 的 deep blue 打败 Casparov 的那个 AI 当时叫 AI 但是现在的话呢就是他的算法是比较基于搜索比较 heuristic search 他他不是基于 machine learning 以至于我们现在去帮助企业去做 solution 然后就会讲哎你们用的是 heuristic search 你们没有用 AI 所以

原来的概念其实一直在变现在的话应该主要就是基于 data 就是你有一个 learning 的过程你可以 learn 一个 model 然后去

预测一个什么东西或者去生产一个什么东西像现在比较火的是生产式 AI 因为 ZZ 的背景是统计他跟我是同校的但是他是 PhD 这样对 UCLA 那 2016 2017 的时候你们公司是怎么包装自己是叫 Data Consultancy 吗还是 Data Science 还是叫什么

当时就叫 AI 了蛮神奇的因为我以为看到比较多 AI 的 consultancy 是算 ChatGPT 出来后才把自己重新包装一次可是对我们来说感觉就是用 data 来解决问题而已

适合的方式就是好的方式不一定是一定要 AI 你们在工作也是这个样子吗对我们其实并不是说就是一定要用什么工具我们的目的还是要帮助客户帮助企业去实现经济价值利用生能力利用 AI 利用 Data Science 去实现商业的价值

所以内核的话刚一开始我们做很多 computer vision model 做很多 NLP model 还有 analytics model 用的模型其实也不一样因为早期当然我说早期其实也就是几年之前 18 年 19 年当时 computational nets 还比较 popular 对于 NLP 的话主要是 LSTM 但是我们也用一些很多其他的模型像 topic modeling 它就是不太一样的模型然后如果是 time series 就很多的是这种 regression 然后 XGBoost 也是效果非常好我们在不同的应用里面就是

有的时候就发现 XGBoost 其实最好而且它训得很快对所以我们并不是说哪个模型吸引我们就搬过来然后一定要用它而是会做一些比较去一个比较实用的模型来用因为我们很 care practical AI 希望它能够真正的带来价值而不是说像 academic research 一样去求新当然求新也是非常好但是那个不是我们的侧重点

我在 Kofu AI 的网站上看到你们的 K-Studies 涉及的领域非常的多各种类型的都有我好像看到还有一个是跟 SPA 有关的项目这些客户是怎么找到你们的就是你们开始一个项目是什么样的流程这个其实也是我自己的一个学习过程因为我肯定是对 Sales 完全不懂之前都是 Engineering 或者 Data Science 的工作就 Sales 的话其实还是蛮复杂的

而且产品的 sales 和 service sale 确实也不一样我们刚刚一开始主要还是靠 relationship 就是其他几个 co-founder 他们有一些 relationship 因为做 service 的话 trust 还是非常重要你花一定的价格去雇一个 consultant 那你是不是信任他然后到后来之后就更多的是通过 word of mouth 就是我们做了一个 project 如果比较成功哎那这个 client 他就会想哎我们是不是可以把 AI 用到别的地方

然后可能也会跟他们的朋友推荐等等我们也会 code call 当然也是在 marketing 方面有一些投入其实都是有效果的了但是我们觉得建立信任然后通过干活然后去积累这种 case study 经过这么几年的滚雪球的这种积攒经验啊积攒成功案例啊

然后才会越来越好这些客户在找到你们的时候他们是会有非常明确的诉求吗就比如说我有一个这个问题要解决我觉得 AI 大概可以帮我解决这个问题你能不能来帮我做是这样吗还是说其实是一个非常模糊的一个诉求都有它是一个很广泛的一个 spectrum

有

有没有客户是你特别印象深刻就是来的时候你想说自己可能没有办法贡献什么结果后来深挖以后发现其实 data strategy 对他们来说还是蛮有用的对我觉得很多的公司其实 data strategy 都应该是挺有用的因为 data 对于决策还是非常重要的嘛

印象比较深刻的 client 其实还真挺难选的因为我们涉及的这个 word code 实在是太多了从医疗然后到 financial services 甚至有那个废物处理我们可能看到垃圾车都是那个公司的然后有搞收藏的然后有 ad tech

做广告的然后也有 Bruce Ship 上面做 SPA 的甚至还有那个比如说全国土豆协会全国土豆协会对我们想听全国土豆协会这个案例对 National Association of Potatoes 好像是这个名字我并没有参与这个项目这是我们一些非常聪明的同事他们做的一个 LM 就是他们的问题是在一些 social media 上面比如说 Twitter 上面会看到关于土豆的一些负面消息

就比如说吃一些土豆产品不健康啊什么的然后这个协会它的目标呢就是要希望能够带来正能量能够据理力争哈哈哈哈讲事实摆道理然后对我们就做了一个 RAG 的 application 哇哈哈哈哈

我没有想到土豆也需要这样的也是一个挺有意思的一个应用这个有点岔题因为我去 Peru 玩那里人 so serious about potatoes 他们历史悠久他们那里好像因为有一些特别的种植方式那边也有三千多种种类的 potato 三千多种

对,然后他们非常的骄傲,所有的导游都会跟你提土豆的事情,所以你们那时候要早点认识的话,我应该会建议你们跟秘鲁人聊聊。这个组织是叫 National Potato Council,我搜到了他们的网站,是一个在 DC 的一个组织。其实做服务真的很有趣,因为你会遇到很多自己完全没有办法想到的 client。

你有发现美国这边本土的 AI consulting company 有变多或变少的趋势吗我觉得肯定会变多尤其是 XGBT 之后功夫 AI 是在 XGBT 之前其实主要是看到了 deep learning 的这个 trend

在 ImageNet 之后在这个 2012 年就是 AlexNet 在 ImageNet 上面效果特别好之后就图像识别和自然语言处理有大幅度的提高我们是主要是看准这个机会然后 ChatGPT 出来之后情况就不太一样就感觉走向更大众化了

很多人都知道 LM 这个东西然后知道 AI 这个东西然后很多人也可能把 XGBT 和 AI 去划等号了但其实它只是 AI 当中一个很重要但是比较小的一个范围对然后有了这么 trend 之后我想很多的 consulting 公司可能也会进来想去做各种各样的 API 的 wrapper 或者做 agentic system 等等可能就是脑洞打开然后发挥想象力

CHARGP 的出现其实同时也让做 AI 服务更加的无缘弗洁你有发现 Tech 行业外包的趋势变多吗你们公司是全部的人都在美国吗还是会也在外面有 Team

我们目前是所有的成员都在美国其中得有超过一半在 Austin, Texas 你的公司就是 base 在 Austin 的对,现在没有 office 了之前有 office,COVID 之后 office 就不再租了 OK,所以你们还是都是 work remote 对,remote friendly 当然我们也会找机会去 in person 去合作一下因为我们发现经常 pairing 经常有 brainstorming 还是挺有帮助的当然也有员工在西韩也有员工在东韩加州,在纽约都有

我跟做这种 AI Consultancy 的朋友聊会有两种模式有些会 embedded 会直接去人家的公司里面帮忙有一些是在家做完然后最后去 deliver 或者最后给一个报告你们的合作方式是怎么样的

合作方式和 engagement model 的话我们还是比较佛系的我们一般不是很喜欢去 travel 去 travel 很多然后去 onsite 神仙公司一般每个项目不会分太多人因为实际上分太多人的时候往往会降低效率沟通协调其实还是挺花时间的对一般会两到四个人小一点项目大概两个人往往都不会一个人因为一个人的话就感觉有点孤单哦

这个说的都是 engineers 的数量对 engineers 的数量我们有 ML engineermachine learning engineer 然后有 data scientist 对这样一种刚才说的一个项目两到四个人是包括了 MLE data scientist 的人数对这个主要是 MLE 和 data scientist 我们也有 project management 我们公司的 project manager 就不是很多所以每个人要负责多个项目所以他们只有 10%或者 20%在一个项目上面

既然你们公司的人都是 work remote 你们有考虑过从美国以外的地区招人吗肯定也考虑但是肯定就是说在时差方面可能会有一些困难加拿大应该没有问题但是如果在亚洲找的话估计时差可能会有一些问题

在 ChatchBT 以后你也是也做了两年的项目了你觉得现在的客户对 AI 的需求有虚高吗也就是说 ChatchBT 出现之前跟之后你有没有觉得客户可以做的 solution 有不一样还是其实也都差不多这是一个非常好的问题 ChatchBT 出来之后肯定还是很不一样的对 2022 年的 11 月份出来之后我记得当时有一段时间我们的

sales 就觉得很困难因为大家都知道有 chat gpt 这个东西尤其是 business leader 他们如果对 AI 的技术不是很了解的话就觉得突然有这么强的 AI 那我干嘛还要去自己训自己的模型我干嘛还要再找新的 MLE 或者 data scientist 然后去用自己的模型是说你们的 client

他会有这样的疑问就是说新出现的这个技术就应该很容易地解决我的所有问题为什么我还要去找一个 consulting company 是这样的困难吗对对对因为他的能力确实很 shocking 而且平时

平行而论尤其对 NLP 的一些模型确实有很大的升级像之前的就是说阅读理解或者去抓其中的一些关键词或者 summarization 总结概括这样的任务其实就用这种 fretrend GPT 不管是用 API 或者用 Open Source LLM 其实都解决得相当好

确实对于前一代的某一部分 NLP 模型确实有挺大的冲击对于我们的客户来讲我感觉就是他们可能就把 AI 和下 GPT 划等号了然后就感觉这么一个神奇的东西我们把任何问题都可以丢给他然后就可以神奇的解决他就会有一种观望态度那我干嘛还要在 AI 方面去投资然后去 customize 一个 model

所以有一段时间其实我们会发现比较难说服这个企业去购买 AI 的服务但是现在又不一样了就是过了大概半年一年之后可能大家发现好像如果只用 OpenAI 的 API 然后写一个简单的 wrapper 做一些 prompting 好像也不够

因为很多时候不只是 prompting 的问题你还要去做 evaluation 你还要去验证它的结果到底是不是好是不是真正能够插入到你的工作流程里面去优化优化你的整个流程他们可能发现其实并不是这么简单的事情而且有很多问题也并不是说你上 ILM 就是一个最好的方案其实 AI 跟 ChatHPT 话用等号我个人是觉得蛮困扰的

因为在我的脑子里面 ChartGPT 这样的 LLM 跟预测型模型就是你说 Time SeriesXGBoost 这样的模型是完全不一样的而且适合用传统现在讲传统其实他们也是很新的 model 传统的模型能解决问题我不觉得 LLM 可以轻易的取代甚至不可能取代你怎么去说服你的客户怎么教育他们说这个要怎么分呢

对这个其实很难因为

出来一个很新的技术而且它效果又确实很好的时候他确实想把这个 hammer 用在所有的内容上面我们一般就是希望能够尽量站在企业的这一边去公正客观地衡量各个技术不管是新的还是旧的技术然后去评测去帮助这个企业去建立一个 benchmark 用它的数据然后去建立一个标准的数据集然后去衡量各种模型它的效果帮助这个企业呢去建立一个实验的文化吧

就是因为在我们生能力的三十里面其实比较核心的就是去做实验这这点跟软件工程很不一样人工程的话就是你有一个 plan 就去 execute 但是这个三十的话实验其实是比较中心的一个部分然后如果有足够多的数据然后建立起来一个 benchmark 那你就可以做很多实验我们可以用数据说话到底是 LM 它的准确率高还是用传统的方法它的准确率高其实现在我觉得大家也更多的了解到了呃一些传统问题

确实也不需要用 LM 比如说在广告业你去 predict CTR 对吧它的 input 和 output 都很固定然后也都不是特别高维的东西就是你如果用你的 input 有很高维的东西比如说有图像或者是很长的文本那确实可能是上 LM 啊或者上 BLM 去提取一些 feature 可能是有一些用但是最终你 train 的模型可能你还是得加一个相对简单一点的模型然后去做 regression power 而且

而且很多时候你有 Litency 的问题就比如说我们的一个 client 他是做 Real-time Ad Spending 需要在 10 毫秒以内做出来的决策那这个就基本上绝大多数模型就可以排除了

甚至 XGBoost 我把它去 deploy 之后就发现它仍然是会有一些 latency 的问题所以最后还要用比它更简单的一个模型有时候跟人家聊就是你讲 RTBReal-Time Bidding 这样的 use case 然后大家想要上 LM 的时候我都会想说为什么我们已经花了这么多力气降噪了就是 Denoise

找到 predictor 然后我们现在又要加更多的 noise 进去这个 model 我就会比较存疑吧但是现在还是实验的阶段感觉也是有可能了但确实可以用 IOM 帮着写训练模型的代码我反正自己的工作流程现在已经是跟之前大不一样 CZ 一开始是写 R 的吗写过一段时间我就是在 UCLA 写 R 然后除了 UCLA 就没有在 IT 学了

哈哈哈哈因为听了很心碎哈哈对当时我们的呃系主任耶恩德绿嘛他年龄很大了长得很像爱因斯坦一头白发然后住在深山里面经常下雪天他就说 OK 大家放假因为我吃不去了我没法给你们上课了他其实是二的一个嗯重要的 contributor 对二其实我还是很喜欢用的尤其是做 visualization 做 eda 的时候对我们公司也有人用啊啊

但是后来的话做 deep learning 就是大家用 Python 比较多 ZZ 在 UCLA 读 PhD 的时候做的是从一开始就是做 computer vision 的吗对我现在是统计系但是做的是 computer visionZZ 在读 PhD 是什么时间我是 06 年到 11 年读的 PhD 然后之前 02 到 06 是我的本科是在清华 CS 二字版 Amy 也是教友

那个时间做 computer vision 用的是什么方式呢呃变革挺大的我其实本科就开始接触 computer vision 我对这块感兴趣是从本科开始做最后一年的毕业试剂那当时是用的那个技术叫 back of words 或 sbm 就是所谓的 back of words 它其实是从 alp 里面来的就是 a back of visual words 把一个图像描述成一个 histogram 然后再加一层 sbm 然后就好了然后就各种调餐然后到了

到了啊统计器之后我当时研究的东西就更加系统吧我其实当时做的是 generated vr 是 generated 的模型用的是 sparse coding 啊

但是都是传统的方法没有用到任何的 neural network 我当时主要的 thesis 是一类物体到底是怎么用一个数学的模型用一个统计的模型来表达比如说什么是猫这个问题这个怎么描述呢这个其实用语言都很难描述但是呢就算是小孩子你让他去画一只猫或者画一只猫头鹰他其实几笔也就画出来了

然后大家也都能认出这个看起来就是像猫那人是怎么做到这一点的呢所以我们就想教机器也做类似的事情用到的方法呢其实是 sparse coding 就是说可以搜集几个例子不用特别多不用几千几万个像 deep learning 一样我们可以搜集大概三到五张猫的图片然后去找共性发现耳朵这边都有两笔然后脸的话大概是一个圆对这样子

然后让这种学习的算法自动去找到共性 Computer Vision 这个领域逐渐转向 Dip Neural Networks 是发生在你读博士期间的吗还是在博士毕业之后其实很有意思是发生在我读博士期间但是我是 2011 年毕业然后 2012 年的时候有 AlexNet 出现然后基本上是相当于之后就席卷了整个 Computer Vision 因为在 2012 年之前有很多的这种 Craftsmanship 就是

非常多设计很精妙的模型也好啊 feature 也好像 sift 呀 HOG 呀设计非常精妙的 feature engineering 也有一些 conditional random field 呀一些 graphical

model BSA model 就是比较难调比较难推导的这么一些模型很漂亮他们数学写的很漂亮你如果看当时的 paper 里面很多公式 deep learning 之后你就发现公式会少很多然后曲线会多很多 table 会多很多然后各种各样的 diagram 就是各种这个 box 连到那个 box 直接多多很多对所以非常不一样呃相当于是席卷了整个 company vision 然后之前做这些 design 的 researcher 可以说是工作就被冲击掉了您

你跟学术界后来有保持联系吗你的观察是像这些以前做研究等于有点被被超过了他们后来都会进行转型吗还是他们会怎么办对转型有快有慢吧有的转得快一看这个 neural network 比较好就可以把它做一个 building block 然后

然后放在之前的理论体系里面这个包括我做之前的实验室他们也在做这方面的事情然后现在也转到了这种 Logic Language Model 然后去 Train Logic Language Model 但是还是放在同样的理论体系里面可能转型也是必须的因为毕竟这个效果确实比较好而且就是它比较简单粗暴它不是一种需要花很多精力去设计啊去调你就上数据上机器然后跑很多天有很多钱的话效果就能好这个就是但是

它是非常神奇的大力出奇迹的方法用结果说话当时这种技术的革新对于 ZZ 你已经是在工业界的人的冲击是什么样的呢其实当时我刚刚毕业找工作的时候我就没有再继续做 competitive vision 因为我这个人比较好奇我就想看

看看在做其他的方面怎么样所以在 Apple 做了 Ads Targeting 哦 OK 那个是我第一次接触广告然后接触一些大数据像 MapReduce 什么 Hadoop 这些名词我当时在学校从来没听过然后然后一看这个 Job Description 这完全看不懂啊这一半是我不认识的词但是真的学了很多当时我的那个

我的 manager 和同事也都特别 nice 帮了我很多之后我在 Google 做了两年然后做的是 search ranking 但是也没有做 computer vision 做的是基于文字的当时我对于这个 deep learning 因为刚一开始是在 computer vision 里面的冲击比较大所以我当时还没有特别大的感觉我是之后几年就是慢慢的去采用越来越多的模型因为确实

不管是图像分类还是物体识别还是 segmentation 它的效果就是经过几天的验证发现这个趋势好像不是一个一直的趋势好像会一直持续下去所以也就越来越接受了而且

而且说到这个当时的变动有一个有趣的插曲就是我的大学室友我的本科室友叫邓佳他其实是他跟着李飞飞做他是 ImageNet 的 first author 对我们之前聊过对于做数据库这个事情当时还觉得这个虽然说重要但是你再重要也只是一个大型的数据库并没有解决这个智能的核心问题但是实际上后来证明我其实是错的这个数据量数据的质量还是非常重要的

确实促进了之后这个 deep learning 的 resolution 就和现在做 generative AI 一样我前一阵子也在跟 Amy 吐槽这件事情就是现在很多发出来的 academic paper 其实都是在做数据卷数据库对对真的有一种又全部在演一次的感觉然后量级更大然后 computing power 更大 project 的 dollar amount 也更大这样

对我记得我之前听过其中一期 podcast 然后你讲过你也做过 compare vision 我比较好奇你用的是什么工具然后上手的这个经验大概是个什么样子 YOLO3 哈哈哈哈

所以是那个物体识别对不对是物体识别大概是个什么应用有两个应用其实两个都是在中国国内的应用一个是高速公路上抓尾气排放的车这很有用你看到哪个车后面排出来有黑烟你就去把他的这个牌照给抓下来还有一个是做这种餐厅的后厨

大家是不是都戴帽子戴口罩了这种 compliance 对就是比较典型的这种 computervision 的应用那很棒这个都是有特别好的落地场景对这两个项目都是属于有实际的需求在技术上来讲其实并没有那么大的挑战我是觉得嗯

OK,优露我觉得是特别好的工具它是现在可能已经出到 V10 了吧都 V10 了大家也都在用 Data Science 就是这个所以我觉得自己很老对,这个世界也变化的太快了

当时做过一个刚才说过我们有个 client 是做垃圾处理给他们做了一个 POC 然后是 complete vision 的它的目的是做安全警报因为垃圾车它有的时候它停下来后面的司机有的时候它不太注意然后就会撞上来其实会有挺多起这样的事故然后对于员工还有对于财产都有损害

所以我们的这个 POC 的目的就是说有一个车载的装置如果后面有车比较危险快要撞上来的时候要提醒提醒 driver 提醒上面的员工当时这个我觉得挺有意思用的是很类似于 YOLO 的一个 framework

它的复杂性就是通过这个项目我就了解到一个使用项目的复杂性其实不仅仅在模型本身而在于它周边的很多的东西我们可能花 20% 30%的时间在数据上面花 10%的时间在 model training 上面然后其余的就是把模型 deploy 的到一个有一个装置叫 Color TPUColor TPU 就是一个 Edge Compute Device 你可以把模型给刷到上面它其实好像类似于一个 USB stick

你可以在笔记本上讯号模型之后把它 copy 到这个 usb stick 上面然后我又把这个 tpu 呢去装到一个 raspberry piraspberry pi 就是一个非常小型的一个电脑

然后装进去之后好不容易把它调通可以 work 了然后可以跟警告灯啊跟那个 beep 的那个装置连接之后呢发现还有很多其他问题比如说散热跑着跑着它就会很热热它就会非常慢然后还要考虑防雨然后还要考虑就是电源的问题就是能不能撑足每天的八个小时所以周边的这个事情其实花费的时间完全不比做模型本身要少

这是一个非常有意思的学习过程吧对说到这个其实也和我跟 Amy 经常讨论的一个问题有关就是现在的很多跟 data 相关的项目它的重点慢慢地从模型训练从 model training 转移到了落地然后更多的是偏 engineering 的这个方向

这个对于 Data Scientist 来讲其实也是一个挺大的挑战或者说这个是不是也是现在整个业界对于 Data Scientist 的需求没有那么大了的一个原因我其实没有太关注我估计可能是有的因为毕竟像 Copilot 还有现在的 Cursor 等等

甚至 Cloud 的 XGBT 你都可以用它来搭起一个比较简单的模型训练或者数据分析的一些代码的模板它确实让这个过程更自动化了是不是对于这个行业一些比较固定的流程可能会有一些冲击然后是不是进而的影响 Data Science Job Posting 又减少这个我也想向你们了解一下就是你们有没有关注到 Data Science 这几年的 Job 更难申请

应该是有的因为我们 mentor 蛮多人的蛮难找工作的还有就像 ZZ 刚才形容一样你做一个 POC 你 80%的时间其实没有在做 Data Science 你在想办法把它落地所以我们至少我个人观察到很多公司他也发现了我请一个 Data Science 可是他没有办法 100%的时间都在

现在喜欢讲 revenue generating 的 task 上面包括我们之前其实和另外一个 co-founder 聊天他也说他觉得 data science tasks 或者是跟 modeling 相关的 tasks

他可能觉得一个 backend engineer 顺手就做了你是不是有必要再去专门找一个 data science 来去做 model 这方面的工作以及现在很多模型越来越像 plugin 就我们前面说的 computer vision 的模型然后现在很多的大语言模型所有做这些类似项目的公司他

真的有这种去重新 train model 或者是甚至是 fine tuning model 的需求其实没有那么多,所以觉得从这些角度来讲好像对 data science 或者说更 general 的来讲,对于有 model training 经验以及能力的人的这个需求好像是下降的还挺明显的。

明白我其实也挺同意的我感觉比较重要的还是要做多面手就是需要不停的学习可能不只关注于就是某一个很具体的 data science 的一个模型或者技术也要去了解其他的方面比如说怎么去做 backend 一些 ML Ops 也要了解某个垂直领域的这个 domain 因为你如果是多面手的话我感觉可能在就业方面的竞争力会更强一点

而且我觉得 LM 的冲击不仅仅是在 JSMS 方面好像在各个方面都有冲击我最近刚看了一个报告待会可以聊一下

空服打 AI 的有不是多面手的 DS 吗有但是不是很多我感觉现在比较吃香的是 T 型人才就是说你一方面是多面手但是也不能只是停留在表面可能还是得有一个方向要了解的比较深要么是你对这个垂直领域了解比较深比如说你对医疗非常了解或者对汽车非常了解对半大级非常了解

但是你又色列比较广泛我在空服 AI 的网站上看到很多 case studies 都是和 LLM 相关的

嗯感觉你们公司也是做了很多 LLM 落地的项目或者是 POCCCQ 给我们大概介绍一下你们做的都是什么类型的 LLM 项目吗你们会只做 prompting 的 LLM 项目还是也会做 rag 甚至做 fine tuning 呃其实都有但是 rag 居多 prompting 和 rag 居多呃如果看我们整个 portfolio 的话 generative AI 其实还不是大多数我们大多数的项目还是相对传统传统需要加引号因为其实也是十年以内的呃

很新 JNAI 的话有文化

文字生成比如说刚才所说的那个怎么跟土豆的负面消息去据理力争这是一个例子怎么上了跟人吵架是吧他其实是用了一个 rag 因为就是关于土豆的一些科学知识啊还有就是这个客户之前在 manage social media 方面他是怎么去争论啊就是有些模板都可以作为 rag 的数据库然后我们也有一些生成

图像和视频的然后生成图像和视频的那里面 fantune 反而倒是有一些在 LM 本身就是生成文字我们并没有做很多的 fantune 因为实际上这个方面其实争论挺大的可能不同的人观点也不一样

到底 Funtune 的这个 ROI 就是它带来的回报到底是不是足够多足够去 justify 你花那么多时间去搜集数据啊用这个 GPU 集群去 Funtune 它是不是能 justify 这个其实也是不是很好讲

所以 ZZ 的观点是认为 fine tuning 在绝大多数的情况下并不是那么的有必要是吗不确定就这个很难讲感觉如果不经过实验的话很难去很确定的说但是 RAC 比较好实现你会怎么判断一个客户的项目要不要去做 fine tuning 你可以

你前面提到实验你会用什么实验的方法去做这个决策要不要做 fine tuning 呢我觉得首先要了解这个客户他的企业里面他自己的流程他需要去优化的是什么他的目标到底是什么他的痛点在哪里然后知道这个之后才可以去 formulate 原来是这么一个问题他的 input 是这个 output 是这个

然后可以从简单开始从简单的 prompting 然后后来可以加上 RAC 开始然后去搭建出来一个系统让它能够 end-to-end 可以跑通其实很多 LAM 的 application 我感觉现在是要么是客服要么是一些内部知识库的问答可以搜集一些数据然后让 AI 去 generate 一些答案就可以去 rating 然后这样可以建立起一个 benchmark

去衡量其实我觉得所有的企业都应该有自己的数据的 benchmark 因为每个企业它内部的流程都不太一样它关注的点也不太一样不能只看公开的那些 benchmark number 而且就是

像 OpenAI 啊 Cloud 啊还有些 Open Source 的模型他们都会去比嘛在那个榜上比那谁好谁坏那个数据就是说其实也有用但是你不能完全信还是要根据自己的数据自己的流程去衡量一下 CC 的客户里面目前有多少客户愿意投入在 evaluation 这样的东西上面是

这个就取决于这个客户有没有一个比较好的一个 AI strategy 就是到底有没有规划那如果他有比较好的规划的话我感觉应该能够意识到 evaluate 还是很重要因为你没有办法 measure 引入了 AI 引入了这个版本的 ALM 到底是好了还是只是一个噱头所以测量还是很重要的但是如果你要做测量的话前面 ZZ 也提到需要有这种 benchmark dataset

这个 benchmark dataset 是你们做吗还是你们的 client 这个公司去给你们提供 benchmark dataset 绝大多数都是 client 因为他们自己的话要么就已经有很多的 data 了要么就是对于这个流程他们自己实现起来还是比较方便然后我们可能会有一些 pairing 就是有一些 working session 大家一起去商量去了解一下你的流程是这个样子然后你的数据流是这样子然后你在哪里面可以加个 login 然后在哪里可以加一个 user feedback 然后

然后尽量把那个东西 log 下来在刚一开始跑通之后数据就会越来越多数据越来越多之后你也可以去调这个 rag 也好你 funtune 也好我感觉 funtune 应该是后来的事情我个人认为是先做 rag 然后之后再 funtune 数据越多之后呢你的这整个系统也会越来越好

所以是一个比较正面的循环所以你说的这个数据收集的流程并不是说在我这个 model release 之前我收集一些 static 的一些静态的数据而是我比如说我有了一个 beta release 有了一个 pilot 之后在我这个模型开始跑了之后我就持续的在收集我的新的数据作为我的 benchmark dataset 吗我认为迭代是挺重要的

就是实验和迭代我觉得是数据科学或者是 AI 的一个比较核心的一个流程如果是搜集静态的数据的话当然是一个非常好的出发点了因为你有了数据最后你可以要么是手动调你的 RAG 要么是你可以分成一个 model 但是你学出来之后这个模型是不是还有新的问题你需要去 discover 它的问题然后通过不同的使用它

其实我们设计产品也有类似的思考方式所以我们最近 release 新的 feature 也是让用户自己去放入他们想要测试的问题集然后他可以自己去 evaluate

像 ZZ 这样 work with client 他们可能自己有意识他们自己愿意投入这个可是对于我们这种做比较中小企业 SaaS 的公司来讲很大的问题是怎么让这些客户愿意自己去 maintain 他的 evaluation 然后怎么去教育他们说你其实是需要长期迭代的那迭代是什么意思

蛮难的我们最近其实也有遇到类似的问题我们面对的就是更小的个体了可能就是 individuals 就是个人去做一些小的 chatbot 他在一个平台上做 chatbot

那他也要对他这个 chatbot 的 performance 负责我们也是和 Amy 刚才讲的一样我们提供这种功能你可以自己做一个 dataset 然后我们给你有自动的 evaluation 但是其实要真的自己做一个 dataset 出来这个也是挺多时间的投入不一定是每一个 user 都愿意花这样的时间去做这个事情

那我们就又有尝试说那我们可不可以自动 generate 一些 benchmark dataset 比如说我根据它的 knowledge base 去自动 generate QA pairs 这简单的 evaluation 方法然后根据这个 QA dataset 去做一些 evaluation

虽然这个我们是我们自己做的但是我又对这个方法有一些怀疑说这个是真的可以比较有效的去 evaluate 这个 model 吗这个我也不知道就感觉是一个就是没有办法了那我们用这个方法试一试吧就这样的一个思路对我觉得这个领域还是非常新的 evaluation 这个问题还是挺难的并没有解决不同的领域比如说在法律里面的问答和在应用

医疗里面的问答你怎么去 evaluate 它的方法可能也不太一样就希望有更多的工具可以帮助刚上手的公司也好个人也好能够不用花太多的精力就能够把万事马克建立起来能够衡量自己的就是说 data health 吧 ZZ 现在做的这些 LM 项目有没有提到铁板的情况

就是这个好像没有什么用然后或者是还没有 ready 很多对做 tele-science 的人可能都会有这么一个感受就是因为做很多实验大多数实验可能结果都不会很好但是某一天不知道哪根筋对了然后就有一个突破这样子应该说大部分时间都在装铁板吧也有一些就是说比较大的项目 in hindsight 就是现在看来当时确实可以做得更好

ZZ 刚才提到你们做很多 RAG 的解决方案但是做 RAG 的话虽然是比 fine tuning 要简单但是它也有它自己的很多的挑战比如说你做 RAG 做这个 knowledge base 这个 knowledge base 要怎么维护尤其是你们是做 consulting 的话你其实只是和这个 client 合作一段时间这个 client 在拿到你们的解决方案之后他要如何去维护他的这个 knowledge base

这样的问题你们现在是怎么考虑或者是怎么向你们的客户建议的呢取决于这个企业客户本身它内部的人员和人才是什么样的如果它有比较多的 Data Scientist 有比较多的 MLE 啊一般来讲我们就推荐他们自己来维护因为毕竟对于自己的这个工作流程比较熟嘛然后我们尽量在早期把这个流程给建立起来

把一个 structure 给建立起来使得今后的维护会更加自动化更加容易一点因为就是 knowledge base 如果它是一个比较固定的 ingestioningestion 就是你有新的 document 就扔到一个固定的位置

然后去做一个固定的 chunking 然后你如果要建立一个 graph 的话有一个固定的就是说提取 entity 提取 relationship 的方法如果这个比较固定的话那它实际上也就是需要不停地往那个 data repository 去放新的 data 去上传新的 data 也就可以了

然后定期的可能会有些 checkpoint 就是检查一些 data health 就是有没有一些 anomaly 什么之类的估计就可以了这个 anomaly 指的是哪种类型的 anomaly 呢比如说你上传了一个文档这个文档里面有乱码或者跟之前完全不一样但是也有的客户他内部资源不是很多没有很多 engineer 我们就可能需要去帮着维护一段时间会有一些 maintenance

knowledge base 的维护一方面是有新的 knowledge 新的资讯或者新的文档要丢进去但是另外一方面可能也是已经在这个 knowledge base 里面的信息有的 outdated 了有的已经是过时的信息我要把它拿出来但是很多时候就是并不知道哪些信息是过时了的就这个其实也好像是我们比较容易遇到的一个挑战

你们有应对这种问题的比较好的方法吗没有专门应对这个的目前还暂时没有遇到所以我也挺想了解就是有没有一个什么例子是出现这个问题的大家比较常举的一个例子是说比如说我的这个 knowledge base 是我这个 e-commerce 公司所有以往的这些 sales 和 events 的信息

这个例子比较简单比较直接了就比如说我过了这个 Sales 的时期之后我就要把这些过时的 Sales 信息或者是 Sales Event 的信息拿掉这个比较直观了但是在实际的应用当中很多时候应用场景并不是这么的简单明了就是我并不明确的知道我有哪些信息是已经 outdated 了但是我不希望我的这个 Knowledge Base 或者是我这个 Rack Solution 给用户的是一些过时的信息

是不是可以通过加一些 metadata 然后做一些简单的 filtering 还有就是做 rush 的时候很多时候是会不仅提供答案然后提供一些 citation 就是 ok 这个 data source 是从

这个 entry 来的或者是从这个文档来的然后这个文档它最后一次 update 的是去年的是二月份就已经八个月了这个是我能想到的比较直接的方法但是不一定能适用于更复杂的情况我们是稍微用加权就是 wait 因为每一个用户他想要加权的东西不一样然后有的想加权的原因是 recency 就是越新的加权越大

这个在产品设计其实还蛮复杂的但是它是一个 control 的方法

然后我们也有在想说怎么让用户能够 Sort by latest update 就是说你最久以前更新的你可以把它 Rank 然后你就知道说这些太久了我可能要看一下或者给它一个 Refresh 的功能让它重新抓这些数据没有什么 Active 的方法可以防御这种事还是需要 Management 是这个方法我觉得还挺好的

我有另外一个相关的问题想问 ZZ 对我来说尤其是你做服务啊

你做 RAC System 它的 Chunk Size 是一直变大所以等你 RAC 做好了你的 Chunk Size 已经不对了它可以再更大了就是当有一个新的模型它的 Context Window 变大了所以你原本可能全部分成 100 份你现在可以分 10 份就好了那你们是会替用户在 License 更新的时候去帮他们做一个 Update 吗还是这是属于一个新的项目了我们

我们还没有做到这一层但是就是我如果想象一下的话如果去更新它不会是现在的 contract 一般会有一个 change order 或者是也可以有一个新的 contract 就是有一个固定的 scope 去更新这个 chunk size 去做一个 improvement 把 version1 变成 version2 这样子

客户其实也很难当因为他也不知道我今天买了明天会不会就过期了就马上又要更新了对这变化太快了对这个领域变化非常快从客户的角度来讲他从 consulting company 买了这个解决方案因为他没有这方面的 expertise 没有这方面的专业技能所以他才去找 consulting company 做这个解决方案但是也因为他并不是很了解这个解决方案

这个东西就对他来说是一个黑盒子对于他长期维护的这个要求其实还是挺高的我想知道 ZZ 你们有 client 是拿到解决方案然后发现他们其实没有办法维护最后就放弃了的吧肯定也有这个我可以举一个例子这个例子实际上是我觉得在技术上面比较成功但是在商业的整合商业的应用里面并没有再继续走下去这个客户呢他是做那个收藏品的就那种卡在 eBay 上面我之前不知道

我做了这个之后一张小卡能卖那么多钱的吗对我也是前几年遇到有一个朋友他在做这件事情我才知道说原来还有这么一个市场是这也是事实它就是一张卡嘛嗯

有 Pokemon Card 这都不算是很贵的有那个 Sports Card 就是篮球啊或者 Baseball 啊什么的有的可以甚至到 10 万美金以上都有这 Crazy 反正 anyway 这个公司它的业务呢是做 Authentication 通过 Authentication 来收收费这么贵的东西那买家肯定是希望它是真的对吧所以这个公司它做 Authentication 收费的这个方式是通过价格

你如果是这个卡价值比较高他就收的高但是呢他就发现一个问题那提交 authentication 的这个人呢他可能会嗯往低里报价因为他不是很想交很多钱哦所以这个价格是 self report 的对所以我们帮着做的模型呢是价格预测的一个模型就是这个如果放在一倍上面

会卖多少钱这其实是一个挺难的问题虽然说问题本身的这个 formulation 简单它就是一个 regression problem 你对一堆输入然后去回归一个价格但是挺难的因为谁知道这个对的价格到底是什么这完全取决于买家当天他的心情还有就是买卖之前的一些 dynamics 数据也非常的 spark 对于高价的卡来说

对数据也挺 sparse 的尤其是那些非常稀有的卡而且这个价格有时候并不太理性可能是因为这个人特别喜欢这个球员啊但是 anyway 我们做了很多种的方法感觉做的模型本身还是比较成功应该说已经达到了我认为的准确率的理论上比较接近它的极限了其实我们当时也用了一个类似于 retrieval augmentation 的方法还没有 LM 的时候啊

我们就是找类似的卡先去 retrip 它类似的卡然后用一个神经网络自动的去加权看哪个卡最接近现在你要去 predict 这张卡而且还要去调整就是说通货膨胀因为它之前卖的可能是 10 年之前然后做了这模型我们当时自己还挺自豪的但是 accuracy 不会特别高你肯定不会说 1 万块钱的卡不可能去预测到只差 50 块钱这是绝对不可能的你能够比如

比如说一万块钱你预测是五千这个其实就是相当可以接受的一个程度那我们当时没有 strategy 这个 practice 现在就感觉如果当时有 AI strategy 帮我们去整合这个模型的话就会好很多我们当时很关注模型 accuracy 本身就是说哎

Accuracy 到底是多少,差多少钱,但是其实你的模型准确率能够提高一点,它到底对于 business 的价值到底在哪里,这条线没有连起来。刚才 ZZ 提到的 AI Strategy 也是你们公司提供的一个服务之一,就是看你们公司的这个 K-Studies 其实也不少是 AI Strategy 类型的项目,这个 AI Strategy 是类似于一个对于 AI 或者是 Mission Learning,

项目的产品经理或者是产品规划的这么一个角色吗可能更接近于传统的 management consulting 就是他们的 strategy 具体来看其实 strategy 非常复杂了就是你要么做技术要么做跟人有关那 strategy 就是负责所有跟人有关的其实我刚才讲的这个项目里面我感觉就它有一个 gap 它就缺一个好的模型或者是我们认为我们能够做到最好的模型到

他能够实现的商业价值之间这个联系究竟在哪里这个是 strategy 去做的呃

呃这个项目如果现在来做的话其实不应该去 measure 它的这个 accuracy 本身你要想这个模型它会怎么用呢它其实是做 tria 整营的这个公司的痛点在于一天上传几千张卡几万张卡工作量很大那他们也没有那么多人所以只能在有限的时间可能只能 review10%的卡那这个时候只要有一个模型它稍微准确一点

不用那么准确能够把这些排序把那些最有问题的卡能够排到前面去其实 70% 80%准确率也就可以了

它其实已经可以省很多了所以如果你去 measure 同样的时间你能找到多少张问题卡你如果把这个作为 metric 就会好很多这个项目当时并没有再继续走下去但是我觉得如果能够跟商业的这个 metric 联系起来之后应该能够走得更远我好像经常在我的工作中是在做类似的角色我现在终于找到了一个词可以形容这一部分的工作就是 AI strategy 对

所以 Stella 你现在是 AI Strategy 的专家不是专家就是因为很多我们工作的这个环境不管是什么公司很少出现 AI Strategy 的这个职位很多时候是这个 Data Science 或者是 Machine Learning 这个 Team 的 Manager

在做 AI strategy 这些事情对因为它包含很多的方面 engineering 本身它之前和之后都有很多的沟通协调都有很多的规划还包括比如说 model 的 governance 不同的 team 的 governance 其实我们做 strategy 的时候也会包括很多的 SME interview 就是 subject matter expertise interview

去面试这个公司的各个团队的人因为经常发现这个公司它内部的人本身其实也对他们内部的流程也并不是那么了解因为他们只专注于可能他们其中的一部分然后对于整个的流程并不是特别了解对这个其实也是挺有帮助的

然后做一些 ROI analysis 看看应该去做什么样的 AI 项目会更有价值它的投入和回报比会更好一些 Zizi 作为空服 AI 的 Founding Engineer 我看到你在 LinkedIn 上好像也经常是在 follow 最新的技术 AI 这个领域或者是 Generative AI 这个领域的变化真的是非常的快我觉得

我觉得每一个在这个领域的人都经常发出这样的疑问就是说我要怎么才可以一直跟上最新的技术发展 ZZ 每天要花多少时间阅读要花多少时间在读这些最新的新闻上太难了

而且还在加速你看那个 archive 上面发的 paper 一天比一天多然后现在这个 LM 出来之后你写作也更快了大家灌水的效率更高了对灌水效率太高了我也很好奇你们是怎么去追踪这些更新的我用 Twitter 比较多就挺怪的我不知道为什么这么多的 researcher 经常用 Twitter 去发布他们的 paper 在 Twitter 上面我会看然后 LinkedIn 其实也会有然后在之前

我会听一些 podcast 了有些英文的 podcast 在这里一定要好好夸一下 Sara 还有 Amy 做了这么好的一个 podcast 因为我之前听的 Data Science podcast 都是英文的在里面其实也能学到不少东西比如说推没有 AI 就举一个例子吧其实有很多还有 Lit in Space 对的

然后华语的 podcast 我是第一次听到而且真的你们干货特别多我觉得从中可以听到其他各行各业数据科学是怎么应用的然后也可以了解各个城市的信息而且二位的输出也很强就是不仅是嘉宾讲而且你们也是意见很多话很多对你的经验还有洞察力也是有很多的干货谢谢这个 podcast 也是我的信息的重要来源了

我其实也想问你们两个我觉得现在这么多信息最好的能力就是 call out bullshit 然后听 podcast 其实也是一个方法因为他会很直接的说哦这个有一个新的东西啊我觉得好像不是很 promising 我们再看一看因为如果纯粹的去跟风的话每天都觉得科技发展越来越快然后什么都已经有可能了

但是你们是怎么 call outBullshit 就是怎么去识别说这个其实没有很成熟可以再看一看确实噪音很多然后感觉刚一开始还真的感觉有点 overwhelming 因为不仅是新的这种 LM 的 API 出来各种各样的 open source 也出来然后现在有 multimodal 视频图像的 generation 真的是各种各样的

模型很多然后在上面也有很多的变种就是你可以去翻听有那种 laura 你用几张图就可以选一个新的 style 等等真的是变化太快了挺 overwhelming 的但是后来我就安慰自己说没事你这个就算是这三个月不关注吧可能你也失去不了太多因为你再等三个月现在的模型可能也就过时了确实是这样

我现在主要靠 human summarizers 因为我现在工作的这个环境是在学校里面虽然我不是在 academia 但是我会接触到很多 academia 的人然后以及在学校的这个工作环境当中的人我觉得都是一些非常年轻求知欲非常旺盛的年轻人

所以我很多资讯都是靠他们 future 然后我再吸收对这个是一个不是很上台面的方法但是目前对我来说还是很有用很有效这个效果是经过验证的像很多 PhD advisor 他是 grading descent by graduate student 哈哈哈哈

对我现在就也是剽窃了这种方法前段时间有年轻人或者钢融行的或者还在学校的人问我因为他是 software engineer 专业他就想现在学这些还有用吗是不是你们也听到很多这样的问题就是在 LM 时代到底应该学些什么然后什么能力比较有用我现在的难处是我很难说服比较 junior 的人就是学最基础的东西还是很重要的

因为我还是这么相信的就是一些比较基础的统计啊 ML 的知识啊还是很重要的 Feature Engineering 还是很重要的但是我很难说服他们因为他们看到所有的噪音他们会觉得不重要啊那样就可以了对这是我现在比较大的难题

我有一个方法可以说服他们我有遇到过类似的情况就是有刚毕业的人来和我说他觉得没有任何必要去学 coding 了没有必要去学编程因为所有的都可以被 cursor 或者是这些工具解决我当时告诉他的是如果我是 hiring manager 我不会招你不敢招这样的 developer 就是这种恐吓的方法好像还是有用的

有一些他跟我说可是我想当我自己的老板那没有办法了我三四年前跟我的朋友还有老公在聊我觉得大家最后的出路可能就是当 content creator 然后你看我现在在干嘛你现在已经走到这条路上来了我们最后的骄傲就是不要放弃自己的本职工作对对对

CZ 呢 CZ 怎么看这个其实我讲了好久因为我自己也挺哭的而且也在想下一代比如说我们的孩子应该是给他们什么样的建议我觉得可能有两方面的能力在 LM 的时代会更致向一方面是领导力

然后另一方面是创造力然后领导力的话因为你想很多这种写作啊 coding 啊一些分析的工作 LM 其实都可以帮我们去半自动化甚至是完全自动化了但是它出来的东西到底是不是可靠不一定所以你必须要有判断力而且你要懂得怎么去 delegate 因为

因为现在有这么多的工具了那么之前你需要去手工做的很多东西现在就可以考虑是不是可以有 AI 下属然后怎么去管理它然后怎么样 AI 帮忙去交流然后去给你一个最终的结果

另一方面你想要有好的判断力的话你如果想要 call bullshit out 的话基本功还是必须的这也就是刚才 Amy 所说的你如果对于基本的数学就是微积分 现行代数计算机基本原理 经济学等等这些基本功不加持的话你会很容易被 LM 给唬住最后一点关于领导力就是交流就人与人的交流这个是很难被 LM 所替代的

这几个方面如果硬要概括的话我想用领导力这个词来概括第二个大方面就是创造力我用 ChargePT 比较多 Cloud 可能也有类似的特点我不知道你们有没有类似的感受就是感觉这个 LM 它回答问题的方式很有套路

就是他很有礼貌然后一般都是哎你提出一个非常有意思的观点哎但是有这么几个方面 123 然后给你列下来然后最后再加一个总结就感觉好像是他搜集了很多个人的观点然后做了一个平均之后商量了一个就是最稳妥的方式来回答你所以就没有太多个性所以我感觉个性可能今后会更加重要然后另一方面就是手工有一个 paradox 好像叫呃我我名字可能记不太清楚叫 miraflag 还是叫什么 paradox 意思就是说呃

人觉得复杂很高级的东西很复杂的东西对于 AI 可能很简单比如说下棋比如说数学奥赛但是人觉得很简单的东西比如说认识这个猫或者倒杯咖啡这种事情或者做个手工觉得相对简单的东西但是现在 AI 和 Robotics 还远远达不到

人的程度应该还要需要很长时间我和 Amy 有时候也经常聊关于 AI 的 hype or fear 有时候我们也经常问嘉宾这个问题我大概知道 Amy 对于这个是一个比较开放比较乐观的态度 ZZ 呢 ZZ 会对 AI generative AI 或者是未来的 AGI 有任何的恐惧吗还是你是也是非常乐观非常开放的态度

恐惧主要在于两点一点是我的 job 会不会被替代 founding engineer 也担心这个吗很多的确实可以自动化了但是我觉得人都是可以变的嘛之前的几次技术变革像蒸汽机啊什么电力啊还有互联网啊人还是挺灵活的是可以改变的所以在这个方面我倒还是比较乐观我觉得人是可以解决这个

就业的问题的然后另外一点就是 AI 这个技术跟之前的技术革命不太一样在于它代替的是智能智能这个东西太厉害了如果 AGI 它的聪明程度过于强然后不受控制会有一些风险主要是这两方面的恐惧

你觉得这个恐惧或者是你所担心的事情是一个很遥远的事情吗还是你觉得它有可能在比如说我们的下一代十年二十年内有可能发生的事情这个我觉得好像是现在非常火的一个话题对最近 AI 大佬们正在吵架这件事对对对

大家都在争论这个 AGI 是什么时候到来好像 Anthropic 的 CEODario 他好像是认为还有两三年的时间就会出现 AGI 对 但是他也加了个注视就是如果说数据不够或者计算资源不够的话可能会 delay 那这么看来两三年那还挺快的

对但是也有另外一方面的看法对也有另外一方面的看法 Illia 就是 OpenAI 的非常重要的 co-founder 了和 Yan and Kun 他们的观点就是认为目前的 scaling 这种 scaling 和 LM training 的方法感觉已经到了一个高峰期了就很难再 to

突破这个瓶颈但是也有可能会有其他的方法来 scale 比如说 test time compute 等等或者是不是有新的 architecture 就他们认为目前的方法是遇到了瓶颈当然他们的下一步肯定是说我的方法哈哈哈哈

哦原来如此哈哈哈哈啊在扑梗啊对我觉得今后几年变革应该还是会很大的什么时候有特别特别牛的 AI 真的很难讲我们只能是拭目以待不管怎么讲吧我就希望 AI 出来之后这么强的一个东西出来 AGI 出来之后能不能让我们变得不那么卷我感觉现在真的是越来越卷但现在的房债啊教育的费用啊等等然后现在找工作也是有一点越来越不容易的特点我觉得

我觉得好像是越来越卷 AI 这么好的东西能不能够用在这个方面然后让我们可以不用那么卷我们的下一代可以不用那么的卷 Amy 看到 Ilya,Young,Lacoon 还有 Daryl,Sam 这些人关于 AI 是不是撞到墙的这个讨论的时候是什么想法

我觉得有点 deja vu 吧就是这件事情感觉又再发生一次就是当数据到一个门槛你发现不管你在用多好的 model 数据也只有这么多的时候你就要想新的方法了所以我最近在想这件事情比较倾向可能会有一个新的 architecture 再出来

然后在那个之前我们应该只能卷数据然后他们这样讲就是我刚才说好像在铺梗我就在想他们是不是有什么新的 architecture 现在可能已经在想名字的阶段因为想名字也是一个很重要的步骤所以 Sam Altman 才说没有撞到墙对可能已经有 somethings faking 我们要不要给大家一点 contact 就是说他们到底讲了什么其实都是在推特上面看了应该

应联科人他是发了一条推他是引用 Eliot 的说法就是感觉现在的这种 scaling 的方法已经撞到了墙这种 scaling 的方法是指说为大量的数据去得到比较好的成果这种我们前面开玩笑说大力出奇迹的方法已经撞到墙了然后具体的说就是 pre-trained language model 用大量的数据大量的 GPU 来

加上 quantization 想把效果做出来然后 Yanukun 我知道他自己他有另外一套的体系好像叫 REPAT 还是叫什么是基于 latent 是一个 energy based model 然后 Ilya 他之前也讲过在什么方面去 scale 更重要但是他没有说明白到底是他找到了哪个新的方向可能几个小时之后 Sam Altman 就发了一个 tweet 只有一句话具体我忘了反正意思就是 No, it didn't hit a wall

我看到这个 debate 的时候我甚至有一点希望确实是 hate the wall 嗯希望能够稍微慢一点因为真的是太快了我觉得一个是太快了我们这些在这个行业里面做的人跟得好辛苦还有另外一方面就是确实觉得从社会的角度还有太多要做的准备工作没有做好经常听我们 podcast 的听众可能也会知道我相对于 Amy 来讲我是会偏悲观一点

我会希望就是说如果可以慢一点来的话会更好有道理我觉得我没有悲观乐观来讲的话我觉得他们应该是 hit the wall 因为如果是 San Almond 出来说没有没有就不太想相信他对这一期比较圈内化的感觉就是讲一堆只有我们会去关注的 KOL 一些秃头 KOL

很多术语对不过其实是蛮重要的因为整个 AI 的风潮就是这几个人带头的所以他们讲的话还蛮容易去影响学术跟业界的研究方向的而且这些有很浓学术背景的人吵起架来特别直接所以看他们吵架其实也蛮好玩的非常的 drama 对有时候是觉得哇这么聪明的原来吵架也是这样而已哈哈哈哈

也跟我们一样对都跟我们一样都只是人而已那今天谢谢 CZ 来跟我们分享很多他这几年做 AI 项目的心得然后大家也听出其实 AI 不只是 Charge GPT 我们还是想要 clarify 一下 AI 是很多很多用数据解决问题的方法那 Charge GPT 只是其中一种然后 Charge GPT 不能解决所有的问题

那谢谢 ZZ 来跟我们聊天每周二数据女孩的中年危机都会在各大 Podcast 平台同步更新除了 Podcast 也请大家订阅我们的 SubstackTheCacoons 连结在节目的简介欢迎听众朋友们关注大家拜拜拜拜拜拜