Deep Dive
Shownotes Transcript
各位听众欢迎来到最新一期的捕食者说我是主播 Lag9M 这期我们非常高兴请到了来自 Cloudflare 的雨晨跟我们聊一下 Cloudflare 以及他所做的 Pingora 这个项目先请雨晨给大家打个招呼吧大家好我是雨晨我是 Cloudflare 的 system engineer 我在 Cloudflare 待了大约有快 8 年了吧
然后非常高兴有幸这次跟大家来聊一下我在 Cloudflare 的一些经历跟做的一些 project 谢谢好的欢迎欢迎对然后我们另外两位主播是信涛和 Mansaka 也给大家打个招呼大家好我是信涛大家好我是 Mansaka 实际上我应该现在叫 Nanishik Manjoo 下次下次我会记得改了
对然后摇曳录音是世界上最好看的动漫大家一定要去看好
对,所以我们这次的话题主要是 Cloudflare,可能有听众还不是特别了解 Cloudflare 这家公司具体是做什么的,那我们要不要先请雨传来给大家做一个比较综合比较浅显的介绍,然后我们可以了解比较有意思的话题。好的,Cloudflare 实际上是一个叫 Internet 的 Performance 跟 Security 的 company,
就是它有好多好多不同的业务我觉得最传统也是最出名的就是 Cloudflare 的内容分发网络业务
也就是 CDN,这个 CDN 可能大家都知道,如果你有一个网站你想让全世界的访问者访问它更快的话,我们可以其中这个服务把你网页上的文件、图片,缓存到离浏览器更近的一些地方,然后这样就会使这个网站刷新的更快,对吧?
然后 Cloudflare 还有一些其他的关于网络安全的服务比如说 DDoS 拒绝服务攻击的保护也就是说如果你用 Cloudflare 的 CDN 或者用它的其他的业务的话如果你的网站被 DDoS attack 了被攻击了的话 Cloudflare 可以保护你的网站不受攻击然后这是两个比较传统也是 Cloudflare 比较出名的业务其他的一些业务就是近几年比较出名的就是 1.1.1.1 public 的 DNS
然后呢近几年 Cloudflare 也在做一个叫 Edge Computing 就是边缘计算在 Cloudflare 上你可以跑 JavaScript 可以跑 WebAssembly 就是你可以做到 Serverless 就是说你可以直接办的这个业务逻辑或者是网站写到了 Cloudflare 上面去就是在 Cloudflare 后面就不需要一个真正的 Server 在了现在已经跑 Python 对对对对
对,可以看到 Cloudflare 做的业务其实特别多其中一个很重要的就是 DDoS 防护因为我们知道 Cloudflare 可以相当于用一个很低的价格来防护住非常大量的这种供给它还有一个非常重要的功能对于网站来说就是反爬虫它的 CDN 用来做反爬虫的时候非常好用
对这个具体是怎么做我来讲吧因为我这个就是我之前我有客户是在 AWS 然后他们用的是 AWS 叫 CloudFront 他也是 CDN 服务然后我们返盘的业务就是说很多他会模拟爬虫来爬取我们很多数据相当于说 DDoS 的前身他会给你的业务造成不必要的负担而爬虫的手段有很多比如说无头浏览器
他会亲近一切去模拟一个人的正常行为然后这个时候你就需要去看各家的反帕从的一个技术底蕴怎么样像 Cloudflare 他对于帕从特征的识别做的非常的细致和优秀这个东西就是我觉得目前我用的最爽的一点 AWS 的我觉得我能在这吐槽吗还是怎么说然后反正是他们做的活太糙了对
对我也来说一下我用过的那个 Cloudflare 产品吧就是我之前有很多问题啊第一个是 DDOS 也是我估计任何人都遇到过然后自从用了 Cloudflare 之后就再也没有遇到了另一个就是也是爬虫就很多很明显就是爬虫的请求它来扫你一些就是博客程序移植的一些漏洞嘛
然后你就可以直接用把它挡住拒绝掉所有的来自非人类的就是说你要把你的域名解析到 Cloudflare 的 IP 然后其实请求发给 CloudflareCloudflare 来检测它是不是爬虫如果它觉得是就 block 掉如果不是就给你代理到你的源站去当然静态资源肯定直接就返回了
然后动态资源代理到源站去然后他觉得可能是也可能不是的话他可能给你放一个 Cloudflare 验证程序让你判断是不是人这种然后我还用过 Cloudflare 的一个限流服务那个限流也挺好用的是全球限流就是说每一个 IP 什么可以防多少次还有你可以自己设置 WARF 去 block 掉一些 IPblock 掉一些 path 之类的
对是没错对我还用过 DNS 还有大体上是这些然后主要的是如果你用比如说我的 press 博客程序的话你会发现基本上只有用户打开你的博客对吧他看一个文章基本上只有一个请求会发你的原点其他的全都被 Cloudflare 就直接返回了所以到你的网站每个月花的流量特别少 90%的流量都在 Cloudflare 这边就返回了
然后我用这些服务好几年就是从来没花过钱对然后解释者刚刚说的就是克拉夫来做的很好的一点就是我之前看过一个技术博客就是说有个人他写爬虫就是他可以正常打开这个网页但是他如果用勾浪写一个爬虫他就他就打不开就会得到一个错误
然后这是怎么回事我们写爬虫看看就把浏览器的请求 copy as curl 就看一下他发了什么东西对吧我不太把 curl 命令给翻译成勾浪的 client send request 一模一样的所有参数都一样 tcp dump 出来都一样
但是就是 GoLon 发过去直接就拒绝了对 chipset 的那个就是对 chipset 的那个特征就是 SL 握手的时候它的 client hello 里面有个 chipset 的特征不太一样 GoLon 是很明显的一个特征因为 GoLon 好像是静态的对吧是静态定义的不是用的开源的库所以说跟静态对它是 Go 自己它有一个 set 就是对自己有一个 set 其余都是用 OpenSL 的对
对就是 https 在 tls 握手的时候不是说客户端要把自己支持的那个 Cypher site 我支持哪些加密的方式发给服务端对吧服务端发过来然后如果你是用功浪写程序的话你发的就是我说我支持这种加密算法这种加密这种加密算法他发的那个 set 的顺序永远是这几个只有功浪会这么发因为其他的比如 Python 可能用的 Py OpenSSL 之类的
就是那些库吧对不对大家都是公共的但是勾浪是有很明显的特征他可以通过这些识别出来哎那后来他们就多浪有去费斯这个问题吗就是没有他不是他是有那个 chipset 重排的功能的但是就在默认的情况下我们就说 default 的话那勾浪就是他的就
一展名单大家好我是用来勾来写爬虫的请帮我干掉好吗其实默认的就可以不落就很多爬虫对吧你在那个 endings 里面设置一个如果是 ua header 是 pattern request 你就直接拒绝掉其实就能拦掉很多爬虫
对然后这个地方就有个笑话然后我对比过 Cloudflare 和那个 AWS CloudFront 但是我们上了一个 Raw 然后就是我们需要去 Anti-boot 然后你知道吗 AWS CloudFront 它把那个就是你们知道安卓和 iOS 上面都是会用各自的不同的库对吧然后它把安卓的 okhttp 也直接给识别为 boot 然后把流量给 anti 掉
然后结果时候就打就是 AWSColorful layer 就没有这样的问题他把安卓上面的就是他的 request header 不就是包括了 ok http 吗
他把这个库直接给识别为 Bot 了然后就导致说我们上了规则之后我们的客户端同学一看就开始暴影了哇我们的客户端安卓流量直接跌 0 了这个我可以给大家透露一下就是反爬虫的东西我们在这边也是非常重视这个东西叫 Bot Detection 就是看你是人还是机器
然后他们用的方式就是机器学习,把你所有的请求的所有特征都作为我们所谓的叫机器学习的 feature set,然后不断的学习,不断的 polish,不断的来完善模型。
然后他们通过这个中间所做的那个就是 Cloudflare 的 capture 就是那个你是不是 bot 来叫 reinforce 这个 model 就是我们觉得某几个特征可能像是 bot 但不确定我们让用户来做验证通过了这些 feature 就更可能是人通不过就更可能是 bot 所以这个东西它是不断地在自动地在完善的
对就是说带这些飞车的人他永远通不过这个那下次直接带这些飞车的我就直接拒绝掉就可以了对而且因为我们的这个流量很大嘛就是全世界不管是手机也好呀不管是就是各种浏览器也好呀各种不同客户端都有所以就自动的很快的就把这个模型给完善了这就是又一个 Cloudflare 这个战略的体现就是我免费用的越多我的效果就越好
他们效果他们做的真的很强就是说然后我之前因为我是做爬虫出生的嘛然后我之前去研究 Cloudflare 的 AntiBoot 的时候他们特征和那个指纹的识别太我只能用变态形容就很难绕非常难绕我这个我可以分享一个就我最近在做一个 app 嘛然后他就是需要去网页上获取一些信息然后那个网站恰好用了 Cloudflare
然后我也是花了很长时间才把那个 Bot 验证绕过去但其实是在某些特定情况下其实是可以绕过去的但一般是很难做到的
就是说你要去改你的浏览器里的某些东西但一般情况下也是很难改所以就是有些前置条件是的没错你需要去很多时候比如说你用浏览器模拟的时候你就需要去进用很多东西比如说把 webRTC 它的很多 option 设置为合理的值还有很多就是说把你的指纹给一点点调整出来对
对就是感觉机器学习确实在这方面有很大作用我不知道里面有没有一些人工的那个干预在里面预签的有了解过就是在这个 bug detection 这方面基本都是机器学习就是人工的时候有可能会有一些出错的就是 exception 就是可能会有一些比较新的或者是怎么样的就是稍微把它给修正一下但是主要还是用机器学习的方式去全自动的来着
来处理那这个是一开始就是这样吗还是说是比如说最近逐渐换到机器学习呢应该有一段时间了自从把我们这个 bot detection 做成了一个很重要的 feature 之后一直是用机器学习来处理的了解
其实我还有一个问题就是之前像信头主要你们都提到就是说 Cloudflare 可以帮你们网站挡住很多恶意的信息和爬虫这种嘛那就是说我如果想把我的网站启用 Cloudflare 我最少需要做什么呢比如说我需要就是让它去解析我的 DNS 还是我需要怎么样
最少我理解是你只需要让他 puxy 你的就是你把首先你把你的 DNS 投稿到 Cloudflare 上然后你新增了 raycode 然后 Cloudflare 上面有一个叫做 puxy DNS 的选项你把这个选项打开然后他就自动的完成
基本上就是两步就是这主要说的但是第二步就很神奇我们把自己的 DNS 的 authoritative resolver 变成 Cloudflare 之后我们不是要在 Cloudflare 添加记录吗我第一次用的时候是很久很久之前了他就这个功能我不知道他怎么做到的我又搜了一些
只有这个外界的猜测就说你要往 Cloudflare 添加记录比如说我有 blog.example.com 还有 api.example.comwww.example.com 这些你都要手动添加对吧但是你走到这一步的时候 Cloudflare 可以给你列出来你是不是在用这一些 subdomain 跟 IP 如果是的话一键就已经做到太神奇了
反正我现在在 Cloudflare 上快拖稳了小 20 个域名了吧我们 50 岁也是在 Cloudflare 上我最近还刚把个人的那些域名签过去因为他现在是又在做域名服务商的服务我就把我的域名也签过去我就把我的买的域名之类的都全部放在 Cloudflare 我也是自从那个之后就签了过去
这里我可以说就是 Cloudflare 对于我们叫 onboarding 这方面非常重视一方面就是有好多做个人博客的人实际上他并没有很 technical 并不是很技术所以我们就尽量要把你的域名填进来把我们的 IP 放进你的 DNS 然后剩下的事情我们都可以基本全自动化了
然后另外一个原因是由于经常我们在推特上看到或者是哪看到有一个网站说我受低倒是攻击了我扛不住了然后马上签到 Cloudflare 基本花了 5 分钟 10 分钟时间
这个网站马上就恢复在线了所以这个 onboarding 的这个过程一定要短来就是帮助这个客户更快的恢复刚刚这种情况就是说他在 DDOS 的时候他要临时签过来那他是要换一个 IP 对吧
这是个非常好的问题就是比如说用户的这个源站我们叫源站的这个服务器它的源的 IP 被暴露出去了它正在被 DDoS 的话如果只迁到我们的话实际上这些流量还是在攻击它的 IP 的对对对这个时候呢可以做几件事第一件事呢就是在用户源 IP 的那个服务器上做一个防火墙的入就是只允许 Cloudflare 的 IP 来 access 的
这样的话就会阻止好多其他流量就会自动的把其他所有流量都拒绝到了前提是把 proxy 打开对吧对是从我们的 proxy 然后只接受从 Cloudflare 来的流量第二件事也是在这个之上要开启一个我们叫 Mutual TLS 就是 TLS 的双向的一个认证
就是只接受来自 Cloudflare 证书的请求然后其他的 HTPS 请求都拒绝掉这是第二种方式第三种方式要做一下 Cloudflare 另外一个产品的广告我们有一个另外一个产品叫 Cloudflare tunnel 叫隧道然后它这个方式就是从根本上避免了你 IP 被暴露
这个东西工作的方式是你在你的原服务器上装一个我们的 Tunnel 的客户端然后这个客户端反向作为一个 TCP 的 client 连接到 Cloudflare 的 server 去然后你的流量走这条隧道是这样的好处的是你的 server 可以是一个 private IP 也可以是没有 listen to 任何 port 你可以把所有 TCP 的 SIM 都锯掉
对,有点像 Telegram bot 的工作方式就是说我从我这边去连到 Telegram 然后有什么消息我就 po 回来然后这个 turnout 也是我随便在我的笔记本上开一个客户端去连到 Cloudflare 服务器然后 Cloudflare 那边收到请求我这边相当于是 po 回来嗯,对的
其实还用了挺多的感觉其实是通过我们记错的话应该是 Cloudflare zero trust 您信任对产品线的一部分对这个还是非常安全刚刚雨晨提到那些其实都是防应用层那边的 DLUS 我感觉如果直接是 TTP 比如说 S1 flow 或者是什么是不是他只是想给你发这么多流量流量甚至可能到不了你的服务器
你的 VPS 那边就给你下掉了没错对所以如果能完全不暴露 IP 的话还是非常安全的 IP 级别会上升一个档次我现在的部署就是我把他 Cloudflare 有一个页面 Cloudflare.com 好像是 IP 还是什么列出来 Cloudflare 所有会去连接你的服务器的 IP 然后我只让这些 IP 来连接其他的全都不外面对
对但是这样其实也有一点点问题就是说我前面在推特上看到的其实如果别人想攻击你之前 V2EX 有一次被 DDLS 攻击它的 IP 是怎么被暴露的就是说那个攻击者他把世界上所有的 IPV4 都扫了一遍就是说我发送一个 TRS 握手他会把他的证书发过来对吧
然后我看这个证书是不是 v2ex 的这样的话如果是的话那这个 IP 我发给他这个东西他给我 v2ex 证书这说明他就是 v2ex 真实的 IP 这样的话他还是可能把自己的 IP 暴露出来然后我就可以针对这个 IP 发很大的流量了用白名单就可以助决这种不理解白名单对如果用白名单的话他连不过来就他连不过来了你只允许高层人的 IP 连不过去对
对这样是可以的对那种就是非常严格的一种发布应该是对就还是一句话 Lilchast 就只信任 Cloudflare 过来流量其余的流量我们都会把它给锯掉
我刚才还想提一点就是 Crawler 的就是 Fundedos 的这个 solution 它是不令收费的意思就是不管你被攻击了多少这个你是不用再交钱的对这是非常重要的对这个非常重要这个听起来很自然但是你如果对比国内的厂商你就觉得这个非常对比国外的厂商其实也是一样的国外也有收费的
除非你每个月买另外一个保险叫做 off guard 还是什么就买另外一个保险然后在你 DDoS 造成额外的契约的费用的时候你再去申请根据你是不是按照他的设定的比如说 rate limit 之类的一些规则然后再去申请费用的减免
我觉得 DDOS 被攻击的时候要收费这个太不合理了我不知道为什么客户会接受这种收费方式那如果我提供给你服务然后我自己找人 DDOS 然后我可以收你钱怎么可以这样做生意我经常在论坛看到就是搞个博客或者什么就被收到巨额的账单被收费这个问题就等于是没防护嘛
就是如果你的网站被抵达了可能是对于一些商业客户他损失的最终是钱对啊然后呢如果你收费了你还损失还是钱对我那种的目的都达到了对所以就赛博服务组现在连我的信用卡都不知道啊这个是为什么没付过钱对就是我的意思是你用他的服务你都不用保安卡就是你直接用就行哦对我除了买域名的时候花钱 7 月 10 号也没有怎么花钱嗯
这我也想给 Clawford 域名服务做广告 Clawford 域名服务的最大的卖点是叫英文叫 No Markup 意思是也是不令收费就是域名托管
就是有一定的费用然后好多卖域名的服务他可能第一年给你打折然后第二年在这个钱上又加了好多钱然后你看可能是第一年好便宜一美元两美元第一年 9 块钱第二年 4000 多块钱对的然后 Coffee 一直是这个价格每年是一样的而且 Coffee 不从中挣钱
我作证因为我现在差不多在 Cloudflare 上面买了 10 个云名版都很 one shot 而且它的购买体验和使用体验包括你从其他比如从 goDaddy 从阿里云和从其他 GoogleDomain 给潜移进来的体验都非常好这点我作证是
对我们之前聊这么多 Cloudflare 好像像做慈善一样的这种服务然后包括就是 DDoS 防护 CDN 之类的就可能大家就会很好奇 Cloudflare 它的营收到底从哪里来不知道能不能跟大家分享一下首先 Cloudflare 是上市公司它的财报每个季度都有然后大家可以去看是吧然后主要的收入就是一些大的我们叫 Enterprise Customer 首先 Cloudflare 的用户分为四个级
第一集就是大家用的免费用户你可以用 CDN 你可以用 DDoS 你可以用好多最基本的这些 feature 然后这是免费的还有两集叫 self serve 就是自己刷信用卡第一档是每月 20 美元第二档是每月 200 美元然后在这之上是我们的企业级客户也是跟我们签了一些合同的客户了我们的最主要的收入是通过这些客户的钱
其实还是整体 2C 就相当于免费然后还是在大币关键客户这一块来赚钱对吧
没错而且好多我们的大客户是从免费客户升上来的因为免费客户也有最基本的 DDoS 跟 CDN 的这些 feature 在我们的销售不知道的情况下好多客户就自己加入 Clawfare 了可能是免费的可能是一个月交 20 块钱还是交 5 块钱我也不记得了然后他们觉得这个东西好然后联系我们的销售他们可能要签一个更大的 contract
像这种付费合同它包含哪些额外功能比如客户支持吗还有什么客户支持是一大方面如果你是一个免费的用户或者是你是一个刷信用卡的 self-serve 用户你的支持比较有限你可以给我们提交 ticket 但是这个 ticket 的处理时间可能是相对慢一些但如果是个大客户如果是个企业级客户的话他们会有对应的销售对应的技术支持
然后我们的一个内部的支持也会帮助这些大客户说你该如何设置 Cloudflare 然后包括一些其他的 workers 这个边缘计算的东西对于大客户可能限制也是更少一些
但我可以理解就是说大部分服务的这种质量不论你付费还是免费就几乎没有区别我可以说从 code 的角度都是一样的就是如果你的一个免费户和一个大客户的这个请求到了同一个服务器上我们从 CEO 这个层面来讲就是不想通过这个 code 的方式来限制这个免费客户或者是就是钱比较少的这个
我们不会说 artificially 给你设一个什么 limit
然后对于大客户肯定的如果我们在某个区域比如说某一个区域的 data center 现在比较 hot 就是 load 比较高我们优先把大客户保留在这个地方然后让其他客户移走然后让这个东西降 load 因为移走的客户就是比如说用 CDN 的话它会离这个真正的浏览器比较远所以他们的性能可能会稍微有所下降理解
我之前看 CloudFounder 在自己的博客上说像是免费用户它可能有一些调度上的测试跳出会稍微多一点
标准上策略会有限制但是如果你是一个免费的网站如果你突然变火了我们是绝对不会因为这个去说你要给我们钱或者是我把你们给踢走这不会对然后我想起来在推特上看到一个人说不是那个 Cloudware 后面代理到 Telegraph 的那个
然后他做了一个小工具然后那个东西被用来做类似于灰产之类的东西就被刷了很多流量然后刷了几十 T 用免费账户其实是图床吗对的就是用作图床或者用作视频或者是用作一些不是你正经网站的方式我们的客户协议上其实免费客户也有如果你做这些事情的话我们会封掉的
但是也不是封掉他是说他刷了几十 T 然后那个销售过来找他说免费的额度用太多了我觉得这个免费用户的额度太高了而且我刚刚那个销售还是以一种非常恳求或者客气的语气跟他说我就把你给统给好了好像不是 T 好像是 PB 也不记得了很夸张的这个嗯
所以确实对所以赛博博主名不虚传嘛就是对然后现在那个你有一个很有意思的就是观察或者分析要跟大家分享就是说为什么 Cloudflare 愿意去提供这些免费的服务
我这样解释一下其实最开始我在推特上写那个东西是就是有个人问为什么比如说用户直接访问一个网站为什么比用户访问 Cloudflare 在代理这个网站还要慢一些为什么就是 Cloudflare 能加速其实
除了静态资源我把它放到 Clavire 在各个世界的机房里用户更近之外它动态的其实它也可以加速比如说我从现在访问我的自己的博客他可能路由先到我的 ISP 再到我的机房所在的 ISP 中间可能经过了一个一级的 ISP 然后机房里面的 ISP 最终把请求发给服务器对吧这是如果不走 Clavire 如果走 Clavire 可能是我到了我的 ISP 直接到了 Clavire
然后 Claffey 直接到了那个机房所以说他跳出更少或者说他跳出可能更多但是每一跳花的时间更少这样的话总时间也更少为什么 Claffey 的网络会比其他的快我简单解释一下我的理解比较浅就是说这个世界的互联网是由一级的 ISP 连起来的有十几个一级的 ISP 他们互联你的网络的包如果能进到这个网络里面它就可以路由到世界的任何地方
然后为什么我们可以访问任何网站呢就是说这个网站托管所在的那个机房接入了一级 ISP 或者接入了一个二级的 ISP 但是那个二级 ISP 接入了一级的 ISP 然后你的家用的宽带的 ISP 也接入了这个一级的 ISP 这样的话你们机房跟你的电脑就通过一级 ISP 联系来了
然后这样就有个问题就是机房的 2G ISP 要交给 1G ISP 钱然后你要交给家庭宽带钱家庭宽带的 ISP 也要交给 1G 宽带钱然后你会发现假如说我机房的 ISP 跟我家宽的 ISP 之间如果连一根线的话那我们两个都不用交给 1G ISP 钱了对吧那这样的话我从现在的位置访问到机房之间的这个流量就完全不走 ISP 基本上可以是免费的了
我觉得这个观察非常好确实也是说出了好多互联网路由的本质吧就是说是互联网的 ISP 路由不是挑最快的而是挑最省钱的这所以就导致了好多在互联网上本来就是有这样最短的一条路最快的一条路但他们不走因为他们想省钱他们一个 ISP 接到流量他有两个 next hop 两个下架他会找花钱最少的
所以 Cloudflare 在中间就作为了一个确实像一个跳板一样的因为 Cloudflare 的好多数据中心在世界各地就是跟绝大部分当地的 ISP 都有连接然后这样的就像信导刚才说的就是中间作为一个跳板它就会更快一些
当然这还有另外一个因素,就是是在 TCP 层面的。对于这些动态的这些请求,即使它并不是能微缓存的,因为 Cloudflare 的数据中心离用户特别近,所以它在做比如说 TCP 的握手,TRS 的握手,这样的花的时间都很少。
然后 Cloudflare 由于有好多这样的机房 Cloudflare 的服务器可以保持长连接到你的服务器
然后保持很长时间然后即使 Cloudflare 的接房的距离离你的服务器远它可能只是花了一次握手之后然后一直在保持所以你的浏览器打开好多链接实际上后面都是附用的同一个链接这样就会省好多握手的时间就是跟你的浏览器跟你的本身的服务器握手这样也要更省时间
还有他就是 Cloudflare 的 peering policy 非常透明他有一个页面就是写他们的 policy 他有一个 peering 申请的页面我不知道这背后有没有其他的什么谈判但是从这些页面上来看就是他的政策比较透明而且他每年会发一些很多报告就是说世界的互联网的流量还有 Cloudflare 的流量各个国家各个州网络状况之类的一些透明度很高的报告
对然后我在那个 reddit 看过一个帖子就是有一个网站好像是叫忘记叫什么名字了就是那个做 NAS 的经常用这个就是用来做远程备份然后这个服务非常便宜就是如果你做备份有两个成本一个是存储对吧还存储非常便宜另一个就是你把这个
PB 级别的东西传给那个网站然后我在那个 reddit 上看到说他们这个网站跟 Cloudflare 达成协议他们之间 pairing 就是说不需要收钱了就是这个被碰服务走 Cloudflare 的网络速度会更快而且不需要收钱没错然后就一片好评大家都希望 Cloudflare 以后就是这个 peering 协议不要再收他们网站的钱因为他们的用户
就是体验可能提升比较大然后那个帖子上那个 CEO 好像叫 Martin 对吧在下面说只要我在这公司当 CEO 我们就绝对不会收这么多钱对这个就是正好是我们 team 在几年前做的一个东西这个东西叫 Bandwidth Alliance
是什么意思呢就是就像刚才说的我们有好多 partner 比如说这个 digital oceanback place 好多就是这种 storage 的我刚刚说的就是那个 back placeback place 对吧然后呢就实际上我们觉得这么做有利于客户所以呢就是他们的机房跟我们的机房比较近我们呢就
双方花钱买一根 cable 连起来然后这样他们也不用付 SP 钱我们也不用付 SP 钱我们俩就直接互联了所以我们的成本也降低了然后我们的客户成本也降低了然后我们跟这些 partner 的达成的 deal 是如果你们的 customer 向我们发流量你们也要给他免费或者是降价
我有一点没理解就是说这个 deal 对 cloudflare 的好处就是说因为现在 cloudflare 的机房和那个 backblades 应该是叫这个机房连起来所以就相当于某一些流量
就是你们可以通过他们的机房来传输吗我们相互之间的流量就是他们作为服务器我们作为中间代理然后呢客户对然后呢就是我们两个相互的流量就走这根我们一起买的这根 cable 了就是双方都不用向第三方交钱了但这个流量还是他们存储 NAS 服务的流量对吧对对
其实货益最大的还是 Backblaze 他们的收益非常大对 Claude Ferrer 其实收益应该不是特别大对 Claude Ferrer 讲的好处是我们能让更多的用户来用我们了因为如果用我们用 Backblaze 他就会少花钱对吧嗯
对因为我之前看行淘之前聊推文里有提到一个点就是他为什么这么热衷于获取一些免费流量是因为他可以把这个流量当做跟 ISP 谈判的筹码我觉得这个点很有意思你要不要给大家再讲一下
对我就刚刚这个意思吧假如说用户他每天要上传实际的内容对吧他上传到那个 backup list 那个备份服务他每天备份一次那用户拉了根宽带然后那个 ISP 每天要交给一级 ISP 实际的流量的钱然后 backup list 要交给那个一级 ISP 实际流量的钱那现在这个流量走 cloudflare 了对吧然后
可能是不必不用交钱了因为他跟克拉夫之间是免费的但克拉夫也要交给一级 rsp 实际的钱
然后这个时候 Cloudflare 找到了家用宽带的 SP 想跟他拼人就是说你看你每天要交给他 10G 我每天要交给他 10G 不如我们之间拉一根线这样我们都不用交钱了对吧假如说 Cloudflare 没有承接 Backlist 这个业务 Cloudflare 找到 SP 说你每天交给他 10G 的钱我们之间拉一根线虽然拉线之后你每天还是要交给他 10G 的钱 SP 可能就不愿意跟你干这个事情
对吧所以就是说从克莱菲尔走的流量越多你拿这个东西因为不是其他公司就像克莱菲尔这么透明吗对吧你这边的流量越多你拿去跟其他的就是网络实体去做交换的时候这个谈判的筹码就更多一点
相当于他也是用这个作为一种我理解吸引客户的手段嘛就你相当于你覆盖的网站越多那可能用户把他的网站进入你 Cloudflare 这个网络的时候他连到其他的一些一些服务就更快了
对也是跟流量也有关系就是说流量它的成本是你的流量越多它的成本就越低它就是整体就是说你用户群体越大然后你就在谈判上面能够拿到的就是说优惠或者说是其他的一些就占据点就更高一些另外一个就是 Cloudflare 里面其实也应该发现它的用户其实是群体用户联系相当大的我一旦用了
DNS 那么我基本上我就可能会说我去用它的那个代理比如它的 Anti-boot 然后我再进一步的然后它剩下的一些进阶的功能比如说国内用户特供的它的 Turner 我也会去用了
然后各种各样的还有他新出的那些就是 HDB serverless 这些东西就用起来是一套顺理成章的事了这个东西就是他的用户粘性是相当大的只要你把他吸引过来了那么他从一个 C 端的用户去转换成一个 B 端的用户那他的整个概率是相当大的就比如说如果说我现在要出来做一个 startup 可能那肯定毫无疑问的去马上就跟 sales 谈
能不能给我一些 staff 的一些优惠对然后直接成为一个 B 档用户对因为他默认的工作的方式类似于一个网关就是说你的用户访问的所有的请求是先发给 Clanfare 然后 Clanfare 再转发你的源站这样的话像什么限流什么爬升识别
甚至是访客统计就是各种功能你如果要在你的原站的服务器实现一套你为什么不直接把它在 Cloudflare 页面点一点让 Cloudflare 帮你做这些事情呢对你什么都不用管也没有愿为成本也没有开发成本什么成本都没有对你的 EC2 可能会换比如说你看到哪家的便宜我可能会从 DigitalOcean 去换换到哪些三线四线的 VPS 然后但是你的流量的入口你去永远不会换的
我觉得他对于就是独立开发者也是非常好的因为你自己去不论是实现一套还是你去用云厂商的时间和金钱成本都非常高对 云厂商全都做
别提林场上的 piece of shit 对你想想你假如说先上一个网站你只是想简单的挡掉一些 boot 垃圾流量对吧这么一个简单的功能你没什么选择除了 Cloudflare 你如果要用 AWS 的话你刚注册完他就要你的信用卡 AWS 要信用卡是其次你知道吗最主要是他的
真的很难用你要用卡是其次要是用卡一打开就是跟就是超大一撮他的策略比如说他的策略他内置就我我也感觉我反复强调的案例我写个博客我不想背负好重牌来说 Cloudflare 他就是说是开枪即用的特征库已经非常好了
但是你要是去用 AWS 你就需要首先你要去开 Waaf 然后他和他的 DNS 没有打通你需要去手动的把它给加到前缀到你的比如说你的 EC2 或者说你额外还需要买一个 AOB 的做一个前缀上面才能把 Waaf 挂上去 Waaf 挂上去之后你会发现他特征库非常难用他默认的基本上反不了什么爬虫于是你需要去根据他的
一点点的加这才是最关键的东西所以我觉得这是云场上是我只能说对我是感觉 Cloudflare 就是真的做很多云场上的活但他采取的是一种不同的策略就是会更能吸引用户就说不定以后大家就不需要去用这些云了就用 Cloudflare 然后把飞机跑在那个 Worker 上就好了
现在有存储了,我觉得是要 D3 来存储现在叫 D1 对,有存储了,那个 Serverless 的存储我觉得挺好的作为一个天天想象的人来说,我觉得这个东西太棒了现在已经有两个存储的方案了第一个叫 R2 为什么叫 R2 呢?这是跟 Amazon S3 来办的
就是比它少一点然后另外一个是一个数据库的一个产品它叫 D1 为什么叫 D1 呢因为之前看过这个星空大战的这一个叫 R2D2 的然后他们觉得这个数据库做的还没有到 D2 的程度那就叫 D1 好了好吧我非心赞愤一下还真 get 不到这个的
你刚说 R2 我想到 R2D2 我还在想为什么叫 D1 听着意思下一代就叫 D1D2
OK,那我们差不多也给听众科普一下 Cloudflare 做什么然后就发现这个公司的产品真的特别牛逼那我们下面就要聊一下在 Cloudflare 工作的体验怎么样应该我觉得能不能和产品一样好这个我可以跟大家比较详细的说一下首先我是大约 2016 年加入的 Cloudflare 那个时候我们 Cloudflare 一共大约有不到 300 人
然后到现在 Cloudflare 可能应该是有 3000 以上人了吧然后一点非常好的是 Cloudflare 是非常讲究工程师文化什么是工程师文化我具体说一下就是 Cloudflare 里面好多的内部的创新或者是内部的开发内部的这些想法是从最底层的工程师开始
就拿我可能一会咱们要讲的 pingor 这个例子就是 Cloudflare 用了 InternetX 用了好多年然后我们想换一下然后换成什么写成什么样实际上都是由我们这些工程师来决定而不是由上面开一个会 VP 他们说算
不是这样的好多好多这样的创新好多好多改进就是这个 team 你们要用什么技术你们要解决什么问题怎么解决都是每个 team 的 engineer 来说算的然后另一方面的 Cloudflare 的产品经理也都是非常 technical 非常技术主要是因为我们的客户是非常技术我们客户好多是其他公司的运维其他公司的开发
我们要想卖他们产品我们要跟他们交流我们的产品经理一定要比他们还要懂这些技术所以我们的工程师跟产品经理都非常 technical 然后这样的话平时交流也很顺畅然后也一起会 brainstorm 好多这种做产品的想法或者是某些技术什么的这就是 Coloufair 的大致的一个工程师的话这也是我非常喜欢的一点
然后呢另一点说说就是在 Cloudflare 工作好玩的地方或者是就是有趣或者是为什么我在 Cloudflare 工作了这么多年吧主要是 Cloudflare 的影响力非常大影响值得不是说我做件事情被别人都知道
而是说在 Cloudflare 里面据最新统计可能 Cloudflare 支撑大约 20%的互联网流量然后我们 team 是 Cloudflare 的 CDN team 是内容分放网络的 team 也就是说是我们 team 的写的这些服务这些 code 要支撑 20%的互联网我可以非常清楚我写的任何 code 可能我身边我认识的人
都用过每天都在用然后如果我哪有 code 写坏了我哪有服务写坏了会有非常大的影响所以这也是为什么我们平时花了好多时间来设计如何让我们的服务更 reliable 更可靠更 robust 这样的就是这种 challenge 这种挑战我感觉也是挺独特的然后有好多这样的机会做出很大的影响有好多
正当的理由让我写出好的 code 来然后呢感觉就是从我在 Clawflare 这么多年一直是这样所以就感觉很爽 Clawflare 还招人吗招我们有好多 engineering 的 opening 是的这个我们一直在招
您认识那个 David Wragg 吗我认识他对我说一个小故事啊就是我之前写了一篇《四层负载均衡》的那个我读了很多东西然后写了一篇博客然后我读到克拉菲尔的那个其实主要是克拉菲尔的博客太好了我基本上每一篇都会看就是
他从他的博客学到好多东西但是那一篇有一些问题我没有想明白我感觉有一些问题像是没有解决因为我们公司也有类似的问题我们用了一些技术手段去解决那些问题不知道为什么那篇博客看起来像是有一些技术上缺陷之类的然后我就发邮件问他
因为那个博客我看是他写的然后过几天他给我回了一个超级详细的邮件就是我里面列专的每一个问题就是他基本上把我写的原文就是引用一下然后告诉我这一段你理解是对的但是这里还有一些细节然后再引用我下一段就是你这个问题实际上是这样的这个问题我们在我们这里是不需要的因为我们
我们比如说服务器大约每 30 天一定会重启一次所以有一些什么事情可能是不需要解决的对于我们来说客户来说都是足够的就是给我写的非常详细没错没错这是我刚才忘记的一点就是在 Cloudflare 有好多像他们这样的人就是他们懂这个四层负载均衡有些人懂这个 BPF 懂 Kernel 嗯
然后有些人读 machine learning 就是说可以从好多不同的人那儿学到好多不同的这种 technical 的相关的东西对还有一个在博客里是他的头像是戴着一个面具的那个人他 kernel 比较懂我经常看的那个 Klein-Pfleder 博客 kernel 相关内容都是他写的然后
然后 EPPF 有个可能叫 Brandon Gregg 然后其实也是 Cloudflare 对然后 Netflix 好像后面去 Cloudflare 然后也是你们那边的怪兽级别的人太多了 Gregg 不是去英特尔了吗对 Gregg 没在我们这但是我记得他之前好像有一段时间是在和你们合作他做的 BCC 我们有好多人在帮他改对对对
说到这儿那个博客上就是它的内容太多了我感觉这个公司非常透明就是因为他们的还有一些硬件的系列就是 Claffield 是自己设计服务器他们每年新的设计还有想法之前的问题都会列出来就是每一年新的服务器架构都会写特别有意思没错就是我们在这个工程方面非常相信 transparency 尤其是可能不太愿意提到就是尤其是 Claffield 出事故之后吧
就是我们从 CEO 到我们的 engineer 都觉得就是最好的解决这样的事故的方法就是大家把 technical 的这个情况说清楚而且要 transparent 跟客户也说清楚然后我们怎么避免两方面一方面呢是就是这样呢让客户们都知道这个我们没有回避问题我们确实在解决问题我们发现了问题解决了问题第二点呢在内部呢我们也有这个
这叫 no blame 的 culture 就是不会因为你把什么东西给做坏了会把你怎样只是大家都想知道究竟发生了什么然后怎么样把这个东西变得更好
对克拉菲尔的 incident report 就有很多但是其实因为我写过很多这种东西我也读过很多像克拉菲尔写成这样是非常难的难点就在于你写出来让外面不懂克拉菲尔架构的人能懂这个事故这个就已经非常难了再有一个就是因为很多关系大部分的 incident report 它会有很多背后你可能有一些负责什么信息本是
也不是内部信息就是说假如说我写这个 incident report 我是要从头到尾把它解释清楚这样肯定是最好的但是你如果在这上面如果你这么写的话别人一眼就会发现你为什么不这么做你这里显然有什么问题对吧所有的问题都会暴露出来
然后就会牵涉到很多其他人的利益所以说大部分的 incident report 无论你看国内领域厂商还是国外有一些公司还是很多公司内部的它都不会写得很详细它会写得有一些地方写得很模糊是因为他们不想让你发现这个地方其实有问题的没错对的这也是为什么我们想把这个话说清楚的原因我记得有一次我的一个 code 写错了然后发生了一个 incident
很快找到了我写的这行函数有问题然后我们公司的 CTO 来 message 我说这个东西怎么有问题
我把这张 code 给他看我俩看了半天没问题然后最后我来一起分析原来是这出错了就是这个公司从管理层到下面其实都是很关注这个具体的这个技术细节你看国内很多作为服务的厂商他们的 instance report 基本上没什么信息的你也不知道为什么会出这样的事情这样的 instance report 你看了之后你也会有疑问就是说这是怎么保证以后不会再有这种事情发生的
我有个比较好奇的点就是在 Columbia Fair 什么级别的事故需要写这种公开的事故复盘
Cloudflare 所有的事故都写复盘但是大部分是内部的然后如果对于有 public 的影响比如说大家在推特上说 Cloudflare 挂掉了怎样的然后这种或者是影响比较广的就要写公开的但是在这个之前比如说我们有一些 insane 的影响到了 Enterprise customer 我们会给他们去写但这个有时候不会公开发到网上实际上这样也是有的对
对,因为我也写过一些吧,我们叫那个 post-mortem 翻译成中文应该叫验尸报告或者是事故复盘这种东西大部分因为影响都没有那么大所以肯定都是内部的吧那我就比较好奇就是说因为写那个时候肯定会有很多你用一些内部的链接啊比如说 dashboard 甚至代码那你们是会先写一个内部版然后再把这些敏感信息去掉发于外部版是这样吗?没错,这个最初的这个 post-mortem 这个都是工程师来写就是把能写的所有 detail
都写进去为了以后避免这个事物发生然后如果这个东西要给 customer 看我们会给我们的这个叫 solution engineer 给的
他们会去把这些敏感的信息给去掉然后也会把这些一些具体技术细节可能解释的更让 customer 更容易理解如果有一个比较大的事故就是我们要发一个博客来解释了这一般是我们的 CTO 亲自去写我们内部会跟他解释发生什么事情他会亲自去写
卧槽这个太惊人了 CEO 亲自去写上次那个机房掉电的那个事故就是 Martin CEO 自己写的对最大的是 CEO CTO 自己写的对的
我对 Cloudflare 好感度除了他们的事务报告以外我觉得他们好感度最大以及是他们很多跟网络跟流量跟什么东西都没有关系但是确实非常好的学习资料比如说之前我在看一些 ELF 就是 Linux 下面 Ban reformat 的东西的时候然后 Cloudflare 有三篇经典文章就是 How to execute an object file
应该是 4 篇,我觉得那个是当时被我,我觉得应该是所有对这个感兴趣的人应该是去全文背诵一遍的,然后我觉得这是当时让我对 Cloudflare 好感度急剧增加了一些。网上有一个说法,他问我们的 CEO,CTO 说,你们开公司做这些流量是不是就是为了写博客?
是个博客公司是一个博客公司做互联网只是为了有东西可写而已我觉得可以我觉得是有可能
对很多很小众的东西在里面都有比如说以刚才 How to execute an object file 为例然后因为 x86 和 ARM 的会面是有很大差异的然后很多时候大家去聊这个时候会忽略掉 ARM 的平台但是现在 ARM 的平台有很多然后你们这个系列居然会涉及到 ARM 我当时就觉得我说我考这么坑那的你们都 vlog 什么都写吗
因为我们的服务器有一部分是二门的服务器你们觉得是很自然但是从我们看官的角度来讲我操作的前往
为什么会有 ARM 的服务器呢?我们有相当一部分是 ARM 的服务器,ARM 的服务器是相对于 X86 更适合互联网或者更适合 proxy,因为他们的核多,他们的功耗可能还低一些,核多这个情况是非常适合于好多相互不相干的非常 lightweight 的请求来的。
而且他们的 IPC 在一些特定的负载下面,在特定的负载下面,他们的其实性能就是侦破的能耗比其实是要比 X86 还高的,就是说他的就是对,所以说我们其实也有不少的 RM,我们在 AWS 上用了不少,我们的 Redis 数据库全部都是 RM 系列。
一会可以聊一下有关更多 ARM 的一些经历 ARM 现在其实份额不算少 ARM 的话 AWS 卖 ARM 转翻了对然后虽然就是我当时我的感觉就是虽然我但是 ARM 对于整体普通工作来说还是比较远的然后但是我一看到然后这些东西在里面都找到太爽了
我还有点比较好奇就是雨晨之前提到的关于透明度的部分因为你说就是 Clawfare 对于各种事故报告它是非常透明的然后我知道像我们之后的两瓶 Gora 它也是开源的就说 Clawfare 对于透明度这部分它的看重是就是说你觉得有什么来由吗
是因为比如说创始人的信念还是说你们需要希望去通过这个获取一些客户的信任之类的我觉得两方面都有主要是我们的创始人 CEO 相信这个东西相信就是透明 Transparency 是一种非常好的解决问题的方式尤其是出事故的时候让用户知道你们怎么发生了什么事情怎么样的就是用户我如果是个用户的话如果我的云服务上出事故了我最担心的是
他们能不能改正错误能不能变得更好然后如果他们只是跟我保证一定下次一定然后我可能不好说但如果他们能告诉我这次发生了什么我们打算做什么这样下次一定不会这样了我就对他们的能力更有信心会觉得这是通过客户角度这样而且内部因为透明也导致我们内部解决问题的方式很简单
就出了事故你就跟你的 manager 跟你讲发生什么事故跟全公司说就好了就不用考虑什么是能说的什么是不能说的那在开源上呢就说你们有一些比如说你们我理解核心的部分肯定是不开源的但会有计划比如说把更多东西开源吗就像 Pinkora 开源是某种战略的一部分吗还是
这个可以一会儿讲一下这个情况历史的稍细说一下实际上是并没有太大的一个战略只是说是我们做了一个我们觉得比较好的软件比较好的 FREEMOB 觉得大家都可以受益就 why not 而且这个东西就是我们开的部分没有任何 Clover 核心的这个就是业务逻辑在里面
就觉得我们能够做一个通用的一个 framework 出来然后我们觉得这个 framework 在我们的流量下已经非常稳定非常成熟了我们觉得这个对大家都是有好处 OK 这个我们可以之后再细聊对我不知道大家关于 psychopther 工作体验还有没有什么比较想讨论的
对有一点特别重要忘记说就是你现在是 remote 对吧你们对于 remote 应该是比较开放的态度对 Cloudflare 现在对于所有员工我们是 hybrid 意思是我们在三藩 Austin 一些还有一些欧洲的城市我们有自己的 office 但是呢如果你是靠近你这个员工如果是离 office 近你在三藩你在 bay area 的话
你就可以每周去几天 office 都可以如果你是 remote 你就是 remote 了然后就是说我们公司不是 fully remote 因为我们还有 office 有好多人都去也不是就是你 office first 比如说你有好多像我这样的人现在在 remote 然后感觉这个 policy 应该会比较稳定
那就是说这个岗位可以直接投 Remote 的岗位吗可以投如果你在美国或者是在欧洲的话都是可以直接投的然后对于其他地方可能就是我们比如说亚洲或者是中国大陆可能没有开发的岗位在这边
这个很有意思因为我们公司就会比如说因为它就是 Google SRE 然后它 SRE 就可能有听众不是特别了解就可能类似于国内运维但是可能就运维加开发然后它会在全世界不同的地方都有 office 为的就是能够去覆盖所有的这种市区但是 Cloudflare 似乎没有这种考虑我们在新加坡有负责亚洲市区的 SRE
本质上大家都是为了 7×24 小时安扩如果没有相对应的 team 那就只有人肉 7×24 小时安扩了理解然后我们在欧盟有里斯本是我们的一个非常大的 base office 我们的 CTO 是个英国人他搬到了里斯本然后我们在伦敦也有一个 office 这是我们之前英国脱欧之前的欧洲的 base
然后由于脱欧的话为了欧洲的这些员工更方便的工作就在欧盟里面又开了一个 office 是真好有机会一定要去 Blazflare 赚钱欢迎大家去我们伦敦 office 我们伦敦的 office 在一个叫 Old City 号就是在大本中的对面内房说
现在问题来了,我多问一个问题,怎么样才能进入 Cloudflare?Cloudflare 的开发港好像是过去一直有 opening 的具体面试,我感觉也是很 typical 的 technical 的面试我们的面试没有很怪,也没有很难我觉得只是由于公司小,opening 不像是大厂那样多 OK,明白