SP7｜現場直擊科技盛會 re:Invent，深度解析 AWS 的生成式 AI 策略
37:16 Share

科技超什么日新月异的产业资讯让 AWS 讲给你听本集节目由 AWS 与漫报 Managed Newsletter 共同制播邀请到云端专家一同探索时下最热门的科技话题带你一同发掘科技圈的最新趋势探索科技的未来掌握数位转型 2.0

好各位听众大家好这是非常特别一集因为我第一次在拉斯维加斯录 Podcast 然后是在一个富丽堂皇的一个会议厅里面录这些东西这一次的 Podcast 非常特别是跟 AWS 这边一起合作的节目最近刚好是 AWS 年度的大活动 Re-Invent 在这些现场我们过去两三天也听了非常多有趣的 Keynote 跟 Sessions

里面有非常多今年 AWS 令人很兴奋的新的发表那这些发表我觉得可以让我们一窥 AWS 在接下来的不论是云端服务还有是生成式 AI 的领域他们有一些新的策略跟新的发展的方向不过基本上呢大家也知道我的节目过去从来没有讲过 AWS 相关的东西所以大家一定知道我一定是个小白那既然是个小白的话

刚好来到 AWS 的主场我们就请到两个 AWS 的大大来帮助我们 Deep Dive 一下我们今天的主题那首先我们第一位先介绍到我们的 AWS Hero Ernest 大家好 我是 AWS Hero Ernest 那第二位是介绍到我们的 AWS 的 Architect 大家好 我是 AWS SA Jason 今天请到两位呢都是非常重要的人物所以我们相信这一集其实我在开录前跟他们聊过我们今天这一集就是不讲一些水

其实大部分的一些发表资讯大家在这期间一定在网路上看到很多的新闻内容包含今年发表了什么样子的 model 然后还有发表了非常多新的功能那我们今天这一集就是掌握一个关键字就是 Deep Dive 带大家去看到说这些新的服务这些新的产品他们背后 AWS 的一些思维跟这东西尤其重要的是在商业上面对于客户来说

它代表意义跟它真正的价值是什么那首先我们今天一开始当然不免俗还是会讲今年最重头的一个消息就是 AWS 在今年在会场上请到了 Amazon 的 CEO 跟我们分享到接下来会推出的一套新的模型

Amazon Nova 针对这部分的话我们先请讲两位来宾跟我们分享一下你们看到 Amazon Nova 的时候的心情是什么兴奋吗还是觉得早在意料之中算意料之中吗因为我在这个整个大会期间跟蛮多人互动然后也有一些是 Amazon.com 那个店上来的员工他们就聊到说其实他们在内部已经用很多了所以我相信内部应该也会也会慢慢长出一个自己要用的这个 model

对确实就是对我个人来说并不是一个新的消息但是就是我们也没有看到他真正推出我们也不确定是不是真的有这样的一个新的模型会面世我们现在是来到这边算是确定了这件事情虽然两位都已经觉得这件事有点意料之中但看到正式的发表而且一口气推出六个模型这里面可以请两位跟我分享你看到这模型的时候觉得里面最让你们觉得震惊或是震撼或是觉得很 impressive 尤其是当你们跟客户接触的时候你会觉得这模型可能

对你们未来做的生意或是接下来要拍拍的产品服务有很重大的影响可以跟大家分享一下你们的看法从模型角度来说我们过去有 Titan 的模型其实我们并不是第一次发布模型但过去的模型也 cover 了一些这一次 Nova 里面带到的一些功能但是 Nova 它是一个 Next Generation 它就是做得更完善屏蔽上面 Benchmark 上面更好一些但我个人来说里头有一个是之后要 GA 的 Any to Any 的 model 我是非常的期待因为它变成说未来你可以是

用语音输入然后产出影片或者是反过来变成是在应用上面更灵活一些各种格式倒进来然后这个不同格式再捞出去对对对使用上面会更方便会更符合企业的期待而且以后一定是一大堆模型共存的时候没错所以可能就看客户的场景然后配合两三个模型下去测看看然后看哪个效果比较好

没错 Ernie 刚好带到一个很重要的点就是大家知道 AWS 它本身它提供的服务托管了很多其他的 AI 的模型那这一次发表的 Amazon Nova 也是其中之一这件事情我觉得是蛮好奇的比如说从 AWS 的角度来看如果本来被 Rock 上面 hosting 的这些 AI models 就已经有好几个

这个时候 Amazon 在突出自己的 Amazon Nova 是有特别的商业目标要达成吗还是说这件事情是你们从客户的互动里面洞察到的一些痛点我个人很喜欢跟客户比喻 AWS 像是一个百货公司百货公司里头就是什么样的商品都有包含一个矿泉水可能都会有各个品牌的矿泉水

同时之间这个零售通路他可能也有一个自己的品牌的矿泉水那我觉得在 AWS 上面我们自己自研的这个 model 跟我们这些合作一些 third party model 也是这样的概念我们让客户有所选择他今天想要比较高级的或者是他想要更 cost effective 的 model 他可以自己做选择同时之间我们有一个自研的 model 让他们去应用他们的场景上面

看看哪一个更适合他们对我从社群的角度看 AWS 也是观察到 AWS 横跨了很多 vertical 的产业然后每个 vertical 一定也都是有中小企业啊大企业所以大家要的那个点应该是蛮错开的

对有时候你要性价比好的 model 那当然自研的可能就会表现得很好但是有时候你可能要在某些专家领域你想要有一个更好的一个 model 的一个产出那也许有一些我们 third party 的这个 model 他针对一些特别的场域他有很多的资料做训练所以他这个表现可能更合适

因为这件事情我确实也觉得蛮有意思的因为在礼拜一晚上的时候我们的 Monday Live 它有一个当天的晚上的一场 Hino 那里面在最后的时候有一个蛮有趣的新的发表就是 Anthropic 这一个另外一间的 AI 模型的一间公司那同时跟 AWS 长期以来也都是合作伙伴关系

然后他们也宣布他们接下来会跟 AWS 继续密切的合作可能下一代的运算单元然后甚至是依照这个单元来去做下一代模型的训练那这时候我就觉得 AWS 的定位确实蛮特别的他一方面自己有自己研发出来这次公布的 Amazon Nova 但他同时会跟 Third Party 有非常密切的合作这件事情我就是想要问一下 Ernest 因为在成为 AWS Hero 以前你先是 AWS 的 User 然后不仅是你自己本能给予你的热情

一开始先爱上 AWS 我们刚才在会前有聊了一下然后接下来你进到你限职的公司里面服务然后你们公司用的服务也是 AWS 那后来你成为 AWS Hero 然后更加入他们全球的专家社群里面那从一个一个 user 这样一个角度一路过来你会觉得 AWS 对你而言最特别的那个地方是什么是不是就像 Jayson 讲的它是一个 Toolbox 一个百货公司让你有非常多的选择性选择性这件事情是不是 AWS 一直以来对客户提供最重要的核心价值诉求

是而且他们是一个很诚实的百货公司我一开始学 AWS 的时候去看这些什么 S3 S3 然后 EC2 的文件那个时候我就觉得哇这文件为什么要写个两三百页当然我也可以直接就开始用可是我后来就越挖越深之后就发现这个一开始设计 AWS 资料中心架构的这个逻辑它是把所有的资料中心都 de-couple 都拆解得很干净然后每一个 piece 用很小的单位卖给我们用

而且它最后的这个拆解逻辑它同时会很诚实的跟我们说资料中心的所有东西都是外掉的大家有一个这个什么什么的 well-architected 的这个结构参考这个 framework 去叠加出这个结构出来之后就会发现我的营运的服务状态不会很容易掉线掉线的时候也都会有 recovery 的机制复原的机制把它救回来

好 那我们今天进来的重点是 Deep Dive 那我觉得我们已经过了第一层了可是其实支持这一些模型我觉得不论是这些模型怎么被训练出来的尤其更重要的以后客户如何去使用它他要在哪一些环境里面去部署它所以支持这个部署环境跟训练环境的接下来的东西可能是我觉得今天这一集含金量最高的东西可能也就是我自己最不懂一定要今天有 AWS 的专家来带我们大家一起去看看的所以往下一层第一层一定是运算的这部分

不论是模型的训练或者是之后调度模型使用到的推论他都是需要算力去支持的这也是今年我觉得 AWS 的发表里面很重视的一环而且我觉得今年发表很有趣很像一个 AWS 历史小学堂就是他们今年在发表任何一项创新以前会开始细说从头比如说讲 storage

就讲到他们以前做了一个很巨大的这种储存库然后他发生了怎样的问题讲晶片也是从最早一开始因为可能要把储存系统的东西做最优化切入了 Nitro 然后等等之类一路这样发展过来所以在算力这个部分不知道 Jason 对于今年的发表内容或是更基本的跟我们介绍一下支持 AWS 整个服务的背后的算力的这个逻辑跟你们的发展历程让我们更了解一下 AWS 在背后做了哪些功夫

其实 AWS 有一个核心精神就是我们所有的开发甚至所有的服务上面都是 walking backwards from customer needs 我们都要确定是这个是我们客户的诉求他真的有这个痛点有这个需要我们针对他的痛点需要去做任何的开发以模型训练这个场景来说我们看到的事情是过去大家在做模型训练上面它的成本非常高他可能要先拥有很多的这个

GPU 然后很多的这个算力然后很多的储存空间甚至网路啊等等的才能够去帮助他做一个稍微比较有能力的一个模型的训练包含到我们自身也在做这个模型的训练我们理解到说其实好像必须要再更往下 deep dive 到我要是不是要去思考要自研晶片所以我们其实从以前我们就是第一个在云端上面做 ARM 的 CPU 的发布的对我们是最早使用 ARM 的 CPU

它现在 ARM 的 CPU 已经是一个很普及的需求了但是我们是最早开始做这样的一个探索已经做到第四代了对我们已经做到第四代了然后在模型训练上面其实这一次发布的 Tranium 它是 Tranium 2 所以其实都是回到说我们过去从客户那边给我们的消息是他们在训练上面成本很高他需要一个更 cost effective 的方案我们去理解他的需求之后发现核心精神是我必须要有一个更直接的算力

更直接的特制化开发的一个晶片去帮助他们做训练如果用一个比较通用的这种 GPU 的话它可能有一些场景是有一点被浪费的所以这一次我们的发布里面也提到很多一个核心概念是 Purpose Build 我们所有的东西包含到服务包含到甚至底层的晶片我们都是 Purpose Build

你各种不同的应用场景你的需要的算力你需要的记忆体你需要的拼宽其实都是不一样的我们应该要做的更好的是细致化的针对不同的场景去提供不同的晶片也好或者不同的服务也好这样才是真正能够满足客户需求而且最 cost effective 的一个做法差提想到一个 computer 的东西都会装在资料中心里面吗几年前有听到一个 Keno 的演讲

他就说 AWS 的机房里面的那个电源供应器一个很大的很像货柜他们 AWS 也是自己重新开发因为如果是 general purpose 一般通用型的电源供应器里面会写好一大堆各个场景的逻辑可是这台电源供应器是要给资料中心的这个场景的所以是特定的一个目的性 AWS 就重新设计它而且有 API 可以呼叫这样子在监控系统上面他们就可以串联到其他的备源系统

我发现像不论是 Trainium 的部分甚至是早期的 Graviton 的部分那我觉得它跟我们刚才讲的 Amazon Nova 我觉得它有一个逻辑有点像就是说你们是以客户为准嘛我们从客户的需求为第一出发点对那可是你在那个过程中会发现 OK 可能市场上现有的 solutions 可能有一些缺口那这没有被满足掉的时候刚好是 Amazon 这一边不论是 forAmazon 自己内部本来就有的需要或是客户自己有的需要所以有一块缺口的话你们去

补上这个 solution 不论是 model 的 solution 或者是 computing 的 solution 可是在 keynote 上面发表一个很有趣的数字就是 Graviton 如今发展到第四代用到 Graviton 的 instances 它 cover 的算力的 coverage 现在的比

比例是越来越高越来越高的所以我觉得是蛮有意思的就是说一开始确实 Amazon 是要用自研的东西来去填补市场上没有弥补的需求可是 Eventually 这件事情因为它是 Optimized for the ecosystem 它最后慢慢的也会变成许多客户他们在加入 AWS Family 的时候的首要的选项之一变首选对对所以我觉得这样子的一个市场进入策略或是这样子的 Mindset 我觉得是蛮厉害的因为它在一开始

可是 Eventually 它不仅是帮助到客户其实也帮助到 Amazon 自己对那我觉得这是一个非常不会说一开始跳出来就是说你一定就是要放弃你现有的 solution 你就要用我家的我一开始还是提供你足够的选项只是时间久了你就会觉得有些东西确实在 AWS 用它的 proprietary 的东西是比较好的对 Manny 讲到一个很大的重点就是我们很多时候也许并不一定是市场最领先比如说像前几年 Kubernetes 的服务在市场上非常的红

然后我们并不是第一个推出 Kubernetes 的 Managed Service 我们推出的是 EKS 我们并不是第一个推出的而我们更多的是细致的去了解客户的需求经过了一两年的打磨之后我们正式推出这样一个服务才能够更好的去 meet 客户的真正的 requirement 其实同样的概念也放在现在我们推出的不论是 Segimaker 啊不论是 Bera 等等的服务

它都是这样核心的概念我是真正的去了解到客户的需求是什么然后真正的从它的痛点里面去对应的提出一些方案我们今天讲完了 compute 可是接下来还有一个非常非常重要的我觉得可能也是像我这种外行小白一听到 AWS 的时候根深蒂固的印象 storage 那确实我觉得 storage 一定是一个很重要的 entry point 因为哪一个 digital business 没有 data 哪一个 data 不需要被储存

这部分是不是请 Jason 跟我们 deep dive 一下说这些更新内容是什么以及它为什么对客户来讲是重要的你刚刚讲到我这次其实蛮兴奋的一些新服务 Nova 这些模型虽然是很眼睛为之一亮但是我个人更喜欢的是那些很底层的东西那才是我每天会用到的对对对对对

刚刚在讲不论是做 AI 也好或者是做模型训练也好做 AI 的应用程式也好你都逃不离一定要有很多的资料过去我们在做资料保存上面我们最简单的方式就把它丢到我们一个 Object Storage 叫 Air3 然后在这里头你可以用很便宜的方式保存但是过去有个痛点是我今天要做模型训练或者是

不论是做 Data Lake 等等的概念我在存取这个 A3 它的 Performance 相对没有那么好比如像是过往你放在一个磁碟机里头对对对那个 Performance 一定没办法直接对应的相比较那我们一样就回到那个 Purpose Build 的概念我们针对现在这个市场现在需要做很多的模型训练很多的这种非结构化资料我们推出了 A3 的 Table 跟 Meta Data

那它的重点是它针对一种特殊的资料格式 iceberg 它能够做更好的这个 performance 的表现你把今天这样非 JK 化的资料用 iceberg 的这个 format 把它存到 A3 里头它的 query performance 是很好而这带来的是什么这带来是你在后面做模型训练也好

平常的资料保存也好甚至你不定期可能要去 query 一些资料出来做 business analysis 也好创结 BI 的时候对对对其实它的效果会好很多的那这个一样就回到说这是一样很多客户告诉我们它的痛点就是这个经过多年的打磨之后我们针对 object storage

以前就是 storage 就是一个储存空间可能它的这个 performance 怎么样或者是它的这个保存时间怎么样去做一些调整今年我们在 storage 这一块还针对特别的档案 format 去做一些优化我个人觉得是很细腻对对对它已经

就已经当图到这个 work load level 的去思考 storage 要怎么做创新讲到这个有一个小细节很有趣 AWS 在这个活动期间发表的内容除了 Keynote 以外还有很多东西是散建在一些文章啊 Blog 啊不一定所有东西全部塞在 Keynote 对所以我就回去翻那些文件的时候发现有一个 storage 相关的这一次发表新的内容就是个人很感兴趣因为我这个人比较小气一点我对于省钱这件事情特别有感觉

我就要找这些发表的东西里面哪一项很明确的指数说会省钱我发现在 storage 里面有一个 intelligent tiering 对就是它会根据你的资料存取的频率比如说是经常性存取的或是 30 天左右 30 到 60 天 90 天以上那它不同的 tier 当然它存取的反应的速度 query 的速度也不同但是它相对应的是它成本有大幅的减少嗯

我看到那个数字超惊讶的 60 到 90 天这个 tier 里面它成本可以下降幅度超过 65%我觉得是太滑了不好意思对对对我就知道我们比较就是 economy 的东西对我觉得蛮感兴趣的但我觉得这个东西确实也更符合客户实际的需求因为今天我今天直接把一堆资料全部放进去 S3 这个 object 里面实际上我可能很频繁因为我都就是在歇嘛

可是我还是要像以前要付这样一大笔的钱对这也是不太合理的但现在的话它有非常非常精细而且很智慧化根据你平常的存取的表现来自动帮你做这个分级像我们开发者很多那种 log 那种存资料用的

放个三个月之后通常就不会有人再回去看可是他在合规的时候还是得要留着所以这个时候我们就切换过去现在 S3 又有自己的那个自动政策就是刚刚 Manny 讲到的这一个他自动就帮我们存进去那个比较便宜的那个 Tier 甚至超贴心的对我觉得自动这件事情是蛮重要的因为人怎么可能有办法每天去注意到底哪一块或者是他的时间点或者是说如果 AWS 不自动帮我做我可能内部还要人针对这件事情去开发一个工具

Manny 我不知道你有没有发现就是说我们的发布会里面很常谈到 cost 就是说身为一个服务提供商通常不太会主动提 cost 这件事情但我们自己主动讲了很多的 cost 对 这基本上贯穿几年发表每一项功能推出来都还没有讲 performance 怎样都直接先讲这件事情它的 price performance 就是很 Dataverse 很注重这件事情

没错所以我们其实不是只有在这个 A3 的 Tiering 这一块 Intelligence Tiering 这一块有做一些成本的优化我们其实在比如说我们也是第一个退出针对平常没有用到一些 EC2 我们用很便宜的方式让大家去逼领然后去使用这些 EC2 非常非常便宜可能就是平常的一折两折的一个价格四分之一对对对那所以其实这些概念都是一样都是回到客户的需求然后我们去他们对于成本很在乎

那我们怎么样在这个上面去设计一些机制去帮助大家真的能够省到一些成本这个也是我们作为服务提供商很特别的地方而且我昨天在一个议程还听到一个因为我们平常都会去抢那种 B0 的那种小 server 然后十分之一价钱的这个 server

AWS 就听到客户的这个声音 AWS 就做了一个服务帮我们去抢这个 server 真的我整个听到就傻眼所以还有一个代表手对就超贴心的他们就完全都是在帮客户帮开发者在着想然后所以我们的学习门槛会慢慢的降低然后每一年用的成本也都有陆续降低我也不是官方的人但就是真心话对

好 讲完 Storage 以外下一块是 Database 的部分那 Database 今年也有非常多新的发表那其中有一个我们在今天录音前有跟 Jason 小聊了一下他说今年有一个发表对台湾的客户来讲的话是至关重要大家一定是非常非常有感的那可不可以请 Jason 跟我们分享更多好啊 好啊

其实在台湾的市场因为我是作为 AWS 的员工嘛那我们其实也会观察到我们平常的客户告诉我们他的需求是什么其实除了我们刚刚谈的一些这种 Machine Learning 这种比较 Fancy 的东西之外其实很 Practical 的需求是因为毕竟现在台湾可能在这种国际的一些政经形势上面企业都会被要求要去考虑到如何做永续永续包含到说如果今天有一些事件发生的时候我怎么确保我的 Business 能够持续的运作

那这个持续运作大家会谈到最简单的是 DR 的概念 Disaster Recovery 然后甚至是如果今天有一些服务临时在台湾不能够使用的时候能不能够从其他的境外的一些地方去持续的能够 access 这些服务那这些服务里头一个核心重点都是资料嘛那资料我们过去都是保存在 database 里

那这次我们推出了一个新的服务叫做 Aurora D-SQL 我应该没念错分散式的 SQL 对对对 D-SQL 这个新的服务它的目的就是帮助大家做 active active 的资料保存比如说今天这个资料可能存在某个区域

我们平时就会帮他自己 synchronize 到其他的区域里头那这对于企业来说他过去要做很多的动作去把资料去做 replication 复制到别的地方去可能有很多不同的技巧那现在我们透过这样一个新的服务未来搭配我们台北 region 的 LUN

在明年的时候未来企业它就可以把它的 Application 应用到我们底层的 Database 的服务直接的同步把资料同步到其他区域去那这样就变成说企业在思考怎么样去让它做永续这件事情上面变得更容易变得更轻松

这个是我个人看到对于台湾市场来讲这一次的发布里头很大很有帮助一个新的服务对 而且对开发者也很有善以前开发者要做这种很多地区同时都可以 Active 的这种状态而且他要做到低延迟常常我们都是要一个技术特征就是说一个 SQL 一个 NonSQLNoSQL 两套同时要加强可是这一次的这个 DSQL 它就整个合起来还给我们五个 9 的这个 Availability 这种等级

所以我觉得这对于企业来说尤其是现在的一个国际形势然后甚至整个供应链台湾很多是制造业然后这些制造业都会被这些原厂就是客户要求要做到更好的一个服务的等级然后就有备员对 要有备员机制所以在供应链里头他们被这样要求那这个就是我们可以立即帮助到我们这些制造业客户去而且城市架构几乎不用大修改就继续用原来的大家熟悉的这个 C-Core 架构就好了

我觉得刚刚 Ernest 提到一个蛮重要的点就是对开发者友善这件事情因为其实很传统时代对于资料保存这件事情的 high availability 这很久以前就有人在讲了可是它相对来讲就是一个麻烦的事情我要分心做很多事情又要做这个又要做那个相对是麻烦的可是 Ernest 刚才提到一个我觉得对开发者友善

而且我觉得对开发者有上也是我今年的在 Keynote 里面或是线下的其他一些 Session 里面一直听到很多人会提到一个东西那这里面最常听到的东西就是 Amazon Q 那刚好 Ernie 这几天也参加蛮多场 Amazon Q 相关的 Session 那你们可以分享一下今年你对 Amazon Q 的观察跟理解以及你觉得它实际上你现在看到的一些 Implementation 它对于开发者来讲带来怎么样子的好处像开发者最常见的事情就是

假设我去年开发了一个专案然后这个专案里面会有很多相依性的套件然后今年可能这个专案所使用的可能是 Programming Language 或者是里面用到的套件还有版本的升级那我们就要一个一个套件去升级那这是很痛苦的因为我可能已经在忙今年的专案了那去年的专案我根本就不想理它可是它得要升级要不然它就会有那职安的威胁

这个时候 Amazon Q 它有一个 Developer 的版本里面就有特别有做到说可以帮忙做这种快速的 Transition 它去年推了 Java 的版本今年推了 Donee 然后好像 VMware 相关的也都有这都是企业等级常常会遇到又很没有时间回来顾以前的旧专案的这种痛点然后另外今年还有几个我觉得有趣的

我们如果把程式写完了然后回头想要补文件的时候大家都是心有余额力不足又想再去写下一个专案又很想把文件写出来然后这时候 Amazon Q 它推出了一个新的功能就是帮我们把这个技术文件把它布起来昨天 Jason 好像有

有玩了一下我们同事有人去玩了一下效果蛮好的对他平常就会帮你直接生成那个 document 甚至连那个架构那个 data flow 他都已经帮你直接用文字图的方式直接呈现出来了好贴心虽然正常来讲我们应该是先把这些文字啊文件先写好然后再开始写程式但有时候总是会事与愿违嘛那但我们还是回头补这个文件我觉得这个这个蛮贴心的对甚至他平常都会帮你我们有一个服务叫 inspector 他去帮你去做一些弱点扫描

他在你平常在城市开发的同时他就帮你看看你现在写的城市是不是存在一些这个资安的漏洞我觉得这一点也是非常的实用的然后我早上又听了一个 session 这个 Amazon Q 它除了有 developer 开发者的版本它还有推商业的版本 business 的版本然后 business 我觉得还蛮适合比如说 HR 的朋友或者是 marketing 的朋友或者办公室行政 logisticsadministration 的朋友们也可以试试看他 business 的版本

他必死锋的版本已经做了 50 几个 integration 比如说有一些常用的聊天软体这些东西他都可以做串结 Amazon Q 可以用人用我们那种讲话的方式或打字的方式确报的方式跟他互动互动完之后他透过那些 integration 去跟我们 50 几个服务不是 Amazon 的服务就是我们每天用的其他外围的周遭 Serpati 软体的服务

去做 API 的串接那我觉得这就开了一个窗很像以前前阵子大家去年会聊那个 No Call 啊 Low Call 这种东西那现在 Amazon 就把它整在这个 Q 里面在企业里头啊最怕的就是资料外泄嘛然后当我

当我用了一些外部的一些 AI 服务的时候最怕的就是我企业内一些机敏资料也跟着外流出去了那 QBusiness 的概念就是它还是在你的 AWS ID 里头在 AWS 环境里头你自己的企业自己拥有的 AWS 环境然后在这个环境里面去 access 到你们企业内部的一些企业内部机敏的资料

然后它就刚刚像 Ernie 讲的那些 Connect 它都已经串好了所以你就变得很简单的就可以去串联现有的这个企业内部用户的一些系统然后这时候当我的使用者他要跟这些 AI Chatbot 互动的时候他就可以直接去捞到企业内部一些机敏资料就不用担心说我的员工为了要有这些 AI 等等

他用了一些外部的服务然后造成对又另一个 ServPati 或者他还要再去等什么 IT 单位帮他做那个开发没错都帮你搞好了这样效率就出来了从企业经营的角度来说我就很希望我的团队多多使用我也想要多补充一下刚刚讲的那个 Development 那一段就是我觉得那个 Transform 这个功能是我们这次的一大买点

像刚刚 Ernest 有提到说我们过去已经帮助说从 Java 的旧版本升级到新版本的这个 Transform 的功能那这一次里面呢提到还有另外一个几个比如说像 Manframe 的 Transform 对像 Manframe 里头在银行业里头用了非常多的这种 Cobo 对 Cobo 可能现在台湾真的要找 Cobo 已经是非常困难都是阿伯都是人才对他们非常贵哦他们非常贵因为这个是已经非常少人会了对

那这个时候这些银行企业他在修改这些核心系统的时候他痛点永远是我根本就没有人改得动这些城市然后呢我也不可能去找得到这么多的人才去帮我做这个转这个改写对那银行就说那我是不是要重新找一票人重新开发

重新开发那个业务逻辑你要重新顺过而且你要去承担那个可能的业务风险对所以 Transform 的这个机制就帮助大家能够更快的用 GenA 的更快的去帮忙把 Cobo 转成比如说 Java 的程式语言我们当然不是说它就是一个点一个按钮就瞬间 Cobo 就变 Java 然后直接可以跑了当然不是这样

可是它绝对加快了很多的速度而且把很多你可能看不太懂的那些 Covid 城市那 Genial 它能够帮你解读然后帮你去做 Transform 我觉得这个对于台湾的这些银行金融业保险业等等这种长期使用大机的长期使用 mainframe 的会是一个很大的一个效益

然后就还有另外一块也是今年蛮 focus 的东西我觉得也是相对的蛮强的因为在 AWS 的所有的服务的板块或者是他服务的项目里面有一个东西是 Analytics 这也是蛮重要的因为非常多如果你只要在那边运算在那边它当然就有非常的多后续分析的需求

那可是以前分析这些需求它可能分散在不同的 Analytics 的功能里面可是今年也很强调 Amazon Q 它可以用一个比较 Unified 的方式来把这些东西全部都资料点的 Connector 都连接起来以及它还能够直接在获得这些资料的时候用 Amazon Q 的方式来去很有效地做视觉化的呈现那这件事情我觉得这也是今年我看到至少 AW 在 AI 这件事情上面我觉得做的东西它不一定是超级炫炮那种说我们今年就是

Parameters 又 Build 了一个可能千亿或者是造等级的或者是它今年又可以在哪一些 Benchmark 上面迎边什么之类可是我觉得今年是一个非常 Down to earth 就是 Gen AI 已经是事实了模型大家一定都知道大家都知道可以怎么用可是接下来要处理问题是什么第一个是

安全性 LatencyDeployment Cost 以及 Deployment 完之后是不是有更多其他东西要做包含比如说今年也发布了 Bedrock 的一些新的更新大模型跑起来什么都会可是就很贵我也用不到这么多那我怎么把它增六出一些小型模型可以用还有像企业内部有很多自己的资料库那我们现在会透过 RAG 的方式去取用它现在这东西也加进来了

然后还有后续我们刚才提到的在这过程中我们是不是可以用 Amazon Q 它有更像一个代理人式的方式可以帮我们代为处理很多业务可以甚至用 No Call 的方式去谱一些 workflow 把这些东西串起来我觉得今年的各种更新都是很实在在帮助企业可以在 AI 这件事情上面很有效地做导入然后还有搭配刚才 Jayson 提到的就是背后还有这么多包含在 Storage 在 Compute 在 Database 上面的创新那这东西才是基本嘛因为企业在这些上面站得稳它后面要发展东西还是能够顺的

可是我就想要额外问一个我觉得只有内部人会知道的东西没有,不用紧张啊这不是什么脱稿演出不会被 PR 的警告不会不会不会这应该是还好的因为刚才讲到 AmazonQ 可是我觉得我们从外部看到的东西一直在讲的是 AmazonQ 可以对以外的人做什么事情你用了之后你可以怎么样可是我比较好奇的就是身为 AWS 的员工你们平常的 Wall4 里面是有 AmazonQ 出现的吗

这问题很好耶不是会说什么 Eat your own dog food 对对对那我们自己确实也都是我们现在在我们的浏览器里头啊可以直接把 Amazon Q 打开来然后我们就针对我们内部的一些网页也好啊内部的一些系统也好内部的一些知识资料库也好对 知识库来都可以直接用 Amazon Q 去帮忙去里面去萃取然后其实 Amazon 有一个网页

文化就是我们很多很多的撰写我们很多东西都喜欢用写的去表达反倒不是用一些 PowerPoint 的形式最有名的 OnePager 对 OnePager, TwoPagers, SixPagers 对啊,这是 SixPages 我们就是有这些机制然后要很多的撰写对不对所以我们甚至内部还有一个 Bot 它就是帮助你把你的文字修整成 Amazon Writing Style 这可以讲吗

这个应该是可以讲的这个应该可以讲我昨天也有听到听到因为有这样分享对对对哇这有点像我不知道作弊耶这不算作弊吗我觉得他还是回到就是还是用我们的那个你的那些文字内容精神上面还是你自己去构想的但是他帮你打磨成 Amazon 的 writing style

喔 ok 对对对像我我觉得有点像 coding style 那种感觉就是你写 call 还这样写吗但每个 team 都有自己的 coding style 其他人比较能看得懂增进沟通效率用的这个没错没错这个确实提高很大的效率因为我以前我必须承认我就是每次要写那些英文文件我都花很多时间我还要写完之后还要担心这文法上面有没有什么问题因为可能国外同事要看这样那我现在可能就是 bullet point 列出来之后他可以帮我做第一次的整理

整理完之后再去读它成立出来的内容我看看是不是适合是不是有维持在我想要讲的这些内容上面那如果没有的话我可以再针对它去修改再去做打磨我觉得那个效率是真的增进了很多这一切都是我们自己内部也在运用这些技术去帮助我们平常 day to day 的 work

好那节目的最后我来做一个简单的总结嘛那简单的总结就是我们请 Ernest 跟 Jason 我觉得分别就今年 re:Invent 参加到现在觉得最大的收获因为你们两位其实都会接触到客户 As a hero 你可能接触到很多他们本身就是 user 你可能跟他们做很多技术的交流那 Jason 平常本来就是都在 handle 客户的需求那我觉得你们今年的最大的收获以及你觉得你可以跟你们认识的 user 或者是客户 pitch 的那些核心的那个要点是什么

我最近在聊的都是关于那种商业流程的东西但是聊到最后我其实都会带给朋友跟客户一个概念就是说我们会把它拆拆拆拆到最后的那个底层套用 AWS 的这个逻辑来拆拆拆就是拆到晶片那个等他们会把晶片然后网路的骨干像 EC2 的那些 Nitro 背后的这些精神甚至他们连通讯的 protocol 都重新设计了晶片比如说 Gravitan 都做到第四代

那这是我常常会拆解给朋友跟客户之后让他们理解到说 Amazon AWS 这么大的一个公司都愿意这样拆到这么细然后再叠回去叠回原本的商业应用或者他的作业流程那我也就带着客户去让他听懂说大企业也可以这样做那我们中小企业也是可以这样子做然后再把对应的流程拆解再带给客户我蛮喜欢他这样子的概念

我自己的话我感觉是我们就是再一次的更强化我们作为 purpose build 我们作为给客户选择的这样一个核心精神像是这次 Bedrock 还出了 marketplace 让大家在上面去选择自己要的 model 我觉得这一再一再的强化是我们想要做的是一个 ecosystem 一个平台让我们的客户能够有所选择的

我们不会要求你一定要选择某一个 super powerful 的 model 或者某一个 super powerful 的 database 服务我们就是尽可能的给大家各种各式各样的选择你想要在我们上面去跑传统的应用程式还是你想要在我们上面跑最先进的 AI 的 application 都是可以我们尽可能满足各种各式各样的需求那这次我就看到说我们过去在 infrastructure

本来就提供很多服务本来在 DataBase 在 Data 就提供了非常多的服务这一次又再次强调在 AI 这一块我们也做到 Marketplace 也让大家有更多的服务可以去做选择更多的模型可以去做选择对

这里面我自己主观上感受很强烈因为是我第一次来 Revent 然后我本来以前一直以为 Revent 就是一个 Keynote 搭配很多的 Session 有点像是一个 Seminar 的感觉后来发现没有哇他的那个 Expo 展场有够大的就可以发现哇就是我觉得大家常常讲 EcosystemEcosystem 那字面上是能够理解的或者说你打开界面看到 Marketplace 有很多东西可以选这我是能理解可是如果你真的到一个展场的时候才发现 OK

就是我用一个很粗俗而且比较暴力的说法就是有很多人用这个东西来提供更多客户价值然后并且大家一起从这个 blow 里面去赚到钱所以这是一个大的 ecosystem 那我觉得从 vendor 的数量参与的热度

现场的一些讨论的一个环境的状况我觉得这感受是非常非常非常强烈的因为我以前可能参加其他的一些 solution 的一些东西他们可能就这样比较像是一个 summon 那就是官方人员去讲没错然后第二个我觉得也是这一次来我的印象非常非常深刻因为除了 Keynote 以外我自己也跑去听了很多 session 但是很多 session 很有趣的是我这一次就特别会挑那种不是 AWS 官方讲解自己的一个 solution 是功能的我特别挑那种是

帮某企业做的一些实际的案例比如说昨天下午跑去听了 F1 的 Sports Forum 的 F1 案例然后之前听了很多一些 Chapot 的或是银行业的或什么各行各业的我就发现一个非常厉害的地方是 AWS 也有太多人跟客户一起 Cowork something 了吧嗯

对 这就是很特别因为我本来以为说因为今年有 3000 个 session 吧对不对那我想说对啦 AWS 加大业大就服务这么多其实光那个名字列出我都看得眼花缭乱那每个服务讲个五场吧可能确实我觉得是几千场但没有就是发现超级多的厂次都是在讲我们过去可能五年八年的时间跟客户一起 co-work 什么样的 solution 而且这个 solution 的 coverage 是超广的包含我有听的一个 fleet management

车队上面的摄影机管理这件事情还蛮感兴趣的那这东西其实它可以拓展到很多领域包含像无人机监控啊安防啊什么什么之类的那就是 IoT Devices 的管理系统那非常有哇这东西跟 AWC 有关然后 AWC 也有相关的专家会投入这样子的专案去写出他们去 Custom Build 像 F1 的需求然后各行各业的需求

我觉得哇那真的是这个 Ecosystem 并不只是说 AWS 是 Build 了一个很厉害的 Toolbox 很厉害的宝货公司我让所有的人进住然后卖东西其实也不只是这样就是所有人进来有这么多的需求但反过头来 AWS 也会带来这些工具进到客户那边跟他们一起去 Build 他们的专业的需求而且更重要的其实是这里面 Build 出来的东西跟那样子的概念它很有机会回到 AWS 里面变成你们的 Instances 或者是你们的其他这些 Solution 然后再回应给客户来去使用这是一个我觉得

很特别应该就是说我觉得我今天如果不是我实际到现场然后看到这么多的人然后这么多的现场实际的一些互动我大概没办法有这么深切的感受大概是我这次来最大的收获吧你真的讲到我们的精神了对我们其实有点像 Billion Blocks 我们像我的这个部门架构师部门我们确实就是陪着客户去把这些东西斗成 solutions

当然有些客户他可能要的是一个既有的 total solution 那其实我们的 ecosystem 里面很多的 vendor 很多的 partner 也都可以提供服务所以我们就在打造一个生态系统没有错也是另外一个我们的一个核心理念就是说我们透过 building blocks 然后看我们的客户的实际需求是什么然后借由这些 building blocks 的组合去满足客户的一个实际的需求而不是一个单一的 total solution 然后直接跟客户说你应该把你的 businesspivot 成 in 可以适合这个 solution 的我这里头都有很多都来他们

不是这样对对对我们的跟那个概念还是不太一样而且他也照顾到了有开发者的社群也在那个 Export 的好大一个角落那以上就是我们本节的节目那真的是蛮有趣的这可能是我这辈子最了解 AWS 的一天

沉浸在 Revent 不是之后会更了解吗之后就不会更了解了我这辈子长到现在直到现在对对对之后只会更了解对对对期待明年还能够再来 Revent 再来重新感受一遍那我们今天非常谢谢 Jason 我们谢谢他非常 earnest 好那这就是我们今天结束了拜拜谢谢你拜拜