EP08：AI邊緣運算 驅動智慧產業革新 Ft. 智匯創育股份有限公司 周威成執行長
20:33 Share

迎接 AI 时代驾驭数位浪潮欢迎登上智能新赛道带您掌握科技的心跳

各位听众朋友大家好欢迎您收听智能新赛道我是蛇日星今天我们的特别来宾是智慧创意的创办人也是执行长周威成曾经在我们电动车新革命的时候来过我们的节目威成请您再跟我们的听众朋友问好院长好各位听众大家好其实在电动车的节目的尾巴的时候曾经有提到物联网的时代到后来

大家其实把 AI/OT 放在一起因为只有 IOT 其实 doesn't make sense 他一定必须要从数据捞出来之后他必须要去演算那当然就是也提到了跟这个刘俊成跟 Albert 的结缘所以在这样的一个发展的趋势之中可不可以跟我们聊一下就是在这个物联网的时代当中因为其实很多很多年前我记得可能是在 2015 16 那个时候

张忠谋董事长就讲说 IOT 会是 next big thing 当然对他来讲就是说那个是他的 big thing 可是他可能还没有看到后面如果 AI 的这个进来的时候那 AI 当然我们所谈的绝对不是只有晶片最重要的精华就是那个厉害的晶片能够有很快的算力那去支撑非常厉害的算法

然后才会产生智慧那这个里面有非常复杂的一个过程看起来当初你在 Authentic 的毕业制作就已经把这些事情做完了那当时的节目你也提过 Carwink 那现在在 2025 年的时候呢我们可能看到它可能是一个显学了

那车跟车之间彼此的互动交流打招呼就实现了当初你们可能在十几年前的那个想法那所以从物联网到 AI 那现在我们把它合在一起叫 AIOT 那在这样的一个运作机制当中从您自己的一个心得可不可以先跟我们从这边展开是其实那时候毕业展的题目还没有扯到 AI 啦

那其實就是一個比較物聯網概念跟智慧座艙概念智慧座艙其實就已經有一個雛形了那個應該就是智慧就是純形容詞那 CowRink 那個時候其實物聯網的時候其實我們使用的是類似像 Google 的語音辨識像是 Siri 它這種像是 RAW AI 它就是單純的那種 Voice Comment 然後來 Trigger 後續的動作

那其实这个东西说实在其实在开车过程中如果我们要常常自主的做这些动作的话其实它也是 kind of distraction 就是分心那今天的 AI 时代来临就是在变异运算可以做加持的当下其实很多的事情都是可以透过机器学习或深入学习然后来做解决

那譬如說在我原本的 Core Ring 上面如果可以加裝鏡頭它可以自主的去判別後車的一個動態然後讓那個上面的 Emoji 做相對應的一個閃爍或者是一個警示那其實它會幫助使用者可以更專心的在做開車這件事情上面會讓整體的使用者體驗會獲得極大改善這樣

刚提到一个非常关键的字叫使用者体验我必须讲说台湾这些年来在产品设计上面我们当然都是因为我们过往都是代工就是从这个原厂给的工程图那指定你叫请你用很便宜的价格提供给我这个产品

但是常常我们没有问到的一个更前面的问题也就是说原厂他们抓了这个部分所以就是说从上一次您来电动车新革命节目里面分享的内容当中我们可以看到您本身从电机切到设计

你上一次有提到 Ballhouse 的名言 Follows function 你今天会看到有这样的一个外表它是因为它骨质里有某一些的功能必须要实现所以刚刚提到一个使用者体验其实我们过往台湾的企业有一个非常大的痛点

就是我们太会硬体的这个部分可是这个体验其实是蛮抽象的其实我们迈入使用者体验的这个议题的时候它跟包耗式的概念它又是相反的对就是相反所以在某个时段就清华其实是有提出了新概念叫做 Design before Technology 就是说你用 Design 跟 Marketing 的这些知识跟这些研究然后在那个 Engineering 之前的这件事情是很重要的我打岔一下 Technology 是清华提出来的

我是第一次听到因为我曾经在经济部那我有参与的技术处很多的案子曾经有一个执行了很多年的 technology

他的背后其实是希望能够让政府所花的这些科专预算能够更多的贴近厂商的需求或者是消费者的需求清华这个果然是厉害印象重要因为那个时候其实在北京清华的话他其实是很完整他还有设计系然后还有什么汽车设计系所以我们在 RSN 的班上的同学很多是北京清华

已经念了四年然后再念四年大学部他等于是直接念了两个 transportation design 这样子对对对那做产品本身其实我觉得就是不断交互调整的过程就是说 design first then technology 然后再接下来又要进入了那个设计的这一块其实它都是一个 back and forth 的一个过程其实我觉得台湾目前的状况其实有点太单线路我们了解比较后面的这一段了

對對對 就是都非常單線路所以其實東西做到後面其實往往別人叫你做什麼他其實就做什麼其實他沒有辦法再做靈活的調整

因為這樣子所以它自然而然的如果是參考像是美國的蘋果電腦像是一些比較厲害的一些 Branding 的公司其實大家都知道說使用者永遠是放在第一位根據他然後來產生後面的產品甚至是技術如果是按照這個模式的話其實使用者體驗這件事情就是會變得非常的 Critical 因為你在那個終端產品上面加了 AI 的晶片

那其實他的那個使用者體驗已經不是單純的機器跟使用者他等於是會再加上一顆小電腦小機器人所以整個那個使用者流程要重新設計有人的學習還有機器的學習這兩個又要整合在一起對那使用者必須要同時間跟這個 device 本身跟這個小頭腦共處

这是好比像是 90 年代的那个 Cyber Formula 那个闪电霹雳车的旁边的阿斯拉一样对对对所以未来的所有产品基本上都是会走上这个模式这样所以从使用者体验这个部分就是我们看到现在不管是在这个算力那当然算力还是不够我们必须这样讲我前一阵子去看了一家新创公司

他们就是在做这个算力调度的 optimization 他本身不提供算力但是他在各种的算力当中游走那去帮你去根据那个时间点跟你的 task 能够 optimize 一个最好的一个配置所以算力还是不够但是呢尤其是将来如果如果我们看到智慧城市这个区块快速发展的话那他的挑战更大那所以从您刚刚讲到的这个其实我们现在台湾已经开始

虽然台积电非常了不起我们看到真的是横扫全球但是接下来陆陆续续的我们看到包含像很多的 IC Design House 其实现在也都还是在台湾人的手上所以在这个部分他如果必须要更深的去接触到使用者经验的这一块你有什么建议其实刚刚院长讲了

蛮关键的就是在算力的部分那其实现在算力调度这件事情基本上是针对 Cloud AI 的 server 来做算力调度那其实我们知道说现在大家认知的 AI 其实都是把无论是地端或云端大家都是云端伺服器来做运算所以基本上会造成电力极度的耗费嘛

然後跟那個其實算力不夠重因為大家都在分同一塊算力那其實我們可以可見就是短期的未來其實應該會是邊緣端跟雲端其實會是那個分庭抗體並且達到一個 balance 的狀態其實很多的運算在邊緣端在終端產品他可以直接做運算

他不用把什么的讯息都抛到云端去那这个同时间他可以省电而且又可以省传输费用而且他又可以有高度的隐私性等等的优点这样子而且想想看如果在边缘段的话其实他还有个优势是他要够便宜这样才能普及

所以其实未来的话应该是 Cloud AI 跟 Edge AI 是一个 balance 的状态然后这样子的话我们根据这种平衡状态我们设计出来的使用者体验其实才会是对的一个系统这样非常有趣因为就是使用者包含可能如果我们去看一个更大的一个 stakeholder 可能叫做地球

所以就是永續又扯上關係我們所談的就是現在其實當然在這個 Cloud computing 這個部分被詬病的非常嚴重的就是電力的耗損剛剛講到還有傳輸費用

那这些的条件其实还没有去考虑到永续的课题所以从这样的观点我们势必未来会要面对到 Cloud 跟 Edge 这个中间的 balance 它还有一个 sustainability 的一个 concern

是 其实现在 HAI 就是最近开始崛起那 NPU 的部分的话其实它从原本可以支援的比较低的算力像是 CNN RN 或 LSTM 这一类的机器学习的模型后来它也进化到可以在边缘端就直接做 LLM 的大型元模型的一个执行这样子专家 吓死人是的我们先休息一下等一下大家继续来接受惊吓

各位听众朋友欢迎你回到智能新赛道今天我们的特别来宾是智慧创意的创办人周威成威成来到我们节目当中已经不是第一次了不过刚刚在休息之前威成跟我们讲了一个非常不晓得该震撼还是该刺激的消息就是 Edge Computing 现在已经可以执行 LLM 了

那所以其实会有蛮多的新的想象空间那因为过去从 2022 年 11 月那我们已经两年多了两年多了那走到今天呢我们大概已经被震得晕头转向那刚刚又来了一个好像很震撼的事情那可不可以跟我们分享一下就是你们在你们的心目当中

你们想要从 Edge Computing 所颠覆的一个应用是什么其实我觉得用个比较好想象的例子就是像是 Doraemon 它旁边的那些 100 个道具其实那 100 个道具都是 Edge Computing 全部都是边缘运算像是竹蜻蜓就是我们现在的 Draw 翻译米高其实就是现在可能说的是双向智慧翻译面板其实有很多的东西都是在边缘端就要时间甚至在未来的机器人

機器人部分其實照護機器人或者是很多工廠端的機器人他不一定隨時隨地都可以聯網因為可能會有那個工廠或是企業隱私的問題所以其實很多時間除了在更新他的 database 之外其實大部分時間都是在做邊緣端的即時運算的這個部分所以其實未來從 AGE AI 的晶片賦能跟加持之後其實未來是蠻多想像空間

真的是非常兴奋如果 Edge Computing 可以像现在另外一家公司其实跟你们也有很密切的关系就是刘俊成他们那边你刚刚一直在提这个哆啦 A 梦因为他是哆啦 A 梦迷你自己是不是哆啦 A 梦迷

没有像他那么沉迷我会看的那如果真的可以做到 10 个 Tops 一个单晶片那如果是 Server 的话可以做到 40 个 Tops 的话那这样子的条件其实对于支撑一个工厂的内部算力已经大概非常非常够了

如果是这样的状况的话其实这么多年来我们在陪伴一些产业他们想要做数位转型但是又 concern 到底 cyber security 的问题 cloud 的稳定度各方面

那这个真的是一个很大很大的要劲是因为我之前也在大学任教就是教工业设计其实里面学生也都是非常迷惘就是说工业设计师到底未来何去而从我当时有跟他们讲说现在是工业设计师即将到来的一个可能性因为其实大家都会害怕说被 ChadGBT 取代或者是 AIGC 那些生成式 AI 的软体所取代然后导致自己没有工作

但是其實對於認真的設計師或厲害的設計師來講這個東西反而可以增加大家的一個產量他能取代是中下 level 的一個設計師的可能性這樣那我覺得對於各行各業產業都一樣其實邊緣運算晶片的加持其實除了可以幫助大家就是鏈接所謂的萬物聯網的這件事情在各方各面上的使用者體驗的優化我覺得是可以期待的這樣

我觉得很棒因为你有电机的背景学了工业设计你才 appreciate 这个工业设计的价值其实我一直觉得工业设计在台湾是很可惜的就是没有发展得很好理由就是因为大家不了解工业设计它真正能够发挥的效能它已经不是效率的问题了不是

不是说我画几张图或者怎么样而是他在这里面尤其是使用者经验的这样的一个 user experience 或者是 user interface 我们往往做的都是蛮浅层的东西现在很多学校都不是设计科系也都在做 APP 可是弄出来的东西就真的是是不像就是没有那个深度而且他还没有办法连到科技的联动性

所以如果我们倒过来看这件事情就是说如果我们从智慧制造因为刚刚有聊到一点点智慧城市如果从智慧制造的一个观点来看的话从边缘运算目前所能够达成的当然就是很重要他必须要从伺服器能够捞数据出来现在有很多的包含黄仁勋都在谈下一个可能 next big thing 可能是

智慧型的机器人智慧型的机器人本身他就是不管是做照顾的或者是说他在工厂里面从事一些因为其实现在本来都在里面都在跑了这个 MR 很多很多各种的你刚刚讲竹蜻蜓就是这个竹

就是无人机如果最后多拉尼蒙的那 100 个道具在各式各样的运作因为有一年大概是 2018 的样子我去新加坡去看了一个物流他们当时戴马西投了一个非常非常厉害因为大家知道新加坡本身就是物流非常非常强的一个地方那那个夜水服集团他是大概是他们当初我去看的时候可能是新加坡最大的一个物流集团哇

他空了一整層出來新加坡大家知道寸土鑽金比台北更嚴重他空了一整層結果就讓很多的新創企業進駐裡面我也看到了很多像無人機像這些搬運車這些條件如果說未來他能夠運算在 local server 而且是用 Edge computing 這樣子非常強大的支撐力量再加上我們現在兩年被掃的暈頭轉向的 GPT

這種大型語言這樣子訓練下去的話那你會看到未來我們的工廠或者是說一個醫院像這種封閉敏感度比較高的你會看到什麼樣的機會其實我覺得就是最終還是 Cloud AI 跟 HAI 會打到平衡像是那種大型伺服器的話如果我們說它可以提供 100 算力那變端的裝置可以提供 10 個算力那它可能可以同時有 10 台或 20 台

我覺得就是交叉的把一些 loading 適當的分配到各個該去的地方其實我覺得這樣子的最後的 finally 的整合效果其實才會是最佳的啦那剛剛回到院長講的那個智慧工廠部分其實智慧工廠可以執行那個 AGAI 的部分也蠻多的當然它的那個最初的那個模型還是會在雲端先訓練完然後透過一個類似像 Toolchain 一個轉譯的過程然後讓晶片可以去 download 嘛

然后可以在边缘转做那其实在智慧制造上面其实有很多可以玩的地方像是那个老师傅的数位软身嘛他的记忆他整个记法或者是他整个那个 know how 的数位软身或者是瑕疵检测或者是有很多自动化的过程其实我觉得现在的世界已经逐渐比以前的那个整个环境来得更优化嗯

然后让适合在什么样工作的人去什么地方工作嘛那医院呢有没有什么想象之前听到医院的案子其实也是蛮有趣的就是说像是边缘端的部分的话其实有听到一个蛮好玩的应用就是像 AMR 的部分自走车嘛像是有一些罕见疾病的病人或者是一些比较重症病人护士你要怎么去照顾他护士也会怕所以我们这时候就要派那个无人车进去服务他们这样子对然后他当然进去服务的时候他会

根据边缘段的那个计算然后来判断各种的 condition 或是 situation 然后来让相对一点病人来达到更好的照护这样同时间护士本身又不会陷入一个危险的局势而且现在护士很不够对就是因为要降低护士 loading 所以其实协作机器人这件事情就是完全是必要性这样是现在 H computing 的成本大概你刚刚是 1 比 10 没有刚刚说是算力算力如果说如果成本成本更低成本

成本这个话其实基本上要看那个 scale 对那个你要看率率跟资源的模型其实基本上比较低阶做纯视觉的你如果单晶片花 10 块钱美金应该会有机会这样

对对对比较贵的可能就是数十甚至到数百美金但是我觉得就成本上来讲的话我刚刚讲是晶片本身不是 solution 是是是了解了解所以我是觉得说应用在那个终端产品上可能性绝对是大会增加大概是两年前我去帮一个纺织业做教育训练是他们其实也蛮需要的那我当时给他们董事长的一个 KPI

是因为他们比如说在这个成衣业的话那就更惨因为它一个工厂里面可能有上千台的这个真车那你要装很贵的那种 Edge Computing 的话是没有办法做的

所以我当时跟他讲我说其实我跟几个老板讲大概都是这个概念但是这个概念对他们来讲是遥不可及现在看起来是蛮有机会的所以在这样的一个运作当中刚刚讲到如果说一个比较低阶的视觉可以到 10 块钱的话这个真的是会有非常大的契机可以普及因为我们看到非常重要的一个经济语言者就是价跟量

起来加下去那就会滚动把量再冲上去那这一个 4 就起来了所以我们现在也蛮期待在 2025 年能够看到就好像是那个黄仁勋讲的那个 iPhone moment 在这个 Edge Computing 这个部分也能够爆发那今天非常感谢智慧创意的周威成创办人执行长来到我们节目当中那跟我们分享非常前卫但是呢其实也是我们等待已久的

因为过去我们看到这些什么关灯工厂这个 Lighthouse 这个其实真的是高大上只有大公司能玩现在我们可以看到可能它真的是可以落入寻常百姓家了那就让很多很多不同的产业都能够受惠特别是在终端应用可能在消费者这边也能够实质受惠谢谢威城再次来到我们节目当中谢谢谢谢院长邀请谢谢这里是智能新赛道我是蛇日星我们下周见

好