【財訊快報／記者李純君報導】台積電(2330)業務開發及全球業務的資深副總經理暨副共同營運長張曉強今日在技術論壇中提到，台灣隨便路上都知道CoWoS，但未來大家還要記住另一個關鍵詞『COUPE』。

張曉強指出，從Chip Architecture角度來看AI，今天不管GPU、TPU、ASIC，其實AI Accelerator的架構幾乎都很類似，核心組成大概是，Advanced Compute SoC、HBM、Advanced Packaging（CoWoS），但隨著AI從Training走向Inference，張曉強提到，系統需求開始改變，Inference對Low Latency、Memory Access、High Bandwidth的要求越來越高。

而High-density SRAM雖然速度快，但有一個限制，SRAM Density遠低於DRAM。大概差一個order of magnitude，因此未來AI Inference，將更依賴高頻寬DRAM與先進記憶體整合，所以台積電現在已經積極與DRAM廠商合作，未來的方向是將DRAM直接Stack在Compute上面，也就是更進一步的3D Integration、Advanced Packaging，以及Memory Stacking來滿足下一世代AI的需求。

AI的架構，其實會有不同層次的安排，以NVIDIA黃仁勳常用所謂「五層蛋糕（Five-layer Cake）」來描述AI，包括Power / Electricity、Data Center、Chip、Model和Application。

張曉強提到，如果把「Chip」這一層再往下拆，其實裡面還有很多layer，第一層Communication + Compute，是Compute 最核心的，就是持續導入transistor innovation，今年其實是一個很重要的時間點，因為正式進入NanoSheet時代，過去幾年是在FinFET和NanoSheet，而今年開始，NanoSheet已經真正開始量產導入。

此外，Compute非常重要，但Compute is not enough，因此需要把不同Chip整合起來，就是Advanced System Integration，是Multiple Compute Die、多層堆疊和3D Integration一起整合，藉此提高整體運算密度與系統效率。

張曉強也強調，未來最大的變化將會來自Optical，而重要的詞彙就是『COUPE』，也就是Co-Packaged Optical / Optical Photonic Engine，台灣隨便路上都知道CoWoS，但未來大家還要記住另一個關鍵詞『COUPE』，因為未來AI Scale-up一定要靠Chip-to-Chip Optical Interconnect。