
- AI 推理、長上下文及 AI 代理需求擴張,令記憶體頻寬與容量成為新一輪硬件瓶頸。
- 代幣價格顯示輸出成本遠高於輸入成本,反映解碼階段對記憶體讀取與容量的需求更高。
- 記憶體需求正由 HBM 延伸至 LPDDR 及 NAND。英偉達、美光、三星、SK 海力士及中國記憶體供應鏈面對價值機會 。
過去市場普遍認為GPU供應決定AI發展的上限,隨着推理需求爆發、AI代理逐步落地,以及上下文長度爆炸式增加,真正的瓶頸早已擴展至記憶體頻寬與容量。
與此同時,模型公司也逐漸開始獲得盈利。市場過往認為前沿模型實驗室是「燒錢機器」,但這個看法可能已經過時。以 Anthropic 為例,公司年化營收由 2025 年底的90 億美元,升至2026年4月的逾300億美元,並預計於2026年第二季錄得營業利潤。
當模型實驗室開始實現盈利,便具備更強資本能力與更大誘因,為支撐推理增長而加大硬件投入。換言之,AI價值鏈的重定價,正由模型層全面延伸至硬件瓶頸。而在當前AI硬件層面中,最被低估的瓶頸並非只有 GPU,而是記憶體。
記憶體超級週期|由代幣價格窺探記憶體瓶頸
要理解記憶體為何會成為推理時代最重要的硬件瓶頸,我們可以先從模型實驗室的代幣價目表入手。代幣價格不只是收入來源,也反映不同推理階段的成本差異。
環顧美中兩地的主要前沿模型,輸出代幣價格普遍明顯高於輸入代幣,兩者通常相差數倍、甚至一個量級以上。以 Anthropic 的 Claude Opus 為例,輸入代幣收費為每百萬 5美元,但輸出代幣收費高達每百萬 25美元,價差達五倍。OpenAI、DeepSeek、Qwen 及 Kimi 的公開價目表,亦呈現類似的現象。
表一:主要前沿實驗室代幣價格比較
|
實驗室 — 模型 |
輸入(美元/百萬代幣) |
輸出(美元/百萬代幣) |
輸出/輸入比 |
|
Anthropic — Claude Opus 4.7 |
5.00 |
25.00 |
5 倍 |
|
OpenAI — GPT-5.5 |
5.00 |
30.00 |
6 倍 |
|
DeepSeek — V4 Pro |
0.435 |
0.87 |
2 倍 |
|
Moonshot — Kimi K2.5 |
0.60 |
3.00 |
5 倍 |
|
資料來源:Anthropic、OpenAI、DeepSeek、Moonshot 及奕豐金融編纂 數據截至:2026年5月26日 |
|||
這種定價差異,源於不同推理階段背後的成本結構不同。對模型實驗室而言,主要開支來自GPU租用;GPU每運行一秒,都是實際成本。因此,模型實驗室的核心目標,是在有限的GPU時數內處理盡可能多的用戶請求。
為了降低單位成本,實驗室會將多名用戶請求集中,並同時送進 GPU 進行批次處理(batching)。同一張 GPU 能同時服務的用戶愈多,每名用戶分攤的成本就愈低。
GPU推理成本(耗時)主要可拆分為兩部分:
• 資料讀取成本:將模型權重及任何已儲存的上下文由記憶體載入 GPU運算核心所消耗的時間。
• 運算成本:執行實際數學運算(即矩陣乘法以預測下一個代幣)所消耗的時間。
預填:一切皆可共享
預填(Prefill)是GPU推理計算的第一階段。當用戶輸入提示,例如一份文件,模型會一次過讀取並處理整段文本,分析不同詞元之間的關係。
由於輸入內容一開始已經固定,GPU可以同步處理整段文本中的大量計算,無須等上一個詞元完成後才處理下一個。因此,模型權重與輸入資料只需集中讀取一次,相關運算亦可一次過完成,令資料讀取成本與運算成本都大幅降低。
解碼階段:工作不可高效共享
解碼是推理的第二階段,解碼的成本較高,主要原因有兩個:
1. 同一名用戶內部無法共享成本
模型每生成一個代幣,GPU 都需要重新從記憶體讀取模型權重及上下文記憶,然後才能輸出下一個代幣。答案必須一個代幣接一個代幣生成:第二個代幣要先看到第一個代幣,第三個代幣又要先看到第二個代幣,無法像預填階段般同步處理。因此,每次資料讀取的成本,基本上只能由單一輸出代幣承擔。
2. 批次處理不能無限放大
用戶期待即時回應,若批次過大,每名用戶都要等待更長時間,延遲將明顯上升。對 AI 代理而言,問題更嚴重,因為代理往往需要執行數十、甚至數百個連續步驟;若每一次解碼都產生長延遲,將嚴重影響用戶體驗。
總括而言,即使模型實驗室盡量透過批次處理攤薄成本,解碼階段仍然難以像預填階段般高效共享。GPU 的運算本身非常快,先時AI真正的瓶頸,是每生成一個代幣都要消耗大量時間等待資料從記憶體搬入GPU的運算核心。正如我們在〈記憶體超級週期|技術變革,正在重寫供需邏輯〉中提及,AI瓶頸不只是算力,而是記憶體的頻寬與容量。
隨着AI使用場景不斷擴大,三股力量令記憶體挑戰進一步被放大。
• 上下文長度爆炸性增長
前沿模型的上下文窗口已由 2024 年的 20 萬代幣,擴展至今日的 100 萬代幣以上。由於鍵值快取(KV cache)*與上下文長度大致成正比,解碼階段每名用戶所需的記憶體佔用,已較過去擴大一個量級。
• MoE(專家混合)模型成為主流架構。
MoE 將模型拆分為多個專家,每個代幣只啟用其中一部分的專家。以 DeepSeek V3 為例,模型總參數量約6,700 億,但每個代幣實際只啟用約 370 億,其餘 6,300 億參數仍須儲存在可快速存取的位置。然而,若將全部參數都放入 HBM,成本上並不可行。
• 併發用戶批次處理推高記憶體佔用。
如前文所述,解碼階段需要將大量併發用戶集中為一個批次,以分攤反覆讀取模型權重的成本。問題是,批次愈大,每名用戶的鍵值快取亦必須同時在線,令整體記憶體佔用被急劇放大。
*鍵值快取(KV cache):模型在生成答案時,暫存的「短期記憶」,避免每生成一個新代幣都重新計算整段內容。
這三股力量疊加後,記憶體需求呈現爆炸式增長。即使英偉達的Rubin 每張 GPU 配備 288GB HBM(市場上最大的HBM容量),仍無法將所有數據集中在單一記憶體內。換言之,HBM 正同時觸及容量上限與成本上限。
因此,業界的解決方向,不是單純堆疊更多 HBM,而是將記憶體架構拆分為不同層:
表二:AI 推理的三層記憶體階層
|
層級 |
記憶體類型 |
角色定位 |
|
熱層(Hot) |
HBM |
當前解碼步驟、活躍權重、最熱鍵值快取 |
|
暖層(Warm) |
LPDDR |
溢出鍵值快取、未啟用 MoE 專家、預填階段上下文 |
|
冷層(Cold) |
NAND / SSD |
長期上下文儲存、低頻存取資料 |
|
資料來源: SemiAnalysis 及奕豐金融編纂 數據截至:2026年5月26日 |
||
暖層是此一架構中關鍵的中間層級。LPDDR5X(低功耗 DDR,原本廣泛用於智能手機的低功耗記憶體,現亦廣泛用於資料中心儲存資料)相對 HBM 約低 10 倍的頻寬,但每美元可提供約 10 倍的容量 — 對於需要合理存取速度、但不需要 HBM 高階吞吐量的資料而言,極具吸引力。
SOCAMM(系統單晶片附加記憶體模組)是英偉達專為 Rubin 平台設計的插槽式 LPDDR5X 記憶體模組。在 GB300 及更早世代中,DRAM 通常直接焊接於主板,成本亦隱含於整體系統定價之內。
SOCAMM2 打破了這一慣例:記憶體被拆分為獨立出售的模組,並以插槽式方式安裝。這並非單純技術選擇,而是具備明確商業意圖:
• 讓英偉達可將記憶體從 GPU 定價中拆分出來,獨立重定價,在不直接上調 GPU 價格的情況下提升系統毛利率;
• 將記憶體由一次性綑綁元件,轉化為可隨 LPDDR 市價調整的收入來源;
• 令英偉達成為模型實驗室與記憶體供應商之間的守門人,並在供應緊張下累積優勢。
表三:英偉達可通過SOCAMM2的彈性定價為自己創造更多收入
|
指標 |
價格/毛利 |
備註 |
|
2026 年第一季英偉達採購成本 |
約8美元(每 GB) |
已較上季出現顯著跳升,源於消費端與伺服器市場 LPDDR5X 供應緊張 |
|
2026 年底預測價格(每 GB) |
逾 13美元 (每 GB) |
2026 全年累計升幅約 60% |
|
英偉達轉售毛利率 |
約 60% |
英偉達全新毛來源 |
|
資料來源: SemiAnalysis 及奕豐金融編纂 數據截至:2026年5月26日 |
||
英偉達掌握市面上大部分 LPDDR5X 供應,並明確採取多源採購策略。目前,三星電子、SK 海力士及美光科技三大記憶體供應商,均已為 Vera Rubin平台量產 SOCAMM2。
表四:Vera Rubin 平台 SOCAMM2 供應商格局
|
供應商 |
模組容量 |
份額 |
差異化定位 |
|
三星電子 |
192 GB |
約 50%(份額領先) |
率先解決模組翹曲問題;最早完成量產認證 |
|
SK 海力士 |
192 GB |
第二位 |
製程節點最先進;2026 年 4 月開始量產 |
|
美光科技 |
256 GB |
第三位 |
唯一以規模出貨完整 Vera Rubin 記憶體三件組(HBM4 + SOCAMM2 + PCIe 5.0 SSD)的供應商 |
|
資料來源: TrendForce、三星、SK 海力士、美光、SemiAnalysis 及奕豐金融編纂 數據截至 2026 年 5 月 26 日 |
|||
相關文章:〈南韓記憶體雙寡頭:三星與 SK 海力士如何重塑韓股結構?〉
如果說 SOCAMM 是硬件端對分層記憶體的回應,DeepSeek 的技術創新則是模型端的回應。透過一系列壓縮機制,DeepSeek 大幅降低長上下文推理中的記憶體佔用。
但壓縮並不代表總需求下降,而是加速記憶體需求由昂貴的 HBM,向表二所示的暖層 LPDDR 及冷層 NAND 遷移,令受益者範圍由 HBM 龍頭進一步擴展至 LPDDR 與 NAND 供應商。
DeepSeek 的壓縮工具包由五項獨立機制構成,每一項都針對標準注意力中不同的低效率環節:
表五:DeepSeek 的記憶體壓縮創新
|
技術名稱 |
功能描述 |
|
多頭潛在注意力 |
把原本分散的記憶壓縮成一份共享的精簡「共同筆記」,大幅減少重複儲存 |
|
DeepSeek 稀疏注意力 |
只記住真正有變化或重要的內容,跳過大量重複或不重要的資訊 |
|
壓縮稀疏注意力 |
在 稀疏注意力機制基礎上再進一步壓縮資料,讓記憶體占用更低 |
|
重度壓縮注意力 |
把長對話或文件整理成不同層級的摘要,避免所有細節都塞進昂貴記憶體 |
|
記憶體與運算取捨框架(Engram) |
用更多計算來減少記憶體需求,簡單說就是「多算一點、少存一點」(可將資料存放在較便宜的 LPDDR) |
|
資料來源: Deepseek及奕豐金融編纂 數據截至 2026 年 5 月 26 日 |
|
這些機制疊加運用後,DeepSeek 的前沿模型可在更小容量的HBM的運行。
表六:100 萬代幣上下文鍵值快取佔用比較(8 位元精度)
|
模型 |
參數量 |
鍵值快取(100 萬代幣上下文) |
|
DeepSeek V4 |
1.6 萬億(MoE) |
5.48 GB |
|
GLM5 |
約 7,000 億 |
60 GB |
|
Qwen3-235B-A22B |
2,350 億(MoE) |
89 GB |
|
資料來源:kvcache.ai 及奕豐金融編纂 數據截至 2026 年 5 月 26 日 |
||
然而,壓縮單一用戶的記憶體佔用,並不會讓整體記憶體需求下降—反而會推動它進一步上升。
• 記憶體會被重新分配至更高價值任務
被釋出的記憶體不會長期閒置,模型實驗室會立即用於更長文件、多步推理,或在同一會話中調用更多工具。換言之,記憶體需求並未消失,而是被重新分配至更高價值的使用場景。
• 壓縮解鎖過往不可行的工作
過去部分任務因記憶體需求過高,在經濟上並不可行;當壓縮技術降低單一用戶的記憶體佔用後,程式碼庫分析、長篇文件審閱等長上下文場景便可大規模落地。隨着這些新應用上線,整體記憶體需求反而會進一步擴張。
• 壓縮改變的是需求分布,而非總量
壓縮與分層架構共同重塑記憶體需求落在哪一層。較小的鍵值快取令更多活躍上下文可留在 HBM 內處理;而不活躍、低頻存取的資料,例如溢出的鍵值快取、未啟用的 MoE 專家及長期上下文,則可下移至 LPDDR 與 NAND。推論系統所需的總容量並未消失,而是沿記憶體階層重新分布。
記憶體超級週期|有哪些受益者值得留意?
沿着記憶體遷移路徑,除了我們經常提及的兩家韓國記憶體巨頭,另有四家公司值得關注:英偉達、美光科技、長鑫存儲及長江存儲。
表七:記憶體分層架構下的受益者
|
名稱 |
重定價機制 |
2026 下半年催化劑 |
主要上行驅動因素 |
|
英偉達 |
SOCAMM2 守門人;記憶體轉售毛利率約 60% |
Rubin VR NVL72 於 2026 下半年量產爬坡 |
SOCAMM2 平均售價升幅 60%;系統級價值捕捉 |
|
美光科技 |
唯一供應完整 Vera Rubin 三件組(HBM4 + 256GB SOCAMM2 + PCIe 5.0 SSD) |
下半年季度披露顯示 LPDDR 產品組合轉變 |
直接受惠 LPDDR 平均售價上漲;相對三星、SK 海力士的產品廣度差異化 |
|
長鑫存儲 |
唯一具規模的中國本土 LPDDR5 供應商 |
科創板 IPO 過會及定價;上海 HBM3 後段封裝啟動;DeepSeek V4 國內部署 |
在美國出口管制下的「生存路徑」定位 |
|
長江存儲 |
DeepSeek 風格鍵值快取卸載至 SSD 的冷層 NAND 受益者 |
2026 年 6 月正式遞交科創板 IPO 申請;武漢三期廠房於 2026 年底投運 |
AI 代理任務帶動NAND 需求 |
|
資料來源:SemiAnalysis、TrendForce、美光科技及奕豐金融編纂 數據截至 2026 年 5 月 26 日 |
|||
英偉達與美光科技 — 西方玩家
雖然不直接生產記憶體,但英偉達能通過對供應鏈的控制捕捉溢價。由於 SOCAMM2 需要被獨立購買,英偉達可透過轉售取得約 60% 毛利率。隨着 Rubin VR NVL72 出貨量及 LPDDR5X 價格預計於 2026 年下半年同步上升,SOCAMM2 有望成為英偉達重要的利潤來源之一。
美光科技亦將同步受惠。雖然三星在供應份額上領先,SK 海力士在製程及密度上亦具競爭力,但美光的差異化在於產品組合更完整,能同時供應 HBM4、256GB SOCAMM2 及 PCIe 5.0 SSD,完整覆蓋 Vera Rubin 記憶體三件組。
長鑫存儲與長江存儲—中國記憶體前線
• 長鑫存儲(CXMT)
長鑫存儲現為全球第四大 DRAM 製造商。亦是中國唯一具規模的 LPDDR5 供應商。在美國出口管制限制中國取得先進 HBM 的背景下,公司正向 HBM 領域延伸,約 20% 總晶圓產能已配置予 HBM3 生產,並目標於 2026 年量產 HBM3E。
• 長江存儲(YMTC)
長江存儲主要受惠於記憶體需求向冷層 NAND 遷移。公司武漢兩座廠房已規模化運作,三期廠房預計 2026 年底投運,產能持續擴張。其 Xtacking 4.0 架構具備技術競爭力,支持公司維持全球前五大 NAND 記憶體製造商的地位;2026 年第一季營收亦按年約翻倍。
此外,長江存儲在混合鍵合技術上的積累,亦與未來 HBM 堆疊發展相關。隨着高堆疊 HBM 對頻寬及散熱要求提升,公司旗下武漢新芯的封裝試產線,以及與長鑫存儲的潛在合作,長遠而言或為其切入 HBM 堆疊相關業務留下想像空間。
表八:長鑫存儲與長江存儲財務概況及 IPO 進度
|
指標 |
長鑫存儲(CXMT) |
長江存儲(YMTC) |
|
核心產品 |
DRAM、LPDDR5;HBM3 開發中 |
3D NAND;經子公司切入 HBM 封裝 |
|
2025 年收入 |
人民幣 618 億,按年 +155.6% |
暫未披露 |
|
2025 年淨利潤 |
人民幣 18.7 億,首個盈利年度 |
暫未披露 |
|
2026 年第一季收入 |
人民幣 508 億,按年 +719.13% |
人民幣逾 200 億,按年約翻倍 |
|
2026 年第一季淨利潤 |
人民幣 247.6 億,按年 +1,688.30% |
暫未披露 |
|
產能/份額 |
產能利用率 95.73%;全球 DRAM 份額 7.67%,排名第四 |
兩座廠房合計月產能約 20 萬片;全球 NAND 份額約 13%,位列前五大 |
|
IPO 進度 |
2026 年 5 月 27 日通過科創板上市委審議,待中國證監會註冊批准 |
2026 年 5 月 19 日完成 IPO 輔導備案,預計 6 月中正式遞表 |
|
資料來源:長鑫存儲、長江存儲、彭博、TechNode、BigGo Finance 及奕豐金融編纂 數據截至 2026 年 5 月 26 日 |
||
記憶體超級週期|有何投資啟示?
如果投資者希望通過ETF一籃子方式投資相關機遇,以下產品值得留意
VanEck 半導體 ETF(NASDAQ:SMH)
SMH 是捕捉西方 SOCAMM2 重定價交易最直接的工具。透過單一高流動性 ETF,投資者可受益於英偉達的系統層級價值捕捉,以及美光科技在元件層面的平均售價上行。
不過正如我們在<CPU強勢回歸|從GPU到CPU,誰是下一個贏家?>提及,MVIS 美國半導體 25 指數的預期市盈率,已升至高於歷史平均一個標準差,反映不少利好因素已被市場提前反映。投資者不宜盲目追高,更適合等待估值回落或市場調整時,分階段增加配置。
圖一:MVIS美國半導體25指數

表九:MVIS美國半導體25指數預測
|
MVIS美國半導體25指數 |
2025A |
2026E |
2027E |
2028E |
|
每股盈利 (美元) |
329.0 |
795.4 |
1,097.1 |
1,292.3 |
|
盈利按年增長 (%) |
141.8% |
37.9% |
17.8% |
|
|
目標價(基於合理市盈率24倍) |
31,015 |
|||
|
潛在升幅 |
|
26% |
||
|
資料來源: 彭博及奕豐金融編纂 |
||||
Global X 中國半導體 ETF(HKEX:3191)
長鑫存儲或長江存儲兩家公司并未上市,但投資者也考慮通過3191捕捉參與中國半導體生態的投資機會。但相較 SMH 及 3119,3191 的投資邏輯更偏向事件驅動,估值本身亦較高。現時可能并不是合適的投資時機。
相關文章:<半導體ETF|Global X中國半導體ETF:捕捉國產替代與記憶體重估機會>
Global X 亞洲半導體 ETF(HKEX:3119)
如表四所述,SOCAMM2 交易的曝險不可能只透過美光科技捕捉 — 英偉達的供應約有一半落在三星電子與 SK 海力士身上。三星電子與 SK 海力士是3119的重要持股,且估值比較便宜,是捕捉記憶體超級週期的有效工具之一。
圖二:FactSet 亞洲半導體指數

表十:FactSet 亞洲半導體指數預測
|
FactSet 亞洲半導體指數 |
2025A |
2026E |
2027E |
2028E |
|
每股盈利 (港元) |
19.3 |
48.5 |
66.1 |
74.7 |
|
盈利按年增長 (%) |
151.7% |
36.4% |
12.9% |
|
|
目標價(基於合理市盈率18倍) |
1,344 |
|||
|
潛在升幅(%) |
|
76% |
||
|
資料來源: 彭博及奕豐金融編纂 |
||||








