아침에 bofa 외사 리포트를 훑다가 재미있는 장표를 발견해서 bofa의 AI TAM Table 수치를 내멋대로 조정해본다.
AI 데이터센터 TAM은 2030년 1.95조 달러까지 커질 수 있는가
BofA 1.7조 달러 추정치와 Rubin 이후 인프라 사이클 점검
BofA는 AI Data Center Systems TAM이 2025년 2,641억 달러에서 2030년 1조 7,058억 달러로 확대될 것으로 전망했다. 2025~2030년 CAGR은 약 **45%**다.
이 숫자를 검증할 때 핵심은 GPU 출하량만이 아니다. Blackwell 본격 가동 이후 NVIDIA 플랫폼은 rack-scale system으로 이동하고 있다. Rubin 세대에서는 GPU, CPU, HBM4, NVLink, DPU, NIC, optical interconnect, context memory가 하나의 랙 단위로 묶인다.
따라서 AI 데이터센터 TAM은 compute-only보다 compute + memory + optical network + context storage 관점에서 쪼개서 다시 계산해 필요가 있다. 이 기준으로 재계산하면 2030년 AI Data Center Systems TAM은 BofA의 1.7조 달러보다 높은 1.9조~1.95조 달러 수준까지 열려 있다고 판단한다.
추가로 Agent AI가 본격화된다면, 2030년 AI Data Center Systems TAM은 2.3조 달러까지도 상방이 열려있다고 생각된다.
1. 핵심 결론
2030년 AI 데이터센터 TAM 추정의 핵심은 세 가지다.
첫째, 데이터센터 capex 기준선이 이미 크게 올라갔다. Gartner는 2026년 데이터센터 시스템 지출이 7,880억 달러 이상에 이를 것으로 전망했다. 이는 AI 인프라와 hyperscale cloud demand가 서버·네트워크·스토리지 투자를 동시에 밀어 올리고 있음을 보여준다.
출처: Gartner, Worldwide IT Spending Forecast
둘째, Rubin 세대는 rack당 메모리와 네트워크 탑재량을 끌어올린다. NVIDIA Vera Rubin NVL72는 72개 Rubin GPU, 36개 Vera CPU, 20.7TB HBM4, 54TB LPDDR5X CPU memory, 260TB/s NVLink bandwidth를 하나의 랙에 통합한다.
출처: NVIDIA Vera Rubin NVL72
셋째, AI networking과 context memory가 새로운 상향 축으로 부상한다. NVLink 6, ConnectX-9, Spectrum-X, CPO, silicon photonics, CMX, pooled memory 구조가 확대되면서 AI 데이터센터 TAM의 중심이 GPU 단품에서 랙 전체의 memory·network platform으로 이동하고 있다.
2. AI 데이터센터 TAM 세부 추정표
아래는 MARVELL의 2025.11월 인베스터 데이에서 발표한 AI D/C CAPEX Breadown장표의 일부이다.
전체 AI D/C CAPEX의 20%정도는 Physical Infrastructuring에 지출되고 나머지 80%정도가 Equipment Capex에 할당된다고 한다.
| 2025년11월 자료라 1.02조 달러 d/c capex는 과소추정되어 있다는 점을 감안. Marvell의 2028년 1.02조 달러는 너무 낮고, 내가 본 2028년 System TAM 1.65조 달러정도. |
여기서 말하는 장비(*Equipment)는 Physical Infrastructure를 제외한 장비. 즉 전력, 냉각, 건물, 토지, 배전 설비 등을 제외한 서버·네트워크·스토리지 중심의 장비이며, D/C Equipment Top-down TAM 모델은 아래와 같다.
단위는 십억 달러다.
| Bofa 일부 변형 |
이 추정에서 가장 크게 상향되는 항목은 AI Networking, HBM, Context Memory다. AI accelerator 자체도 커지지만, Rubin 이후에는 랙당 메모리 탑재량과 데이터 이동 경로가 더 빠르게 증가한다.
3. Rubin 세대의 변화: GPU보다 랙 전체를 봐야 한다
Blackwell은 이미 cost/token 측면에서 경쟁 GPU와 ASIC 대비 강한 우위를 보여주고 있다. NVIDIA는 GB300 NVL72가 Hopper 대비 사용자 반응성, 전력당 처리량, AI factory output을 크게 개선한다고 제시했다.
출처: NVIDIA GB300 NVL72
Rubin은 이 흐름을 랙 단위로 확장한다. Vera Rubin NVL72는 Blackwell 대비 추론 비용을 낮추고, MoE 학습에 필요한 GPU 수를 줄이는 방향으로 설계됐다. 동시에 HBM4, Vera CPU, NVLink 6, ConnectX-9, BlueField, Spectrum-X가 하나의 시스템으로 결합된다.
출처: NVIDIA Vera Rubin NVL72
이 변화는 AI 데이터센터 지출 구조에 직접적인 영향을 준다. cost/token 하락은 동일 예산으로 더 많은 토큰을 생성하게 만들고, agentic AI와 long-context inference 사용량을 확대한다. 그 결과 병목은 점차 HBM capacity, memory bandwidth, GPU 간 통신, optical interconnect, KV cache 재사용 구조로 이동한다.
4. HBM: 2030년 2,050억 달러까지 확대 가능
BofA는 2030년 HBM within accelerators를 1,683억 달러로 제시했다. Rubin 구조를 반영하면 이 수치는 2,050억 달러까지 높아질 수 있다.
Micron은 HBM TAM이 2025년 약 350억 달러에서 2028년 약 1,000억 달러로 성장할 것으로 전망했다. 또한 2026년 HBM 공급은 가격과 물량 계약이 완료됐다고 밝혔다.
출처: Micron Investor Presentation
Rubin NVL72는 랙당 20.7TB HBM4를 탑재한다. HBM4는 단순 용량 증가보다 더 큰 의미가 있다. bandwidth, package complexity, yield, power, ASP가 함께 올라가기 때문이다.
따라서 2030년 HBM 2,050억 달러는 출하량 증가만 반영한 숫자가 아니다. HBM4/HBM4E 전환, 랙당 탑재량 증가, 장문 컨텍스트 추론 수요, 공급 제약에 따른 가격 지속성이 함께 반영된 달러 기준 TAM이다.
5. AI Networking: 가장 큰 상향 축
AI Networking은 2030년 3,900억 달러로 추정한다. BofA의 2030년 AI Networking 추정치 3,161억 달러보다 약 739억 달러 높다.
상향의 핵심은 Rubin의 네트워크 구조다. Vera Rubin NVL72는 NVLink 6를 통해 GPU당 3.6TB/s all-to-all scale-up bandwidth를 제공하고, 랙 기준 NVLink bandwidth는 260TB/s에 달한다. ConnectX-9 SuperNIC은 GPU당 1.6Tb/s bandwidth를 제공한다.
출처: NVIDIA Vera Rubin NVL72
이 과정에서 늘어나는 것은 switch만이 아니다. AI networking은 아래 항목이 함께 커진다.
AI Switching: NVSwitch, Spectrum-X, Ethernet, InfiniBand, rack-scale switching
SmartNIC/DPU/NIC: ConnectX, BlueField, custom NIC attach
Optical connectivity: pluggable optics, optical DSP, CPO, silicon photonics
Electrical/copper: DAC, ACC, AEC
Scale-up fabric: retimer, cabling, optical I/O, rack-to-rack interconnect
NVIDIA와 Marvell의 NVLink Fusion 협력도 같은 방향을 보여준다. 양사는 custom XPU를 NVIDIA rack-scale fabric에 연결하고, advanced optical interconnect와 silicon photonics 협력을 언급했다.
출처: NVIDIA-Marvell NVLink Fusion
6. Custom ASIC/XPU: 대체재이면서 확장 요인
AI accelerator 시장은 NVIDIA GPU 중심으로 커지지만, custom ASIC/XPU도 동시에 성장한다. 하이퍼스케일러는 자체 ASIC을 키우고 있으며, Broadcom과 Marvell은 이 흐름의 핵심 공급망에 있다.
Marvell은 2028년 data center TAM을 940억 달러로 제시했다. 이 중 accelerated custom compute는 554억 달러, interconnect는 190억 달러, switching은 132억 달러, storage는 65억 달러다. 특히 custom XPU attach는 2023년 6억 달러에서 2028년 146억 달러로 확대될 것으로 전망했다.
출처: Marvell Custom AI Investor Event 2025
| 2023.11월 이전대비 +26% 상향조정 |
Broadcom도 custom AI accelerator와 AI networking 수요를 확인했다. FY2026 1분기 AI revenue는 84억 달러로 전년 대비 106% 증가했고, FY2026 2분기 AI semiconductor revenue 가이던스는 107억 달러다.
출처: Broadcom FY2026 Q1 Results
따라서 custom ASIC은 NVIDIA의 대체재로만 보기 어렵다. 일부는 경쟁하고, 일부는 NVIDIA 생태계의 fabric 안으로 들어간다. 이 구조에서는 accelerator TAM뿐 아니라 networking, attach compute, optical interconnect TAM도 함께 커진다.
7. Context Memory: AI Storage의 재분류
AI Storage는 2030년 1,050억 달러로 추정한다. 기존 SSD와 object storage뿐 아니라 KV cache, context memory, CMX, pooled memory appliance를 함께 반영한 수치다.
NVIDIA BlueField-4 기반 CMX는 Rubin pod 전체에서 KV cache를 공유·재사용하는 context memory tier다. NVIDIA는 CMX가 GPU memory를 확장하고, KV cache를 shared high-bandwidth resource로 전환한다고 설명한다.
출처: NVIDIA BlueField-4 CMX
Celestial AI의 Photonic Fabric Appliance도 같은 문제의식을 공유한다. PFA는 HBM3E, photonic switch, external DDR5를 결합해 최대 32TB shared memory와 115Tbps all-to-all digital switching을 제공하는 구조를 제시한다. 이는 fixed memory-to-compute ratio를 완화하려는 시도다.
출처: Celestial AI PFA Paper
Rubin 이후 AI storage는 단순 저장장치보다 context memory architecture에 가까워질 가능성이 높다. 장문 추론, agent workflow, multi-turn inference가 늘수록 KV cache를 저장하고 재사용하는 계층의 가치가 커진다.
8. BofA 대비 수정 내역
단위는 십억 달러다.
수정의 핵심은 accelerator 숫자를 무작정 키운 것이 아니다. Rubin의 cost/token 개선은 동일 workload 기준 GPU 필요량을 줄일 수 있다. 그러나 cost/token 하락은 inference 사용량을 키우고, long-context와 agentic workflow는 랙당 memory, networking, context storage content를 올린다.
따라서 상향의 중심은 AI Networking, HBM, Context Memory다.
9. 투자 관점의 핵심
2030년 AI 데이터센터 TAM을 볼 때 가장 중요한 변화는 rack content 증가다. GPU 단품의 출하량보다 랙당 메모리, 네트워크, optical interconnect, context memory가 얼마나 붙는지가 더 중요해지고 있다.
NVIDIA는 GPU 단품 기업보다 rack-scale platform 기업에 가까워지고 있다. Blackwell에서 cost/token 우위를 강화했고, Rubin에서는 HBM4, Vera CPU, NVLink 6, ConnectX-9, BlueField, Spectrum-X를 결합한다.
HBM 업체는 구조적 병목을 보유한다. HBM4/HBM4E 전환과 랙당 탑재량 증가는 단기 사이클보다 긴 수요 기반을 만든다.
AI networking 업체는 가장 큰 상향 영역에 위치한다. Switch, NIC, DPU, optical DSP, CPO, silicon photonics, active cable, retimer 수요가 함께 커진다.
Custom silicon 업체는 경쟁과 협력을 동시에 가져간다. Broadcom과 Marvell의 custom ASIC/XPU는 GPU를 일부 대체하지만, 동시에 새로운 fabric과 optical interconnect 수요를 만든다.
AI storage와 memory fabric 업체는 context memory 계층의 등장으로 새롭게 재평가될 수 있다. CMX와 PFA-like architecture는 KV cache, memory pooling, photonic fabric을 새로운 인프라 항목으로 끌어올린다.
10. 최종 판단
BofA의 2030년 AI Data Center Systems TAM 1.7조 달러는 현재 공개자료와 Rubin 세대의 기술 변화를 함께 고려하면 과도한 낙관으로 보기 어렵다. 오히려 데이터센터 capex 기준선 상승, HBM4 전환, NVLink 6, CPO, custom XPU attach, context memory 확산을 반영하면 2030년 base case는 1.9조~1.95조 달러가 더 적절해 보인다.
시나리오는 아래처럼 정리할 수 있다.
2030년 AI 데이터센터 TAM의 핵심 질문은 더 이상 GPU가 몇 개 팔리느냐에만 머물지 않는다. 앞으로 더 중요한 변수는 랙당 메모리 탑재량, 데이터 이동 경로의 광학화, 그리고 KV cache와 context memory가 독립적인 인프라 계층으로 자리 잡을 수 있는지다.
이 관점에서 보면 AI 데이터센터 TAM의 중심축은 GPU 단품에서 rack-scale memory·network·context platform으로 이동하고 있다.
여기에 AI Agent 기능의 본격 확산이 더해질 경우, 장문 컨텍스트 추론과 multi-step workflow 수요가 빠르게 증가할 수 있다. 이 경우 2030년 AI Data Center Systems TAM은 2.40조 달러까지 확대될 가능성이 있으며, 이는 2025~2030년 기준 **CAGR 약 55%**에 이르는 (*엄청난) 수치이다.
더 중요한 점은, 이 추정치에 최근 다시 주목받고 있는 로봇 및 physical AI 훈련을 위한 추가 AI 데이터센터 수요는 아직 본격적으로 반영되지 않았다는 것이다.
즉, 2.40조 달러 시나리오는 AI Agent 확산을 중심으로 한 상방 시나리오이며, physical AI가 별도의 대규모 훈련 수요로 부상할 경우 추가적인 TAM 상향 여지도 남아 있지 않을까 싶다.
=끝