엊그제 Amazon 실적발표에서는 AI 데이터센터와 Cloud 사업의 투자회수기간, 수익성, Capacity 수요를 가늠할 수 있는 의미 있는 지표들이 연달아 공개됐다.
이 수치들을 따라가다 보니, 현재의 Memory 가격이 AI Cloud가 창출하는 경제적 가치에 비해 얼마나 낮게 평가돼 있는지, 그리고 Cloud 사업자가 감당할 수 있는 Memory의 적정가격 상단이 어디까지인지 역산해볼 수 있었다.
오늘은 그 리서치 과정을 정리해 기록으로 남겨본다.
만약 내가 바라보는 메모리의 적정가치의 논리와 전제, 가정들이 '어느정도' 맞다면, 현재의 메모리 컨센서스는 수요량 증가를 어느 정도 반영하고 있더라도, 메모리 업체가 확보할 수 있는 가격과 이익의 상단은 여전히 충분히 반영되지 못하고 있을 가능성이 매우 크다.
Memory Premium
AI Cloud는 Memory 가격을 어디까지 감당할 수 있는가
AI 데이터센터 투자를 둘러싼 논쟁은 주로 CAPEX의 절대 규모에 집중돼 있다.
수백억달러를 들여 데이터센터와 GPU를 계속 증설해도 투자비를 회수할 수 있는지, AI 수요가 둔화되면 막대한 설비가 유휴자산으로 남는 것은 아닌지에 대한 우려다.
그러나 최근 Amazon의 실적과 어닝콜을 보면 논의의 출발점을 조금 바꿀 필요가 있다.
현재 AI Cloud 사업자는 매출이 발생하지 않는 미래를 위해 투자하는 단계에만 머물러 있지 않다. 이미 가동 중인 AI 서버에서는 충분한 매출과 이익이 발생하고 있으며, 서버와 Network 장비의 투자비도 평균 3년 이내에 회수되고 있다.
 |
| Jamin Ball (@jaminball) / X |
이제 Cloud 사업자의 핵심 질문은 데이터센터 투자를 계속할 것인지에 머물지 않는다.
이미 확보한 전력과 GPU를 활용해 얼마나 많은 유료 TOKEN을 생산할 수 있는가.
이 질문을 따라가면 Memory의 경제적 가치가 보이기 시작한다.
GPU는 AI 데이터센터에서 가장 비싼 핵심자산이지만, HBM의 용량과 Bandwidth가 부족하면 GPU 연산기는 데이터를 기다리며 놀게 된다. 더 많은 Memory가 이러한 대기시간을 줄여 TOKEN 생산량을 늘린다면, Memory 가격의 상단도 과거 DRAM 가격이나 제조원가만으로 설명하기 어려워진다.
Memory에 지불할 수 있는 최대가격은 추가 Memory가 회복시키는 GPU 가동시간과 그 시간에 생산되는 유료 TOKEN의 가치에 의해 결정된다.
핵심 요약
Amazon은 AWS 서버와 Network 장비의 투자비를 평균 3년 미만에 회수하고 있으며, 장비는 최소 5~6년 동안 사용하고 있다고 밝혔다.
LLM 추론에서는 GPU에 작업이 배정돼 있어도 HBM에서 데이터를 기다리면서 Tensor Core가 충분히 활용되지 못하는 Memory Wall이 발생한다.
H100에서 H200으로 넘어가면서 HBM 용량은 76%, Bandwidth는 43% 늘었고, Llama 2 70B 처리량은 최대 90% 증가했다.
Blackwell과 Rubin에서는 GPU 연산성능이 더 빠르게 증가하므로, Memory 부족으로 발생하는 GPU의 기회비용도 함께 커진다.
기준 시나리오에서 Rubin의 전체 Memory System은 GPU당 약 10만~11만달러의 경제적 가치를 창출할 수 있다.
이에 따라 HBM 가격은 현실적으로 현재의 3~5배까지 상승하더라도 Cloud 사업자의 장기 경제성이 유지될 가능성이 있다.
1. AI 데이터센터는 이미 투자비를 회수하고 있다
Amazon의 2026년 2분기 AWS 매출은 422억달러로 전년 대비 37% 증가했다. 영업이익은 166억달러로 64% 증가했으며, 영업이익률은 39.4%에 달했다.
AWS의 AI 사업과 자체 AI Chip 사업도 각각 연환산 매출 250억달러를 넘어섰다. AI 인프라 투자가 아직 매출로 연결되지 않은 선행투자에만 머무르는 것이 아니라, 실제 매출과 영업이익으로 전환되고 있다는 의미다. (Amazon)
 |
| 2026.07.31 Amazon |
Amazon은 어닝콜에서 AI 데이터센터의 투자회수 구조를 다음과 같이 설명했다.
데이터센터 건물과 전력설비는 서버 설치 약 2년 전부터 투자가 시작된다.
데이터센터는 30년 이상 활용할 수 있다.
서버와 Network 장비는 실제 고객 수요를 확인한 뒤 가동 몇 달 전에 구매한다.
서버와 Network 장비의 평균 투자회수기간은 3년 미만이다.
서버의 경제적 사용기간은 최소 5~6년이다.
최근 AI Capacity 계약은 대부분 5년 이상으로 체결된다.
서버를 6년 사용하면서 3년 이내에 투자비를 회수한다면, 이후 남은 2~3년은 상당한 잉여현금흐름을 창출하는 기간이 된다. Amazon은 AI 사업의 Margin과 Return이 과거 AWS Core 사업의 초기 단계보다 조금 앞서가고 있다고 평가했다. (알파스트리트 뉴스)
 |
| 2026.07.31 Amazon |
Amazon이 구체적인 AI ROIC 수치를 공개한 것은 아니다.
다만 3년 미만의 투자회수기간은 단순 현금회수 속도로 보면 매년 투자원금의 33% 이상을 회수하는 구조다. 회계상 ROIC와 완전히 같은 개념은 아니지만, AI 서버 투자의 경제성이 이미 상당히 높은 수준에 도달했음을 보여준다.
 |
| 2026.07.31 Amazon |
그럼에도 Amazon의 Free Cash Flow가 감소하는 이유는 기존 AI 서버가 돈을 벌지 못해서가 아니다.
현재 매출을 창출하는 데이터센터와 함께, 앞으로 사용할 데이터센터와 전력설비를 동시에 건설하고 있기 때문이다. 데이터센터는 완공되기 전까지 현금만 지출하지만, 서버가 설치되고 고객이 사용하기 시작하면 매출이 바로 발생한다.
Amazon은 2026년 Cash CAPEX 전망을 기존 2,000억달러에서 2,200억달러로 상향했다. 상향 원인 가운데 하나로 Memory 가격 상승을 직접 언급했다.
그럼에도 회사는 2026년 수요를 모두 충족하지 못할 것으로 예상했고, 2027년에도 Capacity 부족이 이어질 가능성이 높다고 설명했다. 2028년 Capacity에 대해서도 이미 상당한 고객 수요가 확인되고 있다. (marketbeat.com)
여기서 중요한 결론을 얻을 수 있다.
Memory 가격이 올라가고 있지만, Memory를 포함한 AI 데이터센터 투자의 예상수익이 여전히 비용보다 크기 때문에 Cloud 사업자는 투자를 줄이지 않고 있다.
2. AI Cloud의 핵심은 GPU 개수가 아니라 TOKEN 생산량이다
앞선 「Token Empire」에서 AI Cloud의 경쟁력을 다음과 같이 정의했다.
투자자본 1달러와 전력 1MW, Rack 한 개당 얼마나 많은 유료 TOKEN을 생산하는가.
AI Cloud의 원가구조를 단순화하면 다음과 같다.
TOKEN당 총원가
= GPU·Memory·Network·Data Center의 연간 고정비 ÷ 연간 유료 TOKEN 생산량
＋ TOKEN 생산에 사용되는 전력·냉각·운영비
GPU와 Memory, Network, 데이터센터 건물은 일단 구매하면 사용량이 줄어도 감가상각비가 계속 발생한다.
따라서 TOKEN 생산량이 늘어나면 동일한 고정비를 더 많은 TOKEN에 나눠 부담할 수 있다.
예를 들어 연간 고정비가 100이라고 가정해보자.
TOKEN을 100개 생산하면 TOKEN당 고정비는 1이다.
TOKEN을 200개 생산하면 TOKEN당 고정비는 0.5로 낮아진다.
새로운 데이터센터를 건설하지 않고 기존 GPU의 TOKEN 생산량을 두 배로 늘릴 수 있다면, TOKEN당 감가상각비는 절반 가까이 낮아질 수 있다.
이 때문에 Cloud 사업자가 중요하게 보는 지표도 GPU 한 개의 구매가격에만 머물지 않는다.
TOKEN당 총소유비용
GPU당 TOKEN 처리량
Rack당 TOKEN 생산량
전력 1MW당 매출
고객의 응답시간 기준을 만족하는 Goodput
생산된 TOKEN 중 실제 과금으로 연결되는 비율
Memory는 이 지표 대부분에 영향을 준다.
3. Memory Wall은 왜 GPU를 놀게 만드는가
GPU를 거대한 연산공장이라고 생각하면 이해하기 쉽다.
Tensor Core는 공장 안의 생산설비이고, HBM은 생산설비에 원재료를 공급하는 고속 컨베이어에 해당한다.
생산설비가 아무리 빨라도 컨베이어에서 원재료가 제때 도착하지 않으면 공장은 기다릴 수밖에 없다. AI GPU에서도 같은 현상이 발생한다.
LLM 추론은 크게 두 단계로 나뉜다.
Prefill
사용자가 입력한 Prompt 전체를 한꺼번에 읽고 처리하는 과정이다.
큰 행렬연산이 집중되므로 상대적으로 GPU 연산성능의 영향을 많이 받는다.
Decode
답변 TOKEN을 한 개씩 순차적으로 생성하는 과정이다.
TOKEN 하나를 만들 때마다 Model Weight와 이전 TOKEN의 정보를 저장한 KV Cache를 반복해서 불러와야 한다. 이 과정에서는 연산능력보다 HBM 용량과 Bandwidth가 병목이 되기 쉽다.
결국 Decode에서는 GPU에 작업이 배정돼 있고 전력도 소비하고 있지만, Tensor Core가 Memory에서 데이터가 도착하기를 기다리는 시간이 길어질 수 있다.
여기서 말하는 GPU 유휴가동률은 고객이 없어 GPU 전원이 꺼져 있는 비율과 다르다.
작업은 수행 중이지만 Memory와 Software 병목 때문에 GPU의 최대 연산능력을 매출로 전환하지 못하는 비중을 의미한다.
공개 연구에서는 Batch 1 Decode를 수행한 H100이 이론적 HBM Bandwidth의 약 27%만 활용한 사례가 확인됐다. CUDA Graph를 적용해 Kernel 실행 오버헤드를 줄이자 성능이 약 1.26배 개선됐다.
이는 LLM Decode가 Memory의 영향을 크게 받지만, Memory만 늘린다고 성능이 자동으로 비례 상승하는 것은 아니라는 점도 보여준다. Software, Kernel과 Scheduling이 함께 개선돼야 추가 Memory의 가치가 실현된다. (arXiv)
반대로 Memory 관리방식을 개선하는 것만으로 처리량이 크게 상승한 사례도 있다.
vLLM의 PagedAttention은 KV Cache의 파편화와 중복을 줄여 같은 GPU와 유사한 응답시간 조건에서 기존 Serving System보다 2~4배 높은 처리량을 기록했다. 물리적인 GPU를 추가하지 않고 Memory 활용방식만 바꿔 TOKEN 생산량을 늘린 사례다. (arXiv)
 |
| arXiv vLLM의 PagedAttention은 KV Cache의 파편화와 중복을 줄여 같은 GPU와 유사한 응답시간 조건에서 기존 Serving System보다 2~4배 높은 처리량을 기록 |
GPU 유휴율을 어떻게 가정할 것인가
모든 Cloud 사업자에 적용할 수 있는 단일 GPU 유휴율은 존재하지 않는다.
Model 크기, Context 길이, Batch, 고객 요청량, Serving Software와 Network 구성에 따라 결과가 크게 달라지기 때문이다.
따라서 아래 계산에서는 업계 평균을 단정하지 않고, 이해를 돕기 위한 기준 시나리오를 설정했다.
실제 TOKEN 생산에 사용되는 GPU 연산능력: 30%
Memory와 Software 병목으로 활용되지 못하는 연산능력: 70%
이 상태에서 Memory 개선으로 처리량이 증가하면 GPU의 생산적 활용률은 다음과 같이 변한다.
처리량이 60% 증가한다고 GPU 전체가 60% 더 바빠지는 것은 아니다.
기존 생산적 활용률 30%에 1.6배를 곱하면 48%가 된다.
그 결과 GPU 유휴 비중은 70%에서 52%로 낮아진다. Memory가 새로운 GPU를 만들어내는 것은 아니지만, 기존 GPU 안에서 놀고 있던 연산능력 18%p를 TOKEN 생산으로 전환하는 셈이다.
4. H100과 H200이 보여준 Memory의 경제성
Memory가 GPU 성능에 미치는 영향을 가장 쉽게 확인할 수 있는 사례가 H100과 H200이다.
두 GPU는 모두 Hopper Architecture를 기반으로 한다. H200의 가장 큰 변화는 HBM이다.
NVIDIA의 Llama 2 70B Benchmark에서 H200은 H100보다 최대 1.9배 높은 처리량을 기록했다. H100은 Batch 8, H200은 Batch 32가 적용됐다. (nvidia.com)
이는 Memory만 교체한 완벽한 통제실험으로 볼 수는 없다.
그러나 Batch를 8에서 32로 확대할 수 있었던 핵심 이유가 HBM 용량과 Bandwidth 확대라는 점이 중요하다. 추가 Memory가 더 많은 사용자의 KV Cache를 동시에 보관할 수 있게 만들면서 GPU의 연산설비를 더 효율적으로 활용한 것이다.
앞서 설정한 기준 시나리오에 적용하면 다음과 같다.
개선 전 생산적 활용률: 30%
H200 처리량 개선: 최대 90%
개선 후 생산적 활용률: 30% × 1.9 = 57%
연산 유휴 비중: 70% → 43%
61GB의 추가 HBM과 더 높은 Bandwidth가 GPU의 연산 유휴 비중을 약 27%p 줄일 수 있다는 계산이다.
물론 모든 Model과 Workload에서 1.9배가 반복되지는 않는다.
그럼에도 H100에서 H200으로의 변화는 Memory가 단순히 GPU BOM을 높이는 부품을 넘어, 이미 구매한 Tensor Core를 실제 매출로 전환하는 자산이라는 점을 보여준다.
5. Blackwell과 Rubin에서는 Memory의 가치가 더 커진다
Hopper 이후 NVIDIA의 GPU 연산성능은 빠르게 증가하고 있다.
B200은 DGX H100보다 최대 15배의 추론성능을 제공한다고 NVIDIA는 설명한다. 이 수치에는 FP4 연산, Transformer Engine, NVLink와 Software Stack의 개선이 모두 포함돼 있으므로 전부를 Memory의 효과로 볼 수는 없다. (nvidia.com)
다만 GPU 연산성능이 Memory Bandwidth보다 빠르게 증가하면 새로운 문제가 발생한다.
연산기는 더 빨라졌지만 데이터를 공급하는 속도가 이를 따라오지 못하면서 Memory Wall이 오히려 커질 수 있다.
주요 NVIDIA GPU의 Memory 사양을 비교하면 다음과 같다.
DGX B200은 8개 GPU에 총 1,440GB의 HBM3E와 64TB/s의 Memory Bandwidth를 제공한다. GPU당으로 환산하면 180GB와 8TB/s다. (nvidia.com)
GB300은 약 288GB의 HBM3E를 탑재한다. NVIDIA는 더 큰 Memory가 Batch를 확대하고, 긴 Context를 사용하는 AI Reasoning의 최대 처리량을 높인다고 설명한다. (nvidia.com)
Rubin은 HBM 용량을 288GB로 유지하면서 Bandwidth를 22TB/s로 높인다. GB300 대비 약 2.75배에 해당한다.
Vera Rubin NVL72의 CPU Memory도 Rack당 54TB로 확대된다. GB300 NVL72의 17TB와 비교하면 세 배가 넘는 수준이다. (nvidia.com)
NVIDIA는 Vera Rubin NVL72가 GB200 NVL72보다 동일 전력에서 최대 10배 많은 TOKEN을 생산하고, 백만 TOKEN당 비용을 10분의 1로 낮출 수 있다고 제시한다. (nvidia.com)
다만 이 10배는 HBM4만으로 만들어지는 성능이 아니다.
NVFP4 연산성능
Rubin GPU
Vera CPU
HBM4
NVLink 6
Network
Attention 최적화
Prefill·Decode 분리
Serving Software
이 모든 요소가 함께 개선된 결과다.
따라서 Memory의 경제적 가치를 계산할 때는 전체 10배를 사용하지 않고, 그중 Memory가 직접 만들어내는 처리량만 보수적으로 분리해야 한다.
차세대 GPU에서 Memory가 기여하는 처리량 가정
아래 수치는 NVIDIA가 제시한 공식 Benchmark가 아니라, Capacity와 Bandwidth 변화에서 Memory의 기여분만 추출한 분석 가정이다.
B200은 전체 추론성능이 H200보다 훨씬 높지만, 그중 상당 부분은 FP4와 Tensor Core의 개선에서 발생한다. 따라서 Memory에 귀속되는 처리량은 60%로 제한했다.
GB300은 Bandwidth보다 Memory Capacity 확대가 중심이다. Long Context와 큰 Batch에서는 가치가 크지만, 짧은 Context에서는 일부 Memory가 남을 수 있어 처리량 증가를 35%로 가정했다.
Rubin은 Bandwidth가 2.75배 높아지지만, Network와 Kernel 등 다른 병목이 남아 있다. 이에 따라 Memory가 만들어내는 처리량 개선은 175%가 아닌 100%, 즉 두 배로 가정했다.
6. 추가 Memory는 Cloud 매출과 이익을 얼마나 늘리는가
Memory의 경제적 가치는 다음 식으로 계산할 수 있다.
추가 Memory의 경제적 가치
= GPU 시간당 매출
× 연간 시간
× 유료가동률
× Memory로 인한 처리량 증가율
× Cloud 사업자가 가져가는 매출 비중
× 추가 매출의 영업이익률
× 장비 사용기간의 현재가치
계산에는 다음과 같은 기준을 적용했다.
여기서 유료가동률 70%는 앞서 언급한 GPU 연산 유휴율 70%와 다른 개념이다.
유료가동률은 고객이 GPU를 사용하며 요금을 지불하는 시간의 비율이다.
연산 유휴율은 유료작업을 수행하는 도중에도 Tensor Core가 Memory를 기다리며 충분히 활용되지 못하는 비율이다.
처리량 증가분의 매출 회수율은 60%로 설정했다.
Cloud 사업자가 추가 처리량을 전부 가격으로 가져가기 어렵기 때문이다. 일부는 TOKEN 가격 인하, 더 빠른 응답속도와 고객 SLA 개선의 형태로 고객에게 돌아간다.
반면 Capacity가 부족한 Cloud 사업자는 기존 고객을 더 적은 GPU로 처리하고, 남는 GPU를 다른 고객에게 재판매할 수 있다.
Cloud 가격의 대리치로 CoreWeave의 공개가격을 사용했다.
H200: GPU당 시간당 6.31달러
B200: GPU당 시간당 8.60달러
GB200: GPU당 시간당 10.50달러
GB300: 4GPU당 시간당 61.44달러, GPU당 약 15.36달러
Rubin 가격은 공개되지 않아 GPU당 시간당 18달러를 분석 가정으로 사용했다. 실제 Hyperscaler의 장기계약 가격은 공개 On-demand 가격보다 낮을 수 있다. (CoreWeave)
H200에서 B200으로 전환할 경우
B200의 Memory 개선으로 처리량이 60% 증가한다고 가정했다.
계산 과정은 다음과 같다.
연간 추가 매출
= 8.60달러 × 8,760시간 × 70% × 60% × 60%
= 약 1.90만달러
여기에 추가 매출 영업이익률 60%와 4년 현재가치를 적용하면 GPU당 약 3.61만달러가 된다.
B200에 추가된 HBM Capacity와 Bandwidth를 확보하기 위해 GPU당 3만달러 이상의 Premium을 지불하더라도, Cloud 사업자는 4년간 발생하는 추가 영업이익으로 이를 회수할 수 있다는 의미다.
GB200에서 GB300으로 전환할 경우
GB300은 HBM Capacity 확대를 통해 더 큰 Batch와 긴 Context를 지원한다.
처리량 증가를 35%로 가정하면 다음과 같다.
GB300의 Memory 가치는 모든 워크로드에서 동일하지 않다.
짧은 Context의 소형 Model에서는 288GB의 HBM을 전부 활용하지 못할 수 있다. 반대로 긴 Context와 Reasoning, Agentic AI처럼 KV Cache가 빠르게 증가하는 환경에서는 추가 Capacity가 Batch와 TOKEN 매출로 직접 연결될 가능성이 높다.
GB300에서 Rubin으로 전환할 경우
Rubin은 HBM Capacity보다 Bandwidth 증가가 핵심이다.
HBM Bandwidth가 8TB/s에서 22TB/s로 2.75배 증가하지만, 계산에서는 Memory에 귀속되는 처리량 개선을 100%로 제한했다.
Rubin의 전체 성능은 GB200보다 최대 10배 높아질 수 있지만, 본 계산은 그중 Memory에 귀속되는 효과를 두 배로만 반영했다.
그럼에도 HBM4가 창출하는 경제적 가치는 GPU당 약 12.6만달러로 추정된다.
Rubin의 실제 Cloud 가격이 시간당 15달러에 그친다면 이 가치는 약 10.5만달러로 낮아진다. 시간당 20달러라면 약 14만달러까지 올라간다.
따라서 Rubin HBM4의 경제적 가치는 GPU당 약 10만~14만달러의 범위로 보는 것이 적절하다.
7. HBM·Server DRAM·NAND의 가치는 서로 다르다
모든 Memory가 GPU 유휴시간을 같은 정도로 줄이는 것은 아니다.
GPU 연산기와 가까울수록 TOKEN 처리량에 직접적인 영향을 주고, 더 높은 가격을 정당화할 수 있다.
HBM
HBM은 GPU Package에 직접 연결된다.
Decode 과정에서 Model Weight와 KV Cache를 Tensor Core에 공급하기 때문에, Capacity와 Bandwidth 증가는 GPU 처리량과 직접 연결될 가능성이 가장 높다.
Batch 확대
더 큰 Model 상주
KV Cache 증가
CPU Memory Offloading 감소
GPU 간 통신 감소
TOKEN당 응답시간 단축
HBM이 가장 높은 가격결정력을 확보할 수 있는 이유다.
Server DRAM과 LPDDR
Host Memory는 HBM보다 느리지만 다음 데이터를 저장할 수 있다.
Cold KV Cache
오래된 Context State
Model과 Activation
Prefix Cache
HBM에서 밀려난 데이터
GPU에서 곧 사용할 데이터의 Staging 영역
Rubin의 CPU Memory는 GB300 대비 GPU당 약 514GB 증가한다.
추가 Host Memory가 전체 처리량을 10% 개선한다고 가정하면 GPU당 4년 경제적 가치는 약 1.26만달러가 된다.
추가 DRAM 1GB당 가치는 다음과 같다.
1.26만달러 ÷ 514GB = 약 25달러/GB
처리량 개선 정도에 따라 가격경계도 달라진다.
Server DRAM은 HBM을 보조하지만 HBM Bandwidth를 완전히 대체하지 못한다. 따라서 HBM만큼 높은 가격 상승을 흡수하기는 어렵다.
Enterprise NAND
NAND는 정상적으로 Model이 HBM에 올라간 Steady-state Decode에서는 TOKEN을 직접 생산하지 않는다.
대신 GPU가 작업을 시작하기 전후의 대기시간을 줄인다.
Model Loading
Training Checkpoint 이동
Prefix Cache 저장
Cold KV Cache
Model 교체
Serverless 추론의 Scale-up
데이터와 Model Repository
GPU당 4TB의 고성능 NAND가 전체 처리량을 3% 높인다고 가정하면 4년 경제적 가치는 약 3,800달러다.
3,800달러 ÷ 4TB = 약 950달러/TB
처리량 개선에 따른 가격경계는 다음과 같다.
NAND는 Model 전환과 Cache 재사용이 많은 환경에서 가치가 높아진다. 반면 같은 Model을 계속 실행하는 단순한 Batch Inference에서는 경제적 가치가 낮다.
8. 현재 Memory 가격은 경제적 상단에 도달했는가
HBM 계약가격은 고객과 공급업체 간의 장기계약으로 결정되기 때문에 정확한 가격이 공개되지 않는다.
공개된 Teardown과 시장자료에서는 B200의 HBM3E 비용을 GPU당 약 2,400~2,900달러 수준으로 추정한다. 일부 분석에서는 Packaging과 공급부족 Premium을 반영해 약 4,000달러까지 적용한다.
공식 계약가격이 아닌 분석용 대리치라는 점은 고려해야 한다. (Silicon Analysts)
 |
| (Silicon Analysts) |
Rubin NVL72의 HBM4와 LPDDR5X, NAND를 합친 전체 Memory 비용은 Rack당 약 200만달러, GPU당 약 2.8만달러로 추정되고 있다. 이 역시 NVIDIA가 공개한 공식 BOM이 아니라 공급망 자료를 이용한 추정치다. (tomshardware.com)
Rubin의 전체 Memory 가치를 정리하면 다음과 같다.
HBM4 Bandwidth 개선 가치: GPU당 약 12.6만달러
추가 Host Memory 가치: 약 1.26만달러
NAND 가치: 약 0.38만달러
단순 합계: 약 14.2만달러
이 효과들은 일부 중복된다.
예를 들어 HBM이 충분하면 Host Memory Offloading의 가치가 낮아지고, Host Memory가 충분하면 NAND Cache의 추가효과도 줄어든다.
중복효과를 20~30% 할인하면 Rubin 전체 Memory System의 경제적 가치는 GPU당 약 10만~11만달러로 추정된다.
NVL72 Rack 기준으로는 약 720만~800만달러다.
현재 Memory 비용 추정치가 GPU당 약 2.8만달러라면, 전체 Memory 가격이 약 3~4배가 되기 전까지는 추가 TOKEN이 창출하는 영업이익으로 비용을 회수할 수 있다는 계산이다.
TrendForce도 일반 DDR5의 수익성이 HBM에 근접하거나 일부 조건에서 추월하면서 Memory 공급업체가 HBM 가격을 더 높여야 할 경제적 유인이 커지고 있다고 분석했다. HBM 생산은 일반 DRAM Wafer를 사용하기 때문에 HBM 가격이 충분히 높지 않으면 공급업체가 일반 DRAM 생산을 선호할 수 있다. (trendforce.com)
Cloud 사업자가 높은 Memory 가격을 수용하는 이유는 Memory 자체가 저렴해서가 아니라, Memory 부족으로 더 비싼 GPU가 놀면서 발생하는 손실이 더 크기 때문이다.
9. 최종 적정가격 경계
아래 수치는 Memory 업체의 실제 계약가격 전망이 아니다.
추가 Memory가 GPU 유휴시간을 줄여 만들어내는 Cloud 사업자의 매출과 영업이익을 역산한 경제적 경계다.
가격 상승 가능성은 두 단계로 나눠 봐야 한다.
이론적 가격 상승 범위
추가 Memory가 창출하는 경제적 가치를 Memory 공급업체가 모두 가격으로 가져간다고 가정한 최대 상단이다.
현실적 가격 상승 허용범위
NVIDIA의 GPU 가격 인상, TOKEN 가격 하락, 고객에게 이전되는 성능개선 효과, Software 최적화 실패와 낮은 가동률을 함께 반영한 범위다.
Memory 가격 상승 허용범위
표에서 현재 대비 3배는 가격이 기존 가격의 세 배가 된다는 의미다. 상승률로 표현하면 약 200% 상승에 해당한다.
이론적 상단과 현실적 상단이 다른 이유
B200 HBM3E의 경제적 가치는 GPU당 약 3.6만달러로 계산된다.
현재 HBM3E 비용을 2,400~4,000달러로 가정하면 이론적으로는 현재 가격의 약 9~15배까지 지불할 수 있다.
그러나 HBM 공급업체가 이 가치를 전부 가져갈 수는 없다.
Blackwell의 높은 TOKEN 생산성은 HBM뿐 아니라 다음 요소가 함께 만든다.
Tensor Core
FP4
NVLink
Network
Software Stack
Cooling
Rack 설계
NVIDIA도 GPU와 Rack 가격을 올릴 수 있고, Cloud 사업자는 성능개선 일부를 더 낮은 TOKEN 가격이나 더 빠른 응답속도로 고객에게 돌려줘야 한다.
따라서 B200 HBM3E의 이론적 상승 여력은 9~15배지만, 현실적으로 Cloud 사업자가 안정적으로 감당할 수 있는 범위는 약 3~5배로 보는 편이 적절하다.
GB300은 이론적으로 약 8~13배까지 가능하다.
다만 GB300의 가치는 Bandwidth보다 HBM Capacity 확대에서 발생한다. 짧은 Context에서는 추가 Memory가 남을 수 있으므로 현실적인 가격 상승 허용범위는 약 3~4배로 낮아진다.
Rubin HBM4의 이론적 가격 여력은 가장 크다.
HBM Bandwidth가 8TB/s에서 22TB/s로 증가하면서 Memory-bound Decode의 TOKEN 처리량을 직접 높일 수 있기 때문이다. GPU당 HBM4 비용을 8,000~1.2만달러로 가정하면, 경제적 가치 10만~14만달러는 현재 가격의 약 8~18배에 해당한다.
그럼에도 Rubin의 성능에는 GPU 연산, NVLink, Vera CPU와 Software 개선이 함께 반영된다.
이를 고려하면 Rubin HBM4의 현실적인 가격 상승 허용범위는 현재 대비 약 3~5배로 추정된다.
반면 Server DRAM과 NAND는 GPU 연산기에 직접 데이터를 공급하지 않는다.
HBM을 보조하고 GPU 대기시간을 줄일 수 있지만, Steady-state Decode의 핵심 병목을 완전히 제거할 수 없기 때문에 가격 상승을 흡수할 수 있는 범위도 상대적으로 낮다.
핵심 결론
Amazon의 실적과 어닝콜은 AI 데이터센터 투자의 경제성이 이미 확인되고 있음을 보여준다.
AWS 매출과 영업이익은 각각 37%, 64% 증가했고, 서버와 Network 장비의 투자비는 평균 3년 미만에 회수된다. 서버는 최소 5~6년 동안 사용되며, AI Capacity 계약도 대부분 5년 이상이다. (Amazon)
Cloud 사업자는 이미 가동 중인 AI 서버에서 충분한 현금흐름을 창출하고 있다.
이제 경쟁의 중심은 GPU를 얼마나 많이 구매했는지보다, 그 GPU로 얼마나 많은 유료 TOKEN을 생산하는지로 이동하고 있다.
이 과정에서 HBM은 단순한 원가 항목에 머물지 않는다.
HBM은 이미 구매한 GPU와 데이터센터의 유휴시간을 줄여 TOKEN 생산량을 늘리는 생산설비다.
H100에서 H200으로 넘어갈 때 HBM 용량은 76%, Bandwidth는 43% 증가했고, Llama 2 70B 처리량은 최대 90% 늘었다.
Blackwell과 Rubin에서는 GPU 연산성능이 더 빠르게 높아진다. 따라서 Memory가 충분하지 않을 때 놀게 되는 Tensor Core의 기회비용도 함께 커진다.
Rubin HBM4는 GB300보다 Bandwidth가 2.75배 높다. 전체 성능개선 가운데 Memory에 귀속되는 처리량을 두 배로 제한해도, GPU당 약 10만~14만달러의 경제적 가치가 발생한다.
결론은 분명하다.
HBM은 가격이 크게 상승해도 Cloud 사업자의 경제성이 유지될 가능성이 높다.
HBM의 적정가격 상단은 과거 Commodity DRAM 가격이나 제조원가만으로 결정되지 않는다.
다음 세 가지가 실제 가격경계를 결정한다.
추가 HBM이 얼마나 많은 GPU 대기시간을 줄이는가
회복된 GPU가 얼마나 많은 유료 TOKEN을 생산하는가
추가 TOKEN이 Cloud 사업자에게 얼마나 많은 영업이익을 남기는가
기준 시나리오에서 B200·GB300·Rubin HBM은 현재 대비 약 3~5배까지 가격이 높아져도 Cloud 사업자의 장기 경제성이 유지될 수 있다.
Server DRAM과 NAND의 가격 상승 여력은 HBM보다 낮다. GPU Tensor Core에 직접 데이터를 공급하는 정도가 낮기 때문이다.
Memory의 가격결정력은 다음 순서로 정리할 수 있다.
HBM4 > HBM3E > Server DRAM·LPDDR > Enterprise NAND
다만 최종적으로 봐야 할 지표는 HBM 가격 하나가 아니다.
NVIDIA가 GPU와 Rack 가격을 동시에 크게 올리고, TOKEN 가격은 빠르게 하락하며, Cloud의 유료가동률까지 낮아진다면 Memory의 경제적 가치도 줄어든다.
따라서 실질적인 가격경계는 다음 지점에서 형성된다.
GPU와 Memory를 포함한 Rack 전체 가격 상승률이 동일 전력당 유료 TOKEN 생산량 증가율을 넘어서는 시점
그 이전까지 Cloud 사업자에게 더 비싼 Memory는 비용 부담인 동시에 더 많은 매출과 이익을 생산하는 자산이다.
현재의 AI Cloud 투자회수기간과 차세대 GPU의 TOKEN 생산성 개선을 함께 고려하면, 적어도 HBM 가격은 시장의 기존 예상보다 훨씬 높은 수준까지 상승할 경제적 근거를 확보하고 있다.
 |
| 주: 본 추정치는 본문에서 산출한 메모리 프리미엄의 적정 상방 가격을 SKH의 기존 출하량과 비용구조에 적용한 이론적 연간 실적 상단임. 정상적인 컨센서스 전망이 아닌 가격 민감도에 따른 기계적 Ceiling 추정치로 해석해야 함. 즉, AI Cloud 경제성이 훼손되기 전까지의 이론적·현실적 Ceiling으로 해석 |
 |
| 주: 본 추정치는 본문에서 산출한 메모리 프리미엄의 적정 상방 가격을 SEC의 기존 출하량과 비용구조에 적용한 이론적 연간 실적 상단임. 정상적인 컨센서스 전망이 아닌 가격 민감도에 따른 기계적 Ceiling 추정치로 해석해야 함. 즉, AI Cloud 경제성이 훼손되기 전까지의 이론적·현실적 Ceiling으로 해석 |
=끝
댓글 없음:
댓글 쓰기