2026년 8월 2일 일요일

생각정리 327 (* Situational Awareness: The Decade Ahead, OOM)

지난 주말, Leopold Aschenbrenner의 과거 인터뷰를 다시 찾아봤다.

가장 인상적이었던 것은 그의 사고의 속도였다. 그는 대화 도중에도 스스로 질문을 던지고 곧바로 다음 해답으로 넘어갔다. 머릿속에서는 이미 A에서 B, 다시 C로 이어지는 인과관계가 정립돼 있는 듯했고, 상대방이 그 흐름을 따라오지 못할 때면 약간의 답답함도 드러나는 것처럼 보였다.

상대방의 속도에 맞춰 설명하기보다 자신의 사고를 더 깊이 밀어붙이는 유형에 가까웠다. 대화 중 갑자기 한 단계 앞선 질문을 던지고, 상대방이 잠시 맥락을 놓치는 장면에서도 그러한 특징이 엿보였다.

AI 기술과 자본시장이 지금처럼 빠르게 변화하는 환경에서 저런 속도로 사고하는 사람들과 경쟁해야 한다고 생각하니 솔직히 등골이 서늘해졌다.

~~(머리 회전이 빠른 어린 세대, 미래의 투자자(*경쟁자)들이 두려워진다..)~~

이번 글에서는 그가 OpenAI 재직 당시 작성했고, 이후 투자자로 전환하는 과정에서 자신의 AI 전망을 집대성한 장문 에세이 **《Situational Awareness: The Decade Ahead》**를 따라가 본다.

그의 결론을 그대로 받아들이기보다, AI Computing 수요를 어떤 논리와 수치로 추론했는지, 그리고 그 사고방식에서 무엇을 배울 수 있는지를 중심으로 정리해보려 한다.

OOM: 2030년 AI Computing 1만 배와 H/W 수요의 실제 크기

2024년 6월 Leopold Aschenbrenner가 공개한 **《Situational Awareness: The Decade Ahead》**는 AGI의 도래 가능성을 다룬 장문 에세이로 알려졌다.

그러나 이 글의 산업적 의미는 AGI가 정확히 어느 해에 등장하느냐에만 있지 않다.

Aschenbrenner는 AI 성능의 발전을 물리적 Compute, 알고리즘 효율, Unhobbling이라는 세 가지 요소로 분해했다. 그리고 서로 성격이 다른 발전을 OOM, Order of Magnitude라는 하나의 단위로 환산했다.

이 방식은 AI 산업의 미래 수요를 추정하는 데 유용하다.

모델 성능이 앞으로 얼마나 높아지는지를 추정하는 데서 끝나지 않는다. 그 성능을 구현하기 위해 얼마나 많은 AI 데이터센터 전력과 GPU, HBM, DRAM, NAND, Network Chip, Optical Component와 냉각설비가 필요한지까지 연결할 수 있기 때문이다.

이번 글의 출발점은 다음 질문이다.

2030년까지 AI Computing 생산능력은 얼마나 증가할 것인가.

그리고 그 결론을 다시 물리적 수요로 환산해본다.

그 정도의 AI Computing을 구현하려면 실제로 얼마나 많은 GPU와 Memory, Network, Storage, 전력 인프라가 필요할까.

1. 《Situational Awareness: The Decade Ahead》

Aschenbrenner는 AI를 단순한 소프트웨어 산업으로 보지 않았다.

그는 Frontier AI가 발전할수록 GPU뿐 아니라 데이터센터와 발전소, 송전망, 변압기, 냉각설비, 반도체 생산시설까지 함께 확대돼야 한다고 봤다.

AI 경쟁의 단위가 Model에서 Cluster로 이동하고, 다시 Cluster에서 AI Factory 전체로 이동한다는 것이 에세이의 핵심이다.

그가 제시한 초기 경로는 다음과 같았다.

그는 2027년 전후 AI 관련 연간 투자액이 1조달러에 이를 수 있다고 전망했다.

동시에 AI Scaling의 최종 병목은 GPU 생산능력보다 전력과 전력 인프라가 될 가능성이 높다고 주장했다.

2026년 현재 돌아보면, 개별 연도와 수치는 수정할 부분이 있다.

그러나 AI가 물리적 자본과 전력을 대규모로 소비하는 산업으로 전환될 것이라는 방향성은 상당히 정확했다.

생각정리 326 (* Right Thesis, Wrong Leverage)

OOM이란 무엇인가

OOM은 Order of Magnitude, 즉 10진수 기준의 규모 차이를 뜻한다.

학습에 투입되는 Compute가 10배 증가하면 Physical Compute가 +1 OOM 증가한 것이다.

과거와 같은 성능을 10분의 1에 해당하는 Compute만으로 달성하게 돼도 Algorithmic Efficiency가 +1 OOM 개선된 것이다.

OOM의 장점은 서로 다른 개선요인을 더할 수 있다는 데 있다.

Physical Compute +1 OOM
Algorithmic Efficiency +1 OOM
Unhobbling +1 OOM
총합 +3 OOM
= 1,000배의 Task-effective Compute

다만 이것이 AI의 지능지수나 사고능력이 1,000배 향상됐다는 의미는 아니다.

특정 수준의 문제를 해결하기 위해 사용할 수 있는 연산량과 효율, 실제 업무수행 능력을 Compute-equivalent로 환산한 개념이다.

2. AI 발전을 구성하는 세 가지 OOM

Aschenbrenner는 GPT-2에서 GPT-4로 이어진 발전을 크게 세 요소로 분해했다.

Physical Compute

더 많은 GPU와 더 큰 Cluster를 이용해 모델을 학습한다.

모델의 Parameter와 Training Token을 확대하고, 더 많은 학습 연산량을 투입하는 가장 직접적인 Scaling이다.

Algorithmic Efficiency

Architecture와 Optimizer, Dataset, Training Method를 개선한다.

같은 성능을 더 적은 Compute로 달성하거나, 같은 Compute에서 더 높은 성능을 만들어낸다.

Unhobbling

모델 내부에 이미 존재하는 잠재능력을 실제 작업능력으로 바꾸는 과정이다.

Instruction Tuning, RLHF, Chain-of-Thought, Tool Use, Memory, Routing과 Agent Scaffolding 등이 여기에 포함된다.

ChatGPT가 등장하기 전의 GPT-3는 높은 언어능력을 가지고 있었지만, 사용자의 의도를 안정적으로 따르지 못했다.

RLHF와 Instruction Tuning은 완전히 새로운 지식을 추가하기보다 모델 내부의 잠재능력을 사용 가능한 제품으로 해방한 변화에 가까웠다.

3. GPT-2에서 GPT-5.6·Fable 5까지

GPT-2에서 현재의 GPT-5.6과 Claude Fable 5까지 발전한 과정을 OOM으로 나눠볼 수 있다.

다만 GPT-4 이후 주요 AI 기업들은 Parameter와 Training Token, Training FLOP을 구체적으로 공개하지 않는다.

따라서 아래 수치는 공개된 자료와 모델 성능, 추정 Training Compute를 바탕으로 재구성한 중앙 추정치다.

정확한 실측값이라기보다 각 세대에서 어떤 요소가 발전을 주도했는지를 이해하기 위한 수치에 가깝다.

단계별 OOM 개선 추정

구성요소별 누적 개선은 다음과 같다.

중앙값을 단순 환산하면 약 $10^{10.4}$ , 즉 250억배다.

그러나 이는 AI가 모든 영역에서 GPT-2보다 250억배 똑똑해졌다는 뜻이 아니다.

GPT-2가 거의 수행하지 못했던 Instruction Following과 Coding, Tool Use, 장기 Reasoning, Agent Workflow를 현재 모델이 수행하게 된 변화를 하나의 Compute-equivalent 축에 올린 결과다.

현실적으로는 GPT-2 이후 약 9~12 OOM의 Task-effective 도약이 있었다고 보는 편이 안전하다.

GPT-2에서 GPT-3: Physical Scaling

GPT-2에서 GPT-3로 넘어가는 과정은 대부분 Physical Compute가 주도했다.

모델 크기와 Dataset, Training Compute가 대폭 증가하면서 Few-shot Learning이 나타났다.

별도의 Fine-tuning 없이도 Prompt 안에 제공된 예시를 바탕으로 새로운 작업을 수행할 수 있게 됐다.

이 시기의 핵심은 단순했다.

더 큰 모델에 더 많은 데이터를 넣고 더 많은 Compute로 학습하면 성능이 상승한다.

GPT-3에서 ChatGPT: Unhobbling

GPT-3에서 ChatGPT로의 변화는 Physical Scaling만으로 설명하기 어렵다.

Instruction Tuning과 RLHF를 적용하자 훨씬 작은 모델도 기존 GPT-3보다 사용자의 요청을 더 잘 따르기 시작했다.

모델이 완전히 새로운 지식을 얻었다기보다, 내부의 잠재능력을 사람이 원하는 방식으로 꺼내 쓸 수 있게 된 것이다.

ChatGPT의 등장은 Unhobbling이 AI 성능에 얼마나 큰 영향을 미칠 수 있는지 보여준 첫 번째 대규모 사례였다.

GPT-4에서 GPT-4o: Stack Efficiency

GPT-4o는 GPT-4 계열의 높은 언어·코딩 능력을 유지하면서 속도와 비용효율을 개선했다.

텍스트와 음성, 이미지를 별도의 모델로 연결하던 구조도 하나의 End-to-end Multimodal Model로 통합했다.

이 구간에서는 단순한 Training Compute 확대보다 Tokenizer, Architecture, Serving Stack과 Multimodal Integration의 기여가 컸다.

GPT-4o에서 o1·o3: Test-time Compute

o1 이후 AI 발전의 중심은 다시 한번 변했다.

기존 모델은 답변을 바로 생성하는 데 가까웠다.

Reasoning Model은 답변을 내놓기 전에 여러 전략을 시험하고 오류를 확인하며, 더 많은 추론 Token을 사용할 수 있게 됐다.

동시에 같은 Reasoning 성능을 더 적은 Token으로 달성하는 효율개선도 진행됐다.

이 시점부터 Training Compute뿐 아니라 Inference 과정에서 얼마만큼의 Compute를 어떻게 배분하는지가 최종 성능을 결정하기 시작했다.

GPT-5 이후: Model에서 System으로

GPT-5 이후의 Frontier AI는 하나의 거대한 단일 모델이라기보다 여러 모델을 묶은 System에 가까워지고 있다.

빠른 답변을 담당하는 모델과 깊은 Reasoning을 담당하는 모델이 분리된다.

Router는 질의의 난도와 Tool 필요성을 판단해 적절한 모델과 Reasoning Budget을 선택한다.

필요하면 여러 Agent가 병렬로 작업한다.

이제 성능은 모델의 Parameter뿐 아니라 어떤 질의에 어떤 모델을 배정하고, 얼마만큼의 Compute를 투입하는지에 따라 달라진다.

GPT-5.6과 Fable 5: Token Efficiency

최근 모델들은 특정 업무에서 동일하거나 더 높은 품질을 훨씬 적은 Token으로 달성하기 시작했다.

일부 Coding과 금융 Workflow에서는 이전 세대보다 Token 사용량을 20~70% 줄인 사례가 나타났다.

이를 OOM으로 환산하면 한 번의 주요 모델 업데이트가 특정 작업에서 약 +0.1~0.5 OOM의 Algorithmic·Inference Efficiency 개선을 제공하는 셈이다.

다만 모든 작업에서 동일한 개선이 나타나는 것은 아니다.

Model Benchmark가 개선돼도 장기 Agent 작업의 실패율과 오류 누적은 여전히 중요한 제약이다.

4. 《The Decade Ahead》의 1차 평가

Physical Compute는 예상과 부합했다

Aschenbrenner는 Frontier Training Compute가 연간 약 0.5 OOM 증가할 것으로 봤다.

실제 Frontier Model의 Training Compute는 장기간 연평균 약 4~5배 증가한 것으로 추정된다.

OOM으로 환산하면 약 +0.6~0.7 OOM에 해당한다.

따라서 AI Physical Computing의 규모가 빠르게 확대될 것이라는 전망은 대체로 적중했으며, 일부 구간에서는 그의 가정을 상회했다.

알고리즘 개선은 현재까지 부합했지만 앞으로는 둔화될 수 있다

과거 Language Model의 Algorithmic Efficiency는 연간 약 +0.4~0.5 OOM 개선된 것으로 추정된다.

이는 Aschenbrenner의 연간 +0.5 OOM 가정과 비슷하다.

다만 초기에는 Transformer Architecture와 Scaling Law, Data Pipeline, Optimizer처럼 큰 개선을 가져올 수 있는 기회가 많았다.

앞으로는 쉬운 개선기회가 점차 소진될 수 있다.

성능 향상의 중심도 순수한 Pre-training Algorithm보다 Post-training과 Test-time Compute, Routing, Tool Use와 Agent Scaffolding 쪽으로 이동하고 있다.

따라서 정확한 평가는 다음과 같다.

알고리즘 효율 개선은 지금까지 그의 예상과 대체로 부합했다. 그러나 동일한 속도가 2030년까지 유지될 가능성은 낮다.

전력 수요는 맞았지만 실제 인프라 구축은 느렸다

AI 데이터센터의 전력수요와 발전계획은 Aschenbrenner가 제시한 방향과 상당히 유사하게 확대되고 있다.

그러나 전력계약과 발전계획이 곧바로 GPU가 사용할 수 있는 전력으로 전환되는 것은 아니다.

발전소와 송전망, 변전소, 가스터빈, Transformer, Switchgear와 계통연결에는 긴 시간이 필요하다.

따라서 AI Computing 수요와 자본투입은 예상 궤적을 따라갔지만, 실제 Energized Capacity는 상대적으로 뒤처졌다.

Aschenbrenner는 전력이 병목이 될 것이라는 점은 정확히 봤다.

다만 전력 인프라가 실제 가동 가능한 Compute로 전환되는 시간은 다소 짧게 본 것으로 해석할 수 있다.

5. 2030년까지 Algorithmic OOM

앞으로 GPT-6 또는 Fable 5 이후의 후속 모델이 등장하더라도, 모델 번호가 올라가는 것과 Algorithmic Efficiency가 1 OOM 개선되는 것은 같은 의미가 아니다.

신규 모델의 성능 향상에는 다음 요소가 함께 포함된다.

추가 Training Compute
Post-training Compute
Architecture와 Dataset 개선
Tool Use와 Memory
Routing과 Multi-agent
추가 Test-time Compute

따라서 미래 성능을 추정할 때는 순수한 Algorithmic Efficiency를 별도로 계산해야 한다.

2030년 누적 Algorithmic Efficiency는 다음과 같다.

$10^{1.55} \approx 35 배$

Hardware와 전력량이 전혀 늘어나지 않더라도, Algorithm 개선만으로 2030년에는 동일한 작업을 2025년보다 약 35배 효율적으로 처리하는 경로다.

시나리오별 범위는 넓다.

AI가 AI 연구와 Coding을 자동화해 연구생산성을 높이면 공격적 시나리오에 가까워질 수 있다.

반대로 Data Wall과 Agent Reliability 문제가 해소되지 않으면 보수적 시나리오에 머물 수 있다.

6. 전력 인프라가 만드는 OOM

AI Computing의 생산량은 Chip 성능만으로 결정되지 않는다.

동일한 GPU를 보유하더라도 전력연결과 냉각, 변전설비가 준비되지 않으면 실제 Compute를 생산할 수 없다.따라서 미래 AI Computing의 공급능력은 다음처럼 볼 수 있다.

\text{AI Compute Output} = \text{Algorithmic Efficiency} \times \text{Compute per IT Watt} \times \text{Usable IT Power}

마지막 항목인 Usable IT Power는 단순 발전량이 아니다.

BTM 발전, Grid Connection, PUE, 전력변환 효율, BESS와 Flexible Compute가 모두 포함된 개념이다.

BTM과 Bridge-to-Grid

AI 데이터센터는 전력회사의 공급을 기다리는 소비자에서 벗어나 발전설비를 직접 개발하는 방향으로 이동하고 있다.

자체 발전으로 먼저 데이터센터를 가동한 뒤 Grid 연결을 기다리는 Bridge-to-Grid가 대표적인 방식이다.

자체 발전과 Grid를 함께 사용하는 Flexible Connection, 장기적인 Islanded Campus도 가능하다.

BTM의 핵심은 발전효율을 몇 퍼센트 높이는 데 있지 않다.

계통연결을 기다리던 GPU를 수개월 또는 수년 먼저 가동할 수 있게 만드는 Capacity Realization 기술이라는 데 있다.

SST와 800VDC

기존 데이터센터의 전력은 여러 단계에 걸쳐 변환된다.

중전압 AC에서 저전압 AC로 내려오고, UPS와 PDU, PSU를 거쳐 다시 DC로 바뀐다.

각 단계에서 전력손실과 열이 발생한다.

SST와 800VDC는 중전압 AC를 고전압 DC로 변환해 Rack까지 전달하면서 전력변환 단계를 줄이는 구조다.

다만 SST의 효율개선만으로 큰 OOM이 만들어지지는 않는다.

더 중요한 효과는 다음과 같다.

전기실 면적 축소
설치기간 단축
BESS 직접 연결
전력밀도 상승
변환설비와 장애지점 감소

BESS와 Flexible Compute

모든 AI Training 작업이 즉시 완료돼야 하는 것은 아니다.

우선순위가 낮은 작업은 전력수요가 낮은 시간으로 이동할 수 있다.

GPU Power Cap을 조절하거나 지역 간 Workload를 이동하는 것도 가능하다.

Flexible Compute를 허용하면 Grid가 모든 시간대의 최대부하를 기준으로 발전소와 송전망을 건설하지 않아도 된다.

그 결과 기존 전력망에 더 많은 AI 데이터센터를 연결할 수 있다.

GETs와 Reconductoring

신규 송전망 건설에는 장기간이 필요하다.

반면 Dynamic Line Rating과 고성능 전선 교체는 기존 송전망의 전송능력을 더 빠르게 높일 수 있다.

AI 데이터센터가 집중된 핵심 지역에서 이러한 기술을 적용하면 신규 송전선이 완공되기 전에도 일부 추가전력을 공급할 수 있다.

2030년 Power Infrastructure OOM

2025년부터 2030년까지의 초기 Energization 효과까지 포함하면 Power Infrastructure의 누적기여는 약 +0.60 OOM, 약 4배로 추정한다.

전력 OOM의 대부분은 순수 효율개선보다 다음 두 가지에서 발생한다.

얼마나 많은 신규 발전량을 확보하는가.

그 발전량을 얼마나 빨리 AI 데이터센터에 연결하는가.

결국 BTM과 Grid Connection이 SST 자체보다 더 큰 OOM을 만든다.

7. Rubin과 Feynman이 만드는 Physical Computing OOM

전력 인프라가 AI Factory에 공급되는 MW를 늘린다면, Rubin과 Feynman은 같은 1MW에서 생산되는 Token과 Training Compute를 늘린다.

NVIDIA는 Vera Rubin이 Blackwell 대비 특정 MoE 추론 조건에서 동일 전력당 최대 10배 높은 Token 생산량을 제공할 수 있다고 제시한다.

10배는 그대로 +1 OOM이다.

다만 이를 전체 AI Fleet에 즉시 적용해서는 안 된다.

Rubin은 신규 Cluster부터 순차적으로 도입된다.

기존 Hopper와 Blackwell도 상당 기간 함께 가동된다.

또한 추론 Token/MW 10배와 Training Compute 개선은 동일한 개념이 아니다.

따라서 연도별 OOM에는 다음을 가중평균해 반영해야 한다.

신규 Architecture의 성능
실제 Fleet 내 보급률
Training과 Inference의 Workload Mix
HBM과 Network Utilization
기존 GPU의 잔존비중

Feynman 이후의 구체적인 개선배수는 아직 불확실하다.

하지만 차세대 CPU와 GPU, HBM, Co-packaged Optics, Scale-up Network와 전력구조를 함께 설계하는 Rack-scale Co-design은 계속될 가능성이 높다.

2030년 누적 개선은 다음과 같다.

10^{1.90} \approx 79 배

즉 같은 IT 전력을 기준으로 2030년 AI Hardware System은 2025년보다 약 80배 많은 유효 Compute 또는 Token Output을 생산하는 경로다.

이는 개별 GPU FLOPS의 개선만을 의미하지 않는다.

GPU, HBM, CPU, NVLink, Network, Precision, Storage와 Serving Software가 결합된 Rack-scale Physical Computing의 개선이다.

8. 2030년까지의 종합 OOM

이제 세 가지 요소를 합쳐볼 수 있다.

Algorithmic Efficiency

같은 성능을 더 적은 연산으로 달성한다.

Physical Hardware·System

같은 IT 전력으로 더 많은 Compute와 Token을 생산한다.

Power Infrastructure

실제로 가동할 수 있는 AI용 MW를 늘린다.

구성요소별 누적치는 다음과 같다.

계산은 다음과 같다.

$35\times79\times4\approx11,000$

Base Case에서 2030년 AI 산업이 생산할 수 있는 Compute-equivalent Output은 2025년 대비 약 4 OOM, 1만배 이상으로 증가할 수 있다.

그러나 이 수치는 AI가 인간보다 1만배 똑똑해진다는 뜻이 아니다.

전 세계 AI Factory가 일정 시간 동안 생산할 수 있는 Token과 Reasoning Step, Training Experiment와 Agent Task의 총량이 그만큼 증가할 수 있다는 의미다.

시나리오별 전망

이제 중요한 질문이 남는다.

1만배의 AI Computing을 만들기 위해 실제 GPU와 Memory, 데이터센터도 1만배 늘어나야 하는가.

결론부터 말하면 그렇지 않다.

1만배는 Algorithm과 Hardware Efficiency, Power Capacity가 곱해진 결과다.

실제 물리적 부품 수요의 증가는 이보다 훨씬 낮다.

그러나 AI Rack의 구성부품 중 일부는 GPU보다 훨씬 빠르게 증가한다.

이제 1만배의 AI Computing을 실제 H/W 수요로 환산해보자.

9. 추정의 출발점: 2025년 AI 인프라

2025년 말 전 세계 AI 데이터센터의 정격전력을 약 30GW로 설정한다.

AI Chip 자체의 전력과 Server, Network, Cooling 등 시설 전체를 포함한 추정치다.

AI Accelerator 설치대수는 약 1,100만~1,400만개 범위로 본다.

본 글에서는 중앙값인 1,250만개를 계산의 기준으로 사용한다.

여기서 AI Accelerator에는 NVIDIA GPU뿐 아니라 AMD Instinct와 Google TPU, Amazon Trainium, 기타 Custom ASIC이 포함된다.

실제 제품별 성능은 다르지만, AI Computing Capacity를 구성하는 물리적 Chip 수요를 파악하기 위해 하나의 범주로 묶었다.

10. 2030년 AI 데이터센터 전력

2030년 글로벌 데이터센터 전력소비는 1,000TWh 이상으로 확대될 가능성이 높다.

AI가 전체 데이터센터 전력증가의 대부분을 차지한다고 가정하면, AI 전용 또는 AI 중심 시설의 정격전력은 약 90~130GW 범위로 증가할 수 있다.

Base Case는 110GW다.

2025년부터 2030년까지 물리적인 AI 데이터센터 전력은 약 3.7배 증가한다.

OOM으로는 약 +0.57에 해당한다.

따라서 1만배 AI Computing의 물리적 기반은 데이터센터 GW 약 4배 증가에서 출발한다.

11. GPU와 AI Accelerator는 얼마나 더 필요한가

AI 데이터센터의 전력은 약 4배 증가하지만 Accelerator 대수가 4배 증가하는 것은 아니다.

향후 GPU와 ASIC 한 개가 소비하는 전력도 계속 높아지기 때문이다.

고밀도 AI Rack에서는 Accelerator당 전력이 1kW를 넘어 2kW 안팎까지 상승할 가능성이 있다.

전체 시설전력에서 AI Accelerator가 차지하는 비중을 약 50~60%로 적용하면 2030년 설치대수는 다음과 같이 추정된다.

2030년 Base Case에서 실제 AI Accelerator 설치대수는 약 2,850만개다.

1만배의 AI Computing Output을 구현하는 데 필요한 Accelerator 자체는 2025년보다 약 2.3배 증가하는 것으로 추정된다.

나머지 개선은 Chip당 성능과 HBM Bandwidth, Network, 저정밀 연산, Software Stack과 Algorithmic Efficiency에서 발생한다.

12. 연도별 Physical Infrastructure 경로

NVL72 Rack Equivalent는 모든 Accelerator를 GPU 72개 Rack으로 환산한 수치다.

실제 물리적 Rack 수와는 다르다.

향후에는 1MW급 Power Domain에 수백개의 GPU를 집적하는 구조가 확산될 수 있기 때문이다.

2030년의 2,850만 Accelerator는 다음과 같이 환산할 수 있다.

약 39만6,000개의 72-GPU Rack Equivalent
약 4만9,500개의 576-GPU Power Domain Equivalent

AI 데이터센터는 Rack의 개수만 늘어나는 것이 아니다.

하나의 Rack 또는 Power Domain에 훨씬 많은 GPU와 전력, Memory와 Network를 집적하는 방향으로 발전한다.

13. 가장 빠르게 증가하는 것은 GPU보다 HBM이다

GPU 설치대수가 약 2.3배 증가하는 동안, 전체 HBM 용량은 약 7~10배 확대될 가능성이 있다.

이는 단순히 GPU 수가 늘어나기 때문만은 아니다. GPU 설치대수와 GPU당 HBM 탑재용량이 동시에 증가하기 때문이다.

2025년 전체 AI Accelerator Fleet의 평균 HBM 용량은 Accelerator당 약 120~140GB로 추정된다. 그러나 2030년에는 차세대 GPU와 ASIC의 고용량 HBM 채택이 확대되면서 평균 탑재량이 약 400~500GB까지 상승할 수 있다.

이를 기준으로 계산하면 2030년 AI Accelerator에 직접 부착되는 HBM 용량은 약 128억GB, 즉 12.8EB에 이를 수 있다.

결국 AI Computing 수요를 실제 반도체 수요로 환산하면, GPU 설치대수보다 HBM Bit 수요의 증가율이 훨씬 가파르게 나타난다.

HBM의 연도별 수요를 추정하는 또 다른 방법은 HBM을 탑재하는 주요 AI Accelerator의 회사별·제품별 Roadmap을 기준으로, 예상 출하량과 제품당 HBM 탑재량을 Bottom-up 방식으로 합산하는 것이다.

아래 수치는 NVIDIA GPU를 비롯해 Google TPU, AMD Instinct, AWS Trainium 등 주요 AI Accelerator의 최신 제품 Roadmap과 예상 출하량을 반영해 산출한 HBM 수요 추정치다.

생각정리 214 (* HBM Bottleneck Era),

특히 눈에 띄는 변화는 당초 AMD가 NVIDIA를 가장 근접하게 추격할 것으로 예상됐지만, 최근에는 Google TPU ASIC이 공급망 선점과 자체 수요 기반을 바탕으로 빠르게 경쟁력을 높이며 AMD를 넘어 NVIDIA에 이은 2위권으로 부상하고 있다는 점이다.

구글은 텐서 프로세서(TPU) 주문 모멘텀을 확대할 계획이며, 2028년까지 TPU 수요가 1,500만 대에 이를 것으로 예상하고 있으며, 이는 현재 엔비디아의 연간 주문량 1,300만 대를 넘어서는 것으로 보이며, 이는 구글의 TPU 서버 배포에 대한 강력한 의지를 보여줍니다.

본문과 Bottom-up HBM 수요 추정치가 다른 이유

앞서 제시한 첫 번째 HBM 수요 추정치는 데이터센터 전력, Accelerator당 소비전력과 Rack Density를 기준으로 계산한 Physical Infrastructure 기반의 중앙 추정치다.

반면 두 번째 제품별 Bottom-up 모델은 NVIDIA GPU, Google TPU, AMD Instinct, AWS Trainium 등 주요 업체의 제품 Roadmap과 예상 출하량을 모두 합산하고, 차세대 제품의 HBM 탑재량까지 선반영한 추정치다.

이 Bottom-up 모델에는 아직 사양과 출하량이 확정되지 않은 차세대 제품뿐 아니라, Channel Check에 기반한 공격적인 출하량 전망과 제품당 512~1,024GB에 이르는 높은 HBM Density 가정이 포함돼 있다.

또한 일부 전망에서는 Accelerator, Package와 Chip 단위가 혼재하거나 업체별 수요가 중복 집계될 가능성도 있다. 이러한 수치를 단순 합산하면 2030년 HBM 수요는 약 24EB까지 상승한다.

따라서 본 글에서는 전력과 Advanced Packaging, HBM 공급 제약이 장기간 지속되는 보수적 경로를 Bear Scenario로 설정하고, 2030년 HBM 수요를 약 12.8EB로 가정한다.

반대로 HBM과 Advanced Packaging 병목이 예상보다 빠르게 해소되고, 주요 AI Accelerator의 제품별 Roadmap이 계획대로 실현될 경우 HBM 수요는 약 24EB까지 확대될 수 있다. 이를 Bull Scenario로 구분한다.

마지막으로 2025년 약 1.95EB인 HBM 수요가 2030년까지 약 8배 증가한 15.6EB에 도달하는 경로를 Base Scenario로 가정한다.

정리하면 2030년 HBM 수요는 공급 제약의 지속 여부와 차세대 Accelerator 출하 속도에 따라 다음과 같이 구분할 수 있다.

Bear Scenario: 12.8EB
Base Scenario: 15.6EB
Bull Scenario: 24.0EB

세 시나리오 모두 공통적으로 보여주는 핵심은 분명하다. AI Accelerator 설치대수의 증가보다 GPU와 ASIC당 HBM 탑재량 증가가 훨씬 빠르게 진행되면서, HBM Bit 수요가 AI 반도체 수요 증가의 중심축으로 부상할 가능성이 높다.

HBM Bit 수요와 Wafer 수요는 다르다

HBM 설치용량이 8배 증가한다고 HBM용 DRAM Wafer 수요도 정확히 8배 증가하는 것은 아니다.

2030년까지 다음 개선이 진행될 수 있기 때문이다.

DRAM Die Density 상승
HBM Stack 높이 증가
미세공정 전환
Advanced Packaging 수율 개선
HBM Die당 용량 상승

이를 반영하면 HBM Bit 수요가 약 7~10배 증가할 때 HBM용 DRAM Wafer 수요는 약 4~6배 증가하는 경로가 현실적이다.

다만 HBM은 일반 DRAM보다 Die 면적이 크다.

TSV와 적층공정, Base Die와 Advanced Packaging도 추가된다.

따라서 전체 DRAM Bit에서 차지하는 비중보다 Wafer와 제조원가, Packaging Capacity에서 차지하는 비중이 더 빠르게 상승할 가능성이 높다.

14. Host Memory는 HBM 다음으로 빠르게 증가한다

AI Rack은 GPU와 HBM만으로 구성되지 않는다.

CPU는 데이터 전처리와 Agent 실행, Tool Calling, Storage·Network 제어와 GPU Scheduling을 담당한다.

Agentic AI가 확대될수록 GPU 바깥의 Host Memory도 중요해진다.

Browser와 Code Execution, Retrieval, Sandbox, Database를 동시에 처리하려면 더 많은 CPU Memory가 필요하다.

2030년 Host CPU는 약 1,400만개가 Base Case다.

Host Memory 총용량은 약 5~7배 증가할 수 있다.

이 과정에서 Server DRAM뿐 아니라 데이터센터용 LPDDR가 새로운 대형 End Market으로 성장할 가능성이 있다.

15. Network Chip과 Optical 수요

GPU 수가 2배 증가한다고 Network 수요도 2배 증가하는 정도로 끝나지 않는다.

GPU가 늘어날수록 GPU 간 통신량이 더 빠르게 증가하기 때문이다.

대규모 Training은 수많은 GPU가 하나의 Model을 동시에 학습하는 구조다.

각 GPU는 Weight와 Gradient, Activation과 KV Cache를 지속적으로 주고받아야 한다.

따라서 GPU당 Network Bandwidth도 함께 증가해야 한다.

GPU 대수가 약 2.3배 증가하고 GPU당 Network Bandwidth가 약 3~5배 높아지면, 전체 AI Cluster의 Aggregate Network Bandwidth 수요는 약 8~12배 증가한다.

Network 전력효율과 Optical Integration이 개선되더라도 총 전송량이 더 빠르게 증가한다.

따라서 Optical과 Network Silicon의 수요 증가율은 GPU 대수 증가율보다 높을 가능성이 크다.

16. DPU·NIC·SSD 수요를 Rack BOM으로 환산하면

하나의 고성능 AI Rack에는 GPU만 들어가지 않는다.

Host CPU와 High-speed NIC, DPU, NVMe SSD, Switch와 NVLink Component가 함께 필요하다.

NVIDIA형 72-GPU Rack의 일반적인 구성비율을 적용하면 다음과 같은 BOM으로 환산할 수 있다.

GPU 72개
Host CPU 약 36개
High-speed NIC 약 72개 이상
DPU 약 18개
Local Cache용 NVMe SSD 약 72개
다수의 Scale-up·Scale-out Switch

이 비율을 2030년 Base Case에 적용하면 다음과 같다.

실제 Google TPU와 Amazon Trainium, AMD Instinct, Meta·Microsoft ASIC의 BOM은 서로 다르다.

그러나 전체 AI Rack이 필요로 하는 CPU와 NIC, DPU, Flash 수요의 크기를 가늠하기 위한 기준으로는 의미가 있다.

17. NAND와 Context Memory

Agentic AI에서는 HBM과 Host DRAM만으로 모든 Context와 KV Cache를 저장하기 어렵다.

AI Agent는 긴 대화기록과 문서, Code Repository, Tool Result와 사용자 Memory를 계속 참조해야 한다.

이 데이터를 모두 HBM에 보관하면 비용이 지나치게 높다.

따라서 HBM과 Host DRAM, Enterprise Storage 사이에 Flash 기반의 Context Memory 계층이 추가될 가능성이 높다.

AI용 NAND의 역할은 다음으로 확대된다.

Model Weight
Training Checkpoint
Dataset
Synthetic Data
KV Cache
Agent Memory
Vector Database
Local High-speed Cache
Model Artifact 배포

2030년 Accelerator 설치대수가 약 2.3배 증가하는 가운데 Accelerator당 Flash 용량이 약 2~4배 증가하면, AI Rack에 직접 연결되는 High-performance NAND 수요는 약 5~10배 증가할 수 있다.

NAND는 HBM처럼 GPU마다 고정적으로 부착되는 부품이 아니다.

따라서 오차범위가 더 넓다.

그러나 장기 Context와 Agent Memory가 확대될수록 Flash가 AI Computing의 핵심 Memory Tier로 진입할 가능성은 높다.

18. 전력·냉각 부품은 GW 증가율을 따라간다

AI 데이터센터 전력이 30GW에서 110GW로 증가하면 전력설비도 대체로 3~4배 확대돼야 한다.

필요한 부품은 다음과 같다.

Transformer
Switchgear
Busway
Power Semiconductor
BESS
CDU
Pump
Heat Exchanger
Cooling Tower
Gas Turbine
Substation

그러나 모든 부품 수량이 정확히 4배 증가하는 것은 아니다.

800VDC와 SST가 도입되면 여러 단계의 Transformer와 UPS, PDU와 PSU가 통합될 수 있다.

반면 Rack당 전력밀도가 상승하면 Liquid Cooling과 Power Semiconductor Content는 GW 증가율보다 더 빠르게 늘어난다.

특히 Liquid Cooling은 데이터센터 전체 GW보다 빠르게 성장할 가능성이 높다.

Hopper와 초기 Blackwell에서는 공랭과 액체냉각이 혼재했다.

그러나 Rubin과 Feynman 이후의 고밀도 Rack은 사실상 액체냉각이 필수에 가까워진다.

19. 핵심 부품별 2030년 수요 증가율

2025년 대비 2030년 Base Case

20. 무엇이 가장 많이 필요해지는가

2030년까지 가장 빠르게 증가하는 물리적 자원이 반드시 GPU인 것은 아니다.

GPU와 ASIC의 설치대수는 약 2~3배 증가한다.

AI 데이터센터 전력은 약 3~4배 증가한다.

그러나 GPU를 실제로 높은 가동률로 운영하기 위해 필요한 Memory와 Network, Storage와 Cooling은 그보다 더 빠르게 증가한다.

상대적으로 낮은 수량 증가

더 빠르게 증가하는 부품

AI Computing이 커질수록 Compute Chip 자체보다 Compute Chip을 쉬지 않고 가동시키는 부품들의 수요 증가율이 더 높아진다.

GPU가 아무리 빨라도 HBM에서 데이터를 공급받지 못하면 Tensor Core는 대기해야 한다.

생각정리 325 (* Memory Premium)

Network가 부족하면 GPU 수천개를 하나의 Cluster로 묶을 수 없다.

생각정리 283 (* AI Factory Networks)

Context Memory가 부족하면 긴 Agent Workflow를 경제적으로 운영하기 어렵다.

생각정리 319 (* NAND, eSSD)
생각정리 282 (* HDD)

전력과 냉각이 부족하면 GPU를 설치해도 가동할 수 없다.

생각정리 298 (* 전력기기, 전력수요)
생각정리 232 (* Power semiconductor, 전력반도체)

21. 최종 결론

이번 글의 목적은 AGI가 정확히 언제 도착하는지를 예측하는 것이 아니었다.

AI Computing 수요가 앞으로 얼마나 커질지, 그리고 그 수요가 실제로 어떤 H/W 부품의 물량 증가로 이어질지를 가늠하는 것이 목적이었다.

Aschenbrenner가 제시한 OOM Framework는 이 질문을 연결하는 데 유용하다.

2025년부터 2030년까지 Base Case는 다음과 같다.

Algorithmic Efficiency 약 35배

동일 IT 전력당 Physical Computing 약 79배

실제 사용 가능한 AI 전력 약 4배

세 요소를 곱하면 2030년 AI Computing 생산능력은 2025년 대비 약 1만1,000배까지 증가할 수 있다.

그러나 실제 GPU 수가 1만배 증가하는 것은 아니다.

Base Case에서 물리적 AI 인프라는 다음 정도로 확대된다.

결국 2030년 AI Computing Expansion을 가장 잘 설명하는 수치는 GPU 대수 하나가 아니다.

GPU·ASIC 수는 약 2~3배 증가한다.

AI 데이터센터 전력은 약 4배 증가한다.

HBM과 Host Memory는 약 5~10배 증가한다.

Network와 Optical 처리량은 약 10배 이상 증가한다.

Cooling과 Power Component 역시 GPU보다 빠르게 증가한다.

AI 산업의 병목은 GPU 하나에서 끝나지 않는다.

성능이 높아질수록 더 많은 HBM과 DRAM, NAND와 Network가 필요해진다.

Rack Density가 높아질수록 더 많은 전력반도체와 액체냉각이 필요해진다.

Cluster가 커질수록 Optical과 Switch Silicon이 더 중요해진다.

Agentic AI가 확산될수록 Context Memory와 Storage가 추가된다.

따라서 앞으로의 AI H/W Cycle은 단순히 GPU 판매량이 증가하는 Cycle로 정의하기 어렵다.

정확한 표현은 다음에 가깝다.

AI Computing은 GPU를 중심으로 성장하지만, 실제 수요의 가장 높은 증가율은 Memory와 Network, Power와 Cooling에서 나타난다.

AI 경쟁의 단위는 Model에서 Rack으로 이동했다.

Rack은 다시 데이터센터와 발전소, 송전망을 포함한 AI Factory로 확대되고 있다.

그리고 2030년까지 가장 희소해질 가능성이 높은 자원은 단순한 연산 Chip이 아니다.

연산 Chip에 데이터를 공급하는 Memory, Chip들을 하나로 묶는 Network, 그리고 전체 System을 멈추지 않고 가동시키는 전력 인프라다.

APPENDIX. Sources

Situational Awareness

AI Scaling and Algorithmic Efficiency

Model Development

Data Center Power

NVIDIA Hardware and Rack-scale Systems

Memory and Storage

#글을 마치며

AI 업계의 기술개발 로드맵과 발전 흐름을 제대로 따라가고 있는지는 여전히 확신하기가 쉽지 않다. 다만 변화 속도가 워낙 빠른 만큼, 불과 한두 달만 뒤처져도 중요한 흐름을 놓칠 수 있다는 경각심은 점점 커지고 있다.

결국 한정된 시간을 어디에 써야 할지도 고민하게 된다. 충분히 공부하지 않은 주장과 입씨름하는 것이 필요한 검증 과정인지, 아니면 그 시간에 글 한 편을 더 읽고 생각을 정리하며 새로운 변화를 포트폴리오에 어떻게 반영할지 고민하는 편이 더 나은지 자주 되묻게 된다.

최근에는 후자에 조금 더 무게가 실린다.

물론 자기 논리에만 갇혀 반대 의견을 차단해서는 안 된다.

때로는 불편한 의견 속에서도 중요한 단서를 발견할 수 있다. 그럼에도 모든 시장의 소음에 일일이 반응하기보다는, 판단에 도움이 되는 의견과 그렇지 않은 소음을 구분하고 적당한 거리를 두는 것이 내 한정된 리소스를 더 효율적으로 사용하는 방법이 아닐까 싶다.

(매일 요동치는 주가의 변화만 바라보고 일희일비하며, 후견지명으로 산업의 전망에 대해 논하는게 무슨 의미가 있나 싶다..)

=끝

2026년 7월 30일 목요일

생각정리 326 (* Right Thesis, Wrong Leverage)

이번 Situational Awareness 사태에서 반면교사로 삼을 부분이 적지 않아,
관련 내용을 기록 차원에서 정리해본다.

Situational Risk

미래를 정확히 보고도 살아남지 못한 투자자

어제 오후, Leopold Aschenbrenner가 운용하는 Situational Awareness 펀드가 Margin Call에 직면했다는 기사를 처음 접했다.

파이낸셜 타임스

처음에는 수많은 레버리지 펀드 가운데 한 곳이 청산되는 사건으로 생각했다. 그러나 Financial Times와 Reuters의 후속 보도를 읽어보니 사안의 규모와 시장에 미친 영향은 예상보다 훨씬 컸다.

Situational Awareness는 2026년 상반기 400%가 넘는 수익률을 기록하고 설정 이후에는 1,500% 이상의 성과를 올렸었고 운용자산도 한때 200억달러를 넘어섰던 것으로 보도됐다고 한다.

하지만 7월 기술주 조정과 대규모 레버리지 부담이 겹치면서 결국 Citadel에 상장주식 포트폴리오 대부분을 넘기게 됐다고 한다.

https://www.ft.com/

Situational Awareness는 AI 반도체, Memory, Storage, Data Center와 전력 인프라에 집중적으로 투자해온 펀드였다. Aschenbrenner는 누구보다 빠르게 AI Computing Infrastructure Cycle을 포착했고, 과감한 Leverage를 통해 상당한 수익을 기록했던 것으로 알려졌다.

https://x.com/HedgieMarkets

문제는 산업의 장기 방향을 정확히 예측한 것과 그 방향이 실현될 때까지 Portfolio가 생존하는 것은 서로 다른 문제라는 점이었다.

이번 사건을 이해하기 위해서는 6월 23일부터 7월 30일까지 이어진 AI 기술주 디레버리징 과정을 먼저 면밀히 살펴볼 필요가 있다.

6월 23일, 중국의 해외 TRS 신규 거래가 중단됐다

6월 23일 저녁부터 중국 당국은 자국 사모펀드가 TRS를 활용해 해외 주식 익스포저를 확대하는 것을 제한하기 시작했다.

기존 Position은 유지할 수 있었지만 신규 매수와 교체매매가 어려워지면서, 미국과 한국의 AI·반도체 주식으로 유입되던 중국계 한계 매수세가 약해졌다. 일부 펀드는 사실상 매도는 가능하지만 신규 매수는 제한되는 상황에 놓였다.

이 조치가 이후 AI 주식 하락을 직접 일으켰다고 단정하기는 어렵다. 다만 이미 Position이 혼잡했던 시장에서 추가 매수 주체가 약해졌다는 사실 자체가 디레버리징에 취약한 환경을 만들었다.

출처: 券商中国·新浪财经 — 跨境TRS新增规模被叫停

6월 말부터 혼잡했던 AI Position이 흔들리기 시작했다

당시 글로벌 Hedge Fund들은 AI 반도체, Memory, Data Center와 전력 인프라에 유사한 Position을 쌓고 있었다.

AI Computing Infrastructure의 장기 성장성을 믿는 투자자가 많았던 만큼, 일부 종목에는 Long Position이 과도하게 집중돼 있었다. 중국계 신규 자금 유입이 둔화된 상황에서 AI 주가가 하락하자 Quant Fund와 Long-short Fund가 동시에 익스포저를 줄이기 시작했다.

집중도가 높고 Leverage가 큰 펀드에는 단순한 주가 조정이 아니었다.

주가가 하락하면 담보가치가 낮아지고, 담보가치가 낮아지면 추가 증거금 요구가 발생한다. 증거금을 마련하기 위해 주식을 매도하면 가격이 다시 하락하면서 더 큰 Margin Call이 발생한다.

주가 하락이 매도를 부르고, 매도가 다시 주가 하락을 만드는 전형적인 Deleveraging Loop가 시작된 것이다.

출처: Financial Times — Hedge funds face demands to stump up collateral as AI stocks tumble
출처: Reuters — Citadel buys most of Situational’s stock holdings after AI share rout

7월 23일, Situational Awareness의 유동성 위기가 드러났다

7월 23일 Intel은 예상보다 양호한 실적을 발표했지만 주가는 오히려 하락했다.

시장에서는 대형 투자자가 실적과 관계없이 물량을 급하게 처분하고 있다는 관측이 나왔다. Financial Times에 따르면 당시 매도 주체 가운데 하나가 Situational Awareness였다.

펀드는 Intel에 대한 투자 판단이 바뀌어서 주식을 매도한 것이 아니었다. 다른 AI 관련 Position에서 발생한 손실과 증거금 부담을 메우기 위해 유동성이 높은 Intel 주식을 처분한 것으로 전해졌다.

공식적인 최초 Margin Call 발생 시점을 7월 23일로 단정하기는 어렵다. 그러나 이 시점부터 펀드의 운용 목적이 정상적인 투자 판단에서 현금 확보와 담보 보강을 위한 강제 매도로 이동한 정황은 분명해졌다.

출처: Financial Times — How Leopold Aschenbrenner, the ‘golden child’ of the AI trade, was laid low

7월 24일, 투자자들에게 추가 자금을 요청했다

Aschenbrenner는 7월 24일 투자자들에게 서한을 보냈다.

그는 상반기까지의 높은 수익률을 강조하면서 최근 AI 기술주 하락을 추가 투자 기회로 설명했다. 이후 기존 투자자와 대주단에 신규 자금을 요청했고, 일부 투자자에게는 펀드가 보유한 자산을 직접 매입하는 방안도 제시한 것으로 알려졌다.

표면적으로는 저가매수를 위한 증자였지만, 당시 상황을 고려하면 추가 담보를 확보하고 강제청산을 피하기 위한 긴급 자금조달 성격이 더 강했던 것으로 보인다.

그러나 시장가격이 빠르게 하락하는 상황에서는 신규 자금이 들어오더라도 담보 부족분이 계속 커진다. 자금조달 속도가 자산가격 하락 속도를 따라가지 못하면 결국 Portfolio 자체를 매각할 수밖에 없다.

출처: Financial Times — Leopold Aschenbrenner’s Situational Awareness seeks to raise capital after AI rout
출처: Financial Times — How Leopold Aschenbrenner was laid low

7월 27일, CXMT가 상장했다

7월 27일 중국 Memory 기업 CXMT가 상하이 STAR Market에 상장했다. 당시 보도에 따르면 주가는 공모가 대비 큰 폭으로 상승했고 대규모 자금조달에도 성공했다.

중국 투자자금이 NVIDIA, Micron, SK하이닉스 등 해외 AI·Memory 기업보다 자국의 전략 반도체 기업으로 이동할 수 있다는 우려가 커진 시점이었다.

다만 중국의 TRS 제한이 CXMT 상장을 지원하기 위해 시행됐거나, CXMT 상장이 Situational Awareness의 청산을 직접 유발했다는 증거는 확인되지 않았다.

두 사건을 직접적인 인과관계로 연결하기보다는 중국 자금의 해외 유출을 제한하는 흐름과 자국 반도체 기업으로 자본을 유도하는 방향이 동시에 나타난 정황으로 해석하는 편이 적절하다.

출처: Associated Press — China memory chipmaker CXMT’s shares soar in Shanghai

7월 28~29일, 자금조달이 실패하고 Book 매각으로 전환됐다

AI 주식 하락이 이어지면서 Situational Awareness는 일부 주식을 매도하는 것만으로 담보 부족을 해결하기 어려운 상황에 빠졌다.

적어도 한 곳의 Prime Broker가 펀드를 감시대상에 올렸고, 최종 청산 직전까지 추가 증거금을 요구한 것으로 전해졌다.

신규 자금조달이 충분히 이뤄지지 않자 Aschenbrenner는 Jane Street, Millennium, Citadel 등 대형 금융기관과 접촉해 공개주식 Portfolio의 전부 또는 상당 부분을 일괄 매각하는 협상에 들어갔다.

이 단계에서 펀드는 더 이상 어떤 종목을 보유하고 매도할지를 독립적으로 결정하기 어려웠다.

Portfolio의 Fundamental Value보다 Prime Broker의 담보 회수와 시장 충격을 최소화하는 것이 우선되는 단계로 넘어간 것이다.

출처: Financial Times — How Leopold Aschenbrenner was laid low
출처: Financial Times — Citadel buys Situational Awareness equity holdings after steep AI losses

7월 30일, Citadel이 공개주식 Book 대부분을 인수했다

밤샘 협상 끝에 Citadel이 Situational Awareness의 공개주식 Portfolio 대부분을 넘겨받았다.

Goldman Sachs, JPMorgan, Bank of America와 Citigroup 등 주요 Prime Broker가 거래를 지원했으며, Citadel은 증권사 차입을 통해 조성된 레버리지 Position 상당 부분을 인수한 것으로 알려졌다.

펀드 전체가 Citadel에 넘어간 것은 아니다. Situational Awareness는 일부 무차입 상장주식과 Anthropic 등 비상장 지분을 남겼다.

그러나 대규모 차입을 활용해 AI Infrastructure 주식에 투자하던 공개주식 운용은 사실상 종료됐다.

6월 23일 중국의 해외 TRS 제한 이후 AI 주식의 한계 매수세가 약해졌고, 혼잡한 Position에서 디레버리징이 시작됐다. 7월 23일 Situational Awareness의 급매가 외부에 드러난 뒤 추가 자금조달을 시도했지만, 결국 7월 30일 Citadel에 공개주식 Book 대부분을 넘기게 됐다.

출처: Reuters — Citadel buys most of Situational’s stock holdings after AI share rout
출처: Financial Times — Citadel buys Situational Awareness equity holdings
출처: The Wall Street Journal — Citadel Buys Situational Awareness’s Stock Portfolio

그는 AI 산업의 방향을 틀리게 본 것이 아니었다

이번 청산을 단순히 잘못된 AI 투자에 따른 실패로 해석해서는 중요한 부분을 놓치게 된다.

Aschenbrenner는 2024년 발표한 『Situational Awareness』에서 AI가 Software 산업을 넘어 Data Center, 전력, 반도체, Memory와 국가안보를 함께 움직이는 거대한 산업 시스템으로 발전할 것이라고 주장했다.

Leopold Aschenbrenner — 2027 AGI, China/US super-intelligence race, & the return of history

당시에는 지나치게 공격적인 전망으로 받아들여졌지만, 2026년 현재 그가 제시한 산업의 방향은 상당 부분 현실화되고 있다.

물론 그가 예상했던 2027년 AGI와 완전한 Recursive Self-Improvement가 실현됐다고 판단하기에는 이르다.

그럼에도 AI 산업이 어떤 순서로 발전하고, 그 과정에서 어떤 병목이 발생할지를 연결해서 본 그의 분석력은 상당히 뛰어났다.

데이터가 부족해지자 AI가 데이터를 만들기 시작했다

Aschenbrenner는 Internet Text를 이용한 Pre-training이 한계에 가까워질수록 Synthetic Data, Reinforcement Learning과 Self-play의 중요성이 커질 것으로 예상했다.

실제로 Frontier Model은 이제 인간이 만든 데이터를 단순히 학습하는 단계에서 벗어나고 있다.

AI가 스스로 문제와 해답을 생성하고, Verifier와 Reward Model이 결과를 평가한다. 그 가운데 우수한 결과를 다시 다음 모델의 Training Data로 사용하는 구조가 발전하고 있다.

완전한 자기개선이라고 부르기는 어렵지만, AI가 다음 AI를 개선하는 과정에 직접 참여하기 시작했다는 점은 분명하다.

데이터가 부족해지면 AI의 발전이 멈추는 대신, AI가 새로운 데이터를 생산하는 방향으로 Scaling 방식이 변화하고 있는 것이다.

생각정리 282 (* HDD)

Test-time Compute가 새로운 Scaling 축으로 자리 잡았다

기존 AI Scaling은 더 많은 Data와 Parameter, Training Compute를 투입하는 방식에 집중돼 있었다.

Reasoning Model의 등장 이후에는 학습이 완료된 모델도 답을 찾는 과정에서 더 많은 연산을 사용하면 성능을 높일 수 있게 됐다.

모델이 여러 추론 경로를 탐색하고, 오류를 수정하며, 결과를 검증하는 Test-time Compute가 새로운 성능개선 축으로 자리 잡은 것이다.

Ilya Sutskever가 강조한 Value Function도 이 흐름과 연결된다.

중요한 것은 무조건 오래 생각하는 것이 아니다. 여러 추론 경로 가운데 성공 가능성이 높은 경로를 평가하고, 가치가 높은 사고과정에 Compute를 집중하는 Algorithm이 필요하다.

Pre-training의 단순한 Scaling 효율이 낮아질수록 Value Function, Search, Verifier와 Self-play 같은 Algorithmic Breakthrough의 중요성은 더욱 커질 가능성이 높다.

생각정리 131 (* Ilya Sutskever)

https://www.reuters.com/legal/transactional/nvidia-invest-5-billion-ilya-sutskevers-ai-startup-source-says-2026-07-27/

AI는 기존 Software 위의 통합 Interface가 되고 있다

Aschenbrenner는 LLM의 성능이 지속적으로 향상되면 제한적인 AI 기능을 기존 Workflow에 붙이는 Software와 Wrapper의 가치가 잠식될 수 있다고 판단했다.

최근 Cursor, Figma와 Kimi의 발전은 이러한 방향을 보여준다.

Cursor는 단순한 Code Editor를 넘어 Frontier Model이 Codebase를 이해하고, 파일을 수정하며, Test와 실행까지 담당하는 AI 개발환경으로 발전하고 있다.

Figma 역시 Frontier Model을 내부에 통합하면서 자연어 요구사항을 Design, Prototype과 Code로 연결하고 있다. Kimi의 개발 방향도 AI가 Tool을 사용하고 장기 과제를 수행하며, Software 개발과 AI 연구에 참여하는 Agent 구조로 이동하고 있다.

기존 Software가 모두 사라진다는 의미는 아니다.

사용자가 각각의 Software UI를 직접 조작하는 대신 LLM에 목표를 전달하면, LLM이 여러 Application과 API를 통합해 업무를 수행하는 구조로 바뀌고 있다.

사용자 → 개별 Software UI

에서

사용자 → LLM → Software·Data·API 통합 실행

으로 Interface가 이동하는 것이다.

이 과정에서 단순한 UI와 Workflow의 가치는 낮아질 수 있다. 반면 독점적인 Data, 기업의 공식 기록, 권한체계, 결제와 거래기능을 보유한 Software는 AI가 호출하는 System of Record와 Execution Layer로 남을 가능성이 높다.

Aschenbrenner가 정확히 본 부분은 Software의 소멸보다 가치포착의 중심이 Application에서 Model과 Agent 계층으로 이동하는 구조였다.

생각정리 303 (* All or Nothing, 데이터주권)

AI의 병목은 전력과 Memory로 이동했다

Aschenbrenner는 AI 경쟁을 Software만의 문제로 보지 않았다.

모델이 발전할수록 더 많은 GPU와 Data Center가 필요하고, 결국 전력망과 반도체 공급망이 AI의 발전속도를 결정할 것으로 예상했다.

현재 AI Data Center의 건설속도는 기존 전력망의 증설속도를 앞서고 있다. 이에 따라 사업자들은 전력망 연결을 기다리는 대신 발전설비를 직접 확보하거나 Data Center 인근에서 전력을 생산하는 Behind-the-meter 모델로 이동하고 있다.

Bloom Energy의 Fuel Cell과 분산형 발전설비 수요가 증가하는 현상도 같은 흐름에서 이해할 수 있다.

병목은 GPU에서 Memory와 Storage로 확산되고 있다.

Reasoning 시간이 길어지고 Context가 커질수록 HBM, Server DRAM과 Enterprise SSD에 저장하고 이동해야 하는 데이터가 빠르게 증가한다.

GPU가 아무리 많아도 Memory 용량과 Bandwidth가 부족하면 GPU 가동률과 Token 생산량은 낮아진다.

따라서 AI Computing은 GPU 하나만으로 설명할 수 없다.

GPU, Memory, Storage, Network와 Power가 함께 작동하는 하나의 Token 생산시스템으로 이해해야 한다.

생각정리 324 (* Token Empire)

AI 경쟁은 국가 간 산업 패권경쟁으로 확장됐다

Aschenbrenner는 Frontier Model의 Weight와 Algorithm, 대규모 Computing Infrastructure가 국가안보 자산이 될 것으로 예상했다.

이 역시 현실화되고 있다.

미국과 중국의 AI 경쟁은 더 이상 어느 국가가 높은 Benchmark 점수의 LLM을 보유했는지에 머물지 않는다.

첨단 반도체, HBM, 전력, Data Center, Cloud와 제조업 공급망을 누가 통제하는지가 국가의 AI 경쟁력을 결정하고 있다.

AI 패권의 중심이 Software 성능에서 물리적 산업자산으로 완전히 이동한 것은 아니다. 그러나 경쟁의 범위가 Model 성능을 넘어 Computing Infrastructure와 국가 생산능력 전반으로 확장됐다는 사실은 분명하다.

그의 가장 큰 장점은 시스템적 사고였다

Aschenbrenner에게서 가장 크게 배울 수 있는 부분은 개별 기술을 따로 분석하지 않았다는 점이다.

그는 LLM 성능, Algorithm, Data, Software, GPU, Memory, 전력과 국가안보를 하나의 연결된 구조로 봤다.

그의 논리는 다음과 같이 이어진다.

데이터가 부족해지면 Synthetic Data와 Reinforcement Learning이 중요해진다.

Pre-training의 효율이 낮아지면 Test-time Compute와 새로운 Algorithm이 필요해진다.

AI가 Agent로 발전하면 기존 Software의 Interface와 Workflow를 흡수한다.

Token 생산량이 증가하면 GPU뿐 아니라 Memory, Storage와 전력 수요가 함께 증가한다.

AI가 경제와 군사력의 기반이 되면 기업 간 경쟁은 국가 간 패권경쟁으로 확장된다.

각각의 현상을 독립적으로 바라보면 AI 산업의 변화를 온전히 이해하기 어렵다.

Model의 성능 향상이 Software 산업을 바꾸고, Software의 변화가 Token 수요를 늘리며, Token 수요가 Memory와 전력의 희소성을 높인다. 이 물리적 자산은 다시 기업과 국가의 AI 경쟁력을 결정한다.

AI 시대에는 특정 Model이나 기업 하나를 분석하는 능력만으로 부족하다.

기술, 산업, 자본과 국가전략이 서로 어떤 영향을 주고받는지를 연결해 보는 시스템적 사고가 중요하다.

Aschenbrenner의 가장 큰 통찰은 AGI의 정확한 도달 시점을 맞힌 데 있지 않다.

AI가 전체 산업시스템을 어떤 순서와 인과관계로 재편할지를 일찍 이해했다는 점에 있다.

2026년 7월 31일 기준으로 Aschenbrenner가 예상한 변화는 다음과 같이 평가할 수 있다.

적중률이 상당히 높았음.

분석이 맞아도 투자자는 살아남지 못할 수 있다

그러나 뛰어난 분석력과 뛰어난 Portfolio 운용은 동일한 능력이 아니다.

Situational Awareness는 AI 반도체, Memory, Storage, Data Center와 전력 인프라에 집중적으로 투자했다.

산업의 장기 방향은 상당 부분 맞았지만, 높은 Leverage와 집중된 Position은 단기 변동성을 견디지 못했다.

AI 관련 주식이 하락하면서 담보가치가 낮아졌고, Margin Call에 대응하기 위해 공개주식 Portfolio 대부분을 매각해야 했다.

법률적으로 모든 Account가 파산했다고 단정할 수는 없다. 다만 시장에는 뛰어난 AI 분석가가 과도한 Leverage와 부족한 Risk Management로 사실상 강제청산된 사례로 기억될 가능성이 높다.

Fundamental Thesis가 맞는 것과 Portfolio가 생존하는 것은 서로 다른 문제다.

Leverage는 분석의 정확성을 높여주지 않는다.

수익이 발생하는 동안에는 확신을 증명하는 수단처럼 보이지만, 변동성이 커지는 순간 투자자가 자신의 전망이 실현될 때까지 기다릴 수 있는 권리를 빼앗는다.

방향을 정확히 예측했더라도 시장이 그 방향으로 이동하는 과정은 직선이 아니다. 시장은 예상보다 오래 비합리적일 수 있고, 좋은 자산도 수급과 담보구조에 따라 급격히 하락할 수 있다.

투자자에게 중요한 것은 최종적으로 옳은 전망을 보유하는 것만이 아니다.

그 전망이 현실화될 때까지 살아남을 수 있는 Position Size와 자본구조를 유지하는 것이 더 중요하다.

Situational Risk

Aschenbrenner는 미래의 방향을 보는 방법을 보여줬다.

Synthetic Data, Test-time Compute, AI Agent, Software 통합, 전력과 Memory의 병목, 국가 간 AI 패권경쟁까지 그의 판단은 상당 부분 현실화되고 있다.

무엇보다 그를 통해 AI 시대에는 개별 현상보다 전체 시스템의 연결관계를 이해하는 능력이 중요하다는 사실을 다시 확인할 수 있었다.

그러나 그의 Portfolio 운용방식에는 동의하기 어렵다.

산업의 방향에 대한 확신이 커질수록 Leverage를 확대하는 방식은 장기 전망이 맞더라도 단기 변동성에 의해 청산될 위험을 높인다.

좋은 분석은 미래를 보여주지만, 좋은 Risk Management만이 그 미래에 도달할 수 있도록 해준다.

Aschenbrenner의 통찰력과 시스템적 사고에는 배울 점이 많다.

동시에 Situational Awareness의 청산은 투자자가 반드시 기억해야 할 또 하나의 사실을 보여준다.

시장을 정확히 보는 능력과 시장에서 끝까지 살아남는 능력은 전혀 다른 능력임을 새삼 다시 깨닫게 된다.

#글을 마치며

그에게 조금만 더 많은 시장 경험과 파생상품 레버리지의 위험을 체감할 만한 연륜이 있었다면,
이번 AI Computing Infrastructure Cycle을 대표하는 최고의 투자자 중 한 명으로 성장했을지도 모르겠다.

=끝

생각정리 325 (* Memory Premium)

엊그제 Amazon 실적발표에서는 AI 데이터센터와 Cloud 사업의 투자회수기간, 수익성, Capacity 수요를 가늠할 수 있는 의미 있는 지표들이 연달아 공개됐다.

이 수치들을 따라가다 보니, 현재의 Memory 가격이 AI Cloud가 창출하는 경제적 가치에 비해 얼마나 낮게 평가돼 있는지, 그리고 Cloud 사업자가 감당할 수 있는 Memory의 적정가격 상단이 어디까지인지 역산해볼 수 있었다.

오늘은 그 리서치 과정을 정리해 기록으로 남겨본다.

만약 내가 바라보는 메모리의 적정가치의 논리와 전제, 가정들이 '어느정도' 맞다면, 현재의 메모리 컨센서스는 수요량 증가를 어느 정도 반영하고 있더라도, 메모리 업체가 확보할 수 있는 가격과 이익의 상단은 여전히 충분히 반영되지 못하고 있을 가능성이 매우 크다.

Memory Premium

AI Cloud는 Memory 가격을 어디까지 감당할 수 있는가

AI 데이터센터 투자를 둘러싼 논쟁은 주로 CAPEX의 절대 규모에 집중돼 있다.

수백억달러를 들여 데이터센터와 GPU를 계속 증설해도 투자비를 회수할 수 있는지, AI 수요가 둔화되면 막대한 설비가 유휴자산으로 남는 것은 아닌지에 대한 우려다.

그러나 최근 Amazon의 실적과 어닝콜을 보면 논의의 출발점을 조금 바꿀 필요가 있다.

현재 AI Cloud 사업자는 매출이 발생하지 않는 미래를 위해 투자하는 단계에만 머물러 있지 않다. 이미 가동 중인 AI 서버에서는 충분한 매출과 이익이 발생하고 있으며, 서버와 Network 장비의 투자비도 평균 3년 이내에 회수되고 있다.

Jamin Ball (@jaminball) / X

이제 Cloud 사업자의 핵심 질문은 데이터센터 투자를 계속할 것인지에 머물지 않는다.

이미 확보한 전력과 GPU를 활용해 얼마나 많은 유료 TOKEN을 생산할 수 있는가.

이 질문을 따라가면 Memory의 경제적 가치가 보이기 시작한다.

GPU는 AI 데이터센터에서 가장 비싼 핵심자산이지만, HBM의 용량과 Bandwidth가 부족하면 GPU 연산기는 데이터를 기다리며 놀게 된다. 더 많은 Memory가 이러한 대기시간을 줄여 TOKEN 생산량을 늘린다면, Memory 가격의 상단도 과거 DRAM 가격이나 제조원가만으로 설명하기 어려워진다.

Memory에 지불할 수 있는 최대가격은 추가 Memory가 회복시키는 GPU 가동시간과 그 시간에 생산되는 유료 TOKEN의 가치에 의해 결정된다.

핵심 요약

Amazon은 AWS 서버와 Network 장비의 투자비를 평균 3년 미만에 회수하고 있으며, 장비는 최소 5~6년 동안 사용하고 있다고 밝혔다.
LLM 추론에서는 GPU에 작업이 배정돼 있어도 HBM에서 데이터를 기다리면서 Tensor Core가 충분히 활용되지 못하는 Memory Wall이 발생한다.
H100에서 H200으로 넘어가면서 HBM 용량은 76%, Bandwidth는 43% 늘었고, Llama 2 70B 처리량은 최대 90% 증가했다.
Blackwell과 Rubin에서는 GPU 연산성능이 더 빠르게 증가하므로, Memory 부족으로 발생하는 GPU의 기회비용도 함께 커진다.
기준 시나리오에서 Rubin의 전체 Memory System은 GPU당 약 10만~11만달러의 경제적 가치를 창출할 수 있다.
이에 따라 HBM 가격은 현실적으로 현재의 3~5배까지 상승하더라도 Cloud 사업자의 장기 경제성이 유지될 가능성이 있다.

1. AI 데이터센터는 이미 투자비를 회수하고 있다

Amazon의 2026년 2분기 AWS 매출은 422억달러로 전년 대비 37% 증가했다. 영업이익은 166억달러로 64% 증가했으며, 영업이익률은 39.4%에 달했다.

AWS의 AI 사업과 자체 AI Chip 사업도 각각 연환산 매출 250억달러를 넘어섰다. AI 인프라 투자가 아직 매출로 연결되지 않은 선행투자에만 머무르는 것이 아니라, 실제 매출과 영업이익으로 전환되고 있다는 의미다. (Amazon)

2026.07.31 Amazon

Amazon은 어닝콜에서 AI 데이터센터의 투자회수 구조를 다음과 같이 설명했다.

데이터센터 건물과 전력설비는 서버 설치 약 2년 전부터 투자가 시작된다.
데이터센터는 30년 이상 활용할 수 있다.
서버와 Network 장비는 실제 고객 수요를 확인한 뒤 가동 몇 달 전에 구매한다.
서버와 Network 장비의 평균 투자회수기간은 3년 미만이다.
서버의 경제적 사용기간은 최소 5~6년이다.
최근 AI Capacity 계약은 대부분 5년 이상으로 체결된다.

서버를 6년 사용하면서 3년 이내에 투자비를 회수한다면, 이후 남은 2~3년은 상당한 잉여현금흐름을 창출하는 기간이 된다. Amazon은 AI 사업의 Margin과 Return이 과거 AWS Core 사업의 초기 단계보다 조금 앞서가고 있다고 평가했다. (알파스트리트 뉴스)

2026.07.31 Amazon

Amazon이 구체적인 AI ROIC 수치를 공개한 것은 아니다.

다만 3년 미만의 투자회수기간은 단순 현금회수 속도로 보면 매년 투자원금의 33% 이상을 회수하는 구조다. 회계상 ROIC와 완전히 같은 개념은 아니지만, AI 서버 투자의 경제성이 이미 상당히 높은 수준에 도달했음을 보여준다.

2026.07.31 Amazon

그럼에도 Amazon의 Free Cash Flow가 감소하는 이유는 기존 AI 서버가 돈을 벌지 못해서가 아니다.

현재 매출을 창출하는 데이터센터와 함께, 앞으로 사용할 데이터센터와 전력설비를 동시에 건설하고 있기 때문이다. 데이터센터는 완공되기 전까지 현금만 지출하지만, 서버가 설치되고 고객이 사용하기 시작하면 매출이 바로 발생한다.

Amazon은 2026년 Cash CAPEX 전망을 기존 2,000억달러에서 2,200억달러로 상향했다. 상향 원인 가운데 하나로 Memory 가격 상승을 직접 언급했다.

그럼에도 회사는 2026년 수요를 모두 충족하지 못할 것으로 예상했고, 2027년에도 Capacity 부족이 이어질 가능성이 높다고 설명했다. 2028년 Capacity에 대해서도 이미 상당한 고객 수요가 확인되고 있다. (marketbeat.com)

여기서 중요한 결론을 얻을 수 있다.

Memory 가격이 올라가고 있지만, Memory를 포함한 AI 데이터센터 투자의 예상수익이 여전히 비용보다 크기 때문에 Cloud 사업자는 투자를 줄이지 않고 있다.

2. AI Cloud의 핵심은 GPU 개수가 아니라 TOKEN 생산량이다

앞선 「Token Empire」에서 AI Cloud의 경쟁력을 다음과 같이 정의했다.

투자자본 1달러와 전력 1MW, Rack 한 개당 얼마나 많은 유료 TOKEN을 생산하는가.

AI Cloud의 원가구조를 단순화하면 다음과 같다.

TOKEN당 총원가

= GPU·Memory·Network·Data Center의 연간 고정비 ÷ 연간 유료 TOKEN 생산량
＋ TOKEN 생산에 사용되는 전력·냉각·운영비

GPU와 Memory, Network, 데이터센터 건물은 일단 구매하면 사용량이 줄어도 감가상각비가 계속 발생한다.

따라서 TOKEN 생산량이 늘어나면 동일한 고정비를 더 많은 TOKEN에 나눠 부담할 수 있다.

예를 들어 연간 고정비가 100이라고 가정해보자.

TOKEN을 100개 생산하면 TOKEN당 고정비는 1이다.
TOKEN을 200개 생산하면 TOKEN당 고정비는 0.5로 낮아진다.

새로운 데이터센터를 건설하지 않고 기존 GPU의 TOKEN 생산량을 두 배로 늘릴 수 있다면, TOKEN당 감가상각비는 절반 가까이 낮아질 수 있다.

이 때문에 Cloud 사업자가 중요하게 보는 지표도 GPU 한 개의 구매가격에만 머물지 않는다.

TOKEN당 총소유비용
GPU당 TOKEN 처리량
Rack당 TOKEN 생산량
전력 1MW당 매출
고객의 응답시간 기준을 만족하는 Goodput
생산된 TOKEN 중 실제 과금으로 연결되는 비율

Memory는 이 지표 대부분에 영향을 준다.

3. Memory Wall은 왜 GPU를 놀게 만드는가

GPU를 거대한 연산공장이라고 생각하면 이해하기 쉽다.

Tensor Core는 공장 안의 생산설비이고, HBM은 생산설비에 원재료를 공급하는 고속 컨베이어에 해당한다.

생산설비가 아무리 빨라도 컨베이어에서 원재료가 제때 도착하지 않으면 공장은 기다릴 수밖에 없다. AI GPU에서도 같은 현상이 발생한다.

LLM 추론은 크게 두 단계로 나뉜다.

Prefill

사용자가 입력한 Prompt 전체를 한꺼번에 읽고 처리하는 과정이다.

큰 행렬연산이 집중되므로 상대적으로 GPU 연산성능의 영향을 많이 받는다.

Decode

답변 TOKEN을 한 개씩 순차적으로 생성하는 과정이다.

TOKEN 하나를 만들 때마다 Model Weight와 이전 TOKEN의 정보를 저장한 KV Cache를 반복해서 불러와야 한다. 이 과정에서는 연산능력보다 HBM 용량과 Bandwidth가 병목이 되기 쉽다.

결국 Decode에서는 GPU에 작업이 배정돼 있고 전력도 소비하고 있지만, Tensor Core가 Memory에서 데이터가 도착하기를 기다리는 시간이 길어질 수 있다.

여기서 말하는 GPU 유휴가동률은 고객이 없어 GPU 전원이 꺼져 있는 비율과 다르다.

작업은 수행 중이지만 Memory와 Software 병목 때문에 GPU의 최대 연산능력을 매출로 전환하지 못하는 비중을 의미한다.

공개 연구에서는 Batch 1 Decode를 수행한 H100이 이론적 HBM Bandwidth의 약 27%만 활용한 사례가 확인됐다. CUDA Graph를 적용해 Kernel 실행 오버헤드를 줄이자 성능이 약 1.26배 개선됐다.

이는 LLM Decode가 Memory의 영향을 크게 받지만, Memory만 늘린다고 성능이 자동으로 비례 상승하는 것은 아니라는 점도 보여준다. Software, Kernel과 Scheduling이 함께 개선돼야 추가 Memory의 가치가 실현된다. (arXiv)

반대로 Memory 관리방식을 개선하는 것만으로 처리량이 크게 상승한 사례도 있다.

vLLM의 PagedAttention은 KV Cache의 파편화와 중복을 줄여 같은 GPU와 유사한 응답시간 조건에서 기존 Serving System보다 2~4배 높은 처리량을 기록했다. 물리적인 GPU를 추가하지 않고 Memory 활용방식만 바꿔 TOKEN 생산량을 늘린 사례다. (arXiv)

arXiv

vLLM의 PagedAttention은 KV Cache의 파편화와 중복을 줄여 같은 GPU와 유사한 응답시간 조건에서 기존 Serving System보다 2~4배 높은 처리량을 기록

GPU 유휴율을 어떻게 가정할 것인가

모든 Cloud 사업자에 적용할 수 있는 단일 GPU 유휴율은 존재하지 않는다.

Model 크기, Context 길이, Batch, 고객 요청량, Serving Software와 Network 구성에 따라 결과가 크게 달라지기 때문이다.

따라서 아래 계산에서는 업계 평균을 단정하지 않고, 이해를 돕기 위한 기준 시나리오를 설정했다.

실제 TOKEN 생산에 사용되는 GPU 연산능력: 30%
Memory와 Software 병목으로 활용되지 못하는 연산능력: 70%

이 상태에서 Memory 개선으로 처리량이 증가하면 GPU의 생산적 활용률은 다음과 같이 변한다.

처리량이 60% 증가한다고 GPU 전체가 60% 더 바빠지는 것은 아니다.

기존 생산적 활용률 30%에 1.6배를 곱하면 48%가 된다.

그 결과 GPU 유휴 비중은 70%에서 52%로 낮아진다. Memory가 새로운 GPU를 만들어내는 것은 아니지만, 기존 GPU 안에서 놀고 있던 연산능력 18%p를 TOKEN 생산으로 전환하는 셈이다.

4. H100과 H200이 보여준 Memory의 경제성

Memory가 GPU 성능에 미치는 영향을 가장 쉽게 확인할 수 있는 사례가 H100과 H200이다.

두 GPU는 모두 Hopper Architecture를 기반으로 한다. H200의 가장 큰 변화는 HBM이다.

NVIDIA의 Llama 2 70B Benchmark에서 H200은 H100보다 최대 1.9배 높은 처리량을 기록했다. H100은 Batch 8, H200은 Batch 32가 적용됐다. (nvidia.com)

이는 Memory만 교체한 완벽한 통제실험으로 볼 수는 없다.

그러나 Batch를 8에서 32로 확대할 수 있었던 핵심 이유가 HBM 용량과 Bandwidth 확대라는 점이 중요하다. 추가 Memory가 더 많은 사용자의 KV Cache를 동시에 보관할 수 있게 만들면서 GPU의 연산설비를 더 효율적으로 활용한 것이다.

앞서 설정한 기준 시나리오에 적용하면 다음과 같다.

개선 전 생산적 활용률: 30%
H200 처리량 개선: 최대 90%
개선 후 생산적 활용률: 30% × 1.9 = 57%
연산 유휴 비중: 70% → 43%

61GB의 추가 HBM과 더 높은 Bandwidth가 GPU의 연산 유휴 비중을 약 27%p 줄일 수 있다는 계산이다.

물론 모든 Model과 Workload에서 1.9배가 반복되지는 않는다.

그럼에도 H100에서 H200으로의 변화는 Memory가 단순히 GPU BOM을 높이는 부품을 넘어, 이미 구매한 Tensor Core를 실제 매출로 전환하는 자산이라는 점을 보여준다.

5. Blackwell과 Rubin에서는 Memory의 가치가 더 커진다

Hopper 이후 NVIDIA의 GPU 연산성능은 빠르게 증가하고 있다.

B200은 DGX H100보다 최대 15배의 추론성능을 제공한다고 NVIDIA는 설명한다. 이 수치에는 FP4 연산, Transformer Engine, NVLink와 Software Stack의 개선이 모두 포함돼 있으므로 전부를 Memory의 효과로 볼 수는 없다. (nvidia.com)

다만 GPU 연산성능이 Memory Bandwidth보다 빠르게 증가하면 새로운 문제가 발생한다.

연산기는 더 빨라졌지만 데이터를 공급하는 속도가 이를 따라오지 못하면서 Memory Wall이 오히려 커질 수 있다.

주요 NVIDIA GPU의 Memory 사양을 비교하면 다음과 같다.

DGX B200은 8개 GPU에 총 1,440GB의 HBM3E와 64TB/s의 Memory Bandwidth를 제공한다. GPU당으로 환산하면 180GB와 8TB/s다. (nvidia.com)

GB300은 약 288GB의 HBM3E를 탑재한다. NVIDIA는 더 큰 Memory가 Batch를 확대하고, 긴 Context를 사용하는 AI Reasoning의 최대 처리량을 높인다고 설명한다. (nvidia.com)

Rubin은 HBM 용량을 288GB로 유지하면서 Bandwidth를 22TB/s로 높인다. GB300 대비 약 2.75배에 해당한다.

Vera Rubin NVL72의 CPU Memory도 Rack당 54TB로 확대된다. GB300 NVL72의 17TB와 비교하면 세 배가 넘는 수준이다. (nvidia.com)

NVIDIA는 Vera Rubin NVL72가 GB200 NVL72보다 동일 전력에서 최대 10배 많은 TOKEN을 생산하고, 백만 TOKEN당 비용을 10분의 1로 낮출 수 있다고 제시한다. (nvidia.com)

다만 이 10배는 HBM4만으로 만들어지는 성능이 아니다.

NVFP4 연산성능
Rubin GPU
Vera CPU
HBM4
NVLink 6
Network
Attention 최적화
Prefill·Decode 분리
Serving Software

이 모든 요소가 함께 개선된 결과다.

따라서 Memory의 경제적 가치를 계산할 때는 전체 10배를 사용하지 않고, 그중 Memory가 직접 만들어내는 처리량만 보수적으로 분리해야 한다.

차세대 GPU에서 Memory가 기여하는 처리량 가정

아래 수치는 NVIDIA가 제시한 공식 Benchmark가 아니라, Capacity와 Bandwidth 변화에서 Memory의 기여분만 추출한 분석 가정이다.

B200은 전체 추론성능이 H200보다 훨씬 높지만, 그중 상당 부분은 FP4와 Tensor Core의 개선에서 발생한다. 따라서 Memory에 귀속되는 처리량은 60%로 제한했다.

GB300은 Bandwidth보다 Memory Capacity 확대가 중심이다. Long Context와 큰 Batch에서는 가치가 크지만, 짧은 Context에서는 일부 Memory가 남을 수 있어 처리량 증가를 35%로 가정했다.

Rubin은 Bandwidth가 2.75배 높아지지만, Network와 Kernel 등 다른 병목이 남아 있다. 이에 따라 Memory가 만들어내는 처리량 개선은 175%가 아닌 100%, 즉 두 배로 가정했다.

6. 추가 Memory는 Cloud 매출과 이익을 얼마나 늘리는가

Memory의 경제적 가치는 다음 식으로 계산할 수 있다.

추가 Memory의 경제적 가치

= GPU 시간당 매출
× 연간 시간
× 유료가동률
× Memory로 인한 처리량 증가율
× Cloud 사업자가 가져가는 매출 비중
× 추가 매출의 영업이익률
× 장비 사용기간의 현재가치

계산에는 다음과 같은 기준을 적용했다.

여기서 유료가동률 70%는 앞서 언급한 GPU 연산 유휴율 70%와 다른 개념이다.

유료가동률은 고객이 GPU를 사용하며 요금을 지불하는 시간의 비율이다.
연산 유휴율은 유료작업을 수행하는 도중에도 Tensor Core가 Memory를 기다리며 충분히 활용되지 못하는 비율이다.

처리량 증가분의 매출 회수율은 60%로 설정했다.

Cloud 사업자가 추가 처리량을 전부 가격으로 가져가기 어렵기 때문이다. 일부는 TOKEN 가격 인하, 더 빠른 응답속도와 고객 SLA 개선의 형태로 고객에게 돌아간다.

반면 Capacity가 부족한 Cloud 사업자는 기존 고객을 더 적은 GPU로 처리하고, 남는 GPU를 다른 고객에게 재판매할 수 있다.

Cloud 가격의 대리치로 CoreWeave의 공개가격을 사용했다.

H200: GPU당 시간당 6.31달러
B200: GPU당 시간당 8.60달러
GB200: GPU당 시간당 10.50달러
GB300: 4GPU당 시간당 61.44달러, GPU당 약 15.36달러

Rubin 가격은 공개되지 않아 GPU당 시간당 18달러를 분석 가정으로 사용했다. 실제 Hyperscaler의 장기계약 가격은 공개 On-demand 가격보다 낮을 수 있다. (CoreWeave)

H200에서 B200으로 전환할 경우

B200의 Memory 개선으로 처리량이 60% 증가한다고 가정했다.

계산 과정은 다음과 같다.

연간 추가 매출
= 8.60달러 × 8,760시간 × 70% × 60% × 60%
= 약 1.90만달러

여기에 추가 매출 영업이익률 60%와 4년 현재가치를 적용하면 GPU당 약 3.61만달러가 된다.

B200에 추가된 HBM Capacity와 Bandwidth를 확보하기 위해 GPU당 3만달러 이상의 Premium을 지불하더라도, Cloud 사업자는 4년간 발생하는 추가 영업이익으로 이를 회수할 수 있다는 의미다.

GB200에서 GB300으로 전환할 경우

GB300은 HBM Capacity 확대를 통해 더 큰 Batch와 긴 Context를 지원한다.

처리량 증가를 35%로 가정하면 다음과 같다.

GB300의 Memory 가치는 모든 워크로드에서 동일하지 않다.

짧은 Context의 소형 Model에서는 288GB의 HBM을 전부 활용하지 못할 수 있다. 반대로 긴 Context와 Reasoning, Agentic AI처럼 KV Cache가 빠르게 증가하는 환경에서는 추가 Capacity가 Batch와 TOKEN 매출로 직접 연결될 가능성이 높다.

GB300에서 Rubin으로 전환할 경우

Rubin은 HBM Capacity보다 Bandwidth 증가가 핵심이다.

HBM Bandwidth가 8TB/s에서 22TB/s로 2.75배 증가하지만, 계산에서는 Memory에 귀속되는 처리량 개선을 100%로 제한했다.

Rubin의 전체 성능은 GB200보다 최대 10배 높아질 수 있지만, 본 계산은 그중 Memory에 귀속되는 효과를 두 배로만 반영했다.

그럼에도 HBM4가 창출하는 경제적 가치는 GPU당 약 12.6만달러로 추정된다.

Rubin의 실제 Cloud 가격이 시간당 15달러에 그친다면 이 가치는 약 10.5만달러로 낮아진다. 시간당 20달러라면 약 14만달러까지 올라간다.

따라서 Rubin HBM4의 경제적 가치는 GPU당 약 10만~14만달러의 범위로 보는 것이 적절하다.

7. HBM·Server DRAM·NAND의 가치는 서로 다르다

모든 Memory가 GPU 유휴시간을 같은 정도로 줄이는 것은 아니다.

GPU 연산기와 가까울수록 TOKEN 처리량에 직접적인 영향을 주고, 더 높은 가격을 정당화할 수 있다.

HBM

HBM은 GPU Package에 직접 연결된다.

Decode 과정에서 Model Weight와 KV Cache를 Tensor Core에 공급하기 때문에, Capacity와 Bandwidth 증가는 GPU 처리량과 직접 연결될 가능성이 가장 높다.

Batch 확대
더 큰 Model 상주
KV Cache 증가
CPU Memory Offloading 감소
GPU 간 통신 감소
TOKEN당 응답시간 단축

HBM이 가장 높은 가격결정력을 확보할 수 있는 이유다.

Server DRAM과 LPDDR

Host Memory는 HBM보다 느리지만 다음 데이터를 저장할 수 있다.

Cold KV Cache
오래된 Context State
Model과 Activation
Prefix Cache
HBM에서 밀려난 데이터
GPU에서 곧 사용할 데이터의 Staging 영역

Rubin의 CPU Memory는 GB300 대비 GPU당 약 514GB 증가한다.

추가 Host Memory가 전체 처리량을 10% 개선한다고 가정하면 GPU당 4년 경제적 가치는 약 1.26만달러가 된다.

추가 DRAM 1GB당 가치는 다음과 같다.

1.26만달러 ÷ 514GB = 약 25달러/GB

처리량 개선 정도에 따라 가격경계도 달라진다.

Server DRAM은 HBM을 보조하지만 HBM Bandwidth를 완전히 대체하지 못한다. 따라서 HBM만큼 높은 가격 상승을 흡수하기는 어렵다.

Enterprise NAND

NAND는 정상적으로 Model이 HBM에 올라간 Steady-state Decode에서는 TOKEN을 직접 생산하지 않는다.

대신 GPU가 작업을 시작하기 전후의 대기시간을 줄인다.

Model Loading
Training Checkpoint 이동
Prefix Cache 저장
Cold KV Cache
Model 교체
Serverless 추론의 Scale-up
데이터와 Model Repository

GPU당 4TB의 고성능 NAND가 전체 처리량을 3% 높인다고 가정하면 4년 경제적 가치는 약 3,800달러다.

3,800달러 ÷ 4TB = 약 950달러/TB

처리량 개선에 따른 가격경계는 다음과 같다.

NAND는 Model 전환과 Cache 재사용이 많은 환경에서 가치가 높아진다. 반면 같은 Model을 계속 실행하는 단순한 Batch Inference에서는 경제적 가치가 낮다.

8. 현재 Memory 가격은 경제적 상단에 도달했는가

HBM 계약가격은 고객과 공급업체 간의 장기계약으로 결정되기 때문에 정확한 가격이 공개되지 않는다.

공개된 Teardown과 시장자료에서는 B200의 HBM3E 비용을 GPU당 약 2,400~2,900달러 수준으로 추정한다. 일부 분석에서는 Packaging과 공급부족 Premium을 반영해 약 4,000달러까지 적용한다.

공식 계약가격이 아닌 분석용 대리치라는 점은 고려해야 한다. (Silicon Analysts)

(Silicon Analysts)

Rubin NVL72의 HBM4와 LPDDR5X, NAND를 합친 전체 Memory 비용은 Rack당 약 200만달러, GPU당 약 2.8만달러로 추정되고 있다. 이 역시 NVIDIA가 공개한 공식 BOM이 아니라 공급망 자료를 이용한 추정치다. (tomshardware.com)

Rubin의 전체 Memory 가치를 정리하면 다음과 같다.

HBM4 Bandwidth 개선 가치: GPU당 약 12.6만달러
추가 Host Memory 가치: 약 1.26만달러
NAND 가치: 약 0.38만달러
단순 합계: 약 14.2만달러

이 효과들은 일부 중복된다.

예를 들어 HBM이 충분하면 Host Memory Offloading의 가치가 낮아지고, Host Memory가 충분하면 NAND Cache의 추가효과도 줄어든다.

중복효과를 20~30% 할인하면 Rubin 전체 Memory System의 경제적 가치는 GPU당 약 10만~11만달러로 추정된다.

NVL72 Rack 기준으로는 약 720만~800만달러다.

현재 Memory 비용 추정치가 GPU당 약 2.8만달러라면, 전체 Memory 가격이 약 3~4배가 되기 전까지는 추가 TOKEN이 창출하는 영업이익으로 비용을 회수할 수 있다는 계산이다.

TrendForce도 일반 DDR5의 수익성이 HBM에 근접하거나 일부 조건에서 추월하면서 Memory 공급업체가 HBM 가격을 더 높여야 할 경제적 유인이 커지고 있다고 분석했다. HBM 생산은 일반 DRAM Wafer를 사용하기 때문에 HBM 가격이 충분히 높지 않으면 공급업체가 일반 DRAM 생산을 선호할 수 있다. (trendforce.com)

Cloud 사업자가 높은 Memory 가격을 수용하는 이유는 Memory 자체가 저렴해서가 아니라, Memory 부족으로 더 비싼 GPU가 놀면서 발생하는 손실이 더 크기 때문이다.

9. 최종 적정가격 경계

아래 수치는 Memory 업체의 실제 계약가격 전망이 아니다.

추가 Memory가 GPU 유휴시간을 줄여 만들어내는 Cloud 사업자의 매출과 영업이익을 역산한 경제적 경계다.

가격 상승 가능성은 두 단계로 나눠 봐야 한다.

이론적 가격 상승 범위

추가 Memory가 창출하는 경제적 가치를 Memory 공급업체가 모두 가격으로 가져간다고 가정한 최대 상단이다.

현실적 가격 상승 허용범위

NVIDIA의 GPU 가격 인상, TOKEN 가격 하락, 고객에게 이전되는 성능개선 효과, Software 최적화 실패와 낮은 가동률을 함께 반영한 범위다.

Memory 가격 상승 허용범위

표에서 현재 대비 3배는 가격이 기존 가격의 세 배가 된다는 의미다. 상승률로 표현하면 약 200% 상승에 해당한다.

이론적 상단과 현실적 상단이 다른 이유

B200 HBM3E의 경제적 가치는 GPU당 약 3.6만달러로 계산된다.

현재 HBM3E 비용을 2,400~4,000달러로 가정하면 이론적으로는 현재 가격의 약 9~15배까지 지불할 수 있다.

그러나 HBM 공급업체가 이 가치를 전부 가져갈 수는 없다.

Blackwell의 높은 TOKEN 생산성은 HBM뿐 아니라 다음 요소가 함께 만든다.

Tensor Core
FP4
NVLink
Network
Software Stack
Cooling
Rack 설계

NVIDIA도 GPU와 Rack 가격을 올릴 수 있고, Cloud 사업자는 성능개선 일부를 더 낮은 TOKEN 가격이나 더 빠른 응답속도로 고객에게 돌려줘야 한다.

따라서 B200 HBM3E의 이론적 상승 여력은 9~15배지만, 현실적으로 Cloud 사업자가 안정적으로 감당할 수 있는 범위는 약 3~5배로 보는 편이 적절하다.

GB300은 이론적으로 약 8~13배까지 가능하다.

다만 GB300의 가치는 Bandwidth보다 HBM Capacity 확대에서 발생한다. 짧은 Context에서는 추가 Memory가 남을 수 있으므로 현실적인 가격 상승 허용범위는 약 3~4배로 낮아진다.

Rubin HBM4의 이론적 가격 여력은 가장 크다.

HBM Bandwidth가 8TB/s에서 22TB/s로 증가하면서 Memory-bound Decode의 TOKEN 처리량을 직접 높일 수 있기 때문이다. GPU당 HBM4 비용을 8,000~1.2만달러로 가정하면, 경제적 가치 10만~14만달러는 현재 가격의 약 8~18배에 해당한다.

그럼에도 Rubin의 성능에는 GPU 연산, NVLink, Vera CPU와 Software 개선이 함께 반영된다.

이를 고려하면 Rubin HBM4의 현실적인 가격 상승 허용범위는 현재 대비 약 3~5배로 추정된다.

반면 Server DRAM과 NAND는 GPU 연산기에 직접 데이터를 공급하지 않는다.

HBM을 보조하고 GPU 대기시간을 줄일 수 있지만, Steady-state Decode의 핵심 병목을 완전히 제거할 수 없기 때문에 가격 상승을 흡수할 수 있는 범위도 상대적으로 낮다.

핵심 결론

Amazon의 실적과 어닝콜은 AI 데이터센터 투자의 경제성이 이미 확인되고 있음을 보여준다.

AWS 매출과 영업이익은 각각 37%, 64% 증가했고, 서버와 Network 장비의 투자비는 평균 3년 미만에 회수된다. 서버는 최소 5~6년 동안 사용되며, AI Capacity 계약도 대부분 5년 이상이다. (Amazon)

Cloud 사업자는 이미 가동 중인 AI 서버에서 충분한 현금흐름을 창출하고 있다.

이제 경쟁의 중심은 GPU를 얼마나 많이 구매했는지보다, 그 GPU로 얼마나 많은 유료 TOKEN을 생산하는지로 이동하고 있다.

이 과정에서 HBM은 단순한 원가 항목에 머물지 않는다.

HBM은 이미 구매한 GPU와 데이터센터의 유휴시간을 줄여 TOKEN 생산량을 늘리는 생산설비다.

H100에서 H200으로 넘어갈 때 HBM 용량은 76%, Bandwidth는 43% 증가했고, Llama 2 70B 처리량은 최대 90% 늘었다.

Blackwell과 Rubin에서는 GPU 연산성능이 더 빠르게 높아진다. 따라서 Memory가 충분하지 않을 때 놀게 되는 Tensor Core의 기회비용도 함께 커진다.

Rubin HBM4는 GB300보다 Bandwidth가 2.75배 높다. 전체 성능개선 가운데 Memory에 귀속되는 처리량을 두 배로 제한해도, GPU당 약 10만~14만달러의 경제적 가치가 발생한다.

결론은 분명하다.

HBM은 가격이 크게 상승해도 Cloud 사업자의 경제성이 유지될 가능성이 높다.

HBM의 적정가격 상단은 과거 Commodity DRAM 가격이나 제조원가만으로 결정되지 않는다.

다음 세 가지가 실제 가격경계를 결정한다.

추가 HBM이 얼마나 많은 GPU 대기시간을 줄이는가
회복된 GPU가 얼마나 많은 유료 TOKEN을 생산하는가
추가 TOKEN이 Cloud 사업자에게 얼마나 많은 영업이익을 남기는가

기준 시나리오에서 B200·GB300·Rubin HBM은 현재 대비 약 3~5배까지 가격이 높아져도 Cloud 사업자의 장기 경제성이 유지될 수 있다.

Server DRAM과 NAND의 가격 상승 여력은 HBM보다 낮다. GPU Tensor Core에 직접 데이터를 공급하는 정도가 낮기 때문이다.

Memory의 가격결정력은 다음 순서로 정리할 수 있다.

HBM4 > HBM3E > Server DRAM·LPDDR > Enterprise NAND

다만 최종적으로 봐야 할 지표는 HBM 가격 하나가 아니다.

NVIDIA가 GPU와 Rack 가격을 동시에 크게 올리고, TOKEN 가격은 빠르게 하락하며, Cloud의 유료가동률까지 낮아진다면 Memory의 경제적 가치도 줄어든다.

따라서 실질적인 가격경계는 다음 지점에서 형성된다.

GPU와 Memory를 포함한 Rack 전체 가격 상승률이 동일 전력당 유료 TOKEN 생산량 증가율을 넘어서는 시점

그 이전까지 Cloud 사업자에게 더 비싼 Memory는 비용 부담인 동시에 더 많은 매출과 이익을 생산하는 자산이다.

현재의 AI Cloud 투자회수기간과 차세대 GPU의 TOKEN 생산성 개선을 함께 고려하면, 적어도 HBM 가격은 시장의 기존 예상보다 훨씬 높은 수준까지 상승할 경제적 근거를 확보하고 있다.

주: 본 추정치는 본문에서 산출한 메모리 프리미엄의 적정 상방 가격을 SKH의 기존 출하량과 비용구조에 적용한 이론적 연간 실적 상단임.

정상적인 컨센서스 전망이 아닌 가격 민감도에 따른 기계적 Ceiling 추정치로 해석해야 함.
즉, AI Cloud 경제성이 훼손되기 전까지의 이론적·현실적 Ceiling으로 해석

주: 본 추정치는 본문에서 산출한 메모리 프리미엄의 적정 상방 가격을 SEC의 기존 출하량과 비용구조에 적용한 이론적 연간 실적 상단임.

정상적인 컨센서스 전망이 아닌 가격 민감도에 따른 기계적 Ceiling 추정치로 해석해야 함.
즉, AI Cloud 경제성이 훼손되기 전까지의 이론적·현실적 Ceiling으로 해석

=끝