2026년 7월 30일 목요일

생각정리 326 (* Right Thesis, Wrong Leverage)

이번 Situational Awareness 사태에서 반면교사로 삼을 부분이 적지 않아,
관련 내용을 기록 차원에서 정리해본다.

Situational Risk


미래를 정확히 보고도 살아남지 못한 투자자


어제 오후, Leopold Aschenbrenner가 운용하는 Situational Awareness 펀드가 Margin Call에 직면했다는 기사를 처음 접했다.

파이낸셜 타임스

처음에는 수많은 레버리지 펀드 가운데 한 곳이 청산되는 사건으로 생각했다. 그러나 Financial Times와 Reuters의 후속 보도를 읽어보니 사안의 규모와 시장에 미친 영향은 예상보다 훨씬 컸다.

Situational Awareness는 2026년 상반기 400%가 넘는 수익률을 기록하고 설정 이후에는 1,500% 이상의 성과를 올렸었고 운용자산도 한때 200억달러를 넘어섰던 것으로 보도됐다고 한다. 

하지만 7월 기술주 조정과 대규모 레버리지 부담이 겹치면서 결국 Citadel에 상장주식 포트폴리오 대부분을 넘기게 됐다고 한다. 

https://www.ft.com/


Situational Awareness는 AI 반도체, Memory, Storage, Data Center와 전력 인프라에 집중적으로 투자해온 펀드였다. Aschenbrenner는 누구보다 빠르게 AI Computing Infrastructure Cycle을 포착했고, 과감한 Leverage를 통해 상당한 수익을 기록했던 것으로 알려졌다.

https://x.com/HedgieMarkets


문제는 산업의 장기 방향을 정확히 예측한 것과 그 방향이 실현될 때까지 Portfolio가 생존하는 것은 서로 다른 문제라는 점이었다.

이번 사건을 이해하기 위해서는 6월 23일부터 7월 30일까지 이어진 AI 기술주 디레버리징 과정을 먼저 면밀히 살펴볼 필요가 있다.


6월 23일, 중국의 해외 TRS 신규 거래가 중단됐다


6월 23일 저녁부터 중국 당국은 자국 사모펀드가 TRS를 활용해 해외 주식 익스포저를 확대하는 것을 제한하기 시작했다.

기존 Position은 유지할 수 있었지만 신규 매수와 교체매매가 어려워지면서, 미국과 한국의 AI·반도체 주식으로 유입되던 중국계 한계 매수세가 약해졌다. 일부 펀드는 사실상 매도는 가능하지만 신규 매수는 제한되는 상황에 놓였다.

이 조치가 이후 AI 주식 하락을 직접 일으켰다고 단정하기는 어렵다. 다만 이미 Position이 혼잡했던 시장에서 추가 매수 주체가 약해졌다는 사실 자체가 디레버리징에 취약한 환경을 만들었다.

출처: 券商中国·新浪财经 — 跨境TRS新增规模被叫停


6월 말부터 혼잡했던 AI Position이 흔들리기 시작했다


당시 글로벌 Hedge Fund들은 AI 반도체, Memory, Data Center와 전력 인프라에 유사한 Position을 쌓고 있었다.

AI Computing Infrastructure의 장기 성장성을 믿는 투자자가 많았던 만큼, 일부 종목에는 Long Position이 과도하게 집중돼 있었다. 중국계 신규 자금 유입이 둔화된 상황에서 AI 주가가 하락하자 Quant Fund와 Long-short Fund가 동시에 익스포저를 줄이기 시작했다.

집중도가 높고 Leverage가 큰 펀드에는 단순한 주가 조정이 아니었다.

주가가 하락하면 담보가치가 낮아지고, 담보가치가 낮아지면 추가 증거금 요구가 발생한다. 증거금을 마련하기 위해 주식을 매도하면 가격이 다시 하락하면서 더 큰 Margin Call이 발생한다.

주가 하락이 매도를 부르고, 매도가 다시 주가 하락을 만드는 전형적인 Deleveraging Loop가 시작된 것이다.

출처: Financial Times — Hedge funds face demands to stump up collateral as AI stocks tumble
출처: Reuters — Citadel buys most of Situational’s stock holdings after AI share rout


7월 23일, Situational Awareness의 유동성 위기가 드러났다


7월 23일 Intel은 예상보다 양호한 실적을 발표했지만 주가는 오히려 하락했다.

시장에서는 대형 투자자가 실적과 관계없이 물량을 급하게 처분하고 있다는 관측이 나왔다. Financial Times에 따르면 당시 매도 주체 가운데 하나가 Situational Awareness였다.

펀드는 Intel에 대한 투자 판단이 바뀌어서 주식을 매도한 것이 아니었다. 다른 AI 관련 Position에서 발생한 손실과 증거금 부담을 메우기 위해 유동성이 높은 Intel 주식을 처분한 것으로 전해졌다.

공식적인 최초 Margin Call 발생 시점을 7월 23일로 단정하기는 어렵다. 그러나 이 시점부터 펀드의 운용 목적이 정상적인 투자 판단에서 현금 확보와 담보 보강을 위한 강제 매도로 이동한 정황은 분명해졌다.

출처: Financial Times — How Leopold Aschenbrenner, the ‘golden child’ of the AI trade, was laid low


7월 24일, 투자자들에게 추가 자금을 요청했다


Aschenbrenner는 7월 24일 투자자들에게 서한을 보냈다.

그는 상반기까지의 높은 수익률을 강조하면서 최근 AI 기술주 하락을 추가 투자 기회로 설명했다. 이후 기존 투자자와 대주단에 신규 자금을 요청했고, 일부 투자자에게는 펀드가 보유한 자산을 직접 매입하는 방안도 제시한 것으로 알려졌다.

표면적으로는 저가매수를 위한 증자였지만, 당시 상황을 고려하면 추가 담보를 확보하고 강제청산을 피하기 위한 긴급 자금조달 성격이 더 강했던 것으로 보인다.

그러나 시장가격이 빠르게 하락하는 상황에서는 신규 자금이 들어오더라도 담보 부족분이 계속 커진다. 자금조달 속도가 자산가격 하락 속도를 따라가지 못하면 결국 Portfolio 자체를 매각할 수밖에 없다.

출처: Financial Times — Leopold Aschenbrenner’s Situational Awareness seeks to raise capital after AI rout
출처: Financial Times — How Leopold Aschenbrenner was laid low


7월 27일, CXMT가 상장했다


7월 27일 중국 Memory 기업 CXMT가 상하이 STAR Market에 상장했다. 당시 보도에 따르면 주가는 공모가 대비 큰 폭으로 상승했고 대규모 자금조달에도 성공했다.

중국 투자자금이 NVIDIA, Micron, SK하이닉스 등 해외 AI·Memory 기업보다 자국의 전략 반도체 기업으로 이동할 수 있다는 우려가 커진 시점이었다.

다만 중국의 TRS 제한이 CXMT 상장을 지원하기 위해 시행됐거나, CXMT 상장이 Situational Awareness의 청산을 직접 유발했다는 증거는 확인되지 않았다.

두 사건을 직접적인 인과관계로 연결하기보다는 중국 자금의 해외 유출을 제한하는 흐름과 자국 반도체 기업으로 자본을 유도하는 방향이 동시에 나타난 정황으로 해석하는 편이 적절하다.

출처: Associated Press — China memory chipmaker CXMT’s shares soar in Shanghai


7월 28~29일, 자금조달이 실패하고 Book 매각으로 전환됐다


AI 주식 하락이 이어지면서 Situational Awareness는 일부 주식을 매도하는 것만으로 담보 부족을 해결하기 어려운 상황에 빠졌다.

적어도 한 곳의 Prime Broker가 펀드를 감시대상에 올렸고, 최종 청산 직전까지 추가 증거금을 요구한 것으로 전해졌다.

신규 자금조달이 충분히 이뤄지지 않자 Aschenbrenner는 Jane Street, Millennium, Citadel 등 대형 금융기관과 접촉해 공개주식 Portfolio의 전부 또는 상당 부분을 일괄 매각하는 협상에 들어갔다.

이 단계에서 펀드는 더 이상 어떤 종목을 보유하고 매도할지를 독립적으로 결정하기 어려웠다.

Portfolio의 Fundamental Value보다 Prime Broker의 담보 회수와 시장 충격을 최소화하는 것이 우선되는 단계로 넘어간 것이다.

출처: Financial Times — How Leopold Aschenbrenner was laid low
출처: Financial Times — Citadel buys Situational Awareness equity holdings after steep AI losses


7월 30일, Citadel이 공개주식 Book 대부분을 인수했다


밤샘 협상 끝에 Citadel이 Situational Awareness의 공개주식 Portfolio 대부분을 넘겨받았다.

Goldman Sachs, JPMorgan, Bank of America와 Citigroup 등 주요 Prime Broker가 거래를 지원했으며, Citadel은 증권사 차입을 통해 조성된 레버리지 Position 상당 부분을 인수한 것으로 알려졌다.

펀드 전체가 Citadel에 넘어간 것은 아니다. Situational Awareness는 일부 무차입 상장주식과 Anthropic 등 비상장 지분을 남겼다.

그러나 대규모 차입을 활용해 AI Infrastructure 주식에 투자하던 공개주식 운용은 사실상 종료됐다.

6월 23일 중국의 해외 TRS 제한 이후 AI 주식의 한계 매수세가 약해졌고, 혼잡한 Position에서 디레버리징이 시작됐다. 7월 23일 Situational Awareness의 급매가 외부에 드러난 뒤 추가 자금조달을 시도했지만, 결국 7월 30일 Citadel에 공개주식 Book 대부분을 넘기게 됐다.

출처: Reuters — Citadel buys most of Situational’s stock holdings after AI share rout
출처: Financial Times — Citadel buys Situational Awareness equity holdings
출처: The Wall Street Journal — Citadel Buys Situational Awareness’s Stock Portfolio


그는 AI 산업의 방향을 틀리게 본 것이 아니었다


이번 청산을 단순히 잘못된 AI 투자에 따른 실패로 해석해서는 중요한 부분을 놓치게 된다.

Aschenbrenner는 2024년 발표한 『Situational Awareness』에서 AI가 Software 산업을 넘어 Data Center, 전력, 반도체, Memory와 국가안보를 함께 움직이는 거대한 산업 시스템으로 발전할 것이라고 주장했다.


Leopold Aschenbrenner — 2027 AGI, China/US super-intelligence race, & the return of history


당시에는 지나치게 공격적인 전망으로 받아들여졌지만, 2026년 현재 그가 제시한 산업의 방향은 상당 부분 현실화되고 있다.

물론 그가 예상했던 2027년 AGI와 완전한 Recursive Self-Improvement가 실현됐다고 판단하기에는 이르다.

그럼에도 AI 산업이 어떤 순서로 발전하고, 그 과정에서 어떤 병목이 발생할지를 연결해서 본 그의 분석력은 상당히 뛰어났다.


데이터가 부족해지자 AI가 데이터를 만들기 시작했다


Aschenbrenner는 Internet Text를 이용한 Pre-training이 한계에 가까워질수록 Synthetic Data, Reinforcement Learning과 Self-play의 중요성이 커질 것으로 예상했다.

실제로 Frontier Model은 이제 인간이 만든 데이터를 단순히 학습하는 단계에서 벗어나고 있다.

AI가 스스로 문제와 해답을 생성하고, Verifier와 Reward Model이 결과를 평가한다. 그 가운데 우수한 결과를 다시 다음 모델의 Training Data로 사용하는 구조가 발전하고 있다.

완전한 자기개선이라고 부르기는 어렵지만, AI가 다음 AI를 개선하는 과정에 직접 참여하기 시작했다는 점은 분명하다.

데이터가 부족해지면 AI의 발전이 멈추는 대신, AI가 새로운 데이터를 생산하는 방향으로 Scaling 방식이 변화하고 있는 것이다.

생각정리 282 (* HDD)


Test-time Compute가 새로운 Scaling 축으로 자리 잡았다


기존 AI Scaling은 더 많은 Data와 Parameter, Training Compute를 투입하는 방식에 집중돼 있었다.

Reasoning Model의 등장 이후에는 학습이 완료된 모델도 답을 찾는 과정에서 더 많은 연산을 사용하면 성능을 높일 수 있게 됐다.

모델이 여러 추론 경로를 탐색하고, 오류를 수정하며, 결과를 검증하는 Test-time Compute가 새로운 성능개선 축으로 자리 잡은 것이다.

Ilya Sutskever가 강조한 Value Function도 이 흐름과 연결된다.

중요한 것은 무조건 오래 생각하는 것이 아니다. 여러 추론 경로 가운데 성공 가능성이 높은 경로를 평가하고, 가치가 높은 사고과정에 Compute를 집중하는 Algorithm이 필요하다.

Pre-training의 단순한 Scaling 효율이 낮아질수록 Value Function, Search, Verifier와 Self-play 같은 Algorithmic Breakthrough의 중요성은 더욱 커질 가능성이 높다.

생각정리 131 (* Ilya Sutskever)

https://www.reuters.com/legal/transactional/nvidia-invest-5-billion-ilya-sutskevers-ai-startup-source-says-2026-07-27/



AI는 기존 Software 위의 통합 Interface가 되고 있다


Aschenbrenner는 LLM의 성능이 지속적으로 향상되면 제한적인 AI 기능을 기존 Workflow에 붙이는 Software와 Wrapper의 가치가 잠식될 수 있다고 판단했다.

최근 Cursor, Figma와 Kimi의 발전은 이러한 방향을 보여준다.

Cursor는 단순한 Code Editor를 넘어 Frontier Model이 Codebase를 이해하고, 파일을 수정하며, Test와 실행까지 담당하는 AI 개발환경으로 발전하고 있다.

Figma 역시 Frontier Model을 내부에 통합하면서 자연어 요구사항을 Design, Prototype과 Code로 연결하고 있다. Kimi의 개발 방향도 AI가 Tool을 사용하고 장기 과제를 수행하며, Software 개발과 AI 연구에 참여하는 Agent 구조로 이동하고 있다.

기존 Software가 모두 사라진다는 의미는 아니다.

사용자가 각각의 Software UI를 직접 조작하는 대신 LLM에 목표를 전달하면, LLM이 여러 Application과 API를 통합해 업무를 수행하는 구조로 바뀌고 있다.

사용자 → 개별 Software UI

에서

사용자 → LLM → Software·Data·API 통합 실행

으로 Interface가 이동하는 것이다.

이 과정에서 단순한 UI와 Workflow의 가치는 낮아질 수 있다. 반면 독점적인 Data, 기업의 공식 기록, 권한체계, 결제와 거래기능을 보유한 Software는 AI가 호출하는 System of Record와 Execution Layer로 남을 가능성이 높다.

Aschenbrenner가 정확히 본 부분은 Software의 소멸보다 가치포착의 중심이 Application에서 Model과 Agent 계층으로 이동하는 구조였다.

생각정리 303 (* All or Nothing, 데이터주권)


AI의 병목은 전력과 Memory로 이동했다


Aschenbrenner는 AI 경쟁을 Software만의 문제로 보지 않았다.

모델이 발전할수록 더 많은 GPU와 Data Center가 필요하고, 결국 전력망과 반도체 공급망이 AI의 발전속도를 결정할 것으로 예상했다.

현재 AI Data Center의 건설속도는 기존 전력망의 증설속도를 앞서고 있다. 이에 따라 사업자들은 전력망 연결을 기다리는 대신 발전설비를 직접 확보하거나 Data Center 인근에서 전력을 생산하는 Behind-the-meter 모델로 이동하고 있다.

Bloom Energy의 Fuel Cell과 분산형 발전설비 수요가 증가하는 현상도 같은 흐름에서 이해할 수 있다.

병목은 GPU에서 Memory와 Storage로 확산되고 있다.

Reasoning 시간이 길어지고 Context가 커질수록 HBM, Server DRAM과 Enterprise SSD에 저장하고 이동해야 하는 데이터가 빠르게 증가한다.

GPU가 아무리 많아도 Memory 용량과 Bandwidth가 부족하면 GPU 가동률과 Token 생산량은 낮아진다.

따라서 AI Computing은 GPU 하나만으로 설명할 수 없다.

GPU, Memory, Storage, Network와 Power가 함께 작동하는 하나의 Token 생산시스템으로 이해해야 한다.

생각정리  324 (* Token Empire)


AI 경쟁은 국가 간 산업 패권경쟁으로 확장됐다


Aschenbrenner는 Frontier Model의 Weight와 Algorithm, 대규모 Computing Infrastructure가 국가안보 자산이 될 것으로 예상했다.

이 역시 현실화되고 있다.

미국과 중국의 AI 경쟁은 더 이상 어느 국가가 높은 Benchmark 점수의 LLM을 보유했는지에 머물지 않는다.

첨단 반도체, HBM, 전력, Data Center, Cloud와 제조업 공급망을 누가 통제하는지가 국가의 AI 경쟁력을 결정하고 있다.

AI 패권의 중심이 Software 성능에서 물리적 산업자산으로 완전히 이동한 것은 아니다. 그러나 경쟁의 범위가 Model 성능을 넘어 Computing Infrastructure와 국가 생산능력 전반으로 확장됐다는 사실은 분명하다.


그의 가장 큰 장점은 시스템적 사고였다


Aschenbrenner에게서 가장 크게 배울 수 있는 부분은 개별 기술을 따로 분석하지 않았다는 점이다.

그는 LLM 성능, Algorithm, Data, Software, GPU, Memory, 전력과 국가안보를 하나의 연결된 구조로 봤다.

그의 논리는 다음과 같이 이어진다.

데이터가 부족해지면 Synthetic Data와 Reinforcement Learning이 중요해진다.

Pre-training의 효율이 낮아지면 Test-time Compute와 새로운 Algorithm이 필요해진다.

AI가 Agent로 발전하면 기존 Software의 Interface와 Workflow를 흡수한다.

Token 생산량이 증가하면 GPU뿐 아니라 Memory, Storage와 전력 수요가 함께 증가한다.

AI가 경제와 군사력의 기반이 되면 기업 간 경쟁은 국가 간 패권경쟁으로 확장된다.

각각의 현상을 독립적으로 바라보면 AI 산업의 변화를 온전히 이해하기 어렵다.

Model의 성능 향상이 Software 산업을 바꾸고, Software의 변화가 Token 수요를 늘리며, Token 수요가 Memory와 전력의 희소성을 높인다. 이 물리적 자산은 다시 기업과 국가의 AI 경쟁력을 결정한다.

AI 시대에는 특정 Model이나 기업 하나를 분석하는 능력만으로 부족하다.

기술, 산업, 자본과 국가전략이 서로 어떤 영향을 주고받는지를 연결해 보는 시스템적 사고가 중요하다.

Aschenbrenner의 가장 큰 통찰은 AGI의 정확한 도달 시점을 맞힌 데 있지 않다.

AI가 전체 산업시스템을 어떤 순서와 인과관계로 재편할지를 일찍 이해했다는 점에 있다.

2026년 7월 31일 기준으로 Aschenbrenner가 예상한 변화는 다음과 같이 평가할 수 있다.

적중률이 상당히 높았음. 


분석이 맞아도 투자자는 살아남지 못할 수 있다


그러나 뛰어난 분석력과 뛰어난 Portfolio 운용은 동일한 능력이 아니다.

Situational Awareness는 AI 반도체, Memory, Storage, Data Center와 전력 인프라에 집중적으로 투자했다.

산업의 장기 방향은 상당 부분 맞았지만, 높은 Leverage와 집중된 Position은 단기 변동성을 견디지 못했다.

AI 관련 주식이 하락하면서 담보가치가 낮아졌고, Margin Call에 대응하기 위해 공개주식 Portfolio 대부분을 매각해야 했다.

법률적으로 모든 Account가 파산했다고 단정할 수는 없다. 다만 시장에는 뛰어난 AI 분석가가 과도한 Leverage와 부족한 Risk Management로 사실상 강제청산된 사례로 기억될 가능성이 높다.

Fundamental Thesis가 맞는 것과 Portfolio가 생존하는 것은 서로 다른 문제다.

Leverage는 분석의 정확성을 높여주지 않는다.

수익이 발생하는 동안에는 확신을 증명하는 수단처럼 보이지만, 변동성이 커지는 순간 투자자가 자신의 전망이 실현될 때까지 기다릴 수 있는 권리를 빼앗는다.

방향을 정확히 예측했더라도 시장이 그 방향으로 이동하는 과정은 직선이 아니다. 시장은 예상보다 오래 비합리적일 수 있고, 좋은 자산도 수급과 담보구조에 따라 급격히 하락할 수 있다.

투자자에게 중요한 것은 최종적으로 옳은 전망을 보유하는 것만이 아니다.

그 전망이 현실화될 때까지 살아남을 수 있는 Position Size와 자본구조를 유지하는 것이 더 중요하다.


Situational Risk


Aschenbrenner는 미래의 방향을 보는 방법을 보여줬다.

Synthetic Data, Test-time Compute, AI Agent, Software 통합, 전력과 Memory의 병목, 국가 간 AI 패권경쟁까지 그의 판단은 상당 부분 현실화되고 있다.

무엇보다 그를 통해 AI 시대에는 개별 현상보다 전체 시스템의 연결관계를 이해하는 능력이 중요하다는 사실을 다시 확인할 수 있었다.

그러나 그의 Portfolio 운용방식에는 동의하기 어렵다.

산업의 방향에 대한 확신이 커질수록 Leverage를 확대하는 방식은 장기 전망이 맞더라도 단기 변동성에 의해 청산될 위험을 높인다.

좋은 분석은 미래를 보여주지만, 좋은 Risk Management만이 그 미래에 도달할 수 있도록 해준다.

Aschenbrenner의 통찰력과 시스템적 사고에는 배울 점이 많다.

동시에 Situational Awareness의 청산은 투자자가 반드시 기억해야 할 또 하나의 사실을 보여준다.

시장을 정확히 보는 능력과 시장에서 끝까지 살아남는 능력은 전혀 다른 능력임을 새삼 다시 깨닫게 된다. 


#글을 마치며


그에게 조금만 더 많은 시장 경험과 파생상품 레버리지의 위험을 체감할 만한 연륜이 있었다면,
이번 AI Computing Infrastructure Cycle을 대표하는 최고의 투자자 중 한 명으로 성장했을지도 모르겠다. 


=끝

생각정리 325 (* Memory Premium)

엊그제 Amazon 실적발표에서는 AI 데이터센터와 Cloud 사업의 투자회수기간, 수익성, Capacity 수요를 가늠할 수 있는 의미 있는 지표들이 연달아 공개됐다.

이 수치들을 따라가다 보니, 현재의 Memory 가격이 AI Cloud가 창출하는 경제적 가치에 비해 얼마나 낮게 평가돼 있는지, 그리고 Cloud 사업자가 감당할 수 있는 Memory의 적정가격 상단이 어디까지인지 역산해볼 수 있었다.

오늘은 그 리서치 과정을 정리해 기록으로 남겨본다.

만약 내가 바라보는 메모리의 적정가치의 논리와 전제, 가정들이 '어느정도' 맞다면, 현재의 메모리 컨센서스는 수요량 증가를 어느 정도 반영하고 있더라도, 메모리 업체가 확보할 수 있는 가격과 이익의 상단은 여전히 충분히 반영되지 못하고 있을 가능성이 매우 크다.

Memory Premium


AI Cloud는 Memory 가격을 어디까지 감당할 수 있는가


AI 데이터센터 투자를 둘러싼 논쟁은 주로 CAPEX의 절대 규모에 집중돼 있다.

수백억달러를 들여 데이터센터와 GPU를 계속 증설해도 투자비를 회수할 수 있는지, AI 수요가 둔화되면 막대한 설비가 유휴자산으로 남는 것은 아닌지에 대한 우려다.

그러나 최근 Amazon의 실적과 어닝콜을 보면 논의의 출발점을 조금 바꿀 필요가 있다.

현재 AI Cloud 사업자는 매출이 발생하지 않는 미래를 위해 투자하는 단계에만 머물러 있지 않다. 이미 가동 중인 AI 서버에서는 충분한 매출과 이익이 발생하고 있으며, 서버와 Network 장비의 투자비도 평균 3년 이내에 회수되고 있다.

Jamin Ball (@jaminball) / X


이제 Cloud 사업자의 핵심 질문은 데이터센터 투자를 계속할 것인지에 머물지 않는다.

이미 확보한 전력과 GPU를 활용해 얼마나 많은 유료 TOKEN을 생산할 수 있는가.

이 질문을 따라가면 Memory의 경제적 가치가 보이기 시작한다.

GPU는 AI 데이터센터에서 가장 비싼 핵심자산이지만, HBM의 용량과 Bandwidth가 부족하면 GPU 연산기는 데이터를 기다리며 놀게 된다. 더 많은 Memory가 이러한 대기시간을 줄여 TOKEN 생산량을 늘린다면, Memory 가격의 상단도 과거 DRAM 가격이나 제조원가만으로 설명하기 어려워진다.

Memory에 지불할 수 있는 최대가격은 추가 Memory가 회복시키는 GPU 가동시간과 그 시간에 생산되는 유료 TOKEN의 가치에 의해 결정된다.


핵심 요약

  • Amazon은 AWS 서버와 Network 장비의 투자비를 평균 3년 미만에 회수하고 있으며, 장비는 최소 5~6년 동안 사용하고 있다고 밝혔다.

  • LLM 추론에서는 GPU에 작업이 배정돼 있어도 HBM에서 데이터를 기다리면서 Tensor Core가 충분히 활용되지 못하는 Memory Wall이 발생한다.

  • H100에서 H200으로 넘어가면서 HBM 용량은 76%, Bandwidth는 43% 늘었고, Llama 2 70B 처리량은 최대 90% 증가했다.

  • Blackwell과 Rubin에서는 GPU 연산성능이 더 빠르게 증가하므로, Memory 부족으로 발생하는 GPU의 기회비용도 함께 커진다.

  • 기준 시나리오에서 Rubin의 전체 Memory System은 GPU당 약 10만~11만달러의 경제적 가치를 창출할 수 있다.

  • 이에 따라 HBM 가격은 현실적으로 현재의 3~5배까지 상승하더라도 Cloud 사업자의 장기 경제성이 유지될 가능성이 있다.


1. AI 데이터센터는 이미 투자비를 회수하고 있다


Amazon의 2026년 2분기 AWS 매출은 422억달러로 전년 대비 37% 증가했다. 영업이익은 166억달러로 64% 증가했으며, 영업이익률은 39.4%에 달했다.

AWS의 AI 사업과 자체 AI Chip 사업도 각각 연환산 매출 250억달러를 넘어섰다. AI 인프라 투자가 아직 매출로 연결되지 않은 선행투자에만 머무르는 것이 아니라, 실제 매출과 영업이익으로 전환되고 있다는 의미다. (Amazon)

2026.07.31 Amazon

Amazon은 어닝콜에서 AI 데이터센터의 투자회수 구조를 다음과 같이 설명했다.

  • 데이터센터 건물과 전력설비는 서버 설치 약 2년 전부터 투자가 시작된다.

  • 데이터센터는 30년 이상 활용할 수 있다.

  • 서버와 Network 장비는 실제 고객 수요를 확인한 뒤 가동 몇 달 전에 구매한다.

  • 서버와 Network 장비의 평균 투자회수기간은 3년 미만이다.

  • 서버의 경제적 사용기간은 최소 5~6년이다.

  • 최근 AI Capacity 계약은 대부분 5년 이상으로 체결된다.




서버를 6년 사용하면서 3년 이내에 투자비를 회수한다면, 이후 남은 2~3년은 상당한 잉여현금흐름을 창출하는 기간이 된다. Amazon은 AI 사업의 Margin과 Return이 과거 AWS Core 사업의 초기 단계보다 조금 앞서가고 있다고 평가했다. (알파스트리트 뉴스)


2026.07.31 Amazon

Amazon이 구체적인 AI ROIC 수치를 공개한 것은 아니다.

다만 3년 미만의 투자회수기간은 단순 현금회수 속도로 보면 매년 투자원금의 33% 이상을 회수하는 구조다. 회계상 ROIC와 완전히 같은 개념은 아니지만, AI 서버 투자의 경제성이 이미 상당히 높은 수준에 도달했음을 보여준다.


2026.07.31 Amazon

그럼에도 Amazon의 Free Cash Flow가 감소하는 이유는 기존 AI 서버가 돈을 벌지 못해서가 아니다.

현재 매출을 창출하는 데이터센터와 함께, 앞으로 사용할 데이터센터와 전력설비를 동시에 건설하고 있기 때문이다. 데이터센터는 완공되기 전까지 현금만 지출하지만, 서버가 설치되고 고객이 사용하기 시작하면 매출이 바로 발생한다.

Amazon은 2026년 Cash CAPEX 전망을 기존 2,000억달러에서 2,200억달러로 상향했다. 상향 원인 가운데 하나로 Memory 가격 상승을 직접 언급했다.

그럼에도 회사는 2026년 수요를 모두 충족하지 못할 것으로 예상했고, 2027년에도 Capacity 부족이 이어질 가능성이 높다고 설명했다. 2028년 Capacity에 대해서도 이미 상당한 고객 수요가 확인되고 있다. (marketbeat.com)

여기서 중요한 결론을 얻을 수 있다.

Memory 가격이 올라가고 있지만, Memory를 포함한 AI 데이터센터 투자의 예상수익이 여전히 비용보다 크기 때문에 Cloud 사업자는 투자를 줄이지 않고 있다.

 


2. AI Cloud의 핵심은 GPU 개수가 아니라 TOKEN 생산량이다


앞선 「Token Empire」에서 AI Cloud의 경쟁력을 다음과 같이 정의했다.

투자자본 1달러와 전력 1MW, Rack 한 개당 얼마나 많은 유료 TOKEN을 생산하는가.

AI Cloud의 원가구조를 단순화하면 다음과 같다.

TOKEN당 총원가

= GPU·Memory·Network·Data Center의 연간 고정비 ÷ 연간 유료 TOKEN 생산량
+ TOKEN 생산에 사용되는 전력·냉각·운영비

GPU와 Memory, Network, 데이터센터 건물은 일단 구매하면 사용량이 줄어도 감가상각비가 계속 발생한다.

따라서 TOKEN 생산량이 늘어나면 동일한 고정비를 더 많은 TOKEN에 나눠 부담할 수 있다.

예를 들어 연간 고정비가 100이라고 가정해보자.

  • TOKEN을 100개 생산하면 TOKEN당 고정비는 1이다.

  • TOKEN을 200개 생산하면 TOKEN당 고정비는 0.5로 낮아진다.

새로운 데이터센터를 건설하지 않고 기존 GPU의 TOKEN 생산량을 두 배로 늘릴 수 있다면, TOKEN당 감가상각비는 절반 가까이 낮아질 수 있다.

이 때문에 Cloud 사업자가 중요하게 보는 지표도 GPU 한 개의 구매가격에만 머물지 않는다.

  • TOKEN당 총소유비용

  • GPU당 TOKEN 처리량

  • Rack당 TOKEN 생산량

  • 전력 1MW당 매출

  • 고객의 응답시간 기준을 만족하는 Goodput

  • 생산된 TOKEN 중 실제 과금으로 연결되는 비율


Memory는 이 지표 대부분에 영향을 준다.


3. Memory Wall은 왜 GPU를 놀게 만드는가


GPU를 거대한 연산공장이라고 생각하면 이해하기 쉽다.

Tensor Core는 공장 안의 생산설비이고, HBM은 생산설비에 원재료를 공급하는 고속 컨베이어에 해당한다.

생산설비가 아무리 빨라도 컨베이어에서 원재료가 제때 도착하지 않으면 공장은 기다릴 수밖에 없다. AI GPU에서도 같은 현상이 발생한다.

LLM 추론은 크게 두 단계로 나뉜다.

Prefill

사용자가 입력한 Prompt 전체를 한꺼번에 읽고 처리하는 과정이다.

큰 행렬연산이 집중되므로 상대적으로 GPU 연산성능의 영향을 많이 받는다.

Decode

답변 TOKEN을 한 개씩 순차적으로 생성하는 과정이다.

TOKEN 하나를 만들 때마다 Model Weight와 이전 TOKEN의 정보를 저장한 KV Cache를 반복해서 불러와야 한다. 이 과정에서는 연산능력보다 HBM 용량과 Bandwidth가 병목이 되기 쉽다.

결국 Decode에서는 GPU에 작업이 배정돼 있고 전력도 소비하고 있지만, Tensor Core가 Memory에서 데이터가 도착하기를 기다리는 시간이 길어질 수 있다.

여기서 말하는 GPU 유휴가동률은 고객이 없어 GPU 전원이 꺼져 있는 비율과 다르다.

작업은 수행 중이지만 Memory와 Software 병목 때문에 GPU의 최대 연산능력을 매출로 전환하지 못하는 비중을 의미한다.

공개 연구에서는 Batch 1 Decode를 수행한 H100이 이론적 HBM Bandwidth의 약 27%만 활용한 사례가 확인됐다. CUDA Graph를 적용해 Kernel 실행 오버헤드를 줄이자 성능이 약 1.26배 개선됐다.

이는 LLM Decode가 Memory의 영향을 크게 받지만, Memory만 늘린다고 성능이 자동으로 비례 상승하는 것은 아니라는 점도 보여준다. Software, Kernel과 Scheduling이 함께 개선돼야 추가 Memory의 가치가 실현된다. (arXiv)

반대로 Memory 관리방식을 개선하는 것만으로 처리량이 크게 상승한 사례도 있다.

vLLM의 PagedAttention은 KV Cache의 파편화와 중복을 줄여 같은 GPU와 유사한 응답시간 조건에서 기존 Serving System보다 2~4배 높은 처리량을 기록했다. 물리적인 GPU를 추가하지 않고 Memory 활용방식만 바꿔 TOKEN 생산량을 늘린 사례다. (arXiv)

arXiv

vLLM의 PagedAttention은 KV Cache의 파편화와 중복을 줄여 같은 GPU와 유사한 응답시간 조건에서 기존 Serving System보다 2~4배 높은 처리량을 기록



GPU 유휴율을 어떻게 가정할 것인가


모든 Cloud 사업자에 적용할 수 있는 단일 GPU 유휴율은 존재하지 않는다.

Model 크기, Context 길이, Batch, 고객 요청량, Serving Software와 Network 구성에 따라 결과가 크게 달라지기 때문이다.

따라서 아래 계산에서는 업계 평균을 단정하지 않고, 이해를 돕기 위한 기준 시나리오를 설정했다.

  • 실제 TOKEN 생산에 사용되는 GPU 연산능력: 30%

  • Memory와 Software 병목으로 활용되지 못하는 연산능력: 70%


이 상태에서 Memory 개선으로 처리량이 증가하면 GPU의 생산적 활용률은 다음과 같이 변한다.


처리량이 60% 증가한다고 GPU 전체가 60% 더 바빠지는 것은 아니다.

기존 생산적 활용률 30%에 1.6배를 곱하면 48%가 된다.

그 결과 GPU 유휴 비중은 70%에서 52%로 낮아진다. Memory가 새로운 GPU를 만들어내는 것은 아니지만, 기존 GPU 안에서 놀고 있던 연산능력 18%p를 TOKEN 생산으로 전환하는 셈이다.




4. H100과 H200이 보여준 Memory의 경제성


Memory가 GPU 성능에 미치는 영향을 가장 쉽게 확인할 수 있는 사례가 H100과 H200이다.

두 GPU는 모두 Hopper Architecture를 기반으로 한다. H200의 가장 큰 변화는 HBM이다.


NVIDIA의 Llama 2 70B Benchmark에서 H200은 H100보다 최대 1.9배 높은 처리량을 기록했다. H100은 Batch 8, H200은 Batch 32가 적용됐다. (nvidia.com)

이는 Memory만 교체한 완벽한 통제실험으로 볼 수는 없다.

그러나 Batch를 8에서 32로 확대할 수 있었던 핵심 이유가 HBM 용량과 Bandwidth 확대라는 점이 중요하다. 추가 Memory가 더 많은 사용자의 KV Cache를 동시에 보관할 수 있게 만들면서 GPU의 연산설비를 더 효율적으로 활용한 것이다.

앞서 설정한 기준 시나리오에 적용하면 다음과 같다.

  • 개선 전 생산적 활용률: 30%

  • H200 처리량 개선: 최대 90%

  • 개선 후 생산적 활용률: 30% × 1.9 = 57%

  • 연산 유휴 비중: 70% → 43%


61GB의 추가 HBM과 더 높은 Bandwidth가 GPU의 연산 유휴 비중을 약 27%p 줄일 수 있다는 계산이다.

물론 모든 Model과 Workload에서 1.9배가 반복되지는 않는다.

그럼에도 H100에서 H200으로의 변화는 Memory가 단순히 GPU BOM을 높이는 부품을 넘어, 이미 구매한 Tensor Core를 실제 매출로 전환하는 자산이라는 점을 보여준다.




5. Blackwell과 Rubin에서는 Memory의 가치가 더 커진다


Hopper 이후 NVIDIA의 GPU 연산성능은 빠르게 증가하고 있다.

B200은 DGX H100보다 최대 15배의 추론성능을 제공한다고 NVIDIA는 설명한다. 이 수치에는 FP4 연산, Transformer Engine, NVLink와 Software Stack의 개선이 모두 포함돼 있으므로 전부를 Memory의 효과로 볼 수는 없다. (nvidia.com)

다만 GPU 연산성능이 Memory Bandwidth보다 빠르게 증가하면 새로운 문제가 발생한다.

연산기는 더 빨라졌지만 데이터를 공급하는 속도가 이를 따라오지 못하면서 Memory Wall이 오히려 커질 수 있다.

주요 NVIDIA GPU의 Memory 사양을 비교하면 다음과 같다.


DGX B200은 8개 GPU에 총 1,440GB의 HBM3E와 64TB/s의 Memory Bandwidth를 제공한다. GPU당으로 환산하면 180GB와 8TB/s다. (nvidia.com)

GB300은 약 288GB의 HBM3E를 탑재한다. NVIDIA는 더 큰 Memory가 Batch를 확대하고, 긴 Context를 사용하는 AI Reasoning의 최대 처리량을 높인다고 설명한다. (nvidia.com)

Rubin은 HBM 용량을 288GB로 유지하면서 Bandwidth를 22TB/s로 높인다. GB300 대비 약 2.75배에 해당한다.

Vera Rubin NVL72의 CPU Memory도 Rack당 54TB로 확대된다. GB300 NVL72의 17TB와 비교하면 세 배가 넘는 수준이다. (nvidia.com)

NVIDIA는 Vera Rubin NVL72가 GB200 NVL72보다 동일 전력에서 최대 10배 많은 TOKEN을 생산하고, 백만 TOKEN당 비용을 10분의 1로 낮출 수 있다고 제시한다. (nvidia.com)

다만 이 10배는 HBM4만으로 만들어지는 성능이 아니다.

  • NVFP4 연산성능

  • Rubin GPU

  • Vera CPU

  • HBM4

  • NVLink 6

  • Network

  • Attention 최적화

  • Prefill·Decode 분리

  • Serving Software


이 모든 요소가 함께 개선된 결과다.

따라서 Memory의 경제적 가치를 계산할 때는 전체 10배를 사용하지 않고, 그중 Memory가 직접 만들어내는 처리량만 보수적으로 분리해야 한다.


차세대 GPU에서 Memory가 기여하는 처리량 가정


아래 수치는 NVIDIA가 제시한 공식 Benchmark가 아니라, Capacity와 Bandwidth 변화에서 Memory의 기여분만 추출한 분석 가정이다.




B200은 전체 추론성능이 H200보다 훨씬 높지만, 그중 상당 부분은 FP4와 Tensor Core의 개선에서 발생한다. 따라서 Memory에 귀속되는 처리량은 60%로 제한했다.

GB300은 Bandwidth보다 Memory Capacity 확대가 중심이다. Long Context와 큰 Batch에서는 가치가 크지만, 짧은 Context에서는 일부 Memory가 남을 수 있어 처리량 증가를 35%로 가정했다.

Rubin은 Bandwidth가 2.75배 높아지지만, Network와 Kernel 등 다른 병목이 남아 있다. 이에 따라 Memory가 만들어내는 처리량 개선은 175%가 아닌 100%, 즉 두 배로 가정했다.


6. 추가 Memory는 Cloud 매출과 이익을 얼마나 늘리는가


Memory의 경제적 가치는 다음 식으로 계산할 수 있다.

추가 Memory의 경제적 가치

= GPU 시간당 매출
× 연간 시간
× 유료가동률
× Memory로 인한 처리량 증가율
× Cloud 사업자가 가져가는 매출 비중
× 추가 매출의 영업이익률
× 장비 사용기간의 현재가치

계산에는 다음과 같은 기준을 적용했다.


여기서 유료가동률 70%는 앞서 언급한 GPU 연산 유휴율 70%와 다른 개념이다.

  • 유료가동률은 고객이 GPU를 사용하며 요금을 지불하는 시간의 비율이다.

  • 연산 유휴율은 유료작업을 수행하는 도중에도 Tensor Core가 Memory를 기다리며 충분히 활용되지 못하는 비율이다.


처리량 증가분의 매출 회수율은 60%로 설정했다.

Cloud 사업자가 추가 처리량을 전부 가격으로 가져가기 어렵기 때문이다. 일부는 TOKEN 가격 인하, 더 빠른 응답속도와 고객 SLA 개선의 형태로 고객에게 돌아간다.

반면 Capacity가 부족한 Cloud 사업자는 기존 고객을 더 적은 GPU로 처리하고, 남는 GPU를 다른 고객에게 재판매할 수 있다.

Cloud 가격의 대리치로 CoreWeave의 공개가격을 사용했다.

  • H200: GPU당 시간당 6.31달러

  • B200: GPU당 시간당 8.60달러

  • GB200: GPU당 시간당 10.50달러

  • GB300: 4GPU당 시간당 61.44달러, GPU당 약 15.36달러


Rubin 가격은 공개되지 않아 GPU당 시간당 18달러를 분석 가정으로 사용했다. 실제 Hyperscaler의 장기계약 가격은 공개 On-demand 가격보다 낮을 수 있다. (CoreWeave)


H200에서 B200으로 전환할 경우


B200의 Memory 개선으로 처리량이 60% 증가한다고 가정했다.


계산 과정은 다음과 같다.

연간 추가 매출
= 8.60달러 × 8,760시간 × 70% × 60% × 60%
= 약 1.90만달러

여기에 추가 매출 영업이익률 60%와 4년 현재가치를 적용하면 GPU당 약 3.61만달러가 된다.

B200에 추가된 HBM Capacity와 Bandwidth를 확보하기 위해 GPU당 3만달러 이상의 Premium을 지불하더라도, Cloud 사업자는 4년간 발생하는 추가 영업이익으로 이를 회수할 수 있다는 의미다.


GB200에서 GB300으로 전환할 경우


GB300은 HBM Capacity 확대를 통해 더 큰 Batch와 긴 Context를 지원한다.

처리량 증가를 35%로 가정하면 다음과 같다.


GB300의 Memory 가치는 모든 워크로드에서 동일하지 않다.

짧은 Context의 소형 Model에서는 288GB의 HBM을 전부 활용하지 못할 수 있다. 반대로 긴 Context와 Reasoning, Agentic AI처럼 KV Cache가 빠르게 증가하는 환경에서는 추가 Capacity가 Batch와 TOKEN 매출로 직접 연결될 가능성이 높다.


GB300에서 Rubin으로 전환할 경우

Rubin은 HBM Capacity보다 Bandwidth 증가가 핵심이다.

HBM Bandwidth가 8TB/s에서 22TB/s로 2.75배 증가하지만, 계산에서는 Memory에 귀속되는 처리량 개선을 100%로 제한했다.



Rubin의 전체 성능은 GB200보다 최대 10배 높아질 수 있지만, 본 계산은 그중 Memory에 귀속되는 효과를 두 배로만 반영했다.

그럼에도 HBM4가 창출하는 경제적 가치는 GPU당 약 12.6만달러로 추정된다.

Rubin의 실제 Cloud 가격이 시간당 15달러에 그친다면 이 가치는 약 10.5만달러로 낮아진다. 시간당 20달러라면 약 14만달러까지 올라간다.

따라서 Rubin HBM4의 경제적 가치는 GPU당 약 10만~14만달러의 범위로 보는 것이 적절하다.


7. HBM·Server DRAM·NAND의 가치는 서로 다르다


모든 Memory가 GPU 유휴시간을 같은 정도로 줄이는 것은 아니다.

GPU 연산기와 가까울수록 TOKEN 처리량에 직접적인 영향을 주고, 더 높은 가격을 정당화할 수 있다.


HBM


HBM은 GPU Package에 직접 연결된다.

Decode 과정에서 Model Weight와 KV Cache를 Tensor Core에 공급하기 때문에, Capacity와 Bandwidth 증가는 GPU 처리량과 직접 연결될 가능성이 가장 높다.

  • Batch 확대

  • 더 큰 Model 상주

  • KV Cache 증가

  • CPU Memory Offloading 감소

  • GPU 간 통신 감소

  • TOKEN당 응답시간 단축


HBM이 가장 높은 가격결정력을 확보할 수 있는 이유다.


Server DRAM과 LPDDR


Host Memory는 HBM보다 느리지만 다음 데이터를 저장할 수 있다.

  • Cold KV Cache

  • 오래된 Context State

  • Model과 Activation

  • Prefix Cache

  • HBM에서 밀려난 데이터

  • GPU에서 곧 사용할 데이터의 Staging 영역


Rubin의 CPU Memory는 GB300 대비 GPU당 약 514GB 증가한다.

추가 Host Memory가 전체 처리량을 10% 개선한다고 가정하면 GPU당 4년 경제적 가치는 약 1.26만달러가 된다.

추가 DRAM 1GB당 가치는 다음과 같다.

1.26만달러 ÷ 514GB = 약 25달러/GB

처리량 개선 정도에 따라 가격경계도 달라진다.


Server DRAM은 HBM을 보조하지만 HBM Bandwidth를 완전히 대체하지 못한다. 따라서 HBM만큼 높은 가격 상승을 흡수하기는 어렵다.


Enterprise NAND


NAND는 정상적으로 Model이 HBM에 올라간 Steady-state Decode에서는 TOKEN을 직접 생산하지 않는다.

대신 GPU가 작업을 시작하기 전후의 대기시간을 줄인다.

  • Model Loading

  • Training Checkpoint 이동

  • Prefix Cache 저장

  • Cold KV Cache

  • Model 교체

  • Serverless 추론의 Scale-up

  • 데이터와 Model Repository


GPU당 4TB의 고성능 NAND가 전체 처리량을 3% 높인다고 가정하면 4년 경제적 가치는 약 3,800달러다.

3,800달러 ÷ 4TB = 약 950달러/TB

처리량 개선에 따른 가격경계는 다음과 같다.


NAND는 Model 전환과 Cache 재사용이 많은 환경에서 가치가 높아진다. 반면 같은 Model을 계속 실행하는 단순한 Batch Inference에서는 경제적 가치가 낮다.


8. 현재 Memory 가격은 경제적 상단에 도달했는가


HBM 계약가격은 고객과 공급업체 간의 장기계약으로 결정되기 때문에 정확한 가격이 공개되지 않는다.

공개된 Teardown과 시장자료에서는 B200의 HBM3E 비용을 GPU당 약 2,400~2,900달러 수준으로 추정한다. 일부 분석에서는 Packaging과 공급부족 Premium을 반영해 약 4,000달러까지 적용한다.

공식 계약가격이 아닌 분석용 대리치라는 점은 고려해야 한다. (Silicon Analysts)

(Silicon Analysts)


Rubin NVL72의 HBM4와 LPDDR5X, NAND를 합친 전체 Memory 비용은 Rack당 약 200만달러, GPU당 약 2.8만달러로 추정되고 있다. 이 역시 NVIDIA가 공개한 공식 BOM이 아니라 공급망 자료를 이용한 추정치다. (tomshardware.com)

Rubin의 전체 Memory 가치를 정리하면 다음과 같다.

  • HBM4 Bandwidth 개선 가치: GPU당 약 12.6만달러

  • 추가 Host Memory 가치: 약 1.26만달러

  • NAND 가치: 약 0.38만달러

  • 단순 합계: 약 14.2만달러


이 효과들은 일부 중복된다.

예를 들어 HBM이 충분하면 Host Memory Offloading의 가치가 낮아지고, Host Memory가 충분하면 NAND Cache의 추가효과도 줄어든다.

중복효과를 20~30% 할인하면 Rubin 전체 Memory System의 경제적 가치는 GPU당 약 10만~11만달러로 추정된다.

NVL72 Rack 기준으로는 약 720만~800만달러다.

현재 Memory 비용 추정치가 GPU당 약 2.8만달러라면, 전체 Memory 가격이 약 3~4배가 되기 전까지는 추가 TOKEN이 창출하는 영업이익으로 비용을 회수할 수 있다는 계산이다.

TrendForce도 일반 DDR5의 수익성이 HBM에 근접하거나 일부 조건에서 추월하면서 Memory 공급업체가 HBM 가격을 더 높여야 할 경제적 유인이 커지고 있다고 분석했다. HBM 생산은 일반 DRAM Wafer를 사용하기 때문에 HBM 가격이 충분히 높지 않으면 공급업체가 일반 DRAM 생산을 선호할 수 있다. (trendforce.com)

Cloud 사업자가 높은 Memory 가격을 수용하는 이유는 Memory 자체가 저렴해서가 아니라, Memory 부족으로 더 비싼 GPU가 놀면서 발생하는 손실이 더 크기 때문이다.


9. 최종 적정가격 경계


아래 수치는 Memory 업체의 실제 계약가격 전망이 아니다.

추가 Memory가 GPU 유휴시간을 줄여 만들어내는 Cloud 사업자의 매출과 영업이익을 역산한 경제적 경계다.

가격 상승 가능성은 두 단계로 나눠 봐야 한다.

이론적 가격 상승 범위


추가 Memory가 창출하는 경제적 가치를 Memory 공급업체가 모두 가격으로 가져간다고 가정한 최대 상단이다.

현실적 가격 상승 허용범위


NVIDIA의 GPU 가격 인상, TOKEN 가격 하락, 고객에게 이전되는 성능개선 효과, Software 최적화 실패와 낮은 가동률을 함께 반영한 범위다.

Memory 가격 상승 허용범위



표에서 현재 대비 3배는 가격이 기존 가격의 세 배가 된다는 의미다. 상승률로 표현하면 약 200% 상승에 해당한다.


이론적 상단과 현실적 상단이 다른 이유


B200 HBM3E의 경제적 가치는 GPU당 약 3.6만달러로 계산된다.

현재 HBM3E 비용을 2,400~4,000달러로 가정하면 이론적으로는 현재 가격의 약 9~15배까지 지불할 수 있다.

그러나 HBM 공급업체가 이 가치를 전부 가져갈 수는 없다.

Blackwell의 높은 TOKEN 생산성은 HBM뿐 아니라 다음 요소가 함께 만든다.

  • Tensor Core

  • FP4

  • NVLink

  • Network

  • Software Stack

  • Cooling

  • Rack 설계


NVIDIA도 GPU와 Rack 가격을 올릴 수 있고, Cloud 사업자는 성능개선 일부를 더 낮은 TOKEN 가격이나 더 빠른 응답속도로 고객에게 돌려줘야 한다.

따라서 B200 HBM3E의 이론적 상승 여력은 9~15배지만, 현실적으로 Cloud 사업자가 안정적으로 감당할 수 있는 범위는 약 3~5배로 보는 편이 적절하다.

GB300은 이론적으로 약 8~13배까지 가능하다.

다만 GB300의 가치는 Bandwidth보다 HBM Capacity 확대에서 발생한다. 짧은 Context에서는 추가 Memory가 남을 수 있으므로 현실적인 가격 상승 허용범위는 약 3~4배로 낮아진다.

Rubin HBM4의 이론적 가격 여력은 가장 크다.

HBM Bandwidth가 8TB/s에서 22TB/s로 증가하면서 Memory-bound Decode의 TOKEN 처리량을 직접 높일 수 있기 때문이다. GPU당 HBM4 비용을 8,000~1.2만달러로 가정하면, 경제적 가치 10만~14만달러는 현재 가격의 약 8~18배에 해당한다.

그럼에도 Rubin의 성능에는 GPU 연산, NVLink, Vera CPU와 Software 개선이 함께 반영된다.

이를 고려하면 Rubin HBM4의 현실적인 가격 상승 허용범위는 현재 대비 약 3~5배로 추정된다.

반면 Server DRAM과 NAND는 GPU 연산기에 직접 데이터를 공급하지 않는다.

HBM을 보조하고 GPU 대기시간을 줄일 수 있지만, Steady-state Decode의 핵심 병목을 완전히 제거할 수 없기 때문에 가격 상승을 흡수할 수 있는 범위도 상대적으로 낮다.


핵심 결론


Amazon의 실적과 어닝콜은 AI 데이터센터 투자의 경제성이 이미 확인되고 있음을 보여준다.

AWS 매출과 영업이익은 각각 37%, 64% 증가했고, 서버와 Network 장비의 투자비는 평균 3년 미만에 회수된다. 서버는 최소 5~6년 동안 사용되며, AI Capacity 계약도 대부분 5년 이상이다. (Amazon)

Cloud 사업자는 이미 가동 중인 AI 서버에서 충분한 현금흐름을 창출하고 있다.

이제 경쟁의 중심은 GPU를 얼마나 많이 구매했는지보다, 그 GPU로 얼마나 많은 유료 TOKEN을 생산하는지로 이동하고 있다.

이 과정에서 HBM은 단순한 원가 항목에 머물지 않는다.

HBM은 이미 구매한 GPU와 데이터센터의 유휴시간을 줄여 TOKEN 생산량을 늘리는 생산설비다.

H100에서 H200으로 넘어갈 때 HBM 용량은 76%, Bandwidth는 43% 증가했고, Llama 2 70B 처리량은 최대 90% 늘었다.

Blackwell과 Rubin에서는 GPU 연산성능이 더 빠르게 높아진다. 따라서 Memory가 충분하지 않을 때 놀게 되는 Tensor Core의 기회비용도 함께 커진다.

Rubin HBM4는 GB300보다 Bandwidth가 2.75배 높다. 전체 성능개선 가운데 Memory에 귀속되는 처리량을 두 배로 제한해도, GPU당 약 10만~14만달러의 경제적 가치가 발생한다.

결론은 분명하다.

HBM은 가격이 크게 상승해도 Cloud 사업자의 경제성이 유지될 가능성이 높다.


HBM의 적정가격 상단은 과거 Commodity DRAM 가격이나 제조원가만으로 결정되지 않는다.

다음 세 가지가 실제 가격경계를 결정한다.

  1. 추가 HBM이 얼마나 많은 GPU 대기시간을 줄이는가

  2. 회복된 GPU가 얼마나 많은 유료 TOKEN을 생산하는가

  3. 추가 TOKEN이 Cloud 사업자에게 얼마나 많은 영업이익을 남기는가


기준 시나리오에서 B200·GB300·Rubin HBM은 현재 대비 약 3~5배까지 가격이 높아져도 Cloud 사업자의 장기 경제성이 유지될 수 있다.

Server DRAM과 NAND의 가격 상승 여력은 HBM보다 낮다. GPU Tensor Core에 직접 데이터를 공급하는 정도가 낮기 때문이다.

Memory의 가격결정력은 다음 순서로 정리할 수 있다.

HBM4 > HBM3E > Server DRAM·LPDDR > Enterprise NAND


다만 최종적으로 봐야 할 지표는 HBM 가격 하나가 아니다.

NVIDIA가 GPU와 Rack 가격을 동시에 크게 올리고, TOKEN 가격은 빠르게 하락하며, Cloud의 유료가동률까지 낮아진다면 Memory의 경제적 가치도 줄어든다.

따라서 실질적인 가격경계는 다음 지점에서 형성된다.

GPU와 Memory를 포함한 Rack 전체 가격 상승률이 동일 전력당 유료 TOKEN 생산량 증가율을 넘어서는 시점


그 이전까지 Cloud 사업자에게 더 비싼 Memory는 비용 부담인 동시에 더 많은 매출과 이익을 생산하는 자산이다.

현재의 AI Cloud 투자회수기간과 차세대 GPU의 TOKEN 생산성 개선을 함께 고려하면, 적어도 HBM 가격은 시장의 기존 예상보다 훨씬 높은 수준까지 상승할 경제적 근거를 확보하고 있다.

주: 본 추정치는 본문에서 산출한 메모리 프리미엄의 적정 상방 가격을 SKH의 기존 출하량과 비용구조에 적용한 이론적 연간 실적 상단임.

정상적인 컨센서스 전망이 아닌 가격 민감도에 따른 기계적 Ceiling 추정치로 해석해야 함.
즉, AI Cloud 경제성이 훼손되기 전까지의 이론적·현실적 Ceiling으로 해석

주: 본 추정치는 본문에서 산출한 메모리 프리미엄의 적정 상방 가격을 SEC의 기존 출하량과 비용구조에 적용한 이론적 연간 실적 상단임.

정상적인 컨센서스 전망이 아닌 가격 민감도에 따른 기계적 Ceiling 추정치로 해석해야 함.
즉, AI Cloud 경제성이 훼손되기 전까지의 이론적·현실적 Ceiling으로 해석

=끝

2026년 7월 29일 수요일

생각정리 324 (* Token Empire)

그동안 개별적으로 작성해온 리서치를 하나의 흐름으로 묶어 정리해본다.

모든 분석은 두 가지 질문에서 출발했다.

중국의 AI 산업은 미국과 대등한 수준까지 올라설 수 있는가?

그리고 AI 산업에서 가장 희소한 자원은 무엇이며, 장기적인 경쟁우위는 어디에 형성되는가?

이를 따라가며 분석 범위는 LLM에서 GPU와 Memory, 선단공정, Cloud와 데이터센터 전력까지 확장됐다.

결론적으로 오픈웨이트 LLM이 범용화될수록 모델의 성능 격차는 좁혀질 수 있다. 반면 AI를 실제 서비스로 전환하는 반도체와 컴퓨팅 인프라는 단기간에 복제하기 어렵다.

결국 AI 패권은 누가 더 좋은 모델을 만드느냐보다, 누가 더 낮은 원가로 더 많은 TOKEN을 생산하고 그 수익을 다음 세대 인프라에 재투자할 수 있느냐에서 결정될 가능성이 높다.

AI 패권의 최종 승부처는 LLM이 아니라 TOKEN 생산원가다


오픈웨이트 LLM의 성능이 빠르게 상향 평준화되고 있다.

과거에는 어느 기업이 가장 뛰어난 모델을 개발했는지가 AI 경쟁의 핵심이었다. 그러나 모델 가중치와 알고리즘이 공개되고, 하나의 오픈웨이트 모델을 여러 클라우드 사업자가 동시에 서비스할 수 있게 되면서 모델 성능만으로 장기간 초과이익을 독점하기는 점점 어려워지고 있다.

모델 간 성능 격차가 좁혀질수록 경쟁의 중심은 자연스럽게 모델 아래에 있는 물리적 인프라로 이동한다.

앞으로 AI 산업에서 더 중요한 질문은 다음과 같다.

누가 같은 수준의 Intelligence를 더 낮은 비용으로, 더 많은 사용자에게, 더 안정적으로 공급할 수 있는가.


결국 AI 패권의 최종 단위는 LLM 자체가 아니다.

1달러·1MW·1Rack당 얼마나 많은 유료 TOKEN을 생산할 수 있는가.

이 관점에서 보면 AI 산업의 경쟁우위는 모델에서 GPU와 HBM, 네트워크, 전력과 냉각, 데이터센터 운영 Software가 결합된 AI Cloud 생산시스템으로 이동하고 있다.


전체 논리의 흐름


이 글의 핵심 논리를 먼저 압축하면 다음과 같다.

오픈웨이트 LLM 범용화

→ LLM과 Cloud 인프라의 분리
→ TOKEN 생산원가의 중요성 확대
→ GPU·HBM·Network·전력의 시스템 경쟁
→ GPU 가동률을 결정하는 Memory의 가치 상승
→ Memory 가격과 IDM 이익 레버리지 확대
→ 미국 중심 선단공정 공급망의 우위 강화
→ 중국 우회기술의 제조·전력·Network 비용 누적
→ 미국 AI CAPEX와 운영경험의 복리적 축적
→ 미국 내 입지 병목을 보완할 동맹국 데이터센터 수요 증가

각 단계는 독립된 현상이 아니다.

TOKEN 원가를 낮추려면 최신 GPU가 필요하고, GPU를 충분히 돌리려면 Memory와 Network가 필요하다. 이러한 하드웨어를 대규모로 조달하려면 선단공정 공급망과 막대한 CAPEX가 필요하며, 미국과 중국의 격차도 이 지점에서 발생한다.


1. AI 패권의 중심은 LLM에서 TOKEN 생산원가로 이동한다


TOKEN 원가경쟁력의 핵심은 전력가격보다 고정비 레버리지다


AI Cloud의 원가구조를 단순화하면 다음과 같다.

TOKEN당 총원가

= GPU·Memory·Network·Data Center 연간 고정비
÷ 연간 유료 TOKEN 생산량

  • TOKEN당 전력·냉각·운영비


전력가격은 분명 중요한 변수다. 그러나 막대한 AI 데이터센터 투자가 집행된 이후 수익성을 더 크게 좌우하는 것은 고정비를 얼마나 많은 유료 TOKEN에 분산할 수 있느냐이다.

GPU 가동률이 80%에서 40%로 하락하면 다른 조건이 같을 때 TOKEN당 고정비는 약 두 배로 상승한다. 반대로 GPU 처리량과 가동률이 높아지면 GPU뿐 아니라 네트워크, 데이터센터 건물, 전력설비에 투입된 전체 고정비가 동시에 희석된다.

따라서 Cloud 사업자가 관리해야 할 핵심 지표는 단순 GPU 보유량이 아니다.

  • 실제 연산에 투입된 GPU 시간

  • 서비스 품질을 충족한 TOKEN 처리량

  • 장애와 통신지연을 제외한 Goodput

  • 생산된 TOKEN 중 실제 과금으로 연결된 비율

  • 전력 1MW당 유료 TOKEN 생산량


결국 AI Cloud에서는 다음과 같은 선순환이 만들어진다.

낮은 TOKEN 원가
→ 고객수요 유입
→ 데이터센터 가동률 상승
→ 고정비 희석
→ TOKEN 원가 추가 하락
→ 더 많은 고객수요 유입


이 선순환에 먼저 진입한 Cloud 사업자는 더 낮은 가격을 제시하면서도 더 높은 마진을 확보할 수 있다.

반대로 전력가격이 낮더라도 GPU와 Memory, Network 효율이 낮아 같은 작업에 더 많은 장비를 투입해야 한다면 전체 고정비는 오히려 커진다. 중국의 낮은 전력가격과 정부 보조금만으로 미국과의 TOKEN 원가 격차를 상쇄하기 어렵다고 본 이유도 여기에 있다. 

생각정리  323 (* China’s Token Gap)


Cloud 경쟁력의 기반은 CHIP 공급망이다


AI Cloud 사업자는 데이터센터 건물만으로 TOKEN을 생산할 수 없다.

고성능 GPU와 ASIC, HBM, Server DRAM, 첨단 패키징, Optical Network와 Switch가 동시에 공급돼야 한다.

이 공급망은 다음과 같이 연결된다.

  • NVIDIA·AMD의 AI 가속기

  • Broadcom·Marvell의 Network 및 Custom ASIC

  • TSMC·삼성전자의 선단공정

  • SK하이닉스·삼성전자·Micron의 HBM과 DRAM

  • ASML의 노광장비

  • Lam Research·Applied Materials의 식각·증착장비

  • 첨단 패키징과 Optical Networking 생태계


미국의 AI 경쟁우위는 모든 생산시설이 미국 영토 안에 있다는 데 있지 않다.

미국 기업을 중심으로 대만·한국·일본·유럽의 핵심 공급망을 하나의 시스템으로 결합하고 있다는 점이 중요하다.

이 공급망 안에서는 최신 GPU가 공급될 때 HBM과 첨단 패키징, Network와 Software Stack도 함께 개선된다.

반대로 어느 한 영역에 대한 접근이 제한되면 부족한 성능을 보완하기 위해 더 많은 Chip과 Memory, Network, 전력을 투입해야 한다. AI Cloud에서 하드웨어 공급망의 차이는 결국 같은 자본과 전력으로 생산할 수 있는 TOKEN의 차이로 귀결된다.


CHIP 경쟁우위는 TOKEN 원가우위로 연결된다


Hopper에서 Blackwell, Rubin으로 이어지는 NVIDIA의 성능 향상은 단순히 트랜지스터 수가 늘어난 결과가 아니다.

다음 요소가 함께 개선되고 있다.

  • FP8·FP4 등 저정밀 연산 확대

  • Transformer Engine 개선

  • HBM 용량과 Bandwidth 증가

  • NVLink와 Scale-up Network 강화

  • GPU·CPU·NIC 공동설계

  • TensorRT-LLM과 Serving Software 최적화

  • Rack-scale 전력·냉각 설계


AI Cloud의 경쟁 단위가 개별 GPU에서 Rack 전체로 이동하는 이유다.

NVIDIA는 Vera Rubin NVL72가 Blackwell 대비 AI 추론의 백만 TOKEN당 비용을 10분의 1 수준으로 낮출 수 있다고 제시한다. 모든 워크로드에 동일하게 적용되는 절대적인 수치는 아니지만, GPU와 Rack 가격 상승률보다 TOKEN 생산량 증가율이 높으면 TOKEN당 감가상각비가 하락한다는 방향성은 분명하다. (NVIDIA)

동시에 선단공정은 전력효율을 높이는 중요한 기반이다.

TSMC는 2028년 양산 예정인 A14 공정이 N2 대비 동일 전력에서 성능을 최대 15% 높이거나, 동일 성능에서 전력을 최대 30% 절감하고 Logic Density를 20% 이상 높일 수 있다고 제시했다. (TSMC)

AI Cloud 사업자에게 중요한 것은 GPU 한 개의 절대가격이 오르느냐가 아니다.

GPU와 Rack 가격 상승률보다 유료 TOKEN 생산량 증가율이 높다면 TOKEN당 감가상각비는 하락한다.

같은 전력과 데이터센터 면적에서 생산할 수 있는 TOKEN이 증가하면 Cloud 사업자의 매출과 ROIC, FCF가 동시에 개선된다. 

결국 동일한 전력과 데이터센터 면적에서 생산할 수 있는 유료 TOKEN이 빠르게 늘어나는 순간, AI Cloud의 경제성은 구조적으로 개선될 수 밖에 없다. 

2026.07.29 Microsoft


2026.07.29 Microsoft


2026.07.29 Microsoft




AGENT와 PHYSICAL AI는 격차를 더욱 확대한다


Chatbot 중심의 AI에서는 사용자의 질문 한 번에 모델 호출이 한두 차례 발생했다.

그러나 Agentic AI에서는 검색, 추론, Tool 호출, 코드 실행, 결과 검증과 재추론이 반복된다. 사용자가 보는 최종 응답은 하나지만 그 뒤에서는 수십 번의 모델 호출이 발생할 수 있다.

Physical AI에서는 컴퓨팅 수요가 더 커진다.

로봇과 자율주행 시스템은 텍스트뿐 아니라 영상·음성·센서 데이터를 지속적으로 처리해야 한다. Cloud 학습과 추론 외에도 Simulation, Synthetic Data 생성과 Edge Computing 수요가 함께 증가한다.

앞으로의 컴퓨팅 수요는 다음 식으로 이해할 수 있다.

총 AI 컴퓨팅 수요

= 사용자 수
× 사용자당 작업 수
× 작업당 모델 호출 횟수
× 호출당 TOKEN 및 Multimodal 연산량

현재는 시스템 효율이 10~20% 낮더라도 보조금이나 낮은 전력가격을 통해 격차를 일부 감출 수 있다.

그러나 Agent와 Physical AI가 확산돼 총연산량이 수십 배로 늘어나면 Chip 성능, HBM, Network와 가동률의 차이는 곱셈적으로 누적된다.

따라서 AI Cloud는 중국이 태양광이나 배터리에서 사용했던 단순 물량공세만으로 경쟁우위를 확보하기 어려운 산업이다.


2. 왜 AI 시대에는 GPU보다 Memory의 희소성이 더 주목받는가


TOKEN 생산원가가 AI 경쟁의 핵심이라면 다음 질문은 자연스럽다.

가장 비싼 자산인 GPU를 실제로 충분히 활용하려면 무엇이 필요한가.

답은 Memory와 Network다.

GPU가 아무리 빨라도 필요한 데이터를 제때 공급받지 못하면 연산장치는 기다릴 수밖에 없다. 이 때문에 AI 인프라 투자가 확대될수록 GPU 자체뿐 아니라 GPU의 가동률을 결정하는 Memory의 희소성이 더욱 부각되고 있다.


비싼 Memory를 사더라도 GPU를 더 돌리는 것이 이익이다


AI 가속기는 데이터센터에서 가장 비싼 핵심자산이다.

그러나 GPU Tensor Core가 아무리 빨라도 필요한 Weight와 KV Cache, Activation Data가 제때 공급되지 않으면 연산장치는 데이터를 기다리게 된다.

이때 발생하는 경제적 손실은 Memory 가격 자체보다 훨씬 클 수 있다.

Memory에 지불할 수 있는 최대 Premium

≈ 추가 Memory로 회복되는 GPU 가동시간
× 시간당 추가 TOKEN 생산량
× TOKEN당 공헌이익의 현재가치

Memory 가격이 30~50% 올랐더라도 추가 Memory 투자로 훨씬 비싼 GPU의 유휴시간을 줄일 수 있다면 Cloud 사업자에게는 구매를 미룰 유인이 크지 않다.

다만 Memory 계층은 구분해서 봐야 한다.

  • HBM은 GPU Package에 포함되므로 데이터센터 구축 이후 별도로 추가하기 어렵다.

  • Server DRAM·SOCAMM·CXL Memory는 Weight와 KV Cache, Data Staging과 Offload를 보조한다.

  • Enterprise SSD는 Model Weight, Checkpoint, Vector Data와 하위 Cache Tier를 담당한다.

Cloud 사업자가 비싼 Memory를 구매한다는 것은 HBM만 별도로 산다는 의미가 아니다.

더 높은 Memory Capacity와 Bandwidth를 제공하는 Accelerator와 Server System에 더 많은 자본을 투입한다는 의미에 가깝다.


GPU가 부족하면서도 GPU를 충분히 활용하지 못하는 문제가 동시에 존재한다


미국 하이퍼스케일러의 실적을 보면 AI 컴퓨팅 수요는 여전히 가용 Capacity를 빠르게 흡수하고 있다.

Microsoft의 FY2026 Azure 연간 매출은 처음으로 1,000억달러를 넘어섰고, Alphabet의 Google Cloud 수주잔고는 2026년 2분기 5,140억달러까지 확대됐다. 이는 새로 공급되는 AI 컴퓨팅 Capacity가 실제 매출과 계약으로 빠르게 전환되고 있음을 보여준다. (Microsoft)

하지만 데이터센터에 설치된 GPU가 항상 최대 성능으로 유료 TOKEN을 생산하는 것은 아니다.

  • HBM 용량과 Bandwidth 부족

  • CPU와 Host Memory 병목

  • GPU 간 Network 혼잡

  • Model Loading과 Checkpoint 이동

  • KV Cache Fragmentation

  • Prefill과 Decode의 자원 불균형

  • 전력과 냉각 제한

  • 장애와 유지보수

  • 요청량 변동과 Scheduling 비효율


Memory는 유일한 병목이 아니다.

그럼에도 GPU 연산성능이 빨라질수록 중요성이 커지는 핵심 병목이라는 점은 분명하다.


LLM 추론은 연산보다 Memory에 묶이는 경우가 많다


LLM 추론은 크게 Prefill과 Decode로 나뉜다.

Prompt 전체를 처리하는 Prefill은 상대적으로 Compute-bound 성격이 강하다. 반면 새로운 TOKEN을 하나씩 생성하는 Decode 단계는 Model Weight와 KV Cache를 반복해서 불러와야 하므로 Memory Bandwidth에 묶이는 경우가 많다.

GPU의 명목 FLOPS가 충분하더라도 Weight와 KV Cache가 제때 공급되지 않으면 Tensor Core는 데이터를 기다리게 된다.

KV Cache를 비효율적으로 관리하면 GPU Memory의 Fragmentation이 커지고 Batch 크기도 충분히 늘리지 못한다.

vLLM의 PagedAttention 연구에서는 KV Cache 관리방식을 개선하는 것만으로 기존 Serving System 대비 약 2~4배 높은 처리량을 달성할 수 있었다. GPU를 추가하지 않고도 Memory 관리 효율만으로 TOKEN 생산량을 크게 늘릴 수 있다는 의미다.

결국 중요한 것은 GPU의 명목성능이 아니다.

실제 Serving 과정에서 연산장치가 데이터를 기다리는 시간을 얼마나 줄일 수 있는가가 핵심이다.


Rubin의 핵심도 연산성능만이 아니라 Memory다


Rubin의 경쟁력도 GPU 연산성능만으로 설명되지 않는다.

Vera Rubin 플랫폼은 GPU, CPU, HBM, NVLink, Network와 Software를 하나의 Rack-scale 시스템으로 공동설계한다. NVIDIA 역시 Rubin의 TOKEN 원가 개선이 통신과 Memory Movement 병목을 줄이는 데서 나온다고 설명한다. (NVIDIA Developer)

Memory 용량과 Bandwidth가 증가하면 다음과 같은 효과가 발생한다.

  • GPU 내부에 더 많은 Model Weight 유지

  • KV Cache Capacity 확대

  • 더 긴 Context 처리

  • 동시 사용자와 Batch 증가

  • CPU·SSD Offload 감소

  • GPU Core 대기시간 감소

  • Rack당 TOKEN 처리량 증가


NVIDIA가 Rubin을 독립 GPU가 아니라 Vera CPU와 HBM, NVLink, ConnectX와 Spectrum-X를 통합한 AI Supercomputer로 제시하는 이유도 여기에 있다.

AI 경쟁의 단위가 Chip에서 System으로 이동하고 있다.


Memory 가격 상승은 수요파괴보다 공급확보 경쟁에 가깝다


일반적인 Commodity Cycle에서는 가격이 급등하면 고객이 재고를 줄이고 구매를 미루면서 수요가 둔화된다.

현재 AI Memory 시장에서는 반대 현상이 나타나고 있다.

Micron은 DRAM과 NAND 수요가 공급을 크게 초과하고 있으며, 타이트한 수급이 2027년 이후까지 이어질 수 있다고 전망했다. 주요 고객과 체결한 장기 Strategic Customer Agreement도 16개로 확대됐다. (Micron Technology)

SK하이닉스의 2026년 2분기 영업이익률은 76%를 기록했다. 메모리 가격과 AI Server용 고부가제품의 출하가 동시에 상승하면서 강한 이익 레버리지가 나타난 것이다. (SK hynix Newsroom)

고객이 높은 가격에도 Memory를 구매하는 이유는 단순히 재고를 쌓기 위해서가 아니다.

이미 투자한 GPU와 데이터센터를 실제 매출로 전환하기 위해 필요한 Memory를 확보하려는 것이다.

GPU보다 저렴한 Memory가 더 비싼 GPU의 가동률을 결정하면서, Memory의 경제적 가치는 제조원가보다 회복시키는 GPU 기회비용에 의해 결정되고 있다.


3. 왜 Memory 가격은 로직 GPU보다 더 가파르게 오르는가


GPU와 Memory는 모두 초과수요 상태다.

그럼에도 가격이 오르는 방식은 다르다.

GPU는 세대교체를 통해 가격과 성능이 동시에 상승한다. 반면 Memory는 동일한 DDR5나 HBM 세대 안에서도 계약가격 자체가 빠르게 재설정된다.

이 차이가 Memory 가격과 이익의 변동성을 훨씬 크게 만든다.


Memory 가격은 시장 전체에 빠르게 전파된다


로직 반도체는 제품별 설계가 다르다.

NVIDIA GPU, Google TPU, AWS Trainium, Broadcom ASIC은 동일한 파운드리 공정에서 생산되더라도 Die 면적과 Mask, 수율, 패키징, 주문량이 모두 다르다.

가격도 고객별 Wafer 계약과 장기 Capacity 계획에 따라 결정된다.

반면 DRAM과 NAND는 상대적으로 표준화돼 있다.

Server DRAM 계약가격이 상승하면 신규 계약과 LTA 외 추가 물량을 중심으로 가격이 재설정되고, 이 가격이 여러 고객과 제품군으로 빠르게 확산된다.

Memory의 한계가격 상승이 대규모 기존 출하물량의 평균판매가격까지 끌어올리는 구조다.


소수 사업자가 동일한 생산능력을 나눠 쓴다


DRAM과 HBM은 삼성전자·SK하이닉스·Micron이 대부분을 공급한다.

세 업체는 제한된 Cleanroom과 Wafer Capacity를 HBM, Server DRAM, Mobile DRAM 등 여러 제품에 배분해야 한다.

HBM 생산을 늘리면 범용 DRAM에 투입할 수 있는 생산능력은 감소한다.

HBM은 여러 DRAM Die와 Base Die를 적층하고 TSV·Bonding·첨단 패키징 공정을 거치기 때문에 동일한 Bit를 생산하는 데 더 많은 Wafer와 공정자원이 필요하다. (*HBM: DRAM = 1:3 정도 비율)

HBM 수요 증가
→ HBM의 DRAM Wafer 점유 확대
→ 범용 DRAM 공급 감소
→ Server·PC·Mobile DRAM 가격 상승
→ Memory 업체 Blended ASP 상승

수요는 빠르게 증가하지만 신규 Fab 건설과 인허가, 전력 확보, 장비 설치와 수율 안정화까지는 긴 시간이 필요하다.

따라서 Memory 공급은 단기간에 수요를 따라가기 어렵다. Micron이 AI 확산으로 메모리 산업의 구조가 바뀌었으며 수급부족이 장기화될 수 있다고 판단하는 이유도 여기에 있다. (Micron Technology)


GPU 가격은 단순 인상보다 세대교체로 반영된다

NVIDIA의 가격 결정력이 Memory 업체보다 약하기 때문에 GPU 가격 상승폭이 낮게 나타나는 것은 아니다.

GPU 가격 상승은 기존 제품의 가격을 분기마다 인상하는 방식보다, Hopper → Blackwell → Rubin으로 제품 구성이 전환되는 과정에서 나타난다.

차세대 GPU와 Rack의 절대가격은 계속 상승하지만, 동시에 TOKEN 처리량과 전력효율도 큰 폭으로 개선된다.

Cloud 고객이 판단하는 핵심 지표는 GPU 한 개의 가격이 아니다.

중요한 것은 TOKEN당 총소유비용과 MW당 매출이다.

차세대 GPU 가격이 인상되더라도, TOKEN 처리량과 전력효율 개선을 통해 TOKEN당 총소유비용 증가율보다 MW당 매출 증가율이 더 높다면, Cloud 고객은 가격 인상을 수용하고 구매를 지속할 수 있다.

Memory는 동일 규격 제품의 가격이 직접 상승하는 구조다. 반면 GPU는 더 비싼 차세대 제품이 더 높은 경제적 가치를 제공하면서 Product Mix가 상향되는 구조다.

이러한 가격 상승 방식의 차이 때문에 표면적인 가격 상승률은 GPU보다 Memory에서 훨씬 크게 나타난다.


https://www.silicondata.com/


https://www.silicondata.com/


https://www.silicondata.com/


https://www.silicondata.com/


LBM_LXXVIII on X: "Meanwhile, spot memory prices keep marching upwards.... $MU $SKHY $SNDK https://t.co/H1TYWP3t2L" / X



Memory IDM의 이익 레버리지는 왜 더 강하게 나타나는가


DRAM Cell Array는 1개의 Transistor와 1개의 Capacitor로 구성된 1T1C Cell을 반복 집적한다.

다만 DRAM 전체가 1T1C로만 구성되는 것은 아니다. Peripheral Circuit, Sense Amplifier, I/O와 ECC가 필요하고, HBM에는 TSV·Base Die·적층 공정이 추가된다.

NAND 역시 1T1C가 아니라 Cell을 수직 String 형태로 연결하는 별도의 구조다.

따라서 Memory의 이익 레버리지를 단순히 제품이 단순하고 한계원가가 낮기 때문이라고만 설명하기는 어렵다.

보다 정확한 이유는 다음과 같다.

  • 표준화된 대규모 Bit 물량

  • 제한된 공급자

  • 높은 고정비

  • 낮은 단기 공급탄력성

  • 시장가격이 전체 물량에 빠르게 반영되는 계약구조

  • 가격과 가동률이 동시에 상승하는 Up-cycle


Memory 업체의 손익을 단순화하면 다음과 같다.

영업이익

= 출하 Bit × (Bit당 ASP − Bit당 현금원가)
− 감가상각비
− 연구개발비와 고정비


Fab과 장비가 이미 가동되는 상황에서 ASP가 오르면 가격 상승분의 상당 부분이 영업이익으로 연결된다.

여기에 가동률과 Bit 출하량까지 증가하면 가격·물량·고정비 희석이 동시에 발생한다.

물론 첨단 Memory의 Bit당 원가가 항상 하락하는 것은 아니다. HBM 세대전환과 적층·패키징 공정 증가로 Blended Cost per Bit이 상승할 수도 있다.

그러나 ASP 상승 속도가 원가 증가를 크게 앞서면 이익 레버리지는 폭발적으로 확대된다.

파운드리 역시 고정비 비중이 높고 가동률 상승에 따른 강한 이익 레버리지를 보유한다.

차이는 레버리지의 존재 여부보다 변동성에 있다.

  • 파운드리: 고객과 제품 다변화로 높은 이익률이 비교적 안정적으로 누적

  • Memory: 표준제품 가격 변동폭이 커 상승기에 이익이 훨씬 빠르게 확대


이번 AI Up-cycle에서는 HBM이 범용 DRAM Capacity를 잠식하고, AI Server가 HBM·Server DRAM·SOCAMM·Enterprise SSD를 동시에 요구한다.

과거보다 Memory 가격 상승의 지속성과 IDM의 이익 레버리지가 강해지는 구조가 형성되고 있다.

생각정리 264 (* CY 1Q26 Review.  Memory, Networking)

생각정리 264 (* CY 1Q26 Review.  Memory, Networking)

2026.07.30 SEC

2026.07,29 SKH



4. 중국 반도체 내재화가 곧 AI 공급과잉을 의미하지 않는 이유


Memory 가격과 공급자 이익이 크게 올라가면 자연스럽게 중국의 증설 위험이 거론된다.

CXMT와 YMTC가 Memory 생산을 확대하고, SMIC와 중국산 DUV가 발전한다면 과거 태양광과 배터리처럼 중국발 공급과잉이 반복되지 않겠느냐는 우려다.

범용제품에서는 충분히 가능한 시나리오다.

그러나 범용 Memory의 공급과잉 가능성과 선단 AI 컴퓨팅의 공급과잉 가능성은 구분해야 한다.


중국의 공급과잉 위험은 제품군별로 구분해야 한다


CXMT와 YMTC가 범용 DDR4·DDR5, LPDDR, Client SSD와 NAND 생산을 확대하면 소비자용·중저가 시장에서는 가격압박이 발생할 수 있다.

SMIC와 중국 파운드리의 증설도 Mature-node MCU, Power Semiconductor와 Analog 시장에 공급 부담을 줄 수 있다.

그러나 이를 곧바로 HBM과 선단 AI 가속기, AI Cloud의 공급과잉으로 연결하는 것은 과장에 가깝다.

DDR5 규격을 구현하는 능력과 선두업체 수준의 경제성을 확보하는 능력은 다르다.

동일한 규격을 지원하더라도 다음 요소가 다르면 실제 경쟁력에는 큰 차이가 발생한다.

  • Die 면적과 Bit Density

  • Wafer Yield

  • Cost per Bit

  • 소비전력과 신뢰성

  • 장기 품질인증

  • 첨단 패키징 수율

  • 대규모 공급 안정성


제품을 만들 수 있다는 사실과 삼성전자·SK하이닉스·Micron 수준의 면적·수율·원가를 달성했다는 것은 별개의 문제다.
 

생각정리  322 (* CXMT, Bonded DRAM)

특히 HBM은 DRAM Cell 기술만으로 완성되지 않는다.

TSV와 Wafer Thinning, Base Die, 적층·Bonding, 열관리와 GPU 고객인증을 모두 통과해야 한다.

중국의 범용 DDR5 생산량 증가가 HBM3E·HBM4 공급과잉으로 곧바로 이어지지 않는 이유다.


AI Cloud는 단순 물량경쟁으로 이기기 어렵다


태양광이나 철강과 같은 산업에서는 설비를 많이 건설하고 가동률을 높이면 단위당 원가를 빠르게 낮출 수 있었다.

AI Cloud의 생산성은 여러 요소의 곱으로 결정된다.

AI Cloud 생산성

= Chip 성능
× Memory 효율
× Network 효율
× 전력효율
× Software 최적화
× 시스템 가동률


Chip 성능이 낮으면 더 많은 가속기를 연결해야 한다.

가속기 수가 증가하면 HBM과 DRAM, Network Switch와 Optical Transceiver, 전력과 냉각설비도 함께 늘어난다.

시스템 구성요소가 증가하면 CapEx만 늘어나는 것이 아니다.

  • 통신지연과 Network Contention 증가

  • 장애지점 확대

  • Scheduling 복잡성 증가

  • 냉각과 전력부하 증가

  • 유지보수 비용 증가

  • 실질 가동률 하락


따라서 저성능 Chip 여러 개가 고성능 Chip 한 개와 경제적으로 동등하지는 않다.

정부 보조금도 이러한 물리적 비효율을 제거하지 못한다.

Cloud 사업자의 손실을 정부 재정이나 국유 금융기관으로 이전할 수는 있지만, 동일 작업에 필요한 Chip·Memory·전력의 양을 줄여주지는 않는다.


중국 기술발전에는 ‘선단공정 우회’라는 공통점이 있다


최근 중국이 보여주는 주요 기술경로에는 공통된 구조가 있다.

제한된 선단공정 접근성을 추가 Wafer와 공정, 더 많은 Chip과 Network로 보완하는 방식이다.

DUV Multi-patterning


SMIC는 기존 ASML DUV 장비와 Multi-patterning을 활용해 7nm급 공정을 구현했고 5nm급 진입도 추진하고 있다.

기술적으로 불가능한 접근은 아니다.

다만 노광·식각·증착·세정·계측 횟수가 증가하면서 Overlay 오차와 결함 가능성이 누적되고, Cycle Time과 장비 투입량도 증가한다.

공정 수 증가
→ 수율 저하 가능성 확대
→ Wafer 처리시간 증가
→ 장비 생산성 하락
→ 양품 Die당 원가 상승

특히 Die 면적이 큰 AI 가속기에서는 결함밀도와 수율이 양품원가에 미치는 영향이 더욱 커진다. 

Huawei의 대규모 병렬 시스템


Huawei는 Ascend 가속기를 대규모 Network로 연결해 단일 Chip 성능 부족을 System Engineering으로 보완하고 있다.

이는 분명한 기술적 성과다.

하지만 경제성은 별개의 문제다.

동일한 TOKEN을 처리하기 위해 더 많은 가속기와 Network, Memory, 전력이 필요하다면 시스템 전체 CapEx와 운영비도 증가한다.

System Engineering은 선단공정 격차를 줄일 수 있지만, 그 격차에서 발생하는 비용을 완전히 제거하지는 못한다.

CXMT의 Bonded DRAM


Cell Array와 Peripheral Circuit을 별도 Wafer에서 생산한 뒤 Bonding하는 구조는 DRAM 집적도를 높일 수 있는 기술적 대안이다.

Hybrid Bonding 자체가 비효율적인 기술인 것은 아니다. 글로벌 Memory 업체들도 차세대 NAND와 3D DRAM을 위해 연구하고 있다.

다만 CXMT가 미세공정 제약을 우회하기 위해 Bonded DRAM을 적용한다면 경제성은 다음 수율의 곱으로 결정된다.

최종수율

= Cell Wafer 수율
× Peripheral Wafer 수율
× Bonding 수율
× Thinning·Test 수율

두 장의 Wafer와 추가 Bonding 공정을 사용하고도 Die 면적 축소와 생산성 증가가 추가 비용을 상쇄해야 한다.

따라서 핵심은 Bonded DRAM을 만들 수 있느냐가 아니다.

기존 Monolithic DRAM보다 낮은 Cost per Bit을 달성할 수 있느냐가 중요하다. 


우회기술은 실패가 아니라 비용을 지불하는 선택이다


중국의 기술경로가 지속될 수 없다고 단정할 필요는 없다.

국가안보와 공급망 자립이 목표라면 중국 정부는 낮은 수익성과 높은 전력소비, 제조비용을 장기간 감수할 수 있다.

중국 내수시장에서 자국산 Chip 사용을 확대하면 일정 수준의 수요도 보장할 수 있다.

그러나 다음 두 가지는 구분해야 한다.

  • 국가 지원을 통한 생산 지속 가능성

  • 글로벌 시장에서의 자생적 원가경쟁력

중국의 우회기술은 제품을 생산할 수 있게 해준다. 그러나 더 많은 공정과 Wafer, Chip, Network가 필요하다면 TOKEN당 원가는 높아질 수 있다.

이전 분석에서는 미국의 TOKEN 원가를 1.0으로 가정할 때 중국의 원가를 다음과 같이 추정했다.

  • 기존 ASML DUV와 일부 해외 공급망 활용: 1.3~1.7

  • 중국산 DUV와 Bonded DRAM 중심 자립화: 1.9~2.6

이는 기업이 공개한 실제 원가가 아니라 DUV 생산성, Logic Yield, Chip 수, Network와 Memory 비용을 반영한 시나리오 추정치다.

절대값보다 중요한 것은 우회기술의 비중이 커질수록 시스템 전체 원가가 높아질 가능성이다. 

생각정리 322 (* CXMT, Bonded DRAM)



Agentic AI와 Physical AI는 우회비용을 더욱 키운다


Chatbot 중심 시장에서는 중국이 정부 보조금과 낮은 전력가격으로 일부 효율 차이를 흡수할 수 있다.

Agentic AI와 Physical AI에서는 연산량 자체가 크게 증가한다.

동일한 작업을 처리하기 위해 중국 시스템이 더 많은 Chip과 Memory, Network를 필요로 한다면 추가 비용도 작업량에 비례해 증가한다.

낮은 Chip 성능
→ Chip 수 증가
→ Network와 Memory 증가
→ 전력과 냉각 증가
→ 시스템 복잡성 증가
→ 가동률 하락
→ TOKEN당 감가상각비 증가

엄밀한 수학적 의미의 지수함수라고 단정하기는 어렵다.

그러나 여러 비효율이 서로를 강화하며 곱셈적으로 누적되는 구조라는 점은 분명하다.


중국의 기술 과시는 수출통제의 명분을 강화한다


미국의 대중국 수출통제는 중국의 기술홍보 때문에 시작된 것이 아니다.

첨단 AI Chip과 반도체 제조장비가 군사 AI와 Supercomputer에 활용될 수 있다는 국가안보 판단이 핵심이다.

다만 중국이 5nm와 DUV 장비, HBM과 AI Supernode 기술을 적극적으로 과시할수록 미국은 중국의 실제 추격속도와 기존 규제의 허점을 다시 평가하게 된다.

중국의 기술성과 공개
→ 미국의 추격속도 재평가
→ 규제 우회경로 확인
→ 장비·부품·Service 통제 확대
→ 중국의 추가 우회기술 개발

중국의 기술 과시는 수출통제의 근본 원인은 아니다.

하지만 통제범위를 다음 병목으로 확대할 정치적 명분과 긴급성을 제공할 가능성이 높다.


5. 중국 모델의 성공이 중국 Cloud의 승리를 의미하지 않는 이유


중국의 반도체 내재화가 AI 공급과잉으로 곧바로 연결되지 않는다면, 다음으로 살펴봐야 할 것은 중국 LLM의 성공이다.

Qwen과 DeepSeek, Tencent 계열 모델의 성능과 글로벌 사용량은 빠르게 증가하고 있다.

중국 AI Software가 미국과의 격차를 좁히고 있다는 점은 부정하기 어렵다.

그러나 중국 모델의 성공과 중국 Cloud의 성공은 같은 의미가 아니다.


오픈웨이트는 모델과 인프라의 소유권을 분리한다


오픈웨이트 모델은 누구나 내려받아 자신이 보유한 GPU와 Cloud에서 서비스할 수 있다.

OpenRouter와 같은 플랫폼은 동일한 모델을 제공하는 여러 사업자 가운데 가격과 속도, 가용성 등을 기준으로 요청을 분산한다. 중국 모델이라고 해서 반드시 중국 데이터센터에서 연산되는 구조는 아니다.

따라서 중국 모델의 사용량이 증가하더라도 다음 부가가치가 중국에 모두 귀속되지는 않는다.

  • Cloud 인프라 마진

  • GPU와 HBM 가동률 상승

  • TOKEN 생산 규모의 경제

  • 고객 Serving Data

  • 개발자 플랫폼 Lock-in

  • 다음 세대 CAPEX를 위한 현금흐름


오히려 중국 모델을 미국이나 제3국 Cloud 사업자가 호스팅하면 다음 구조가 만들어질 수 있다.

모델은 중국이 개발
→ 글로벌 사용량 증가
→ 실제 TOKEN 생산은 해외 Cloud가 담당
→ 인프라 마진과 운영데이터는 해외 사업자가 확보

중국 모델의 성공은 중국 AI Software의 경쟁력을 보여준다.

그러나 중국 Cloud의 물리적 경쟁력을 자동으로 증명하지는 않는다.


중국 Cloud도 빠르게 성장하고 있다


중국 Cloud가 투자하지 않는다는 해석도 사실과 다르다.

중국의 AI 관련 Cloud 수요와 매출은 빠르게 증가하고 있으며, Alibaba와 Baidu, Tencent 등도 인프라 투자를 확대하고 있다. 중국 Cloud 서비스의 가격 인상과 자본조달 확대는 중국 내부에서도 AI 연산자원 부족과 인프라 비용 상승이 현실화되고 있음을 보여준다.

생각정리 226 (* China AI, AI Infrastructure Monetization) 

Goldman Sachs는 중국 상위 인터넷 기업들이 2026년 데이터센터와 AI 인프라에 700억달러 이상을 투자할 것으로 전망했다. 중국 AI Cloud 역시 본격적인 증설단계에 진입하고 있는 셈이다. (Goldman Sachs)

문제는 성장률이 아니다.

절대적인 투자규모와 동일한 CAPEX가 만들어내는 유효 TOKEN 생산량이다.


미국과 중국 Hyperscaler CAPEX를 동일한 기준으로 비교하면


비교 대상을 맞추기 위해 다음 기업군을 기준으로 잡았다.

  • 미국: Amazon, Microsoft, Alphabet, Meta, Oracle

  • 중국: Alibaba, Tencent, ByteDance, Baidu

  • 기간: 2026~2028년

  • 기준: 각 기업의 전체 CAPEX


여기에는 AI Server뿐 아니라 데이터센터 건물, 전력, Network와 리스 관련 투자가 함께 포함된다.

OfficeChai가 소개한 Goldman Sachs 성장률 경로를 2025년 CAPEX에 기계적으로 적용하면, 2026~2028년 미국 Hyperscaler의 누적 CAPEX는 약 2.97조달러, 중국은 약 3,710억달러로 계산된다.

미국이 중국보다 약 2.60조달러를 더 투자하며 누적 투자규모는 약 8배에 달한다. (OfficeChai)

미국과 중국 Hyperscaler CAPEX 비교



위 표는 2025년 미국 4,430억달러, 중국 570억달러를 출발점으로 다음 성장률을 적용한 시나리오 계산이다.

  • 미국: 2026년 76%, 2027년 35%, 2028년 8%

  • 중국: 2026년 80%, 2027년 20%, 2028년 18%


따라서 2028년 수치는 Goldman Sachs가 공개한 단일 Point Estimate라기보다 성장률 경로를 연장한 추정치로 보는 것이 타당하다.

2025년까지 포함한 2025~2028년 누적 CAPEX는 다음과 같다.

  • 미국: 약 3.41조달러

  • 중국: 약 4,280억달러

  • 누적 격차: 약 2.98조달러

  • 미국/중국 배수: 약 8배


중국의 성장률이 높아도 절대 격차는 좁혀지지 않는다


중국 Hyperscaler CAPEX는 2026년 약 80% 증가하는 것으로 가정된다.

미국의 76%보다 성장률은 소폭 높다.

하지만 출발점이 다르다.

  • 2025년 미국: 4,430억달러

  • 2025년 중국: 570억달러

  • 시작점의 격차: 약 3,860억달러


규모가 약 8배 큰 미국이 중국과 비슷한 성장률로 투자를 확대하면 달러 기준 격차는 줄어들지 않는다.

오히려 연간 격차는 다음과 같이 확대된다.

  • 2026년: 약 6,770억달러

  • 2027년: 약 9,290억달러

  • 2028년: 약 9,910억달러


중국이 더 빠르게 성장하더라도 미국이 훨씬 큰 자본 기반 위에서 투자를 늘리기 때문에 절대 격차는 매년 커지는 구조다.

백분율 성장률만 보면 중국의 추격속도가 빨라 보인다.

그러나 AI 컴퓨팅 경쟁에서 중요한 것은 성장률보다 새로 확보한 GPU와 HBM, Network와 데이터센터 전력의 절대량이다.


2028년 미국의 1년 CAPEX가 중국의 약 8년치에 가깝다


2028년 시나리오상 미국 Hyperscaler CAPEX는 약 1.14조달러, 중국은 약 1,450억달러다.

미국이 2028년 한 해에 집행하는 CAPEX는 중국의 2026~2028년 3년 누적 CAPEX인 3,710억달러의 약 3.1배에 해당한다.

중국의 2028년 연간 투자속도인 1,450억달러가 이후에도 유지된다고 단순 가정하면, 미국의 2028년 한 해 CAPEX를 따라잡는 데 약 7.8년이 필요하다.

이는 미국이 단순히 GPU를 더 많이 구매한다는 의미에 그치지 않는다.

다음 자산이 동시에 축적된다.

  • AI 가속기와 자체 ASIC

  • HBM과 Server DRAM

  • 고속 Network와 Optical Communication

  • 데이터센터 건물과 전력설비

  • 냉각·UPS·배전설비

  • 대규모 추론 Cluster

  • 운영 Software와 Scheduling 경험

  • 감가상각이 진행된 저원가 Legacy Cluster


특히 마지막 항목이 중요하다.

새로운 Rubin Cluster가 고성능 Premium 서비스를 담당하는 동안, 감가상각이 상당 부분 진행된 Hopper와 Blackwell Cluster는 상대적으로 낮은 가격의 추론 수요를 처리할 수 있다.

선두기업은 최신 장비뿐 아니라 이전 세대 장비까지 여러 가격대의 TOKEN 생산설비로 활용할 수 있다.

후발기업은 최신 설비 투자와 Legacy Capacity 축적을 동시에 따라잡아야 한다.


실제 연산능력 격차는 CAPEX 8배보다 클 수 있다


CAPEX는 투자금액이므로 물리적인 AI 연산능력을 정확하게 보여주는 지표는 아니다.

동일한 1달러가 미국과 중국에서 만들어내는 데이터센터 건물과 전력설비의 양도 다르다.

중국은 상대적으로 낮은 전력가격과 토지비용, 정부 보조금과 국산 장비 가격을 활용할 수 있다. 따라서 달러 CAPEX 대비 데이터센터 면적이나 설치 장비 수는 표면적인 투자액보다 많을 수 있다.

반면 미국 기업은 최신 NVIDIA GPU와 HBM, 선단 Network와 자체 ASIC을 대규모로 조달할 수 있다.

중국 기업은 수출규제 때문에 외산 첨단 Chip과 이전 세대 GPU, 국산 ASIC을 혼합해야 한다. Goldman Sachs 역시 중국 CSP의 CAPEX가 외산 Chip 중심에서 국산 Chip 비중을 높이는 방향으로 이동하고 있다고 설명한다. (Goldman Sachs)

따라서 유효 TOKEN 생산능력은 다음 요소까지 고려해야 한다.

  • GPU당 연산성능

  • HBM 용량과 Bandwidth

  • Cluster Network 효율

  • 멀티칩 통신 손실

  • Software 최적화

  • 시스템 가동률

  • 전력 1MW당 TOKEN 생산량

  • 서비스 품질을 충족한 Goodput


미국과 중국의 CAPEX 격차가 약 8배라 하더라도 미국의 장비 한 대가 더 많은 TOKEN을 더 낮은 전력으로 생산한다면 유효 AI 연산능력의 격차는 8배보다 커질 가능성이 있다.

반대로 중국의 낮은 건설비와 전력비는 달러당 물리적 설비량을 높여 일부 격차를 완화할 수 있다.

따라서 CAPEX 8배를 곧바로 TOKEN 생산능력 8배로 단정해서는 안 된다.

다만 중국의 비용상 이점이 최신 GPU·HBM·Network와 시스템 효율 격차를 전부 상쇄하기는 어렵다는 것이 핵심이다.


비교 범위의 차이도 고려해야 한다


이번 계산은 기업 간 비교 가능성을 높이기 위해 민간 Hyperscaler에 한정했다.

중국 측에서는 다음 투자가 제외돼 있다.

  • Huawei의 데이터센터와 Ascend 생태계 투자

  • China Mobile·China Telecom·China Unicom의 Cloud CAPEX

  • 지방정부 AI 컴퓨팅센터

  • 국가 데이터 인프라와 보조금

  • 국유기업 자체 AI Cluster


미국에서도 다음 항목은 제외했다.

  • CoreWeave 등 GPU Neocloud

  • OpenAI와 Stargate 프로젝트

  • xAI 및 SpaceX 관련 인프라

  • 데이터센터 전문 임대사업자

  • 발전소·송전망 사업자의 관련 투자

따라서 위 수치는 국가 전체 AI 투자액의 완전한 비교가 아니다.

양국을 대표하는 민간 인터넷·Cloud Hyperscaler의 자체 CAPEX 비교에 가깝다.

그럼에도 미국에서는 Hyperscaler 외에도 Neocloud와 AI Lab, 데이터센터 전문사업자의 투자가 동시에 확대되고 있다. 국가 전체 AI 컴퓨팅 투자 격차가 단기간에 역전될 가능성은 제한적으로 보인다.

NVIDIA

앞으로 GPU 수요의 중심은 기존 하이퍼스케일러를 넘어 민간기업과 소버린 AI를 구축하려는 국가 단위 고객으로 확산될 가능성이 높다. 이에 따라 향후 AI 컴퓨팅 수요를 판단할 때 CSP의 CAPEX만을 기준으로 삼는 방식은 점차 한계에 부딪힐 수밖에 없다. 



AI CAPEX에는 ‘지각비’가 붙는다


AI 인프라 경쟁에서는 뒤늦게 같은 금액을 투자한다고 동일한 위치에 도달할 수 없다.

CAPEX에는 회계상 표시되지 않는 지각비가 붙는다.

공급망 지각비


선두기업은 GPU와 HBM, 첨단 패키징, 변압기, 발전설비와 전력부지를 장기계약으로 먼저 확보한다.

후발기업은 이미 예약된 Capacity 뒤에서 기다리거나 더 높은 가격을 지불해야 한다.

운영 학습의 지각비


AI 데이터센터의 효율은 GPU를 설치하는 순간 완성되지 않는다.

Compiler와 Scheduler, KV Cache, Network, 냉각, 장애복구와 전력배분을 반복적으로 개선해야 한다.

먼저 투자한 사업자는 동일한 Hardware로 더 많은 TOKEN을 생산하는 운영경험을 먼저 축적한다.

고객과 생태계의 지각비


Cloud 사업자는 데이터센터를 먼저 지은 뒤 고객을 기다리는 것이 아니다.

대규모 고객계약과 수주잔고를 기반으로 Capacity를 선제적으로 확보한다.

Microsoft의 Azure 연간 매출은 1,000억달러를 넘어섰고, Google Cloud의 수주잔고는 5,140억달러까지 증가했다. 선두 Cloud 사업자는 투자할 Capacity의 상당 부분을 이미 고객수요와 연결한 상태다. (Microsoft)

세대교체의 지각비


후발사업자가 Hopper급 Capacity를 확대하는 동안 선두사업자는 Blackwell과 Rubin으로 이동한다.

후발사업자는 기존 GPU 수량의 차이뿐 아니라 다음 세대의 TOKEN 원가와 전력효율 격차를 함께 따라잡아야 한다.

늦은 투자
→ 적은 Capacity
→ 낮은 TOKEN 생산량
→ 부족한 매출과 운영데이터
→ 다음 세대 투자여력 약화
→ 격차 추가 확대

이것이 AI 지각비다.

단순한 건설비 상승이 아니라 공급망, 운영경험, 고객, 현금흐름과 차세대 기술격차가 서로를 강화하는 경로의존적 복리구조다. 

생각정리 146 (* 지각비)


미국은 투자와 수익화의 순환에 먼저 진입했다


미국 Hyperscaler가 대규모 CAPEX를 지속하는 이유는 단순한 기술 과시가 아니다.

실제 고객수요와 수주잔고가 증가하고 있으며, 새로 투입되는 컴퓨팅 Capacity가 빠르게 매출로 전환되고 있기 때문이다.

미국에서는 다음 순환이 이미 작동하고 있다.

대규모 CAPEX
→ 최신 GPU·HBM·전력 확보
→ TOKEN Capacity 증가
→ Cloud 매출과 고객수요 증가
→ GPU 가동률 상승
→ TOKEN 원가 하락
→ 현금흐름과 자금조달 확대
→ 다음 세대 CAPEX 증가

중국 Cloud도 성장하고 있지만 아직 미국과 동일한 규모의 투자·수익화 순환에는 진입하지 못했다.

중국은 전력과 토지, 정부 지원을 보유하고 있다.

그러나 이를 최신 AI 컴퓨팅 자산으로 전환하는 과정에서 선단 Chip과 HBM, Network의 제약을 받고 있다.


중국의 물량공세가 늦은 이유


중국이 태양광이나 배터리와 같은 방식으로 AI 산업을 장악할 수 있다고 판단했다면 훨씬 일찍 더 큰 CAPEX 계획을 추진했을 가능성이 높다.

하지만 AI 데이터센터는 자금과 토지, 전력만 투입한다고 원하는 만큼 증설할 수 있는 산업이 아니다.

  • 선단 AI 가속기

  • HBM

  • 첨단 패키징

  • EDA

  • 노광·식각·증착·계측장비

  • 고속 Network와 Optical 부품

  • 분산 Computing Software


핵심 생산수단의 상당 부분이 미국과 우방국 공급망에 속한다.

중국의 상대적으로 늦은 CAPEX 확대는 AI 수요를 과소평가했기 때문만은 아니다.

자금을 투입하더라도 확보할 수 있는 선단 컴퓨팅의 양이 제한돼 있다는 현실을 반영한다.

결국 중국의 AI 전략은 미국과 동일한 규모의 컴퓨팅 인프라를 구축하는 방향보다, 제한된 연산자원을 오픈웨이트 모델과 추론 최적화, 저가 서비스와 국산 ASIC으로 최대한 효율적으로 활용하는 방향으로 전개될 가능성이 높다.

반면 미국은 막대한 CAPEX를 통해 Frontier Training과 대규모 추론, Agent AI와 Physical AI까지 하나의 컴퓨팅 자산 위에서 동시에 확장하고 있다.

AI 패권의 중심이 모델 성능에서 TOKEN 생산능력과 물리적 컴퓨팅 인프라로 이동할수록 양국 간 구조적 격차는 더욱 선명해질 가능성이 높다.


6. 한국이 차세대 AI 데이터센터 입지로 주목받는 이유


미국이 AI 하드웨어와 Cloud 인프라 경쟁에서 앞서고 있더라도 자국 안에서 모든 컴퓨팅 수요를 소화할 수 있는 것은 아니다.

전력망 접속과 발전설비, 변압기 부족, 용수와 소음, 전기요금과 주민반발이 새로운 병목으로 부상하고 있기 때문이다.

이 지점에서 한국과 같은 동맹국에 새로운 기회가 발생한다.


미국의 AI 데이터센터 입지 제약은 현실적인 병목이다


미국에서는 데이터센터의 전력 수요가 전기요금과 전력망 증설비용을 일반 소비자에게 전가할 수 있다는 우려가 커지고 있다.

지역사회에서는 대규모 용수 사용과 냉각설비 소음, 비상발전기 오염, 토지사용과 낮은 상시고용 효과를 둘러싼 반발도 확산되고 있다. 일부 주에서는 데이터센터의 비용 부담과 입지를 제한하는 규제나 모라토리엄 논의까지 등장했다. (AP News)

2025년 4~6월 미국에서 추적된 데이터센터 프로젝트 가운데 약 3분의 2, 금액으로 약 980억달러 규모가 주민반대나 인허가 지연에 직면했다. 지역사회 수용성이 실제 컴퓨팅 Capacity 공급을 늦추는 변수로 올라온 것이다. (AP News)

미국 Hyperscaler가 GPU를 확보했더라도 전력과 인허가, 용수를 얻지 못하면 이를 실제 TOKEN 생산설비로 전환할 수 없다.


미국은 중국보다 동맹국에 컴퓨팅 자산을 배치할 유인이 크다


미국의 전략은 모든 AI 컴퓨팅을 미국 영토 안에만 집중하는 것이 아니다.

미국 정부는 Hardware와 Model, Software, Application과 기술표준을 결합한 Full-stack American AI Package를 동맹국과 파트너 국가에 수출하는 정책을 추진하고 있다.

공식적인 목적도 미국산 AI 기술의 해외 배치를 확대하고, 동맹국이 미국 중심의 AI 기술과 표준을 사용하도록 만드는 것이다. (The White House)

따라서 미국 내에서 모든 AI 수요를 소화하기 어렵다면 첨단 GPU와 AI Cloud Capacity는 중국보다 한국과 일본, 중동, 유럽의 우호국에 먼저 배치될 가능성이 높다.

다만 미국이 GPU를 한국에 자동으로 배정한다는 의미는 아니다.

최종 입지는 다음 조건에 의해 결정된다.

전력과 계통
× 건설 및 인허가 속도
× Network와 해저케이블
× 고객수요
× 보안·수출통제 준수
× 사업수익성


한국은 단순한 데이터센터 입지 이상의 장점이 있다


한국의 경쟁력은 저렴한 토지나 전력에만 있지 않다.

  • 삼성전자·SK하이닉스의 HBM·DRAM 생태계

  • 반도체 소재·장비·패키징 공급망

  • 전력기기와 EPC·건설 역량

  • 높은 수준의 유선·무선 통신망

  • 일본·대만·동남아와 인접한 지리

  • 제조업과 Physical AI 수요

  • 미국과의 안보·기술동맹


미국과 한국의 기술협력 방향에도 신뢰할 수 있는 AI Technology Stack의 수출과 보안협력이 포함돼 있다. (The White House)

한국에 AI 데이터센터가 구축되면 단순히 해외 GPU를 설치하는 데 그치지 않는다.

GPU·HBM·Storage·Network·전력·냉각·제조업 Data를 하나의 산업생태계로 연결할 수 있다.

정부와 민간은 2029년까지 8.4GW, 2035년까지 18.4GW 규모의 AI 데이터센터를 구축한다는 계획을 제시했다. 1단계 투자목표는 약 550조원이며, SK 5GW, GS 2.4GW, 네이버 1GW 계획 등이 포함돼 있다. (연합뉴스)

계획대로 실현된다면 한국은 미국에서 처리하지 못한 아시아 AI 수요를 흡수하고, 미국 중심 AI 공급망의 아시아 TOKEN 생산거점으로 성장할 수 있다.


그러나 한국도 미국과 같은 문제를 피할 수는 없다


발표된 Capacity는 매우 크다.

8.4GW를 연중 100% 가동하면 단순 계산으로 연간 약 73.6TWh의 전력이 필요하다.

18.4GW는 약 161.2TWh에 해당한다.

이는 데이터센터의 IT Load만 단순 환산한 값이다. 실제로는 PUE와 변환손실, 계통 예비율까지 고려해야 한다.

따라서 한국의 경쟁력을 단순히 남는 전력이 많다는 논리로 설명하기는 어렵다.

한국은 인구밀도가 높고 전력 생산지역과 소비지역이 분리돼 있으며, 송전망 건설에 대한 주민수용성 문제도 크다.

수도권에 데이터센터를 집중하면 미국과 같은 전력비·소음·용수·인허가 갈등이 반복될 수 있다.

한국의 AI 데이터센터 전략이 현실화되려면 다음 조건이 필요하다.

  • 발전소와 데이터센터를 결합한 전력·컴퓨팅 공동개발

  • 울산·동해·새만금·호남 등 산업·발전지역 중심 분산

  • 송전망과 변전소 선제 구축

  • 데이터센터 사업자의 계통 증설비용 분담

  • 저수량 냉각과 폐열 활용

  • 지역주민에 대한 세수·전기요금·고용 이익공유

  • 국제 해저케이블과 다중 Network 경로

  • 미국의 기술보호와 우회수출 방지 기준 충족

  • 국내외 Cloud 고객과 장기 사용계약 확보


정부가 발표한 8.4GW와 18.4GW는 확정된 실적이 아니다.

대규모 민간투자와 인허가, 전력망 구축이 필요한 정책목표다.

한국의 기회는 데이터센터 건물 수를 늘리는 데 있지 않다.

반도체·Memory·전력·냉각·Network·Cloud와 제조업 Data를 하나의 지역산업으로 통합할 수 있느냐가 핵심이다.

 


결론: AI 패권은 누가 Intelligence를 가장 싸게 생산하느냐에서 결정된다


오픈웨이트 LLM의 확산은 모델 성능의 격차를 빠르게 줄이고 있다.

그러나 모델이 범용화될수록 그 아래에 있는 물리적 인프라의 중요성은 오히려 커진다.

AI 패권은 누가 가장 좋은 모델을 한 번 만들었느냐로 결정되지 않는다.

누가 1달러·1MW·1Rack당 가장 많은 유료 Intelligence를 안정적으로 생산하고, 그 현금흐름을 다음 세대 GPU와 데이터센터에 재투자할 수 있느냐가 최종 승자를 결정한다.

이 구조에서 Memory의 가치도 함께 높아진다.

GPU는 데이터센터에서 가장 비싼 자산이지만, GPU가 실제 TOKEN을 생산하려면 HBM과 Server DRAM, Storage와 Network가 충분히 공급돼야 한다.

따라서 Memory 가격이 상승하더라도 고가 GPU의 유휴시간을 줄일 수 있다면 Cloud 사업자는 높은 가격을 지불하고서라도 공급을 확보할 가능성이 높다.

Memory는 표준화된 대규모 물량과 제한된 공급자, 낮은 단기 공급탄력성을 갖고 있다. 가격이 상승하면 그 효과가 전체 출하물량에 빠르게 전파되기 때문에 AI Up-cycle에서 Memory IDM의 이익 레버리지는 파운드리보다 더 급격하게 나타날 수 있다.

중국은 모델과 반도체 자립에서 의미 있는 성과를 내고 있다.

범용 Memory와 Mature-node 제품에서는 글로벌 가격을 압박할 가능성도 충분하다.

그러나 선단 AI Cloud에서는 부족한 공정기술을 더 많은 Wafer와 Chip, Network와 전력으로 보완해야 한다.

국가 보조금으로 생산을 지속할 수는 있어도 이를 미국보다 낮은 TOKEN 원가로 전환하는 것은 훨씬 어려운 문제다.

여기에 미국과 중국 Hyperscaler의 CAPEX 격차가 더해진다.

2026~2028년 미국 주요 Hyperscaler의 누적 CAPEX는 약 3조달러, 중국은 약 3,700억달러로 추정된다.

미국이 약 8배 많은 자본을 투입하는 가운데 최신 GPU와 HBM, Network, 전력설비와 운영경험까지 함께 축적하고 있다.

중국의 투자 증가율이 더 높은 구간이 나타나더라도 절대 투자액의 차이는 줄어들지 않는다.

오히려 미국은 더 큰 자본 기반 위에서 투자를 확대하면서 공급망과 고객, 운영경험과 현금흐름을 동시에 선점하고 있다.

결국 중국은 제한된 컴퓨팅 자원을 오픈웨이트 모델과 추론 최적화로 효율적으로 활용하는 전략을 선택할 가능성이 높다.

반면 미국은 막대한 CAPEX를 통해 Frontier Training과 대규모 추론, Agent AI와 Physical AI를 하나의 컴퓨팅 자산 위에서 동시에 확장하고 있다.

이 구조에서 한국에는 새로운 기회가 열린다.

미국 내부의 전력망과 용수, 주민수용성 문제로 모든 AI 데이터센터 수요를 자국에서 소화하지 못한다면, 첨단 GPU와 컴퓨팅 자산은 중국보다 신뢰할 수 있는 동맹국에 먼저 배치될 가능성이 높다.

한국이 보유한 경쟁우위는 단순한 전력이나 부지가 아니다.

HBM과 반도체, 전력기기, 제조업, 통신망과 미국의 기술동맹을 결합해 하나의 AI 생산시스템을 구축할 수 있다는 점이다.

전력망과 지역사회 수용성, 인허가와 고객수요를 해결할 수 있다면 한국은 미국에서 넘쳐나는 AI 컴퓨팅 수요를 받아오는 수준을 넘어설 수 있다.

한국이 아시아의 핵심 TOKEN 생산기지이자 Physical AI 산업의 중심지로 자리 잡을 수 있는 기회가 열릴지도 모르겠다. 


=끝