2026년 8월 4일 화요일

생각정리 330 (* AI Across Industries)

이번 글에서는 여러 기업의 어닝콜을 정리하는 과정에서 새롭게 확인한 내용과 그로부터 이어진 생각들을 하나의 흐름으로 엮어 기록해보고자 한다.

정리할수록 분명해지는 점은 AI를 비롯한 기술 발전이 특정 기업이나 산업에만 영향을 미치지 않는다는 사실이다. 하나의 기술 변화가 메모리, 네트워크, 전력, 데이터센터, 소프트웨어와 우주산업까지 연쇄적으로 파급되면서 새로운 병목과 수요의 변화를 시시각각 만들어내고 있다.

이러한 시대에는 개별 기업과 산업만을 분리해 바라보는 시각에서 벗어날 필요가 있다. 기술 변화의 방향을 기민하게 포착하고, 산업 간 인과관계와 파급효과를 연결해 미래의 변화를 예측하는 시스템적 사고의 중요성은 앞으로 더욱 커질 것이라고 생각한다.

2026년 2분기 AI 컨퍼런스콜에서 읽힌 변화

AI 인프라의 병목은 GPU에서 메모리·네트워크·전력·데이터·우주로 확산되고 있다

GPU 성능이 빠르게 높아질수록 이를 뒷받침하는 HBM, 네트워크, 전력, 냉각, 기업 데이터, 소프트웨어 운영체계가 새로운 병목으로 부상하고 있다. 병목을 해결하는 과정에서 AI 데이터센터의 설계와 경제성도 빠르게 달라지고 있다.

이번 컨퍼런스콜에서 확인할 수 있었던 흐름은 다음과 같다.

연산성능 증가
→ 메모리 병목 심화
→ 네트워크 복잡도 증가
→ 전력망 병목과 자체발전 확대
→ 기업 데이터 주권 강화
→ 장기적으로 연산 입지의 우주 확장

AMD, Astera Labs, Caterpillar, Wärtsilä, Palantir, SpaceX, Mediatek, ASE Technology etc..는 서로 다른 산업에 속해 있다.

그러나 이들의 실적발표를 하나로 연결하면 AI 인프라의 가치가 어디로 이동하고 있는지를 보다 선명하게 이해할 수 있다.

1. AMD: HBM은 더 이상 비싼 메모리 부품에 머물지 않는다

2026.08.04 AMD

AMD는 차세대 Helios Rack에 경쟁 플랫폼보다 더 많은 HBM을 탑재했다.

Helios는 72개의 MI455X GPU와 약 31TB의 HBM4를 하나의 Rack에 구성한다. AMD는 경쟁 시스템 대비 HBM 용량이 약 50% 많으며, 이를 통해 더 큰 모델과 긴 Context, 다수의 Agent Workload를 처리할 수 있다고 설명했다. AMD는 Helios가 경쟁 플랫폼 대비 최대 30% 높은 Tokens per Dollar를 제공할 수 있다고 주장한다.

GPU가 아무리 빠르게 계산할 수 있어도, 계산에 필요한 Model Weight와 데이터가 제때 공급되지 않으면 GPU는 대기해야 한다.

이를 흔히 Memory Wall, 즉 메모리 병목이라고 부른다.

LLM 추론에서 HBM에는 주로 다음 데이터가 저장된다.

Model Weight
KV Cache
Intermediate Data
Batch 처리에 필요한 Working Set

특히 KV Cache는 AI가 이전 대화나 문맥을 기억하기 위해 저장하는 데이터다. Context가 길어지고 동시 사용자가 많아질수록 KV Cache도 커진다.

HBM이 부족하면 두 가지 선택지가 발생한다.

첫 번째는 모델을 더 많은 GPU에 나눠 올리는 것이다.

이 경우 GPU 사이의 통신량이 증가한다. GPU 수가 늘어나면서 Network Switch, Cable, 전력, 냉각, Rack 공간도 함께 필요해진다.

두 번째는 일부 Model Weight나 KV Cache를 CPU의 DRAM 또는 SSD로 내리는 것이다.

하지만 HBM보다 느린 메모리 계층에서 데이터를 가져오면 GPU가 데이터를 기다리는 시간이 늘어난다. 결국 추론속도와 GPU 이용률이 낮아진다.

따라서 HBM은 다음 네 가지 경제적 역할을 수행한다.

첫째, GPU 효율을 높인다

GPU가 데이터를 기다리는 시간을 줄여 실제 연산에 사용되는 비중을 높인다.

둘째, Network 비용을 낮춘다

Model Weight와 KV Cache를 HBM에 더 많이 유지하면 모델을 과도하게 분할할 필요가 줄어든다. GPU 간 데이터 이동과 통신도 감소한다.

셋째, 전력 효율을 높인다

동일한 Token을 더 적은 GPU와 Rack으로 처리할 수 있다. GPU뿐 아니라 Network Switch와 냉각설비가 소비하는 전력도 줄어든다.

넷째, Token 생산능력을 높인다

더 큰 Batch, 더 긴 Context, 더 많은 동시 요청을 처리할 수 있다.

이를 경제성 식으로 표현하면 다음과 같다.

**추가 HBM 비용
< 절감되는 GPU·Network·전력·Rack 비용
추가 Token 매출**

이 구조에서 HBM은 단순히 원가를 높이는 부품이 아니다.

GPU·Network·전력이라는 더 비싼 자산의 활용률을 높이는 System Efficiency Multiplier로 성격이 바뀌고 있다.

GPU 가격과 전력비, Network 비용이 올라갈수록 HBM을 충분히 탑재해 얻는 경제적 가치도 커진다.

생각정리 325 (* Memory Premium)

2. Astera Labs: Memory Wall은 네트워크 시장을 키운다

2026.08.04 Astera Labs

AMD가 HBM을 늘려 메모리 병목을 완화하더라도 Memory Wall이 완전히 사라지는 것은 아니다.

모델 규모와 Context, Agent 수가 HBM 증가 속도보다 빠르게 커지고 있기 때문이다.

HBM에 모든 데이터를 담을 수 없다면 AI 시스템은 Host DRAM, CXL Memory, SSD, Remote Memory 등 여러 메모리 계층을 함께 사용해야 한다.

이때 각각의 메모리와 XPU를 연결하려면 다음 장치가 필요하다.

Fabric Switch
PCIe Retimer
CXL Controller
Smart Cable
Ethernet·UALink 장치
Optical Transceiver

Astera Labs가 수혜를 받는 지점이 바로 이 부분이다.

Astera Labs의 2분기 매출은 전년 대비 104% 증가한 3억9,240만달러를 기록했다. 회사는 Scorpio X-Series의 양산 확대에 따라 3분기부터 Scorpio가 기존 Aries Retimer를 넘어 최대 제품군으로 성장할 것으로 전망했다.

Astera Labs의 사업구조는 단순한 PCIe 신호 보정업체에서 AI Scale-up Fabric 공급업체로 이동하고 있다.

이를 하나의 흐름으로 정리하면 다음과 같다.

AI 연산량 증가
→ HBM·KV Cache Memory Wall 심화
→ 더 많은 Memory Tier와 XPU 연결
→ Switch·Retimer·CXL·Cable 탑재량 증가
→ XPU당 Network Dollar Content 상승

여기서 Network Dollar Content란 XPU 한 개를 실제 시스템에서 작동시키기 위해 들어가는 네트워크 부품의 금액을 뜻한다.

과거에는 GPU 한 개당 몇 개의 Retimer만 필요했다면, AI 시스템은 이제 단순한 Scale-up(단일 Rack 내부 확장)을 넘어 여러 Rack과 노드를 묶는 Scale-out(클러스터 확장) 단계로 빠르게 이동하고 있다.

Scale-up에서는 짧은 거리의 고대역폭 연결이 핵심이지만, Scale-out으로 갈수록 GPU와 XPU 간 물리적 거리가 증가하면서 네트워크는 단순한 보조 기능이 아니라 시스템 성능을 결정하는 핵심 요소가 된다. 이 과정에서 Rack 간, 데이터센터 간 연결이 필수적으로 늘어나고, 전송 거리와 대역폭 요구사항이 동시에 증가한다.

결과적으로 기존의 Copper 기반 연결은 거리 증가에 따른 신호 감쇠, 전력 소모 증가, 포트 밀도 한계에 직면하게 되고, 이러한 구조적 제약이 Scale-out 구간에서 Optical Interconnect로의 전환을 경제적으로 정당화하는 핵심 이유가 된다.

생각정리 267 (* Scale-Across, networking )

이러한 변화 속에서 Scale-up Switch와 Smart Cable, CXL Controller, Optical 장치까지 포함된 네트워크 스택의 중요성이 빠르게 증가하고 있다.

Astera Labs는 Scorpio X-Series의 기능을 고 Radix, In-network Compute, HyperCast, 전용 Protocol과 Optical Connectivity까지 확대하고 있다. 회사는 Merchant Scale-up Switch 시장이 2030년 약 200억달러에 이를 수 있다고 추정한다.

Copper에서 Optical로 이동하는 이유

짧은 거리에서는 Copper Cable이 가장 저렴하고 전력효율도 높다.

그러나 데이터 전송속도와 거리가 증가하면 Copper는 다음 문제를 겪는다.

Signal Loss 증가
Cable 굵기와 무게 증가
Retimer·Redriver 추가 필요
전력소비 증가
Port Density 제한
Rack 간 연결거리 한계

따라서 Rack 내부의 짧은 연결은 Copper가 유지되더라도, 여러 Rack을 하나의 Scale-up Domain으로 묶는 구간에서는 Optical 비중이 증가할 가능성이 높다.

전력비가 오르면 이러한 변화는 더 빨라진다.

정확히 말하면 전력비가 오른다고 모든 Copper가 즉시 Optical로 대체되는 것은 아니다. 대신 Optical이 Copper보다 경제적이 되는 거리와 대역폭의 손익분기점이 앞당겨진다.

결국 Astera Labs의 기회는 GPU 출하량 증가에만 있지 않다.

XPU 한 개의 성능이 높아질수록 이를 제대로 사용하기 위해 필요한 네트워크의 수량과 성능, 가격이 함께 증가한다는 점이 핵심이다.

Memory Wall이 지속될수록 AI 시스템은 더 많은 메모리뿐 아니라 더 많은 연결장치를 요구한다. 대역폭·거리·전력비가 상승할수록 Connectivity의 중심도 Copper에서 Optical로 점진적으로 이동한다.

생각정리 284 (* AI optical supply chain)

3. Caterpillar와 Wärtsilä: AI 데이터센터가 가스엔진의 새로운 수요처가 되다

2026.08.04 CAT

AI 데이터센터의 병목은 반도체와 네트워크에 그치지 않는다.

최근 가장 큰 현실적 제약은 전력 확보다.

데이터센터 사업자가 원하는 것은 단순히 값싼 전력이 아니다. 데이터센터를 원하는 시점에 가동할 수 있는 전력이다.

현재 데이터센터 건설 속도는 발전소와 송전망, 변전소, 변압기 증설 속도를 앞서고 있다.

**AI 데이터센터 건설 속도
> 전력망·발전소·변압기·송전설비 증설 속도**

이 차이가 커질수록 데이터센터의 Time-to-Power가 중요해진다.

Time-to-Power란 데이터센터 부지를 확보한 뒤 실제 전력을 공급받아 서버를 가동하기까지 걸리는 시간을 의미한다.

GPU와 서버가 준비됐는데 전력망 연결을 수년간 기다려야 한다면, 고가의 장비가 매출을 만들지 못한 채 유휴상태로 남는다.

따라서 다음 식이 성립하기 시작한다.

자체발전 추가 비용
< 데이터센터 조기 가동으로 확보하는 경제적 가치

이 경우 전력망 전기가 가스발전보다 저렴하더라도 데이터센터 사업자는 자체발전을 선택할 수 있다.

BTM이란 무엇인가

BTM은 Behind-the-Meter의 약자다.

전력망에서 전기를 공급받는 계량기 뒤쪽에 데이터센터 전용 발전설비를 설치하는 구조다.

BTM 구조는 다음 세 가지로 나눠볼 수 있다.

Bridge-to-Grid: 전력망 연결 전까지 자체발전 사용
Grid-connected BTM: 전력망과 자체발전 병행
Off-grid: 전력망에서 독립된 자체발전

이 과정에서 천연가스 왕복동 엔진과 산업용 가스터빈, BESS가 새로운 주전원으로 부상하고 있다.

생각정리 83 (* 전력변압기)

Caterpillar: 비상발전기에서 Prime Power로

Caterpillar의 2분기 Power Generation 최종 사용자 판매는 전년 대비 72% 증가했다. 데이터센터용 대형 왕복동 엔진과 Solar Turbines의 산업용 가스터빈 수요가 주요 성장요인으로 언급됐다.

Caterpillar는 2026년 초 AI 데이터센터에 2GW 규모의 천연가스 발전기를 공급하는 계약도 발표했다. 해당 프로젝트는 발전기와 BESS를 결합해 장비 인도 후 수개월 안에 전력을 공급하는 것을 목표로 한다.

가스엔진은 BTM 데이터센터에 다음과 같은 장점이 있다.

모듈식 증설

10~20MW급 엔진을 여러 대 설치해 데이터센터 증설속도에 맞춰 발전용량을 추가할 수 있다.

빠른 구축

대형 복합화력발전소나 신규 송전망보다 상대적으로 짧은 시간에 설치할 수 있다.

높은 부분부하 효율

필요한 만큼의 엔진만 가동할 수 있다. 부하가 낮을 때 대형 가스터빈 한 대를 비효율적으로 운전하는 문제를 줄일 수 있다.

N+1 설계

한 대가 고장 나거나 정비에 들어가더라도 나머지 엔진으로 전력 공급을 유지할 수 있다.

낮은 물 사용량

수랭식 발전소보다 물 사용량이 적어 입지 선택이 상대적으로 자유롭다.

Caterpillar가 과거 중단했던 10MW급 중속 가스엔진 생산을 다시 시작하는 것도 가스엔진과 가스터빈 사이의 출력구간을 보완하기 위한 움직임으로 해석할 수 있다.

Wärtsilä: 전력망 연결 이후에도 가스엔진은 남는다

2026.07.22 Wärtsilä

Wärtsilä는 2분기에 데이터센터 관련 1.2GW의 확정 수주를 확보했다.

텍사스 Off-grid 데이터센터에는 790MW, 오하이오 Hyperscale 데이터센터에는 412MW 규모의 가스엔진 발전설비를 공급한다. 회사는 전력망 접근 지연과 전력망 용량 부족이 데이터센터용 발전수요를 확대하고 있다고 설명했다.

Wärtsilä의 Energy 수주잔고는 2025년 초 이후 두 배 이상 증가했다. 신규 프로젝트 납기는 대부분 2029년 이후로 길어졌으며, 회사는 생산능력을 2029년 1분기까지 2025년 실제 생산량의 약 2.2배로 확대할 계획이다.

중요한 부분은 전력망 연결이 완료됐다고 가스엔진의 가치가 사라지지 않는다는 점이다.

가스엔진은 이후 다음 용도로 활용될 수 있다.

Peak Shaving
Demand Response
전력망 비상 시 자체발전
재생에너지 변동성 보완
전력가격이 높은 시간대 자가발전
중요 부하의 독립적 전원
예비력 및 계통 안정화

따라서 가스엔진은 초기에는 전력망 연결 지연을 우회하기 위한 설비로 설치되지만, 이후에는 Grid-flexible Power Asset으로 역할이 바뀔 수 있다.

영구적인 Off-grid 시스템만 확산되기보다는 다음과 같은 하이브리드 구조가 일반화될 가능성이 높다.

가스엔진 + BESS + 전력망 + 일부 디젤 백업

결론적으로 전력망과 전력기기의 공급이 AI 데이터센터의 건설속도를 따라가지 못할수록 Time-to-Power의 가치는 상승한다.

이는 BTM·Bridge-to-Grid·Off-grid 발전을 가속하며, 모듈식 확장과 빠른 설치가 가능한 가스엔진을 데이터센터의 새로운 주전원 시장으로 편입시키고 있다.

4. Palantir: 기업의 진짜 AI 경쟁력은 자체 데이터에서 만들어진다

2026.08.04 Palantir Technology

Palantir의 컨퍼런스콜은 AI 경쟁의 중심이 범용 LLM 성능에서 기업 내부 데이터와 업무체계로 이동하고 있음을 보여준다.

생각정리 303 (* All or Nothing, 데이터주권)

여기서 Sovereign AI란 국가나 기업이 다음 자산을 직접 통제하는 AI 구조를 의미한다.

원천 데이터
업무 Logic
접근 권한
AI Agent가 수행할 Action
자체 Benchmark
Fine-tuning Weight
Reasoning Trace와 사용자 Feedback

Palantir는 기업이 외부 LLM을 단순히 사용하는 과정에서도 원천 데이터보다 더 가치 있는 정보가 만들어질 수 있다고 본다.

예를 들어 Agent가 어떤 판단을 내렸는지, 사용자가 무엇을 수정했는지, 어떤 업무결과가 성공했는지에 대한 데이터다.

이러한 정보는 기업의 실제 업무방식과 현장지식을 반영한다.

Palantir는 고객 데이터가 외부 범용 모델에 흡수되지 않도록 기업 내부에서 학습·평가·Fine-tuning을 수행하고, 고객이 전용 Weight와 Adapter를 직접 소유하는 구조를 제시하고 있다.

학습과 추론의 경계가 흐려진다

기존에는 AI Workload를 크게 두 가지로 구분했다.

Training: 모델을 학습하는 과정
Inference: 학습된 모델을 사용하는 과정

하지만 Agent와 Recursive Self-improvement가 강화되면 구조가 달라진다.

Inference
→ Action
→ 결과 평가
→ Feedback 축적
→ Fine-tuning·Reinforcement Learning
→ 새로운 모델 배포

모든 추론 요청이 즉시 Weight Update로 연결되는 것은 아니다.

그러나 시스템 전체로 보면 추론 과정에서 생성된 데이터가 다시 학습에 사용된다. Palantir의 AI FDE도 작업을 수행하고 결과를 관찰한 뒤 다음 행동을 결정하는 Closed-loop 구조를 사용한다.

이 흐름은 하드웨어 시장에도 영향을 미친다.

생각정리 329 (* Recursive Self-improvement, W를 찾아서)

순수 추론 ASIC이 불리해지는 이유

추론 전용 ASIC은 동일한 모델을 대량으로 반복 실행할 때 높은 효율을 낸다.

하지만 Sovereign AI 환경에서는 기업마다 다음 조건이 달라진다.

사용 모델
Adapter
Fine-tuning 방식
Agent Workflow
Tool
Benchmark
보안정책
Update 주기

새로운 Attention 구조와 MoE, Quantization, RL 방식도 계속 등장한다.

특정 모델의 Forward Pass만 효율적으로 처리하도록 설계된 ASIC은 변화에 대응하기 어렵다.

반면 GPU는 다양한 연산과 Custom Kernel을 지원하고, Training·Post-training·Inference를 하나의 Software Stack에서 수행할 수 있다.

따라서 학습과 추론의 경계가 흐려질수록 약해지는 것은 ASIC 전체가 아니라 특정 모델과 고정된 추론연산에 최적화된 Narrow Inference ASIC이다.

HBM을 많이 넣는 것만으로는 충분하지 않다

추론 ASIC에 HBM을 많이 탑재하면 Model Weight와 KV Cache를 더 많이 저장할 수 있다.

그러나 학습을 지원하려면 다음 기능도 필요하다.

Backward Pass
Gradient 연산
Activation 저장
Optimizer State
BF16·FP32 연산
All-reduce
Custom Operator
분산학습 Software

ASIC이 이러한 기능과 프로그래밍 유연성을 계속 추가하면 GPU에 가까워진다.

이 과정에서 ASIC이 보유한 전력과 원가 측면의 이점 일부는 줄어들 수 있다.

그렇다고 ASIC 시장이 사라지는 것은 아니다.

Agent는 하나의 질문에 답하기 위해 계획, 검색, Tool 실행, 검증, 수정 과정을 반복한다. 전체 추론량은 오히려 폭발적으로 증가할 가능성이 높다.

결국 시장은 다음과 같이 분화될 수 있다.

변화가 빠른 Workload: GPU와 Training-capable ASIC
안정화되고 반복량이 큰 Workload: 추론 ASIC
중간 영역: 경쟁력 약화 가능성

가장 취약한 제품은 GPU만큼 유연하지도 않고, ASIC만큼 효율적이지도 않은 가속기일 수 있다.

가장 빠르게 변화하는 Workload는 GPU가 담당하고, 가장 많은 반복량이 발생하는 안정화된 Workload는 ASIC이 담당하는 양극화가 나타날 가능성이 높다.

생각정리 127 (* GPU vs ASIC?)

이러한 흐름에서 미디어텍은 최근 반년 사이 2027~2028년 구글 TPU용 ASIC 물량을 기존 전망 대비 2배 이상 규모로 수주한 것으로 알려졌다.

구글은 자체 Google Cloud 수요와 외부 판매 확대, CoWoS 공급망 선점을 기반으로 엔비디아 GPU와의 격차를 빠르게 좁히고 있으므로 ASIC 업체중에서는 아직까지는 가장 선방하고 있는듯 싶다.

동시에 미디어텍도 엔비디아·AMD 중심의 GPU 생태계에 대응하는 ASIC 업체 가운데 상대적으로 가장 선전하고 있는 기업 중 하나로 평가할 수 있다.

2026.07.31 Mediatek

2026.02.04 Mediatek

5. SpaceX: AI 데이터센터의 입지가 우주로 확장될 수 있을까

2026.08.04 SpaceX

SpaceX의 2분기 실적은 AI Compute 수요가 얼마나 빠르게 증가하고 있는지를 보여준다.

SpaceX의 AI 부문 매출은 25억6,100만달러, 조정 EBITDA는 11억4,600만달러를 기록했다. 2분기 AI 관련 CapEx는 약 158억달러였다. 회사는 Cloud Services 계약 확대를 통해 AI Compute를 빠르게 수익화하고 있다.

컨퍼런스콜에서 경영진은 신규 Compute 투자 회수기간이 1년 미만으로 낮아졌다고 설명했다. 이는 AI 연산 수요가 공급을 지속적으로 초과하는 상황에서, 새로 구축된 Compute 자원이 거의 즉시 고객 수요에 흡수되고 빠르게 매출로 전환되고 있음을 의미한다.

SpaceX는 동시에 우주 기반 AI Compute 시스템인 Starmind를 추진하고 있다.

공개된 Starmind 개념은 태양광으로 전력을 생산하고, 위성 내부에서 AI 연산을 수행한 뒤 결과를 Starlink 광통신망으로 지상에 전송하는 구조다. SpaceX는 2027년 말부터 수천 기의 AI 위성을 생산·배치하는 것을 목표로 제시하고 있다.

장기간 독립적으로 수행되는 AI는 우주에 적합할 수 있다

모든 AI 작업이 우주에 적합한 것은 아니다.

실시간 기업 RAG나 금융거래, 고객응대처럼 지상의 데이터와 지속적으로 통신해야 하는 작업은 지상 데이터센터가 유리하다.

반면 다음 Workload는 우주에 적합할 가능성이 있다.

독립적인 과학·수학 문제 탐색
Synthetic Data 생성
Monte Carlo Simulation
대규모 RL Rollout
AI Agent의 병렬 가설 검증
위성 관측 데이터의 현지 처리
장시간 Batch Inference

이러한 작업은 입력 데이터를 한 번 보내고 며칠이나 몇 달 동안 연산한 뒤, 최종 결과와 Checkpoint만 지상으로 전송할 수 있다.

즉 우주 연산의 적합성을 결정하는 핵심은 다음과 같다.

연산량은 많고
지구와 교환할 데이터는 적으며
노드 간 실시간 동기화가 적은가

Frontier Model Training은 오히려 어려울 수 있다

대규모 AI 모델의 훈련은 지구와 자주 교신하지 않아도 된다.

하지만 GPU 사이에서는 매우 빈번한 통신이 필요하다.

Gradient All-reduce
Tensor Parallel
Pipeline Parallel
MoE All-to-all
Checkpoint Replication

여러 위성에 GPU를 분산하면 위성 간 광통신망이 지상 NVLink나 InfiniBand 수준의 대역폭과 지연시간을 제공해야 한다.

따라서 초기 우주 데이터센터는 여러 위성에 걸친 거대한 동기식 Training Cluster보다는 각 위성이 독립적으로 작업하는 비동기형 연산에 더 적합하다.

수많은 AI Agent가 서로 다른 과학·공학 문제를 탐색하고, 일정 주기마다 결과를 중앙 모델에 통합하는 방식이다.

이를 분산형 AI Research Factory라고 볼 수 있다.

Starship 비용 하락이 중요한 이유

우주 데이터센터에는 GPU만 필요한 것이 아니다.

태양광 패널
배터리
전력변환장치
방열판
차폐설비
궤도유지 장치
광통신 장비

특히 우주는 차갑지만 진공이기 때문에 공기나 물을 이용한 대류냉각을 사용할 수 없다. 발생한 열을 대형 Radiator를 통해 복사해야 한다.

따라서 우주 데이터센터의 경제성은 다음 식으로 판단해야 한다.

**절감되는 지상 전력·토지·냉각·송전망 비용
조기 Compute 공급가치
발사비 + 우주 플랫폼 비용 + 통신·정비 비용**

Starship이 발사비를 기존 대비 크게 낮추면 이 식의 경제성은 개선된다.

다만 발사비 하락만으로 우주 데이터센터가 즉시 지상을 대체하는 것은 아니다. 반도체의 빠른 세대교체와 방사선, 수리 불가능성, HBM 공급, 위성 수명도 함께 해결해야 한다.

생각정리 292 (* 우주데이터센터, SpaceX)

예상되는 발전과정은 다음과 같다.

1단계: 2027~2029년

Starmind 궤도 실증
위성 데이터 현지 처리
Batch Inference
소규모 Agent Workload
방사선·냉각·광통신 검증

2단계: 2029~2033년

독립적 Simulation
RL Rollout
Synthetic Data Factory
Sovereign·국방용 Compute
다수의 독립 AI Supernode

3단계: 2030년대 이후

우주 AI Research Cluster
궤도상 Post-training
일부 Frontier Model Training
우주 제조·로봇·탐사 시스템과 결합
지상과 우주의 Compute Arbitrage

SpaceX가 가진 가장 큰 강점은 발사체 하나에 있지 않다.

SpaceX는 발사체, 위성 생산, 광통신망, AI Compute, 자체 모델, Cloud 수요를 함께 보유하고 있다.

이러한 수직통합 구조는 우주 데이터센터의 기술과 경제성을 내부에서 동시에 실험할 수 있게 한다.

결론: AI 산업의 병목은 연쇄적으로 이동한다

이번 컨퍼런스콜에서 확인할 수 있었던 가장 중요한 변화는 AI 인프라의 가치사슬이 계속 넓어지고 있다는 점이다.

1. GPU 성능이 높아지면 HBM이 중요해진다.

2. HBM으로도 해결되지 않는 데이터 이동은 Network와 CXL, Optical 수요를 늘린다.

3. 더 많은 GPU와 Network를 가동하려면 전력과 냉각이 필요하다.

4. 전력망이 데이터센터 건설속도를 따라가지 못하면 가스엔진과 BTM 발전이 확대된다.

5. 기업과 국가는 외부 LLM보다 자체 데이터와 업무지식을 통제하려 한다.

6. Agent가 운영데이터를 다시 학습에 활용하면서 Training과 Inference의 경계도 흐려진다.

7. 장기적으로 지상 전력과 토지의 제약이 심해지면 일부 AI Workload는 우주로 이동할 가능성도 생긴다.

이를 하나의 흐름으로 정리하면 다음과 같다.

GPU 연산성능 증가
→ HBM의 전략적 가치 상승
→ Memory Wall 지속
→ Network Dollar Content 증가
→ Copper에서 Optical로 이동
→ 전력망 병목 심화
→ BTM 가스발전 확대
→ Sovereign AI와 기업 데이터 가치 상승
→ Training·Inference 경계 약화
→ 연산 입지의 우주 확장 가능성

결국 AI 산업에서 가장 중요한 질문은 어느 GPU의 연산성능이 높은가에 그치지 않는다.

제한된 메모리와 네트워크, 전력, 데이터를 이용해 얼마나 많은 지능과 경제적 가치를 생산할 수 있는가가 핵심이다.

향후 AI 인프라 경쟁의 중심은 단순한 FLOPS가 아니라 다음 지표로 이동할 가능성이 높다.

Tokens per Dollar
Tokens per Watt
Tokens per Rack
Time-to-Power
Data Sovereignty
Workload Flexibility
Compute Location

#글을 마치며

최근 한국의 20·30대가 무리한 레버리지 투자에 실패한 뒤 극단적인 상황으로 내몰리고 있다는 방송을 접하게 됐다.

https://www.youtube.com/watch?v=tNJxw9hoVT0

방송을 보면서 문득, 그렇게 무모한 투자를 할 바에는 차라리 우리 회사에 주식 투자를 일임하는 편이 낫지 않을까 하는 생각이 들었다. 다만 이런 생각을 실제로 입 밖에 꺼낸 적은 없다.

평소에도 지인이나 친인척에게 투자를 권유하는 일은 거의 하지 않는다. 투자에 자신이 없어서라기보다는, 내가 내뱉은 말과 그 결과에 대한 책임을 지고 싶지 않은 마음이 어딘가에 자리 잡고 있기 때문인 것 같다.

어쩌면 일종의 회피 성향에 가까울지도 모르겠다.

그렇다고 이런 생각을 편하게 꺼내놓을 곳도 마땅히 없다. 개인 블로그에나마 잠시 적어본다.

=끝

2026년 8월 3일 월요일

생각정리 329 (* Recursive Self-improvement, W를 찾아서)

Recursive Self-improvement 특이점에 대해 리서치 기록을 남겨본다.

차세대 모델 Astra와 같은 장기 실행 AI를 중심으로, AI 활용 방식이 일회성 질의응답에서 자율 작업 에이전트 중심으로 진화할 것임을 시사

OpenAI 내부직원

AI Computing S-Curve

Fable·Mythos·Astra 이후 차세대 AI는 어디로 향하는가

최근 OpenAI 내부에서 공유된 평가를 요약하면 다음과 같다.

현재 Codex는 AI를 활용하기 위한 훌륭한 실행환경이다. 그러나 2~3개월만 지나도 지금의 Codex는 원시적으로 보일 수 있다. 차세대 모델은 더 이상 노트북 한 대에서 단일 Agent를 실행하는 방식만으로 충분하지 않을 것이다.

이 발언에서 중요한 것은 다음 모델의 Benchmark 점수가 얼마나 높아지는지가 아니다.

Frontier LLM을 사용하는 기본방식 자체가 다시 바뀌고 있다는 점이 중요하다.

지금까지 AI는 사람이 질문하거나 작업을 지시하면 답을 생성하는 방식으로 사용됐다. 그러나 Fable 5와 Mythos 5, 그리고 Astra 이후 모델들은 하나의 요청에 답하는 수준을 넘어 수시간에서 수일 동안 작업을 지속하고, 여러 Agent를 병렬로 운영하며, 중간 결과를 기억하고, 실패를 수정하는 방향으로 발전하고 있다.

차세대 모델의 핵심은 한 번의 답변을 더 잘 만드는 데 그치지 않는다.

더 오래 일하고, 더 많은 작업을 동시에 처리하며, 결과가 완성될 때까지 스스로 작업을 이어가는 능력이 중요해지고 있다.

이는 AI 성능의 변화인 동시에 AI Computing 수요구조의 변화를 의미한다.

1. 새로운 모델보다 누적되는 개선요인을 봐야 한다

GPT-2에서 GPT-5.6까지의 흐름을 모델 이름으로만 보면 AI가 몇 차례 갑자기 도약한 것처럼 보인다.

그러나 실제 Frontier Lab 내부에서는 새로운 모델이 공개되지 않는 기간에도 수많은 개선이 계속 누적된다.

Training Compute와 GPU Cluster 확대
Algorithmic Efficiency 개선
Data Quality와 Synthetic Data 향상
Post-training과 Reasoning 강화
Tool Use와 Agent 기능 추가
Long Context와 Memory 개선
Inference-time Compute 확대
Multi-agent 병렬화
Evaluation과 Verification 고도화
Hardware·Network·Serving 최적화
AI를 활용한 AI Research Automation

새로운 Frontier Model은 이러한 개선이 일정 수준 이상 축적된 뒤 하나의 제품으로 공개되는 시점에 가깝다.

외부에서는 GPT-4에서 GPT-5.6으로 한 번에 발전한 것처럼 보이지만, 실제 연구개발 과정에서는 매일 학습실험과 데이터 조정, 실패 분석, Kernel 최적화, Agent 실험이 진행되고 있었을 가능성이 높다.

따라서 중요한 것은 모델 이름보다 어떤 병목이 해결됐는가다.

2. 지금까지 AI 발전을 만든 핵심 개선축

AI 발전의 첫 번째 축은 Physical Compute였다.

더 많은 Training FLOP, 더 큰 GPU Cluster, 더 높은 HBM Bandwidth와 더 빠른 Network가 더 큰 모델을 학습할 수 있게 만들었다. GPT-2에서 GPT-3로 넘어가는 과정에서는 이러한 Physical Scaling의 영향이 특히 컸다.

두 번째 축은 Algorithmic Efficiency다.

Optimizer, Data Mixture, Attention 구조, Low-precision Training, Mixture-of-Experts와 Synthetic Data가 개선되면서 동일한 Compute로 더 높은 성능을 얻을 수 있게 됐다.

세 번째 축은 Post-training과 Unhobbling이다.

Instruction Tuning, RLHF, Reasoning Training과 Tool-use Training은 Base Model이 가진 잠재능력을 실제 문제해결 능력으로 끌어냈다. GPT-3에서 ChatGPT로 넘어갈 때 나타난 체감적 변화도 Parameter 증가보다 이 영역의 영향이 컸다.

네 번째 축은 Inference-time Compute다.

최근 모델은 한 번에 답을 생성하지 않는다. 더 오래 추론하고, 여러 후보를 비교하고, Search와 Planning을 수행하며, 결과를 검증하고 실패하면 다시 시도한다.

동일한 Model Weight를 사용하더라도 얼마나 많은 시간과 Token을 투입하느냐에 따라 실제 성능이 달라지는 구조가 형성됐다.

다섯 번째 축은 Memory·Tool·Agent System이다.

현재의 Agent는 LLM 하나로 구성되지 않는다.

LLM에 Memory, Tool, Planning, Execution Environment, Verification과 Safety System이 결합돼야 장기 작업을 수행할 수 있다.

이 단계부터는 모델 자체의 성능과 Agent System의 성능을 따로 보기 어려워진다. 같은 모델이라도 어떤 Harness와 Tool, Memory를 제공하느냐에 따라 작업시간과 성공률이 크게 달라진다.

마지막 축은 AI Research Automation이다.

AI가 새로운 실험 아이디어를 만들고, Training Code를 수정하고, 학습을 실행하고, 결과를 평가한 뒤 성공한 변경만 남기는 방식이다.

이 지점이 초기 Recursive Self-improvement와 연결된다.

3. Fable·Mythos·Astra가 보여주는 변화

Fable 5와 Mythos 5가 보여주는 핵심은 단순한 Benchmark 개선이 아니다.

작업이 길고 복잡할수록 이전 모델과의 차이가 커지고 있다는 점이 중요하다.

차세대 Frontier Model은 다음 능력을 중심으로 발전하고 있다.

수시간에서 수일 동안 작업 유지
긴 작업과정에서 목표 보존
중간 결과와 실패경험 저장
필요한 정보 재검색
잘못된 전략 수정
Sub-agent에 작업 분배
결과 자동 검증

Mythos 5가 제한적인 인간 개입 아래 장기간 연구과정을 수행했다는 사례도 같은 방향을 보여준다.

중요한 것은 특정 연구결과가 아니라 하나의 모델이 데이터 정리, 분석, 모델 설계와 결과 검증을 장기간 연결해서 수행했다는 점이다.

Astra가 보여주는 방향도 유사하다.

Astra는 단순히 문제의 답을 생성하는 데서 끝나지 않고, 문제 해결과 논증 작성, 형식 검증까지 연결하는 장기 연구형 시스템을 지향한다.

이는 차세대 Frontier LLM이 한 번의 응답을 잘 만드는 모델에서 장기 연구과정을 운영하는 Agent System으로 이동하고 있음을 의미한다.

4. 왜 현재 Codex가 곧 원시적으로 보일 수 있는가

현재 Codex는 이미 단순한 Coding Assistant를 넘어 Agent 실행환경으로 발전하고 있다.

사람이 직접 Code를 작성하기보다 작업목표와 완료조건을 정하고, Agent가 Code 작성과 Test, Documentation, Review를 수행하는 구조가 확대되고 있다.

그러나 현재 방식은 여전히 사용자가 개별 작업을 지시하고 결과를 확인하는 형태가 중심이다.

다음 단계에서는 사용방식이 달라질 가능성이 높다.

하나의 Agent가 아니라 여러 Agent가 동시에 실행된다.
Agent는 수시간 또는 수일 동안 작업을 지속한다.
중간 결과를 별도의 Memory에 저장한다.
다른 Agent가 결과를 검토하고 수정한다.
사용자는 실행과정을 직접 관리하기보다 목표와 권한, Compute Budget과 완료조건을 설정한다.

따라서 “2~3개월 후 현재 Codex가 원시적으로 보일 수 있다”는 발언은 단순히 UI가 바뀐다는 의미가 아니다.

Frontier AI를 사용하는 기본단위가 단일 Prompt와 단일 Agent에서 장기 실행형 Multi-agent System으로 바뀔 수 있다는 의미에 가깝다.

5. 카파시의 AutoResearch가 보여준 초기 선순환

안드레이 카파시의 AutoResearch는 이 변화가 어떤 방식으로 진행될 수 있는지를 단순하게 보여준다.

Agent는 새로운 실험 아이디어를 생성하고 Training Code를 수정한다. 이후 모델을 학습시키고 성능을 측정한다.

성능이 좋아지면 변경사항을 유지하고, 나빠지면 이전 상태로 돌아간다. 이후 새로운 실험을 다시 시작한다.

이 과정에서 중요한 것은 개별 실험의 규모가 아니다.

아이디어 생성, Code 수정, 학습, 평가와 재시도가 하나의 자동화된 Research Loop로 연결됐다는 점이 중요하다.

과거에는 인간 연구자가 매번 결과를 확인한 뒤 다음 실험을 설계해야 했다.

AutoResearch에서는 Agent가 이 반복작업을 인간의 개입 없이 계속 수행한다.

인간은 연구목표와 평가기준, 실험범위, Compute Budget과 안전규칙을 결정한다. Agent는 그 안에서 더 많은 실험을 더 빠르게 반복한다.

https://www.youtube.com/watch?v=kwSVtQ7dziU&t=1396s

6. 모델을 개선하는 AI에서 연구방법을 개선하는 AI로

AutoResearch에서 Agent의 행동방식을 결정하는 핵심은 program.md다.

여기에는 Agent가 무엇을 수정할 수 있는지, 어떤 성능지표를 개선해야 하는지, 실패한 실험을 어떻게 처리할지가 적혀 있다.

여기서 한 단계 더 나아가면 여러 종류의 연구지침을 동일한 Compute Budget에서 실행한 뒤 어떤 지침이 가장 빠른 개선을 만들었는지 비교할 수 있다.

이후 AI가 더 나은 연구지침을 다시 작성할 수도 있다.

첫 번째 단계에서는 AI가 모델을 개선한다.

두 번째 단계에서는 AI가 모델을 개선하는 연구방식 자체를 개선한다.

발전은 다음 순서로 이어질 수 있다.

Hyperparameter와 Model Weight 개선
Training Code와 Architecture 개선
Agent의 Research Strategy 개선
여러 Agent의 역할과 협업방식 개선
전체 Research Loop 개선

이 구조가 반복되면 Recursive Self-improvement와 연결될 수 있다.

7. 현재는 완전한 Recursive Self-improvement 단계가 아니다

현재 AI가 스스로 최종목표를 설정하고, Training Method를 독립적으로 설계하고, 자신의 Weight를 지속적으로 수정하는 단계는 아니다.

인간이 여전히 다음 요소를 결정한다.

연구목표
평가기준
Training Data
Compute Budget
Tool과 접근권한
Safety Boundary
최종 결과의 채택과 배포

따라서 현재 단계는 Human-governed Recursive Research Acceleration으로 보는 것이 가장 정확하다.

AI가 독립적으로 모든 연구를 수행하는 것은 아니지만, 인간 연구자가 수행하던 반복적인 실험과 분석을 빠르게 대체하고 있다.

더 중요한 변화는 이전 세대 AI가 다음 세대 AI 개발에 참여하기 시작했다는 점이다.

이전 세대 AI가 더 나은 AI를 만드는 데 기여하고, 그렇게 만들어진 더 강한 AI가 다시 연구생산성을 높이는 초기 선순환이 형성되고 있다.

8. Continual Learning과 In-session Adaptation

장기 실행 Agent가 발전하려면 Context Window만 길어져서는 부족하다.

Agent는 작업과정에서 발생한 정보를 구분해 관리해야 한다.

현재 목표
중간 결과
실패한 접근방법
반드시 유지해야 하는 안전규칙
다음 작업에 재사용할 지식
일시적으로만 필요한 정보

현재 Agent는 Model Weight를 실시간으로 변경하기보다 External Memory와 Retrieval을 이용한다.

중요한 내용을 Memory에 저장하고 필요한 시점에 다시 불러온 뒤, 이를 바탕으로 현재 전략을 수정한다.

이 기능이 발전하면 Agent는 같은 실수를 반복하지 않고, 성공했던 방법을 다시 활용하며, 장기 작업에서도 목표를 유지할 수 있다.

그러나 Memory가 길어진다고 항상 성능이 좋아지는 것은 아니다.

잘못된 정보가 장기 Memory에 남거나, Context Compaction 과정에서 안전규칙이 빠질 수 있다.

따라서 앞으로 중요한 것은 Memory 용량보다 무엇을 저장하고, 무엇을 버리고, 어떤 규칙은 항상 유지할 것인지 결정하는 Memory Policy다.

9. AI Computing 수요는 계단식 S-Curve로 증가한다

이러한 변화가 중요한 이유는 AI Computing 수요가 일정한 속도로 증가하지 않기 때문이다.

특정 병목이 해결될 때마다 새로운 사용수요가 열린다.

첫 번째 단계에서는 Base Model의 정확도와 Reasoning이 개선되면서 더 많은 작업이 AI로 이전된다.

두 번째 단계에서는 Token 비용이 낮아지면서 기존에는 경제성이 없었던 업무까지 AI를 사용하기 시작한다.

세 번째 단계에서는 Agent Reliability가 높아지면서 단순한 질문이 아니라 실제 업무 전체를 위임한다.

네 번째 단계에서는 Memory와 Context 관리가 개선되면서 작업시간이 수분에서 수시간·수일로 늘어난다.

다섯 번째 단계에서는 여러 Agent가 동시에 Research, Coding과 Verification을 수행한다.

여섯 번째 단계에서는 AI가 다음 세대 AI 개발에 참여하면서 Frontier Lab 내부의 Training, Inference, Evaluation과 자동실험 수요가 증가한다.

각 단계는 이전 수요를 대체하지 않는다. 이전 단계 위에 새로운 수요가 추가된다.

따라서 AI Computing 수요는 하나의 매끄러운 S-Curve보다 여러 개의 작은 S-Curve가 시간차를 두고 겹치며 상승하는 구조에 가까울 가능성이 높다.

10. Agent 시대의 Compute 수요를 결정하는 요소

Agent 이전에는 AI 수요를 사용자 수와 질문 횟수로 설명할 수 있었다.

Agent 시대에는 다음 요소를 함께 봐야 한다.

총 AI Computing 수요는 사용자 수, 사용자당 Agent 수, Agent당 작업 수, 작업당 Token, 작업 지속시간, 재시도 횟수와 결과 검증량이 함께 증가할수록 커진다.

여기에 다음 수요도 추가된다.

Agent 간 Communication
Long-term Memory 저장과 검색
여러 Agent의 병렬 실행
Synthetic Data 생성
자동 Evaluation과 Red-teaming
AI Research Experiment

사용자가 늘지 않더라도 한 명이 여러 Agent를 동시에 사용하면 Compute 수요는 증가한다.

Agent 작업시간이 10분에서 10시간으로 늘어나도 수요는 커진다.

하나의 Agent가 결과를 만든 뒤 다른 Agent가 다시 검토하고 수정하면 추가 Inference와 Verification Compute가 필요하다.

11. 효율성 개선이 수요감소로 이어지지 않는 이유

Algorithm과 Hardware가 개선되면 동일한 작업을 더 적은 Compute로 수행할 수 있다.

그러나 전체 AI Computing 수요가 감소한다고 보기는 어렵다.

Token 비용이 낮아지면 더 많은 업무가 AI로 이전된다.

Agent Reliability가 높아지면 더 긴 작업을 맡기게 된다.

Parallel Agent가 활성화되면 한 명의 사용자가 여러 Agent를 동시에 운영한다.

Research Automation이 발전하면 AI 서비스를 제공하기 위한 Compute뿐 아니라 더 좋은 AI를 개발하기 위한 Compute 수요도 증가한다.

Token당 비용이 10분의 1로 내려가는 동안 전체 사용량이 30배 증가하면 총 Compute 수요는 오히려 세 배로 늘어난다.

효율성 개선은 기존 수요를 줄이는 요인이면서 동시에 훨씬 큰 신규 수요를 여는 요인이다.

결론

Fable·Mythos·Astra가 보여주는 변화는 단순한 모델 성능향상이 아니다.

AI가 일하는 시간, 작업을 나누는 방식, Memory를 사용하는 방법, 결과를 검증하는 구조와 다음 세대 AI 개발에 참여하는 정도가 함께 달라지고 있다.

GPT-2에서 GPT-5.6까지의 발전도 하나의 기술적 돌파구에서 나오지 않았다.

Physical Compute, Algorithmic Efficiency, Data, Post-training, Reasoning, Tool Use, Memory, Inference-time Compute와 Serving Optimization이 계속 누적되면서 지금의 Frontier Intelligence가 만들어졌다.

앞으로의 발전도 같은 방식으로 이어질 가능성이 높다.

모델 성능이 개선되면 더 좋은 Agent가 만들어진다. 더 좋은 Agent는 더 많은 연구실험을 수행한다. 더 많은 실험은 더 나은 Algorithm과 다음 세대 모델로 이어진다.

현재는 완성된 Recursive Self-improvement 단계가 아니다.

그러나 Research Automation Loop가 실제 Frontier Lab의 개발과정에 들어오기 시작했고, 장기 실행과 Memory, In-session Adaptation, Multi-agent 병렬화가 빠르게 개선되고 있다는 점은 분명하다.

이는 Recursive Self-improvement를 향한 첫 번째 선순환 연결고리가 만들어지고 있음을 시사한다.

동시에 AI Computing 수요도 직선적으로 증가하지 않을 가능성이 높다.

특정 병목이 해결될 때마다 새로운 Use Case가 열리고, Agent 수와 실행시간, Token 사용량과 Verification Compute가 함께 증가한다.

앞으로 AI Computing 수요를 판단하려면 새로운 모델 이름과 Benchmark보다 Agent Reliability, 작업 지속시간, Memory, Parallelism, Research Automation과 안전기술의 변화를 지속적으로 추적해야 한다.

Fable·Mythos·Astra는 이러한 누적과정이 다음 단계로 넘어가고 있다는 초기 단서를 보여주고 있다.

#글을 마치며

곧 AI 새로운 특이점이 온다고 하는데..
그렇다면 나를 포함한 우리는 앞으로 각각 어느 그룹에 속하게 될까..?

w를 찾아서. (시골의사 박경철)

세상을 바꾸는 변화를 직접 만들어내는 0.1%의 W가 있다면, 그 변화의 의미와 파장을 남들보다 먼저 이해하고 자신의 선택에 반영하는 0.9%의 사람들이 있다. 나머지 99%는 변화가 일상에 완전히 들어온 이후에야 그 크기를 체감한다.

Fable·Mythos·Astra, 장기 실행형 Agent, Multi-agent와 AutoResearch가 아직은 일부 Frontier Lab의 기술적인 이야기처럼 들릴 수 있다.

그러나 중요한 것은 새로운 용어 자체보다 그 기술이 사회 전체에 미칠 파급효과이다.

현재의 작은 기능개선이 Agent의 작업시간과 범위, AI 연구개발 속도, Computing 수요와 산업구조를 앞으로 어떻게 바꿀지 연결해서 보는 능력이 중요하다.

AI 발전은 어느 날 갑자기 완성되지 않는다. 성능개선과 병목 제거가 계속 누적되고, 어느 순간 불가능했던 작업이 가능해지면서 새로운 시장과 수요가 열린다.

결국 우리는 지금 나타나는 변화를 보며 “어쩌라고?, 그런게 있는가보지”라고 대수롭지 않게 지나칠 수도 있고, 아직 작게 보이는 신호에서 다음 파장을 읽어내는 0.9%의 그룹에 속할 수도 있다.

Fable·Mythos·Astra가 진정한 변곡점의 시작이었는지는 아직 단정하기 어렵다.

다만 장기 실행형 Agent와 Research Automation이 실제 연구개발 과정에 연결되기 시작했다는 점은 가볍게 넘기기 어렵다.

불과 2~3개월 뒤에는 우리가 W가 만들어내는 변화의 초입을 보고 있었는지, 그리고 그 앞에서 각자 어느 그룹에 서 있었는지가 조금 더 분명해질지도 모르겠다.

=끝

자료 및 출처

생각정리 328 (* The agent Mutipler, Unhobbling, OOM)

이전 글에 이어, 새로운 Frontier Model이 성공적으로 시장에 안착하고 Agent 기능이 본격적으로 활성화될 경우 AI Computing 수요가 어느 수준까지 증가할 수 있는지, 그리고 그 과정에서 Memory 수요가 얼마나 확대될 수 있는지를 여러 가설과 시나리오를 통해 모델링해보고자 한다.

이번 작업의 목적은 단기적인 수급 변화나 매일 변화하는 주가 흐름에 반응하지않고 시장의 소음에서 한 발 떨어져, AI 기술의 발전 방향과 Computing Infrastructure의 확장 경로를 지속적으로 Tracking하고 이를 수치화하는 것이 핵심이다.

이를 바탕으로 향후 AI Computing 수요가 어느 수준까지 증가할 수 있는지 추정하고, 그 과정에서 발생하는 AI Hardware 병목이 어디에 집중되는지 살펴볼 것이다.

이후 병목을 해소하는 과정에서 수혜를 받을 산업과 기업을 선별하고, 특정 제품(*HBM)의 TAM이 어느 수준까지 확대될 수 있는지를 비교·분석해 Portfolio에 반영하는 것이 최종 목표다.

결국 이번 리서치는 AI 발전 방향 → Computing 수요 증가 → Hardware 병목 발생 → 산업별 수혜 구조 → 기업 및 제품별 TAM 확대 → Portfolio 반영으로 이어지는 Top-down Narrowing down 과정을 정립하고, 그 판단 근거를 지속적으로 기록하기 위한 작업이다.

THE AGENT MULTIPLIER

장기 Agent의 Unhobbling은 AI Computing OOM을 얼마나 더 높일까

앞선 글인 SITUATIONAL AWARENESS: The Decade Ahead에서는 2025년을 출발점으로 AI의 성능 향상을 크게 세 가지 요소로 나누어 살펴봤다.

Physical Compute 증가
Algorithmic Efficiency 개선
Unhobbling을 통한 잠재능력 해방

이 가운데 Unhobbling은 모델이 이미 보유한 능력을 실제 작업성과로 전환하는 과정이다.

Tool Use, Reinforcement Learning, Chain-of-Thought, Long Context, Memory, Search, Agent Scaffolding이 모두 여기에 포함된다. 모델의 Parameter를 단순히 늘리지 않더라도, 모델이 생각하고 행동하는 환경을 개선하면 실제 성능이 급격히 높아질 수 있다.

최근 OpenAI의 GPT-5.6 Sol과 차기 모델 Astra, Anthropic의 Claude Fable 5와 Mythos 5는 이 Unhobbling이 새로운 단계로 진입하고 있음을 보여준다.

핵심 변화는 모델이 한 번의 질문에 더 정확히 답하는 데 그치지 않는다.

수시간에서 수일 동안 목표를 유지하고, 자신의 실패를 기억하며, 잘못된 경로에서 벗어나 다시 작업을 이어가는 능력이 개선되고 있다.

이는 AI가 Chatbot에서 장기 작업을 수행하는 Agent로 이동하기 위해 반드시 넘어야 했던 가장 중요한 병목이었다.

1. 기존 Agent는 왜 장시간 제대로 작동하지 못했는가

안드레이 카파시는 2025년 Dwarkesh Patel과의 인터뷰에서 당시의 AI Agent를 상당히 냉정하게 평가했다.

https://www.youtube.com/watch?v=lXUZvyajciY

그는 현재의 Agent가 충분한 지능과 Multimodality, Computer Use 능력을 갖추지 못했으며, 무엇보다 Continual Learning을 하지 못한다고 지적했다.

사용자가 새로운 사실이나 작업방식을 알려줘도 이를 장기간 기억하지 못하고, 새로운 Session을 시작하면 다시 원래 상태로 돌아간다는 것이다.

카파시는 이러한 문제를 해결하는 데 상당한 시간이 필요하기 때문에, 2025년을 ‘Agent의 해’로 부르기보다 앞으로 이어질 ‘Agent의 10년’으로 보는 편이 적절하다고 말했다.

기존 Agent의 핵심 한계는 크게 네 가지로 정리할 수 있다.

장기 Context와 Memory 유지

장기 작업에서는 처음 세운 목표와 중간에 발견한 사실, 이미 시도한 방법, 실패한 원인을 계속 기억해야 한다.

그러나 기존 Agent는 Tool Call과 대화 기록이 누적되면서 중요한 정보가 Context 뒤쪽으로 밀려났다. Context Window가 가득 차면 초기 기록을 잘라내거나 요약했기 때문에, 작업 초반에 세운 목표와 제약조건을 잃어버리는 경우도 많았다.

정보가 Context 안에 남아 있다는 사실도 충분하지 않았다.

중요한 정보가 수십만 Token의 Tool Output 사이에 묻히면 모델은 이를 실제 행동에 반영하지 못했다.

긴 Context와 유효한 Working Memory는 같은 개념이 아니었다.

반복과 오류 누적 방지

기존 Agent는 실패한 행동을 조금씩 표현만 바꿔 반복하는 경우가 많았다.

검색어를 약간 바꿔 같은 검색을 다시 하거나, 이미 실패한 코드를 다시 작성하고, 잘못된 초기 가정을 유지한 채 세부사항만 수정했다.

작업이 짧으면 이러한 오류를 인간이 바로잡을 수 있다. 그러나 실행 단계가 수백 번으로 늘어나면 작은 오류가 다음 행동의 입력이 되고, 그 행동에서 발생한 오류가 다시 이후 판단을 오염시킨다.

결과적으로 장기 Agent의 성능은 개별 단계의 정확도보다 오류가 얼마나 빠르게 누적되는가에 의해 결정됐다.

실패 원인 분석과 경로 수정

작업 마지막 단계에서 문제가 발생했다고 해서 마지막 행동이 항상 원인은 아니다.

초기에 잘못된 문서를 선택했거나, 사용자 요구사항을 잘못 해석했거나, 잘못된 가정을 Memory에 기록한 것이 수십 단계 뒤의 실패로 이어질 수 있다.

그러나 기존 Agent는 마지막 오류 메시지만 보고 국소적으로 수정하는 경향이 강했다.

진정한 오류 복구를 위해서는 전체 실행 경로를 되짚어 최초의 Root Cause를 찾아야 한다. 필요하다면 그 지점까지 Rollback한 뒤 새로운 Branch에서 작업을 다시 시작해야 한다.

경험을 다음 작업에 반영하는 Continual Learning

하나의 작업 안에서 Memory를 유지하는 것과, 여러 프로젝트의 경험을 학습해 장기적으로 행동방식을 개선하는 것은 다르다.

현재 LLM은 Context가 유지되는 동안에는 새로운 정보를 활용할 수 있다. 외부 파일이나 데이터베이스에 경험을 기록하고 다음 Session에서 다시 불러올 수도 있다.

그러나 카파시가 말한 Continual Learning은 한 단계 더 깊다.

인간이 하루 동안 경험한 내용을 수면과 학습을 통해 장기기억으로 통합하듯, 모델도 과거의 성공과 실패를 분석해 자신의 Weight나 장기적인 행동정책에 반영해야 한다.

카파시는 현재 LLM에는 경험을 분석하고 Synthetic Data로 재구성해 Weight에 다시 증류하는 과정이 없다고 설명했다. 모델은 Context가 초기화될 때마다 사실상 같은 출발점으로 돌아간다.

2. Agent의 문제는 Memory 하나로 끝나지 않는다

최근 OpenAI와 Anthropic의 실험, 그리고 2024~2026년에 발표된 연구들은 장기 Agent의 문제를 다음 요소로 더욱 구체적으로 분해하고 있다.

**Memory 유지
중요 상태의 선택적 압축
실패 경로 격리
Root-cause Debugging
Checkpoint와 Rollback
독립된 Verifier
경험의 선택적 저장과 망각**

Long Context가 곧 Long-term Memory는 아니다

LongMemEval은 장기 대화에서 필요한 Memory 능력을 정보 추출, 여러 Session에 걸친 추론, 시간관계 이해, 변경된 정보 업데이트, 답변 보류의 다섯 가지로 구분했다.

실험 결과 기존 상용 Assistant와 Long-context LLM은 대화가 장기간 누적될수록 기억 정확도가 약 30% 하락했다.

연구진은 단순히 Context Window를 늘리는 대신, Memory를 저장하는 Indexing, 관련 내용을 찾는 Retrieval, 검색한 내용을 판단에 사용하는 Reading을 별도로 설계해야 한다고 설명한다.

MemoryAgentBench는 좋은 Agent Memory가 갖춰야 할 능력을 다음 네 가지로 구분한다.

현재의 Long-context, RAG, Agentic Memory 시스템 가운데 네 가지를 모두 안정적으로 수행하는 시스템은 확인되지 않았다.

무조건 많이 기억하는 것이 좋은 Memory는 아니다.

잘못된 가설과 오래된 정보, 이미 실패한 접근법까지 계속 검색되면 오히려 Agent의 현재 판단을 방해한다.

실패한 경로를 현재 상태에서 분리해야 한다

MAGE는 기존 Memory 시스템이 의미적으로 유사한 정보를 검색하는 과정에서 성공한 경로와 실패한 경로를 함께 불러오는 문제를 지적한다.

MAGE는 실행기록을 Tree 구조로 관리한다.

Grow: 새로운 실행 경로 기록
Compress: 완료된 Sub-goal 요약
Maintain: 요약과 실제 상태의 일치 여부 검증
Revise: 잘못된 경계로 되돌아가 새로운 Branch 생성

Agent는 현재 Root에서 현재 Node까지 이어지는 유효한 경로만 Working Memory로 사용한다. 실패한 경로는 참고자료로 남지만 현재 판단에는 직접 섞이지 않는다.

이 구조는 평가에서 기존 방식보다 Task 성공률을 7.8~20.4%포인트 높였고, Token 사용량은 55.1% 줄였다.

마지막 오류보다 최초 오류가 중요하다

AgentDebug는 장기 작업의 실패가 하나의 Root Cause에서 시작해 이후 단계로 전파된다고 설명한다.

예를 들어 잘못된 Memory 검색이 잘못된 상황 판단으로 이어지고, 잘못된 계획과 Tool Call을 거쳐 최종 실패를 만든다.

AgentDebug는 전체 Trajectory를 단계별로 분해한 뒤, 최종 실패를 직접 유발한 최초의 오류를 찾아 해당 지점에 수정 Feedback을 제공한다.

그 결과 강력한 기존 방식보다 전체 오류 판별 정확도가 24%, Step 단위 정확도가 17% 높아졌으며, 실제 Task 성공률은 최대 26% 상대 개선됐다.

Memory에는 Version Control도 필요하다

ChronoMem은 기존 Agent Memory가 새로운 정보를 계속 추가하거나 덮어쓰지만, 잘못된 업데이트가 발생했을 때 이전 상태로 되돌아갈 방법이 부족하다고 지적한다.

잘못된 사용자 정보, 오염된 Memory, 오래된 계획이 한 번 반영되면 이후 작업 전체가 그 상태를 기준으로 진행될 수 있다.

ChronoMem은 Memory가 변경될 때마다 Snapshot을 만들고, 자연어로 특정 시점 이전의 Memory 상태까지 Rollback할 수 있도록 설계됐다.

이는 Code에서 Git이 수행하는 역할을 Agent Memory에도 적용하는 접근이다.

Anthropic도 장기 Coding Agent 실험에서 progress 파일과 Git History를 함께 사용했다. Agent는 Session을 시작할 때 진행기록과 최근 Commit을 읽고, 작업을 마친 뒤 다시 진행상황을 기록했다.

문제가 발생하면 이전 Commit으로 되돌아가 정상적으로 작동하던 상태에서 작업을 다시 시작했다.

Memory는 필요한 순간에 개입해야 한다

Proactive Memory Agent는 정보가 Context 안에 남아 있어도 행동에 영향을 주지 못하는 현상을 Behavioral State Decay라고 부른다.

목표, 미완료 Sub-goal, 과거 실패 원인과 같은 중요한 정보가 다른 Tool Output에 묻히면 Agent는 이를 기억하고도 활용하지 못한다.

별도의 Memory Agent가 실행과정을 관찰하면서 필요한 순간에만 핵심 기억을 주입하자 Terminal-Bench 2.0의 Pass@1은 8.3%포인트, τ²-Bench는 6.8%포인트 개선됐다.

항상 Memory를 주입하는 방식보다 필요한 시점에만 선택적으로 개입하는 방식이 더 효과적이었다.

3. 현재 가장 빠르게 개선되는 것은 In-session Adaptation이다

최근 연구가 공통적으로 향하는 방향은 분명하다.

모델이 모든 경험을 Weight에 영구적으로 학습하는 완전한 Continual Learning보다, 먼저 하나의 장기 Task 안에서 자신의 상태를 유지하고 오류를 수정하는 능력이 빠르게 개선되고 있다.

이를 In-session Adaptation이라고 부를 수 있다.

Agent는 작업이 진행되는 동안 다음 상태를 유지한다.

처음 주어진 목표와 제약조건
이미 완료한 작업
현재까지 확인된 사실
시도했지만 실패한 접근법
실패의 원인
아직 해결되지 않은 Sub-goal
다음에 수행해야 할 Action

작업이 길어지면 전체 기록을 그대로 유지하지 않는다. 중요한 상태만 압축하고, 필요할 때 외부 Memory에서 다시 불러온다.

실행 결과가 예상과 다르면 이를 검증하고, 마지막 행동만 수정하지 않고 오류가 처음 발생한 지점까지 되돌아간다.

현재의 큰 변화는 완전한 Recursive Self-improvement라기보다,

장기 작업 동안 자기 상태를 유지하고,
자신의 결과를 검증하며,
실패한 경로를 수정하는 Unhobbling의 진전

으로 해석하는 편이 적절하다.

4. 카파시가 지적한 RL의 Credit Assignment 문제

카파시는 현재 Reinforcement Learning이 긴 실행경로 전체를 마지막 하나의 Reward로 평가하는 방식도 비판했다.

수백 단계의 Rollout이 끝난 뒤 최종 결과가 맞았는지 틀렸는지를 하나의 숫자로 평가하고, 그 숫자를 전체 Trajectory에 동일하게 적용한다는 것이다.

최종 결과가 맞았더라도 중간에 불필요한 행동과 잘못된 추론이 포함됐을 수 있다. 반대로 최종 결과가 틀렸더라도 일부 단계에는 좋은 아이디어와 유효한 판단이 포함될 수 있다.

카파시는 이를 “Sucking supervision through a straw”, 즉 좁은 빨대로 감독 신호를 빨아들이는 방식이라고 표현했다.

인간은 자신의 작업을 되돌아보며 어떤 판단이 좋았고, 어느 부분에서 잘못됐는지를 구체적으로 평가한다. 현재 Agent에도 이와 유사한 Process-level Review와 Credit Assignment가 필요하다는 설명이다.

이 문제는 다음 세대 Agent 학습에서 중요한 의미를 갖는다.

단순히 정답을 맞힌 Trajectory 전체를 강화하는 대신,

어느 Memory가 유효했는가
어느 가정이 오류의 출발점이었는가
어떤 Tool Call이 불필요했는가
어느 Checkpoint까지 돌아가야 하는가
어떤 실패는 다음 작업에서도 기억해야 하는가

를 단계별로 학습해야 한다.

장기 Agent의 발전은 더 긴 추론을 생성하는 문제에서, 더 긴 추론을 제대로 평가하고 수정하는 문제로 이동하고 있다.

5. GPT-5.6 Sol과 Astra가 보여준 OpenAI의 변화

OpenAI의 현재 공개 모델인 GPT-5.6 Sol과 차기 주요 모델 Astra는 이러한 방향을 구체적으로 보여준다.

Retained Reasoning과 Compaction

OpenAI는 GPT-5.6 Sol을 ARC-AGI-3에서 평가했을 때 처음에는 기대보다 낮은 성적이 나온 원인을 조사했다.

기존 평가 Harness는 매번 행동을 실행한 뒤 모델의 이전 Private Reasoning을 삭제했다. Context가 길어지면 오래된 행동도 순차적으로 잘라냈다.

따라서 모델은 매 단계마다 게임 규칙과 자신의 계획을 처음부터 다시 해석해야 했다. 과거의 시행착오를 기억하지 못했고, 일관된 전략을 유지하기 어려웠다.

OpenAI는 이를 다음 두 가지 방식으로 수정했다.

Retained Reasoning: 이전 단계에서 형성한 계획과 통찰을 다음 단계까지 유지
Compaction: 오래된 기록을 단순 삭제하지 않고 핵심 상태를 압축해 보존

그 결과 GPT-5.6 Sol의 ARC-AGI-3 점수는 13.3%에서 38.3%로 약 3배 상승했다. 출력 Token은 오히려 약 6분의 1로 감소했다.

모델 Weight를 변경하지 않고 Agent가 기억하는 방식만 바꿨는데도 성능이 세 배 높아졌다.

이를 OOM으로 환산하면 다음과 같다.

log₁₀(3) ≈ +0.48 OOM

이는 Unhobbling이 단순한 보조요인이 아니라, 독립적으로 상당한 OOM을 만들어낼 수 있음을 보여주는 사례다.

Programmatic Tool Calling과 Multi-agent

GPT-5.6은 Tool이 반환한 모든 데이터를 매번 모델 Context에 다시 넣는 대신, 가벼운 Program을 실행해 중간 데이터를 필터링하고 필요한 정보만 유지할 수 있다.

또한 ultra 설정은 기본적으로 네 개의 Agent를 병렬로 조정한다. 일부 평가에서는 16개 Agent 구성도 사용됐다.

하나의 Agent가 모든 가설을 순차적으로 탐색하는 대신, 여러 Agent가 독립된 Context에서 다른 접근을 탐색하고 Root Agent가 결과를 통합하는 방식이다.

OpenAI가 공개한 초기 사용자 평가에서도 GPT-5.6은 이전 모델보다 작업단계를 약 25%, Tool Call을 35~48% 줄이면서 Stuck Run을 15% 낮춘 사례가 보고됐다.

Astra의 수학적 발견

OpenAI는 2026년 8월 1일 차기 주요 모델 Astra의 내부 버전이 수학과 이론 컴퓨터과학의 장기 미해결 문제 10개에서 새로운 결과를 만들었다고 발표했다.

대상은 고차원 구형 Packing, 부호 이론, 비소픽 군, Connes 강직성 추측, 산술 회로 복잡도, 양자 병렬 반복, 격자 암호학과 극값 조합론 등을 포함한다.

해답을 탐색하는 데 사용된 총 Token 비용은 Sol API 기준 약 2,000달러였으며, 이후 모델이 각 논증을 Lean Certificate로 형식화했다.

중요한 점은 Astra가 단순히 기존 정리를 검색해 요약한 것이 아니라는 데 있다.

장기간 여러 접근법을 탐색하고, 실패한 가설을 폐기하며, 새로운 표현과 보조정리를 구성한 뒤 최종 결과를 외부 Verifier로 검증했다.

이는 장기 Agent의 다음 Feedback Loop가 실제 연구 수준에서도 작동하기 시작했음을 시사한다.

생성
→ 실행
→ 검증
→ 오류 발견
→ 원인 분석
→ 경로 수정
→ 재실행

6. Fable 5와 Mythos 5가 보여준 Anthropic의 변화

Anthropic 역시 2026년 6월 Fable 5와 Mythos 5를 공개하면서 장기 Agent 능력을 핵심 차별점으로 제시했다.

Fable 5와 Mythos 5는 같은 기반 모델이다.

Fable 5는 일반 사용을 위해 일부 고위험 분야에 Safeguard를 적용한 모델이며, Mythos 5는 Cybersecurity와 일부 과학연구 분야에서 제한을 완화해 신뢰받는 기관에 제공하는 모델이다.

수백만 Token 동안 유지되는 작업 상태

Anthropic은 Fable 5가 수백만 Token에 걸친 작업에서도 집중력을 유지하고, 자신이 작성한 Note를 활용해 결과를 개선한다고 설명한다.

Slay the Spire 실험에서는 Persistent File-based Memory를 제공했을 때 이전 Opus 4.8보다 성능 개선폭이 세 배 컸고, 최종 Act에 도달한 비율도 세 배 높았다.

Anthropic이 제시한 장기 Context 관리 방법은 크게 세 가지다.

Compaction
Structured Note-taking
Sub-agent Architecture

Compaction은 오래된 기록에서 Architecture 결정, 해결되지 않은 Bug, 구현 세부사항을 남기고 중복된 Tool Output을 제거한다.

Structured Note-taking은 Agent가 NOTES.md, To-do List, Progress File과 같은 외부 Memory에 현재 상태를 기록하도록 한다.

Sub-agent Architecture는 서로 다른 탐색경로를 독립된 Context에 분리해 하나의 잘못된 가설이 전체 작업을 오염시키는 문제를 줄인다.

실패 복구와 장기 과학연구

Anthropic은 Mythos 5가 Protein Design 과정의 일부를 약 10배 가속했으며, Binding Site 선택, Tool 실행, 실패 복구까지 인간의 직접 개입 없이 수행했다고 밝혔다.

또한 Mythos 5는 일주일 이상 상당 부분 자율적으로 Genomics 연구를 수행했다. 138개 동물 종의 수백만 개 단일세포 데이터를 수집하고, 서로 다른 종에서 같은 역할을 수행하는 세포를 식별하는 Machine Learning Model을 직접 설계하고 학습했다.

Astra가 수학과 이론 컴퓨터과학에서 강한 증거를 제시했다면, Fable 5와 Mythos 5는 Coding, 생명과학, Tool Use와 현실적인 장기 Workflow에서 보다 폭넓은 증거를 제시한 셈이다.

7. Astra와 Fable 5·Mythos 5 비교

두 모델의 차이는 다음 Token을 예측하는 Autoregressive Architecture 자체를 근본적으로 바꿨다는 데 있지 않다.

현재 공개된 자료만 보면 두 모델 모두 기존 자기회귀형 LLM에 가깝다.

대신 자기회귀 추론을 다음과 같은 장기 Feedback Loop에 연결하는 능력이 크게 개선됐다.

**Autoregressive Generation
Persistent Memory
Iterative Self-correction
External Verification
Agentic Search**

이를 ‘자기회귀 성능 개선’이라고만 표현하면 다음 Token 예측 정확도가 높아졌다는 의미로 오해될 수 있다.

더 정확한 표현은 다음과 같다.

자기회귀 모델의 장기 자기수정 능력 개선

또는,

Autoregressive Reasoning을 장기 Feedback Loop로 연결하는 Unhobbling 개선

이다.

8. 아직 Recursive Self-improvement는 아니다

여기서 Recursive Self-improvement와 반복적 자기수정을 구분해야 한다.

현재의 Astra와 Fable 5는 자신이 생성한 결과를 다시 읽고 수정하며, 외부 Memory를 업데이트하고, 실패하면 다른 경로를 탐색할 수 있다.

그러나 작업 도중 자신의 Weight를 직접 변경하거나, 다음 세대 모델을 스스로 학습하고 배포한다는 증거는 없다.

따라서 현재 단계는 Recursive Self-improvement보다 Iterative Self-correction에 가깝다.

다만 이 차이를 과소평가해서는 안 된다.

모델 Weight가 그대로여도, 장기 작업 중 발생하는 실패를 지속적으로 수정할 수 있다면 실제 Task Capability는 크게 높아질 수 있다.

9. Agent 기능만으로 얼마나 많은 OOM이 추가되는가

Astra와 Fable 5가 실제 제품에서도 장기 기억 유지, 오류 원인 분석, 경로 전환, 다중 Agent 탐색을 안정적으로 구현한다고 가정해보자.

본 글에서는 기존 Sol급 모델 대비 장기 Agent의 실질 Task Capability 향상을 다음과 같이 추정한다.

장기 Agent Task Capability: +0.7~1.2 OOM
중앙 추정치: 약 +0.9 OOM

배율로 환산하면 다음과 같다.

이는 모델의 순수 지능이나 개별 Token의 품질이 8배 높아졌다는 뜻이 아니다.

기존 모델이 보유하고도 장기 작업에서 잃어버리던 능력을 보존하고, 실패로 끝나던 실행을 성공적인 결과로 전환하면서 동일한 인간 감독시간당 성공적인 작업 산출량이 약 5~16배 높아지는 효과에 가깝다.

OOM 기여요인 분해

이 가운데 순수한 Unhobbling만 분리하면 약 +0.5~0.8 OOM으로 보는 편이 적절하다.

나머지는 기본 모델의 Algorithmic Efficiency 개선과 더 많은 Test-time Compute 투입에서 나온다.

즉 Astra와 Fable의 성과를 모두 Unhobbling으로 넣으면 Algorithmic Efficiency와 Inference Compute를 이중 계산할 수 있다.

10. 모든 업무에서 생산성이 8배 증가하는 것은 아니다

장기 Agent의 효과는 업무 특성에 따라 크게 달라진다.

연구, Coding, 수학, Data Analysis처럼 다음 조건을 갖춘 업무에서 효과가 가장 크게 나타난다.

명확한 목표가 존재
작업을 여러 Sub-goal로 분해 가능
외부 Tool을 사용할 수 있음
결과를 Test나 Verifier로 평가 가능
실패 후 다시 시도할 수 있음
장기간의 연속적인 Context가 중요함

반면 조직정치, 협상, 경영판단, 투자 의사결정처럼 정답을 자동으로 검증하기 어려운 업무에서는 인간의 검토가 계속 필요하다.

따라서 초기 경제적 생산성 효과는 장기 Task Capability 개선보다 낮게 나타날 가능성이 높다.

전체 경제적 생산성 초기 효과: +0.3~0.6 OOM
연구·Coding·수학 등 장기 작업: +0.7~1.2 OOM

METR 역시 Agent가 일정 성공확률로 처리할 수 있는 Task의 인간 기준 소요시간이 지수적으로 증가하고 있다고 평가한다.

다만 METR은 현재 평가가 Software Engineering, Machine Learning, Cybersecurity에 집중돼 있으며, 인간 전문가의 16시간을 넘는 Task Horizon 추정치는 현재 평가구성상 신뢰도가 낮다고 명시한다.

11. 장기 Agent 수요는 Compute 사용방식을 바꾼다

기존 Chatbot은 사용자가 질문하면 수초에서 수분 동안 답변을 생성했다.

장기 Agent는 하나의 요청을 수시간에서 수일 동안 수행한다.

그 과정에서 여러 문서를 읽고, 코드를 작성하고, Tool을 호출하고, 결과를 검증하며, 실패하면 다시 시도한다.

위 표는 개별 작업의 Token 사용량에 대한 개략적인 추정이다.

모든 사용자가 수일 단위 Agent를 사용한다는 의미는 아니다. 다만 기존에는 AI에 맡길 수 없었던 대형 작업이 새롭게 수요로 전환되면, 평균적인 Task당 Compute 사용량은 빠르게 증가할 수 있다.

모델이 더 효율적으로 Token을 사용하더라도, Agent가 수행할 수 있는 작업의 범위와 실행시간이 더 빠르게 늘어나면 전체 Compute 수요는 증가한다.

OpenAI의 사례처럼 같은 작업에서 Token 사용량을 6분의 1로 낮추더라도, 비용 하락으로 Agent 사용량이 10배 이상 증가하면 총 Token 수요는 오히려 커진다.

이는 AI Computing에서 나타나는 Jevons Effect다.

Token당 비용 하락
→ AI에 맡길 수 있는 작업 확대
→ Agent 실행횟수와 실행시간 증가
→ 전체 Inference Compute 수요 증가

12. Unhobbling OOM은 아직 Fully Realized되지 않았다

Astra의 수학적 성과와 Fable 5의 장기 작업능력은 Frontier Capability가 이미 크게 개선됐음을 보여준다.

그러나 이 Capability가 사용자와 기업, 산업 전반의 생산성으로 전환되려면 시간이 필요하다.

현재 상황은 세 단계로 구분할 수 있다.

잠재 Capability OOM

Frontier Model이 실험환경에서 장기 작업을 수행할 수 있는 능력이다.

Astra의 수학문제 해결과 Fable·Mythos의 장기 과학연구는 이 단계가 상당 부분 열렸음을 보여준다.

Usable Agent OOM

모델 능력을 실제 제품으로 전환하는 단계다.

여기에는 다음 인프라가 필요하다.

Persistent Memory
Context Compaction
Tool 권한관리
External Verifier
Checkpoint와 Rollback
Multi-agent Orchestration
비용과 Latency 관리
Trajectory Monitoring

Anthropic은 장기 Agent를 위해 Compaction, Structured Note-taking, Multi-agent Architecture를 함께 사용해야 한다고 설명한다.

경제적으로 실현된 OOM

기업이 기존 Workflow를 Agent 중심으로 재설계하는 단계다.

Agent가 기업의 내부 문서와 Codebase, ERP, CRM, Database에 접근해야 한다. 읽기뿐 아니라 수정과 실행권한도 필요하다.

오류 발생 시 책임소재와 승인절차, 보안정책도 함께 만들어야 한다.

이 과정이 완료돼야 Model Capability가 실제 매출, 비용절감, 연구성과와 노동생산성으로 전환된다.

Frontier Model Capability는 계단식으로 상승하고, Usable Agent Capability와 경제적으로 실현되는 OOM은 시차를 두고 점진적으로 따라가는 구조

13. Compaction에는 새로운 위험도 존재한다

Context를 압축하는 과정에서 중요한 목표뿐 아니라 안전규칙과 기업정책이 삭제될 수도 있다.

Governance Decay 연구는 Agent가 원래 Context에서는 정책을 준수하다가, Compaction 이후 해당 규칙이 요약에서 누락되면 금지된 Tool Action을 실행할 수 있음을 보여준다.

1,323개의 장기 Agent Episode에서 정책이 전체 Context에 남아 있을 때 위반률은 0%였지만, Compaction 이후 평균 30%, 일부 모델에서는 59%까지 상승했다.

LLM이 강력해질수록 이를 통제할 사이버보안은 더욱 중요해질 수 밖에없음

연구진은 안전규칙을 일반 Context 압축에서 분리해 항상 보존하는 Constraint Pinning을 제안했다.

이는 장기 Agent 보급이 단순히 Memory 용량을 늘리는 문제로 끝나지 않는다는 점을 보여준다.

무엇을 기억하고 무엇을 버릴지 결정하는 Memory Policy 자체가 새로운 핵심 알고리즘이 된다.

14. 2025~2030 OOM 모델에는 어떻게 반영할 것인가

Astra와 Fable의 Unhobbling 효과를 출시 시점에 한 번에 모두 반영하는 것은 적절하지 않다.

모델 Capability는 Step-change 형태로 상승하지만, Agent Infrastructure와 Workflow 적용률은 점진적으로 올라간다.

따라서 실현되는 Unhobbling OOM은 S-curve 형태로 반영하는 편이 자연스럽다.

중앙 경로는 다음 정도로 볼 수 있다.

여기서 배율은 유효한 장기 작업능력을 의미한다.

GPU 수나 Token 수가 같은 비율로 증가한다는 뜻은 아니다.

기존 OOM 모델과 중복계산을 피해야 한다

앞선 OOM 추정에 이미 Agent Tool Use, RL, Long Context, Memory와 Scaffolding 발전을 포함했다면 위 수치를 그대로 추가해서는 안 된다.

기존 모델이 어느 정도의 Unhobbling을 반영했는지에 따라 조정할 필요가 있다.

따라서 이전 글의 OOM 경로를 유지하되, 최신 장기 Agent가 기존 예상보다 빠르게 상용화된다고 판단한다면 2030년 Unhobbling을 기존 추정치보다 약 +0.3~0.7 OOM 상향하는 방식이 가장 보수적이다.

15. Agentic AI는 왜 HBM 수요를 높이는가

장기 Agent는 일반 Chatbot보다 더 많은 Token을 처리한다.

하지만 HBM 수요를 늘리는 이유는 Token 양만이 아니다.

더 긴 Context와 KV Cache

Transformer 추론에서는 과거 Token의 Key와 Value를 KV Cache에 저장한다.

Context가 길어질수록 KV Cache의 Memory 사용량도 거의 선형적으로 증가한다.

여러 Agent가 동시에 긴 Context를 유지하면 GPU가 수용해야 하는 KV Cache와 동시 Request 수가 함께 증가한다.

PagedAttention 연구는 KV Cache의 단편화와 중복이 Batch Size를 제한하는 주요 병목이라고 설명한다. Memory 관리방식을 개선한 vLLM은 동일한 Latency 조건에서 기존 Serving System보다 2~4배 높은 Throughput을 달성했다.

이는 Software 개선이 HBM 수요 일부를 흡수할 수 있다는 뜻인 동시에, Long-context와 복잡한 Decoding일수록 Memory가 중요한 병목이 된다는 의미이기도 하다.

Decode는 Memory Bandwidth의 영향을 강하게 받는다

NVIDIA는 Rubin Architecture를 설명하면서 LLM의 Decode 단계가 본질적으로 Memory Subsystem에 의해 제약된다고 밝혔다.

긴 Context, 대형 KV Cache, 대화형 Token 생성이 늘어나는 Agentic Workload에서는 Memory Bandwidth 활용률이 전체 성능을 좌우한다.

Rubin GPU는 GPU당 최대 288GB HBM4와 22TB/s의 Bandwidth를 제공한다. 이는 B200의 180GB HBM3e, 최대 8TB/s와 비교해 용량은 약 1.6배, Bandwidth는 약 2.8배 늘어난 수준이다.

NVIDIA의 Hardware Roadmap 자체가 Agentic AI와 Reasoning Workload를 위해 HBM Capacity와 Bandwidth를 빠르게 높이고 있다.

16. Unhobbling OOM을 HBM 수요로 바로 환산하면 안 된다

장기 Agent Capability가 +0.9 OOM, 약 8배 개선된다고 해서 HBM 수요도 8배 늘어나는 것은 아니다.

그 이유는 네 가지다.

첫째, +0.9 OOM의 일부는 동일 Compute를 더 효율적으로 사용하는 효과다.

둘째, 기존에 실패하던 작업이 성공으로 전환되면서 산출량이 늘어난 것이지, 모든 작업에서 Token 사용량이 8배 증가한 것은 아니다.

셋째, PagedAttention과 KV Cache Compression, Memory Tiering, Quantization이 HBM 사용량을 낮춘다.

넷째, Rubin과 차세대 Accelerator의 HBM 증가분에는 이미 어느 정도 Agentic AI 수요가 반영돼 있다.

따라서 Agent Unhobbling으로 인한 HBM 증분은 다음 두 요소로 나눠 추정해야 한다.

Incremental HBM Demand
= Accelerator 설치대수 증가
× Accelerator당 HBM 용량 증가

17. 2030년 HBM 수요의 추가 상향 가능성

앞선 Hardware Model에서 2030년 Accelerator에 직접 탑재되는 HBM 수요를 약 15.6EB로 추정했다고 가정하자.

여기에 장기 Agent Unhobbling 효과를 추가로 반영하면 다음과 같은 세 가지 Scenario를 설정할 수 있다.

계산식은 다음과 같다.

총 HBM 증가율
= 설치대수 증가율 × HBM/Accelerator 증가율
= (1+Units) × (1+HBM per Accelerator) - 1

이를 15.6EB의 기존 Base에 적용하면 다음과 같다.

본 글의 중앙 추정은 다음과 같다.

장기 Agent Unhobbling은 2030년 HBM 수요를 기존 Base Case 대비 약 30~40% 추가로 높일 수 있다.

이는 장기 Agent Task Capability가 약 8배 높아지는 효과 가운데 상당 부분이 Software Efficiency와 높은 GPU Utilization으로 흡수된다는 가정을 포함한다.

Agentic AI가 예상보다 빠르게 기업 Workflow와 과학연구에 확산되고, 하루 이상 실행되는 Multi-agent Task가 일반화되면 HBM 수요 증분은 80% 이상까지 확대될 수 있다.

반대로 KV Cache 압축, HBM-DRAM Tiering, CXL Memory와 Inference 최적화가 빠르게 발전하면 증분은 15~20% 수준에 그칠 수 있다.

18. HBM Bit 수요보다 매출효과가 더 커질 가능성

Agentic Workload는 단순히 HBM Bit 수요만 늘리는 것이 아니다.

긴 Context와 높은 동시성을 처리하려면 더 높은 Bandwidth와 고용량 Stack이 필요하다.

따라서 제품 Mix가 다음 방향으로 이동할 가능성이 높다.

HBM3e에서 HBM4·HBM4E로 전환
8-Hi에서 12-Hi·16-Hi로 전환
GPU당 HBM Stack 수와 용량 증가
Logic Die와 Advanced Packaging 복잡도 상승
더 높은 Bandwidth Premium 적용

이 경우 HBM Bit 수요가 30~40% 높아지더라도, HBM 매출과 이익의 증가폭은 그보다 커질 수 있다.

다만 차세대 HBM의 가격과 원가, 수율, 고객별 계약조건이 확정되지 않았기 때문에 이번 글에서는 Revenue Effect까지 별도로 계산하지 않았다.

19. Unhobbling이 만드는 새로운 Computing 수요

Physical Compute 증가만으로는 AI 수요를 충분히 설명하기 어렵다.

Algorithmic Efficiency가 높아지면 동일한 GPU에서 더 많은 Token을 생산할 수 있다.

일반적으로 Efficiency가 좋아지면 필요한 Hardware가 줄어들 것처럼 보인다.

그러나 AI에서는 비용이 낮아질수록 이전에 경제성이 없었던 작업이 새롭게 수요로 전환된다.

장기 Agent가 제대로 작동하기 시작하면 다음 작업들이 AI Computing 수요에 새롭게 들어온다.

며칠 동안 진행되는 Software Migration
전체 Codebase에 대한 지속적인 유지보수
기업 내부 자료를 이용한 상시 Research Agent
신약후보 탐색과 Protein Design
대규모 수학·과학 가설 탐색
투자·법률·회계 문서의 반복 검증
여러 Agent가 병렬로 수행하는 시뮬레이션
실제 환경에서 지속적으로 작동하는 Physical AI

기존 Chatbot은 인간이 질문하는 순간에만 Compute를 사용했다.

장기 Agent는 인간이 자는 동안에도 작업을 계속한다. 실패하면 다시 시도하고, 여러 대안을 동시에 탐색하며, 결과가 나올 때까지 Compute를 소비한다.

따라서 장기 Agent의 경제적 단위는 더 이상 한 번의 Prompt가 아니다.

한 명의 인간이 동시에 운영하는 Agent 수
× 각 Agent의 실행시간
× Agent당 병렬 탐색 수
× 검증과 재시도 횟수

가 전체 Inference Computing 수요를 결정한다.

20. 결론

카파시가 지적했던 기존 Agent의 문제는 명확했다.

장기 Context를 제대로 유지하지 못했다.
같은 실패를 반복했다.
어디서부터 잘못됐는지 찾지 못했다.
잘못된 경로에서 빠져나오지 못했다.
경험을 다음 작업에 영구적으로 반영하지 못했다.

Astra와 GPT-5.6 Sol, Fable 5와 Mythos 5는 이 가운데 상당 부분을 개선하기 시작했다.

아직 완전한 Continual Learning이나 Recursive Self-improvement에 도달한 것은 아니다.

그러나 하나의 장기 작업 안에서 Memory를 유지하고, 실패한 경로를 폐기하며, Checkpoint로 되돌아가고, 외부 Verifier로 결과를 검증하는 In-session Adaptation은 빠르게 현실화되고 있다.

이 변화는 장기 Agent의 Task Capability를 약 +0.7~1.2 OOM, 중앙값으로 약 +0.9 OOM 높일 가능성이 있다.

다만 경제 전체에서 실현되는 OOM은 Model Capability보다 늦게 나타난다.

Agent Infrastructure와 기업 Workflow, 권한관리, 검증체계가 구축되는 과정이 필요하기 때문이다.

따라서 2025~2030년의 Unhobbling OOM은 한 번에 반영하기보다 점진적으로 상승하는 경로로 보는 편이 적절하다.

2026년 +0.4 OOM
2028년 +1.0 OOM
2030년 +1.5 OOM

이러한 Agent 기능이 실제 수요로 연결되면 Task당 Token 사용량은 일반 Chatbot보다 수십 배에서 수백 배 증가할 수 있다.

Software Efficiency가 이 수요의 일부를 흡수하더라도, 기존에는 AI에 맡길 수 없었던 장기 작업이 새롭게 Computing 수요로 들어온다.

그 결과 2030년 HBM 수요는 기존 Hardware Base Case보다 대략 다음 수준까지 추가로 높아질 가능성이 있다.

Conservative: +15~20%
Base: +30~40%
Bull: +80% 이상

앞선 추정의 2030년 HBM 15.6EB를 기준으로 하면 중앙값은 약 21.4EB다.

결국 Astra와 Fable이 보여주는 변화는 단순히 모델이 조금 더 똑똑해졌다는 데 있지 않다.

AI가 몇 분 동안 답변하는 도구에서, 수일 동안 자신의 상태를 유지하며 작업하는 경제주체로 이동하기 시작했다는 점이 더 중요하다.

그리고 Agent가 일하는 시간이 길어질수록 필요한 것은 더 많은 Parameter만이 아니다.

더 많은 Inference Compute와 Network, 더 넓은 Memory Bandwidth, 더 큰 HBM Capacity다.

Unhobbling은 AI의 잠재능력을 해방한다.
해방된 능력은 새로운 Agent 수요를 만들고,
새로운 Agent 수요는 다시 AI Computing과 HBM 수요를 높인다.

위 전문을 투자자 관점에서 요약해보자면,

Frontier Model 개선

→ 장기 Agent 성공률 상승
→ 기업이 더 큰 작업을 Agent에 위임
→ Agent 실행시간과 병렬성이 증가
→ Inference Compute와 Memory Traffic 확대
→ HBM Capacity·Bandwidth·Network·Storage 병목 강화
→ 고성능 Memory와 Advanced Packaging의 경제적 가치 상승

이는 메모리 투자 논리를 Training 중심에서 지속적인 Agentic Inference 중심으로 확장시키는 근거가 된다.

#글을 마치며,

Agent 시대의 Memory는 단순히 데이터를 저장하는 Hardware Capacity에 그치지 않는다.

무엇을 기억하고, 무엇을 버리며, 어떤 정보에 우선순위를 부여할지를 결정하면서 성능·정확성·안전성을 동시에 통제하는 Control Layer로 진화할 가능성이 높다.

결국 Memory Policy 자체가 새로운 핵심 알고리즘이 되는 셈이다.

그런데 보안과 안보 측면에서 이처럼 중요하고 민감한 영역에, 구조적으로 신뢰 문제가 제기될 수밖에 없는 중국산 메모리를 사용할 수도 있다고?

~~솔직히 말해,~~ ~~미친소리에 가깝다고 생각된다.~~

=끝

참고자료

Andrej Karpathy, AGI is still a decade away
OpenAI, GPT-5.6: Frontier intelligence that scales with your ambition
OpenAI, How enabling two settings tripled our scores on ARC-AGI-3
OpenAI, Ten advances in mathematics and theoretical computer science
Anthropic, Claude Fable 5 and Claude Mythos 5
Anthropic, Effective context engineering for AI agents
Anthropic, Effective harnesses for long-running agents
LongMemEval — https://arxiv.org/abs/2410.10813
MemoryAgentBench — https://arxiv.org/abs/2507.05257
AgentDebug — https://arxiv.org/pdf/2509.25370v1
MAGE — https://arxiv.org/abs/2606.06090
Proactive Memory Agent — https://arxiv.org/abs/2607.08716
ChronoMem — https://arxiv.org/abs/2607.27773
Governance Decay — https://arxiv.org/abs/2606.22528
METR, Task-Completion Time Horizons
PagedAttention and vLLM — https://arxiv.org/abs/2309.06180
NVIDIA, Inside Rubin GPU Architecture

2026년 8월 2일 일요일

생각정리 327 (* Situational Awareness: The Decade Ahead, OOM)

지난 주말, Leopold Aschenbrenner의 과거 인터뷰를 다시 찾아봤다.

가장 인상적이었던 것은 그의 사고의 속도였다. 그는 대화 도중에도 스스로 질문을 던지고 곧바로 다음 해답으로 넘어갔다. 머릿속에서는 이미 A에서 B, 다시 C로 이어지는 인과관계가 정립돼 있는 듯했고, 상대방이 그 흐름을 따라오지 못할 때면 약간의 답답함도 드러나는 것처럼 보였다.

상대방의 속도에 맞춰 설명하기보다 자신의 사고를 더 깊이 밀어붙이는 유형에 가까웠다. 대화 중 갑자기 한 단계 앞선 질문을 던지고, 상대방이 잠시 맥락을 놓치는 장면에서도 그러한 특징이 엿보였다.

AI 기술과 자본시장이 지금처럼 빠르게 변화하는 환경에서 저런 속도로 사고하는 사람들과 경쟁해야 한다고 생각하니 솔직히 등골이 서늘해졌다.

~~(머리 회전이 빠른 어린 세대, 미래의 투자자(*경쟁자)들이 두려워진다..)~~

이번 글에서는 그가 OpenAI 재직 당시 작성했고, 이후 투자자로 전환하는 과정에서 자신의 AI 전망을 집대성한 장문 에세이 **《Situational Awareness: The Decade Ahead》**를 따라가 본다.

그의 결론을 그대로 받아들이기보다, AI Computing 수요를 어떤 논리와 수치로 추론했는지, 그리고 그 사고방식에서 무엇을 배울 수 있는지를 중심으로 정리해보려 한다.

OOM: 2030년 AI Computing 1만 배와 H/W 수요의 실제 크기

2024년 6월 Leopold Aschenbrenner가 공개한 **《Situational Awareness: The Decade Ahead》**는 AGI의 도래 가능성을 다룬 장문 에세이로 알려졌다.

그러나 이 글의 산업적 의미는 AGI가 정확히 어느 해에 등장하느냐에만 있지 않다.

Aschenbrenner는 AI 성능의 발전을 물리적 Compute, 알고리즘 효율, Unhobbling이라는 세 가지 요소로 분해했다. 그리고 서로 성격이 다른 발전을 OOM, Order of Magnitude라는 하나의 단위로 환산했다.

이 방식은 AI 산업의 미래 수요를 추정하는 데 유용하다.

모델 성능이 앞으로 얼마나 높아지는지를 추정하는 데서 끝나지 않는다. 그 성능을 구현하기 위해 얼마나 많은 AI 데이터센터 전력과 GPU, HBM, DRAM, NAND, Network Chip, Optical Component와 냉각설비가 필요한지까지 연결할 수 있기 때문이다.

이번 글의 출발점은 다음 질문이다.

2030년까지 AI Computing 생산능력은 얼마나 증가할 것인가.

그리고 그 결론을 다시 물리적 수요로 환산해본다.

그 정도의 AI Computing을 구현하려면 실제로 얼마나 많은 GPU와 Memory, Network, Storage, 전력 인프라가 필요할까.

1. 《Situational Awareness: The Decade Ahead》

Aschenbrenner는 AI를 단순한 소프트웨어 산업으로 보지 않았다.

그는 Frontier AI가 발전할수록 GPU뿐 아니라 데이터센터와 발전소, 송전망, 변압기, 냉각설비, 반도체 생산시설까지 함께 확대돼야 한다고 봤다.

AI 경쟁의 단위가 Model에서 Cluster로 이동하고, 다시 Cluster에서 AI Factory 전체로 이동한다는 것이 에세이의 핵심이다.

그가 제시한 초기 경로는 다음과 같았다.

그는 2027년 전후 AI 관련 연간 투자액이 1조달러에 이를 수 있다고 전망했다.

동시에 AI Scaling의 최종 병목은 GPU 생산능력보다 전력과 전력 인프라가 될 가능성이 높다고 주장했다.

2026년 현재 돌아보면, 개별 연도와 수치는 수정할 부분이 있다.

그러나 AI가 물리적 자본과 전력을 대규모로 소비하는 산업으로 전환될 것이라는 방향성은 상당히 정확했다.

생각정리 326 (* Right Thesis, Wrong Leverage)

OOM이란 무엇인가

OOM은 Order of Magnitude, 즉 10진수 기준의 규모 차이를 뜻한다.

학습에 투입되는 Compute가 10배 증가하면 Physical Compute가 +1 OOM 증가한 것이다.

과거와 같은 성능을 10분의 1에 해당하는 Compute만으로 달성하게 돼도 Algorithmic Efficiency가 +1 OOM 개선된 것이다.

OOM의 장점은 서로 다른 개선요인을 더할 수 있다는 데 있다.

Physical Compute +1 OOM
Algorithmic Efficiency +1 OOM
Unhobbling +1 OOM
총합 +3 OOM
= 1,000배의 Task-effective Compute

다만 이것이 AI의 지능지수나 사고능력이 1,000배 향상됐다는 의미는 아니다.

특정 수준의 문제를 해결하기 위해 사용할 수 있는 연산량과 효율, 실제 업무수행 능력을 Compute-equivalent로 환산한 개념이다.

2. AI 발전을 구성하는 세 가지 OOM

Aschenbrenner는 GPT-2에서 GPT-4로 이어진 발전을 크게 세 요소로 분해했다.

Physical Compute

더 많은 GPU와 더 큰 Cluster를 이용해 모델을 학습한다.

모델의 Parameter와 Training Token을 확대하고, 더 많은 학습 연산량을 투입하는 가장 직접적인 Scaling이다.

Algorithmic Efficiency

Architecture와 Optimizer, Dataset, Training Method를 개선한다.

같은 성능을 더 적은 Compute로 달성하거나, 같은 Compute에서 더 높은 성능을 만들어낸다.

Unhobbling

모델 내부에 이미 존재하는 잠재능력을 실제 작업능력으로 바꾸는 과정이다.

Instruction Tuning, RLHF, Chain-of-Thought, Tool Use, Memory, Routing과 Agent Scaffolding 등이 여기에 포함된다.

ChatGPT가 등장하기 전의 GPT-3는 높은 언어능력을 가지고 있었지만, 사용자의 의도를 안정적으로 따르지 못했다.

RLHF와 Instruction Tuning은 완전히 새로운 지식을 추가하기보다 모델 내부의 잠재능력을 사용 가능한 제품으로 해방한 변화에 가까웠다.

3. GPT-2에서 GPT-5.6·Fable 5까지

GPT-2에서 현재의 GPT-5.6과 Claude Fable 5까지 발전한 과정을 OOM으로 나눠볼 수 있다.

다만 GPT-4 이후 주요 AI 기업들은 Parameter와 Training Token, Training FLOP을 구체적으로 공개하지 않는다.

따라서 아래 수치는 공개된 자료와 모델 성능, 추정 Training Compute를 바탕으로 재구성한 중앙 추정치다.

정확한 실측값이라기보다 각 세대에서 어떤 요소가 발전을 주도했는지를 이해하기 위한 수치에 가깝다.

단계별 OOM 개선 추정

구성요소별 누적 개선은 다음과 같다.

중앙값을 단순 환산하면 약 $10^{10.4}$ , 즉 250억배다.

그러나 이는 AI가 모든 영역에서 GPT-2보다 250억배 똑똑해졌다는 뜻이 아니다.

GPT-2가 거의 수행하지 못했던 Instruction Following과 Coding, Tool Use, 장기 Reasoning, Agent Workflow를 현재 모델이 수행하게 된 변화를 하나의 Compute-equivalent 축에 올린 결과다.

현실적으로는 GPT-2 이후 약 9~12 OOM의 Task-effective 도약이 있었다고 보는 편이 안전하다.

GPT-2에서 GPT-3: Physical Scaling

GPT-2에서 GPT-3로 넘어가는 과정은 대부분 Physical Compute가 주도했다.

모델 크기와 Dataset, Training Compute가 대폭 증가하면서 Few-shot Learning이 나타났다.

별도의 Fine-tuning 없이도 Prompt 안에 제공된 예시를 바탕으로 새로운 작업을 수행할 수 있게 됐다.

이 시기의 핵심은 단순했다.

더 큰 모델에 더 많은 데이터를 넣고 더 많은 Compute로 학습하면 성능이 상승한다.

GPT-3에서 ChatGPT: Unhobbling

GPT-3에서 ChatGPT로의 변화는 Physical Scaling만으로 설명하기 어렵다.

Instruction Tuning과 RLHF를 적용하자 훨씬 작은 모델도 기존 GPT-3보다 사용자의 요청을 더 잘 따르기 시작했다.

모델이 완전히 새로운 지식을 얻었다기보다, 내부의 잠재능력을 사람이 원하는 방식으로 꺼내 쓸 수 있게 된 것이다.

ChatGPT의 등장은 Unhobbling이 AI 성능에 얼마나 큰 영향을 미칠 수 있는지 보여준 첫 번째 대규모 사례였다.

GPT-4에서 GPT-4o: Stack Efficiency

GPT-4o는 GPT-4 계열의 높은 언어·코딩 능력을 유지하면서 속도와 비용효율을 개선했다.

텍스트와 음성, 이미지를 별도의 모델로 연결하던 구조도 하나의 End-to-end Multimodal Model로 통합했다.

이 구간에서는 단순한 Training Compute 확대보다 Tokenizer, Architecture, Serving Stack과 Multimodal Integration의 기여가 컸다.

GPT-4o에서 o1·o3: Test-time Compute

o1 이후 AI 발전의 중심은 다시 한번 변했다.

기존 모델은 답변을 바로 생성하는 데 가까웠다.

Reasoning Model은 답변을 내놓기 전에 여러 전략을 시험하고 오류를 확인하며, 더 많은 추론 Token을 사용할 수 있게 됐다.

동시에 같은 Reasoning 성능을 더 적은 Token으로 달성하는 효율개선도 진행됐다.

이 시점부터 Training Compute뿐 아니라 Inference 과정에서 얼마만큼의 Compute를 어떻게 배분하는지가 최종 성능을 결정하기 시작했다.

GPT-5 이후: Model에서 System으로

GPT-5 이후의 Frontier AI는 하나의 거대한 단일 모델이라기보다 여러 모델을 묶은 System에 가까워지고 있다.

빠른 답변을 담당하는 모델과 깊은 Reasoning을 담당하는 모델이 분리된다.

Router는 질의의 난도와 Tool 필요성을 판단해 적절한 모델과 Reasoning Budget을 선택한다.

필요하면 여러 Agent가 병렬로 작업한다.

이제 성능은 모델의 Parameter뿐 아니라 어떤 질의에 어떤 모델을 배정하고, 얼마만큼의 Compute를 투입하는지에 따라 달라진다.

GPT-5.6과 Fable 5: Token Efficiency

최근 모델들은 특정 업무에서 동일하거나 더 높은 품질을 훨씬 적은 Token으로 달성하기 시작했다.

일부 Coding과 금융 Workflow에서는 이전 세대보다 Token 사용량을 20~70% 줄인 사례가 나타났다.

이를 OOM으로 환산하면 한 번의 주요 모델 업데이트가 특정 작업에서 약 +0.1~0.5 OOM의 Algorithmic·Inference Efficiency 개선을 제공하는 셈이다.

다만 모든 작업에서 동일한 개선이 나타나는 것은 아니다.

Model Benchmark가 개선돼도 장기 Agent 작업의 실패율과 오류 누적은 여전히 중요한 제약이다.

4. 《The Decade Ahead》의 1차 평가

Physical Compute는 예상과 부합했다

Aschenbrenner는 Frontier Training Compute가 연간 약 0.5 OOM 증가할 것으로 봤다.

실제 Frontier Model의 Training Compute는 장기간 연평균 약 4~5배 증가한 것으로 추정된다.

OOM으로 환산하면 약 +0.6~0.7 OOM에 해당한다.

따라서 AI Physical Computing의 규모가 빠르게 확대될 것이라는 전망은 대체로 적중했으며, 일부 구간에서는 그의 가정을 상회했다.

알고리즘 개선은 현재까지 부합했지만 앞으로는 둔화될 수 있다

과거 Language Model의 Algorithmic Efficiency는 연간 약 +0.4~0.5 OOM 개선된 것으로 추정된다.

이는 Aschenbrenner의 연간 +0.5 OOM 가정과 비슷하다.

다만 초기에는 Transformer Architecture와 Scaling Law, Data Pipeline, Optimizer처럼 큰 개선을 가져올 수 있는 기회가 많았다.

앞으로는 쉬운 개선기회가 점차 소진될 수 있다.

성능 향상의 중심도 순수한 Pre-training Algorithm보다 Post-training과 Test-time Compute, Routing, Tool Use와 Agent Scaffolding 쪽으로 이동하고 있다.

따라서 정확한 평가는 다음과 같다.

알고리즘 효율 개선은 지금까지 그의 예상과 대체로 부합했다. 그러나 동일한 속도가 2030년까지 유지될 가능성은 낮다.

전력 수요는 맞았지만 실제 인프라 구축은 느렸다

AI 데이터센터의 전력수요와 발전계획은 Aschenbrenner가 제시한 방향과 상당히 유사하게 확대되고 있다.

그러나 전력계약과 발전계획이 곧바로 GPU가 사용할 수 있는 전력으로 전환되는 것은 아니다.

발전소와 송전망, 변전소, 가스터빈, Transformer, Switchgear와 계통연결에는 긴 시간이 필요하다.

따라서 AI Computing 수요와 자본투입은 예상 궤적을 따라갔지만, 실제 Energized Capacity는 상대적으로 뒤처졌다.

Aschenbrenner는 전력이 병목이 될 것이라는 점은 정확히 봤다.

다만 전력 인프라가 실제 가동 가능한 Compute로 전환되는 시간은 다소 짧게 본 것으로 해석할 수 있다.

5. 2030년까지 Algorithmic OOM

앞으로 GPT-6 또는 Fable 5 이후의 후속 모델이 등장하더라도, 모델 번호가 올라가는 것과 Algorithmic Efficiency가 1 OOM 개선되는 것은 같은 의미가 아니다.

신규 모델의 성능 향상에는 다음 요소가 함께 포함된다.

추가 Training Compute
Post-training Compute
Architecture와 Dataset 개선
Tool Use와 Memory
Routing과 Multi-agent
추가 Test-time Compute

따라서 미래 성능을 추정할 때는 순수한 Algorithmic Efficiency를 별도로 계산해야 한다.

2030년 누적 Algorithmic Efficiency는 다음과 같다.

$10^{1.55} \approx 35 배$

Hardware와 전력량이 전혀 늘어나지 않더라도, Algorithm 개선만으로 2030년에는 동일한 작업을 2025년보다 약 35배 효율적으로 처리하는 경로다.

시나리오별 범위는 넓다.

AI가 AI 연구와 Coding을 자동화해 연구생산성을 높이면 공격적 시나리오에 가까워질 수 있다.

반대로 Data Wall과 Agent Reliability 문제가 해소되지 않으면 보수적 시나리오에 머물 수 있다.

6. 전력 인프라가 만드는 OOM

AI Computing의 생산량은 Chip 성능만으로 결정되지 않는다.

동일한 GPU를 보유하더라도 전력연결과 냉각, 변전설비가 준비되지 않으면 실제 Compute를 생산할 수 없다.따라서 미래 AI Computing의 공급능력은 다음처럼 볼 수 있다.

\text{AI Compute Output} = \text{Algorithmic Efficiency} \times \text{Compute per IT Watt} \times \text{Usable IT Power}

마지막 항목인 Usable IT Power는 단순 발전량이 아니다.

BTM 발전, Grid Connection, PUE, 전력변환 효율, BESS와 Flexible Compute가 모두 포함된 개념이다.

BTM과 Bridge-to-Grid

AI 데이터센터는 전력회사의 공급을 기다리는 소비자에서 벗어나 발전설비를 직접 개발하는 방향으로 이동하고 있다.

자체 발전으로 먼저 데이터센터를 가동한 뒤 Grid 연결을 기다리는 Bridge-to-Grid가 대표적인 방식이다.

자체 발전과 Grid를 함께 사용하는 Flexible Connection, 장기적인 Islanded Campus도 가능하다.

BTM의 핵심은 발전효율을 몇 퍼센트 높이는 데 있지 않다.

계통연결을 기다리던 GPU를 수개월 또는 수년 먼저 가동할 수 있게 만드는 Capacity Realization 기술이라는 데 있다.

SST와 800VDC

기존 데이터센터의 전력은 여러 단계에 걸쳐 변환된다.

중전압 AC에서 저전압 AC로 내려오고, UPS와 PDU, PSU를 거쳐 다시 DC로 바뀐다.

각 단계에서 전력손실과 열이 발생한다.

SST와 800VDC는 중전압 AC를 고전압 DC로 변환해 Rack까지 전달하면서 전력변환 단계를 줄이는 구조다.

다만 SST의 효율개선만으로 큰 OOM이 만들어지지는 않는다.

더 중요한 효과는 다음과 같다.

전기실 면적 축소
설치기간 단축
BESS 직접 연결
전력밀도 상승
변환설비와 장애지점 감소

BESS와 Flexible Compute

모든 AI Training 작업이 즉시 완료돼야 하는 것은 아니다.

우선순위가 낮은 작업은 전력수요가 낮은 시간으로 이동할 수 있다.

GPU Power Cap을 조절하거나 지역 간 Workload를 이동하는 것도 가능하다.

Flexible Compute를 허용하면 Grid가 모든 시간대의 최대부하를 기준으로 발전소와 송전망을 건설하지 않아도 된다.

그 결과 기존 전력망에 더 많은 AI 데이터센터를 연결할 수 있다.

GETs와 Reconductoring

신규 송전망 건설에는 장기간이 필요하다.

반면 Dynamic Line Rating과 고성능 전선 교체는 기존 송전망의 전송능력을 더 빠르게 높일 수 있다.

AI 데이터센터가 집중된 핵심 지역에서 이러한 기술을 적용하면 신규 송전선이 완공되기 전에도 일부 추가전력을 공급할 수 있다.

2030년 Power Infrastructure OOM

2025년부터 2030년까지의 초기 Energization 효과까지 포함하면 Power Infrastructure의 누적기여는 약 +0.60 OOM, 약 4배로 추정한다.

전력 OOM의 대부분은 순수 효율개선보다 다음 두 가지에서 발생한다.

얼마나 많은 신규 발전량을 확보하는가.

그 발전량을 얼마나 빨리 AI 데이터센터에 연결하는가.

결국 BTM과 Grid Connection이 SST 자체보다 더 큰 OOM을 만든다.

7. Rubin과 Feynman이 만드는 Physical Computing OOM

전력 인프라가 AI Factory에 공급되는 MW를 늘린다면, Rubin과 Feynman은 같은 1MW에서 생산되는 Token과 Training Compute를 늘린다.

NVIDIA는 Vera Rubin이 Blackwell 대비 특정 MoE 추론 조건에서 동일 전력당 최대 10배 높은 Token 생산량을 제공할 수 있다고 제시한다.

10배는 그대로 +1 OOM이다.

다만 이를 전체 AI Fleet에 즉시 적용해서는 안 된다.

Rubin은 신규 Cluster부터 순차적으로 도입된다.

기존 Hopper와 Blackwell도 상당 기간 함께 가동된다.

또한 추론 Token/MW 10배와 Training Compute 개선은 동일한 개념이 아니다.

따라서 연도별 OOM에는 다음을 가중평균해 반영해야 한다.

신규 Architecture의 성능
실제 Fleet 내 보급률
Training과 Inference의 Workload Mix
HBM과 Network Utilization
기존 GPU의 잔존비중

Feynman 이후의 구체적인 개선배수는 아직 불확실하다.

하지만 차세대 CPU와 GPU, HBM, Co-packaged Optics, Scale-up Network와 전력구조를 함께 설계하는 Rack-scale Co-design은 계속될 가능성이 높다.

2030년 누적 개선은 다음과 같다.

10^{1.90} \approx 79 배

즉 같은 IT 전력을 기준으로 2030년 AI Hardware System은 2025년보다 약 80배 많은 유효 Compute 또는 Token Output을 생산하는 경로다.

이는 개별 GPU FLOPS의 개선만을 의미하지 않는다.

GPU, HBM, CPU, NVLink, Network, Precision, Storage와 Serving Software가 결합된 Rack-scale Physical Computing의 개선이다.

8. 2030년까지의 종합 OOM

이제 세 가지 요소를 합쳐볼 수 있다.

Algorithmic Efficiency

같은 성능을 더 적은 연산으로 달성한다.

Physical Hardware·System

같은 IT 전력으로 더 많은 Compute와 Token을 생산한다.

Power Infrastructure

실제로 가동할 수 있는 AI용 MW를 늘린다.

구성요소별 누적치는 다음과 같다.

계산은 다음과 같다.

$35\times79\times4\approx11,000$

Base Case에서 2030년 AI 산업이 생산할 수 있는 Compute-equivalent Output은 2025년 대비 약 4 OOM, 1만배 이상으로 증가할 수 있다.

그러나 이 수치는 AI가 인간보다 1만배 똑똑해진다는 뜻이 아니다.

전 세계 AI Factory가 일정 시간 동안 생산할 수 있는 Token과 Reasoning Step, Training Experiment와 Agent Task의 총량이 그만큼 증가할 수 있다는 의미다.

시나리오별 전망

이제 중요한 질문이 남는다.

1만배의 AI Computing을 만들기 위해 실제 GPU와 Memory, 데이터센터도 1만배 늘어나야 하는가.

결론부터 말하면 그렇지 않다.

1만배는 Algorithm과 Hardware Efficiency, Power Capacity가 곱해진 결과다.

실제 물리적 부품 수요의 증가는 이보다 훨씬 낮다.

그러나 AI Rack의 구성부품 중 일부는 GPU보다 훨씬 빠르게 증가한다.

이제 1만배의 AI Computing을 실제 H/W 수요로 환산해보자.

9. 추정의 출발점: 2025년 AI 인프라

2025년 말 전 세계 AI 데이터센터의 정격전력을 약 30GW로 설정한다.

AI Chip 자체의 전력과 Server, Network, Cooling 등 시설 전체를 포함한 추정치다.

AI Accelerator 설치대수는 약 1,100만~1,400만개 범위로 본다.

본 글에서는 중앙값인 1,250만개를 계산의 기준으로 사용한다.

여기서 AI Accelerator에는 NVIDIA GPU뿐 아니라 AMD Instinct와 Google TPU, Amazon Trainium, 기타 Custom ASIC이 포함된다.

실제 제품별 성능은 다르지만, AI Computing Capacity를 구성하는 물리적 Chip 수요를 파악하기 위해 하나의 범주로 묶었다.

10. 2030년 AI 데이터센터 전력

2030년 글로벌 데이터센터 전력소비는 1,000TWh 이상으로 확대될 가능성이 높다.

AI가 전체 데이터센터 전력증가의 대부분을 차지한다고 가정하면, AI 전용 또는 AI 중심 시설의 정격전력은 약 90~130GW 범위로 증가할 수 있다.

Base Case는 110GW다.

2025년부터 2030년까지 물리적인 AI 데이터센터 전력은 약 3.7배 증가한다.

OOM으로는 약 +0.57에 해당한다.

따라서 1만배 AI Computing의 물리적 기반은 데이터센터 GW 약 4배 증가에서 출발한다.

11. GPU와 AI Accelerator는 얼마나 더 필요한가

AI 데이터센터의 전력은 약 4배 증가하지만 Accelerator 대수가 4배 증가하는 것은 아니다.

향후 GPU와 ASIC 한 개가 소비하는 전력도 계속 높아지기 때문이다.

고밀도 AI Rack에서는 Accelerator당 전력이 1kW를 넘어 2kW 안팎까지 상승할 가능성이 있다.

전체 시설전력에서 AI Accelerator가 차지하는 비중을 약 50~60%로 적용하면 2030년 설치대수는 다음과 같이 추정된다.

2030년 Base Case에서 실제 AI Accelerator 설치대수는 약 2,850만개다.

1만배의 AI Computing Output을 구현하는 데 필요한 Accelerator 자체는 2025년보다 약 2.3배 증가하는 것으로 추정된다.

나머지 개선은 Chip당 성능과 HBM Bandwidth, Network, 저정밀 연산, Software Stack과 Algorithmic Efficiency에서 발생한다.

12. 연도별 Physical Infrastructure 경로

NVL72 Rack Equivalent는 모든 Accelerator를 GPU 72개 Rack으로 환산한 수치다.

실제 물리적 Rack 수와는 다르다.

향후에는 1MW급 Power Domain에 수백개의 GPU를 집적하는 구조가 확산될 수 있기 때문이다.

2030년의 2,850만 Accelerator는 다음과 같이 환산할 수 있다.

약 39만6,000개의 72-GPU Rack Equivalent
약 4만9,500개의 576-GPU Power Domain Equivalent

AI 데이터센터는 Rack의 개수만 늘어나는 것이 아니다.

하나의 Rack 또는 Power Domain에 훨씬 많은 GPU와 전력, Memory와 Network를 집적하는 방향으로 발전한다.

13. 가장 빠르게 증가하는 것은 GPU보다 HBM이다

GPU 설치대수가 약 2.3배 증가하는 동안, 전체 HBM 용량은 약 7~10배 확대될 가능성이 있다.

이는 단순히 GPU 수가 늘어나기 때문만은 아니다. GPU 설치대수와 GPU당 HBM 탑재용량이 동시에 증가하기 때문이다.

2025년 전체 AI Accelerator Fleet의 평균 HBM 용량은 Accelerator당 약 120~140GB로 추정된다. 그러나 2030년에는 차세대 GPU와 ASIC의 고용량 HBM 채택이 확대되면서 평균 탑재량이 약 400~500GB까지 상승할 수 있다.

이를 기준으로 계산하면 2030년 AI Accelerator에 직접 부착되는 HBM 용량은 약 128억GB, 즉 12.8EB에 이를 수 있다.

결국 AI Computing 수요를 실제 반도체 수요로 환산하면, GPU 설치대수보다 HBM Bit 수요의 증가율이 훨씬 가파르게 나타난다.

HBM의 연도별 수요를 추정하는 또 다른 방법은 HBM을 탑재하는 주요 AI Accelerator의 회사별·제품별 Roadmap을 기준으로, 예상 출하량과 제품당 HBM 탑재량을 Bottom-up 방식으로 합산하는 것이다.

아래 수치는 NVIDIA GPU를 비롯해 Google TPU, AMD Instinct, AWS Trainium 등 주요 AI Accelerator의 최신 제품 Roadmap과 예상 출하량을 반영해 산출한 HBM 수요 추정치다.

생각정리 214 (* HBM Bottleneck Era),

특히 눈에 띄는 변화는 당초 AMD가 NVIDIA를 가장 근접하게 추격할 것으로 예상됐지만, 최근에는 Google TPU ASIC이 공급망 선점과 자체 수요 기반을 바탕으로 빠르게 경쟁력을 높이며 AMD를 넘어 NVIDIA에 이은 2위권으로 부상하고 있다는 점이다.

구글은 텐서 프로세서(TPU) 주문 모멘텀을 확대할 계획이며, 2028년까지 TPU 수요가 1,500만 대에 이를 것으로 예상하고 있으며, 이는 현재 엔비디아의 연간 주문량 1,300만 대를 넘어서는 것으로 보이며, 이는 구글의 TPU 서버 배포에 대한 강력한 의지를 보여줍니다.

본문과 Bottom-up HBM 수요 추정치가 다른 이유

앞서 제시한 첫 번째 HBM 수요 추정치는 데이터센터 전력, Accelerator당 소비전력과 Rack Density를 기준으로 계산한 Physical Infrastructure 기반의 중앙 추정치다.

반면 두 번째 제품별 Bottom-up 모델은 NVIDIA GPU, Google TPU, AMD Instinct, AWS Trainium 등 주요 업체의 제품 Roadmap과 예상 출하량을 모두 합산하고, 차세대 제품의 HBM 탑재량까지 선반영한 추정치다.

이 Bottom-up 모델에는 아직 사양과 출하량이 확정되지 않은 차세대 제품뿐 아니라, Channel Check에 기반한 공격적인 출하량 전망과 제품당 512~1,024GB에 이르는 높은 HBM Density 가정이 포함돼 있다.

또한 일부 전망에서는 Accelerator, Package와 Chip 단위가 혼재하거나 업체별 수요가 중복 집계될 가능성도 있다. 이러한 수치를 단순 합산하면 2030년 HBM 수요는 약 24EB까지 상승한다.

따라서 본 글에서는 전력과 Advanced Packaging, HBM 공급 제약이 장기간 지속되는 보수적 경로를 Bear Scenario로 설정하고, 2030년 HBM 수요를 약 12.8EB로 가정한다.

반대로 HBM과 Advanced Packaging 병목이 예상보다 빠르게 해소되고, 주요 AI Accelerator의 제품별 Roadmap이 계획대로 실현될 경우 HBM 수요는 약 24EB까지 확대될 수 있다. 이를 Bull Scenario로 구분한다.

마지막으로 2025년 약 1.95EB인 HBM 수요가 2030년까지 약 8배 증가한 15.6EB에 도달하는 경로를 Base Scenario로 가정한다.

정리하면 2030년 HBM 수요는 공급 제약의 지속 여부와 차세대 Accelerator 출하 속도에 따라 다음과 같이 구분할 수 있다.

Bear Scenario: 12.8EB
Base Scenario: 15.6EB
Bull Scenario: 24.0EB

세 시나리오 모두 공통적으로 보여주는 핵심은 분명하다. AI Accelerator 설치대수의 증가보다 GPU와 ASIC당 HBM 탑재량 증가가 훨씬 빠르게 진행되면서, HBM Bit 수요가 AI 반도체 수요 증가의 중심축으로 부상할 가능성이 높다.

HBM Bit 수요와 Wafer 수요는 다르다

HBM 설치용량이 8배 증가한다고 HBM용 DRAM Wafer 수요도 정확히 8배 증가하는 것은 아니다.

2030년까지 다음 개선이 진행될 수 있기 때문이다.

DRAM Die Density 상승
HBM Stack 높이 증가
미세공정 전환
Advanced Packaging 수율 개선
HBM Die당 용량 상승

이를 반영하면 HBM Bit 수요가 약 7~10배 증가할 때 HBM용 DRAM Wafer 수요는 약 4~6배 증가하는 경로가 현실적이다.

다만 HBM은 일반 DRAM보다 Die 면적이 크다.

TSV와 적층공정, Base Die와 Advanced Packaging도 추가된다.

따라서 전체 DRAM Bit에서 차지하는 비중보다 Wafer와 제조원가, Packaging Capacity에서 차지하는 비중이 더 빠르게 상승할 가능성이 높다.

14. Host Memory는 HBM 다음으로 빠르게 증가한다

AI Rack은 GPU와 HBM만으로 구성되지 않는다.

CPU는 데이터 전처리와 Agent 실행, Tool Calling, Storage·Network 제어와 GPU Scheduling을 담당한다.

Agentic AI가 확대될수록 GPU 바깥의 Host Memory도 중요해진다.

Browser와 Code Execution, Retrieval, Sandbox, Database를 동시에 처리하려면 더 많은 CPU Memory가 필요하다.

2030년 Host CPU는 약 1,400만개가 Base Case다.

Host Memory 총용량은 약 5~7배 증가할 수 있다.

이 과정에서 Server DRAM뿐 아니라 데이터센터용 LPDDR가 새로운 대형 End Market으로 성장할 가능성이 있다.

15. Network Chip과 Optical 수요

GPU 수가 2배 증가한다고 Network 수요도 2배 증가하는 정도로 끝나지 않는다.

GPU가 늘어날수록 GPU 간 통신량이 더 빠르게 증가하기 때문이다.

대규모 Training은 수많은 GPU가 하나의 Model을 동시에 학습하는 구조다.

각 GPU는 Weight와 Gradient, Activation과 KV Cache를 지속적으로 주고받아야 한다.

따라서 GPU당 Network Bandwidth도 함께 증가해야 한다.

GPU 대수가 약 2.3배 증가하고 GPU당 Network Bandwidth가 약 3~5배 높아지면, 전체 AI Cluster의 Aggregate Network Bandwidth 수요는 약 8~12배 증가한다.

Network 전력효율과 Optical Integration이 개선되더라도 총 전송량이 더 빠르게 증가한다.

따라서 Optical과 Network Silicon의 수요 증가율은 GPU 대수 증가율보다 높을 가능성이 크다.

16. DPU·NIC·SSD 수요를 Rack BOM으로 환산하면

하나의 고성능 AI Rack에는 GPU만 들어가지 않는다.

Host CPU와 High-speed NIC, DPU, NVMe SSD, Switch와 NVLink Component가 함께 필요하다.

NVIDIA형 72-GPU Rack의 일반적인 구성비율을 적용하면 다음과 같은 BOM으로 환산할 수 있다.

GPU 72개
Host CPU 약 36개
High-speed NIC 약 72개 이상
DPU 약 18개
Local Cache용 NVMe SSD 약 72개
다수의 Scale-up·Scale-out Switch

이 비율을 2030년 Base Case에 적용하면 다음과 같다.

실제 Google TPU와 Amazon Trainium, AMD Instinct, Meta·Microsoft ASIC의 BOM은 서로 다르다.

그러나 전체 AI Rack이 필요로 하는 CPU와 NIC, DPU, Flash 수요의 크기를 가늠하기 위한 기준으로는 의미가 있다.

17. NAND와 Context Memory

Agentic AI에서는 HBM과 Host DRAM만으로 모든 Context와 KV Cache를 저장하기 어렵다.

AI Agent는 긴 대화기록과 문서, Code Repository, Tool Result와 사용자 Memory를 계속 참조해야 한다.

이 데이터를 모두 HBM에 보관하면 비용이 지나치게 높다.

따라서 HBM과 Host DRAM, Enterprise Storage 사이에 Flash 기반의 Context Memory 계층이 추가될 가능성이 높다.

AI용 NAND의 역할은 다음으로 확대된다.

Model Weight
Training Checkpoint
Dataset
Synthetic Data
KV Cache
Agent Memory
Vector Database
Local High-speed Cache
Model Artifact 배포

2030년 Accelerator 설치대수가 약 2.3배 증가하는 가운데 Accelerator당 Flash 용량이 약 2~4배 증가하면, AI Rack에 직접 연결되는 High-performance NAND 수요는 약 5~10배 증가할 수 있다.

NAND는 HBM처럼 GPU마다 고정적으로 부착되는 부품이 아니다.

따라서 오차범위가 더 넓다.

그러나 장기 Context와 Agent Memory가 확대될수록 Flash가 AI Computing의 핵심 Memory Tier로 진입할 가능성은 높다.

18. 전력·냉각 부품은 GW 증가율을 따라간다

AI 데이터센터 전력이 30GW에서 110GW로 증가하면 전력설비도 대체로 3~4배 확대돼야 한다.

필요한 부품은 다음과 같다.

Transformer
Switchgear
Busway
Power Semiconductor
BESS
CDU
Pump
Heat Exchanger
Cooling Tower
Gas Turbine
Substation

그러나 모든 부품 수량이 정확히 4배 증가하는 것은 아니다.

800VDC와 SST가 도입되면 여러 단계의 Transformer와 UPS, PDU와 PSU가 통합될 수 있다.

반면 Rack당 전력밀도가 상승하면 Liquid Cooling과 Power Semiconductor Content는 GW 증가율보다 더 빠르게 늘어난다.

특히 Liquid Cooling은 데이터센터 전체 GW보다 빠르게 성장할 가능성이 높다.

Hopper와 초기 Blackwell에서는 공랭과 액체냉각이 혼재했다.

그러나 Rubin과 Feynman 이후의 고밀도 Rack은 사실상 액체냉각이 필수에 가까워진다.

19. 핵심 부품별 2030년 수요 증가율

2025년 대비 2030년 Base Case

20. 무엇이 가장 많이 필요해지는가

2030년까지 가장 빠르게 증가하는 물리적 자원이 반드시 GPU인 것은 아니다.

GPU와 ASIC의 설치대수는 약 2~3배 증가한다.

AI 데이터센터 전력은 약 3~4배 증가한다.

그러나 GPU를 실제로 높은 가동률로 운영하기 위해 필요한 Memory와 Network, Storage와 Cooling은 그보다 더 빠르게 증가한다.

상대적으로 낮은 수량 증가

더 빠르게 증가하는 부품

AI Computing이 커질수록 Compute Chip 자체보다 Compute Chip을 쉬지 않고 가동시키는 부품들의 수요 증가율이 더 높아진다.

GPU가 아무리 빨라도 HBM에서 데이터를 공급받지 못하면 Tensor Core는 대기해야 한다.

생각정리 325 (* Memory Premium)

Network가 부족하면 GPU 수천개를 하나의 Cluster로 묶을 수 없다.

생각정리 283 (* AI Factory Networks)

Context Memory가 부족하면 긴 Agent Workflow를 경제적으로 운영하기 어렵다.

생각정리 319 (* NAND, eSSD)
생각정리 282 (* HDD)

전력과 냉각이 부족하면 GPU를 설치해도 가동할 수 없다.

생각정리 298 (* 전력기기, 전력수요)
생각정리 232 (* Power semiconductor, 전력반도체)

21. 최종 결론

이번 글의 목적은 AGI가 정확히 언제 도착하는지를 예측하는 것이 아니었다.

AI Computing 수요가 앞으로 얼마나 커질지, 그리고 그 수요가 실제로 어떤 H/W 부품의 물량 증가로 이어질지를 가늠하는 것이 목적이었다.

Aschenbrenner가 제시한 OOM Framework는 이 질문을 연결하는 데 유용하다.

2025년부터 2030년까지 Base Case는 다음과 같다.

Algorithmic Efficiency 약 35배

동일 IT 전력당 Physical Computing 약 79배

실제 사용 가능한 AI 전력 약 4배

세 요소를 곱하면 2030년 AI Computing 생산능력은 2025년 대비 약 1만1,000배까지 증가할 수 있다.

그러나 실제 GPU 수가 1만배 증가하는 것은 아니다.

Base Case에서 물리적 AI 인프라는 다음 정도로 확대된다.

결국 2030년 AI Computing Expansion을 가장 잘 설명하는 수치는 GPU 대수 하나가 아니다.

GPU·ASIC 수는 약 2~3배 증가한다.

AI 데이터센터 전력은 약 4배 증가한다.

HBM과 Host Memory는 약 5~10배 증가한다.

Network와 Optical 처리량은 약 10배 이상 증가한다.

Cooling과 Power Component 역시 GPU보다 빠르게 증가한다.

AI 산업의 병목은 GPU 하나에서 끝나지 않는다.

성능이 높아질수록 더 많은 HBM과 DRAM, NAND와 Network가 필요해진다.

Rack Density가 높아질수록 더 많은 전력반도체와 액체냉각이 필요해진다.

Cluster가 커질수록 Optical과 Switch Silicon이 더 중요해진다.

Agentic AI가 확산될수록 Context Memory와 Storage가 추가된다.

따라서 앞으로의 AI H/W Cycle은 단순히 GPU 판매량이 증가하는 Cycle로 정의하기 어렵다.

정확한 표현은 다음에 가깝다.

AI Computing은 GPU를 중심으로 성장하지만, 실제 수요의 가장 높은 증가율은 Memory와 Network, Power와 Cooling에서 나타난다.

AI 경쟁의 단위는 Model에서 Rack으로 이동했다.

Rack은 다시 데이터센터와 발전소, 송전망을 포함한 AI Factory로 확대되고 있다.

그리고 2030년까지 가장 희소해질 가능성이 높은 자원은 단순한 연산 Chip이 아니다.

연산 Chip에 데이터를 공급하는 Memory, Chip들을 하나로 묶는 Network, 그리고 전체 System을 멈추지 않고 가동시키는 전력 인프라다.

APPENDIX. Sources

Situational Awareness

AI Scaling and Algorithmic Efficiency

Model Development

Data Center Power

NVIDIA Hardware and Rack-scale Systems

Memory and Storage

#글을 마치며

AI 업계의 기술개발 로드맵과 발전 흐름을 제대로 따라가고 있는지는 여전히 확신하기가 쉽지 않다. 다만 변화 속도가 워낙 빠른 만큼, 불과 한두 달만 뒤처져도 중요한 흐름을 놓칠 수 있다는 경각심은 점점 커지고 있다.

결국 한정된 시간을 어디에 써야 할지도 고민하게 된다. 충분히 공부하지 않은 주장과 입씨름하는 것이 필요한 검증 과정인지, 아니면 그 시간에 글 한 편을 더 읽고 생각을 정리하며 새로운 변화를 포트폴리오에 어떻게 반영할지 고민하는 편이 더 나은지 자주 되묻게 된다.

최근에는 후자에 조금 더 무게가 실린다.

물론 자기 논리에만 갇혀 반대 의견을 차단해서는 안 된다.

때로는 불편한 의견 속에서도 중요한 단서를 발견할 수 있다. 그럼에도 모든 시장의 소음에 일일이 반응하기보다는, 판단에 도움이 되는 의견과 그렇지 않은 소음을 구분하고 적당한 거리를 두는 것이 내 한정된 리소스를 더 효율적으로 사용하는 방법이 아닐까 싶다.

(매일 요동치는 주가의 변화만 바라보고 일희일비하며, 후견지명으로 산업의 전망에 대해 논하는게 무슨 의미가 있나 싶다..)

=끝