2026년 9월 9일 수요일

생각정리 364 (* From Words to Worlds, The Next Memory Supercycle)

지난주부터 Astra를 사용해 이것저것 시험해보고 있다.

처음에는 “와, 개쩐다”는 생각뿐이었다. 사람이 하던 것처럼 자료를 찾고, 문서를 읽고, 엑셀을 수정하며 결과까지 만들어내는 모습을 보면서 가능한 활용법을 하나씩 시험해봤다.

그러다 오늘 아침이 되어서야 Credit이 눈 녹듯 사라지고 있다는 사실을 뒤늦게 깨달았다.

Astra는 일반 Chatbot 형태의 이전 모델보다 Token당 단가가 높을 뿐 아니라, 하나의 업무를 처리하는 과정에서 훨씬 많은 Token을 사용한다. 자료를 읽고 끝나는 것이 아니라 계획을 세우고, 도구를 사용하고, 결과를 확인하고, 문제가 생기면 다시 시도하기 때문이다.

개인적인 Credit 사용 기반 report

특히 9월 8~10일 3일간 XXX크레딧, 전체 사용량의 74.1%가 집중됐습니다. 최근 여러 기업의 긴 컨퍼런스콜 원문과 대형 엑셀 어닝모델을 연속해서 처리한 영향으로 보입니다.

더 중요한 부분은 토큰 구성입니다.

캐시된 입력: xxxM tokens, 전체 토큰의 93.2%
신규 입력: xxM
출력: xxxM

즉, 답변을 길게 써서라기보다 긴 대화 문맥·첨부파일·기존 리서치 자료가 매번 모델에 다시 투입되는 구조가 크레딧 증가의 주된 원인

- From credit report

잠깐....

텍스트로 된 Earnings Call을 정리하고 몇 번의 Financial Modeling을 맡겼을 뿐인데도 사용량이 이 정도라면, 이미지와 영상을 만들거나 현실 세계를 계속 관찰하고 예측하는 World Model에서는 얼마나 많은 Token이 필요할까?

특히 앞으로 AI가 과학적 가설을 세우고 수많은 실험 결과를 비교하거나, 휴머노이드 로봇이 카메라와 센서를 통해 현실을 끊임없이 학습하기 시작한다면 지금과는 전혀 다른 규모의 Compute와 Memory가 필요할 수도 있다.

갑자기 그 차이가 궁금해졌다.

그래서 가장 이해하기 쉬운 해리포터를 예로 들어, AI가 책 한 권을 읽을 때와 같은 이야기를 영상과 움직이는 세계로 만들 때 필요한 Token이 얼마나 달라지는지부터 하나씩 계산해봤다.

AI가 글을 읽는 시대에서 현실 세계를 이해하는 시대로

최근 Agent와 World Model 관련 자료들을 살펴보면서 앞으로 AI가 얼마나 많은 Token과 데이터를 사용하게 될지 생각해봤다.

Token은 AI가 글이나 이미지, 영상을 이해하기 위해 정보를 잘게 나눈 조각이다.

지금까지는 주로 사람이 AI에게 질문하면 AI가 글로 답하는 과정에서 Token이 사용됐다.

하지만 Agent는 사람이 시키지 않아도 여러 단계를 거쳐 일을 수행한다. World Model은 여기서 더 나아가 카메라와 센서를 통해 현실 세계를 보고, 다음에 무슨 일이 일어날지 예상한다.

이를 가장 쉽게 이해하기 위해 해리포터 1권을 예로 들어보자.

1. 해리포터 책을 읽는 AI

『해리포터와 마법사의 돌』 영어 원서는 약 7만7,000단어로 이루어져 있다.

AI가 이 책을 처음부터 끝까지 한 번 읽으려면 약 10만 개의 Text Token이 필요하다.

Token을 이해하기 어렵다면 책을 레고 블록으로 잘게 나눈다고 생각하면 된다.

AI는 해리포터 책 전체를 약 10만 개의 작은 언어 블록으로 나누어 읽는다.

텍스트 파일로 저장하면 크기는 1MB도 되지 않는다.

즉 한 권의 책은 다음과 같이 표현할 수 있다.

Harry Potter Book
→ 약 77,000 Words
→ 약 100,000 Text Tokens
→ 1MB 이하의 Data

AI가 책을 요약하고 인물 관계를 분석하고 내용을 여러 번 검토한다면 더 많은 Token이 필요하다.

그래도 대부분 수십만 개에서 수백만 개 수준이다.

여기까지가 우리가 익숙하게 알고 있던 LLM의 세계다.

2. 같은 이야기를 영화로 만들면 어떻게 될까

이제 같은 해리포터 이야기를 영화로 만든다고 생각해보자.

책에서는 다음과 같이 한 문장으로 표현할 수 있다.

“해리는 움직이는 계단을 따라 호그와트 위층으로 올라갔다.”

그러나 영상을 만들려면 훨씬 많은 정보가 필요하다.

계단은 어떻게 생겼는지, 해리는 어디에 서 있는지, 옷은 어떻게 움직이는지, 주변 조명은 얼마나 어두운지, 카메라는 어느 방향에서 촬영하는지를 모두 표현해야 한다.

그리고 이 정보는 매 순간 달라진다.

텍스트는 한 문장으로 장면을 설명할 수 있지만 영상은 매초 수많은 화면의 변화를 기록해야 한다.

NVIDIA는 현실의 영상과 로봇 데이터를 이해하고 미래 장면을 생성하는 World Model인 Cosmos를 개발했다.

Cosmos는 2,000만 시간의 실제 영상 데이터를 약 9,000조 개의 Visual Token으로 바꿔 학습했다. 이를 단순하게 나누면 영상 1시간당 약 4억5,000만 개, 1초당 약 12만5,000개의 Visual Token에 해당한다.

NVIDIA Cosmos

해리포터 1편 영화는 약 152분이다.

이를 Cosmos 기준으로 계산하면 완성된 영화 한 편을 표현하는 데 약 11억 개의 Visual Token이 필요하다.

Harry Potter Book
→ 약 10만 Text Tokens

Harry Potter Movie
→ 약 11억 Visual Tokens

같은 이야기를 표현하는데도 영상은 텍스트보다 약 1만1,000배 많은 Token을 사용한다.

Text는 이미 정리된 이야기를 읽는다.

World Model은 이야기 속의 세계 전체를 직접 만들어야 한다.

3. 실제 영화 제작에는 완성본보다 훨씬 많은 데이터가 필요하다

영화는 처음 촬영한 장면을 그대로 사용하는 경우가 많지 않다.

같은 장면을 여러 번 촬영하고, 다른 카메라 각도를 사용하며, 특수효과와 배경도 여러 번 수정한다. 그렇게 만들어진 수많은 장면 가운데 가장 좋은 결과만 최종 영화에 들어간다.

World Model도 비슷하다.

AI가 하나의 미래만 생각하는 것이 아니라 여러 미래를 동시에 만들어보고 그중 가장 적절한 결과를 선택한다.

예를 들어 해리포터가 움직이는 계단 앞에 서 있다고 생각해보자.

AI는 다음과 같은 여러 미래를 만들 수 있다.

계단이 왼쪽으로 움직이는 미래
계단이 오른쪽으로 움직이는 미래
해리가 계단을 놓치는 미래
론과 헤르미온느가 나타나는 미래
계단 위에서 위험한 일이 생기는 미래

가능한 미래를 10개 만들면 필요한 Token도 대략 10배 늘어난다.

30개의 장면과 수정본을 만든다면 약 342억 개의 Token이 필요할 수 있다.

여러 미래를 반복해서 만들고 비교하면 수요는 다시 커진다.

Text AI는 책에 적힌 세계를 읽는다.

World Model은 그 세계가 실제로 움직이는 모습을 만들고, 앞으로 일어날 수 있는 여러 미래까지 계산한다.

Words
→ Images
→ Video
→ Interactive Worlds
→ Multiple Possible Futures

AI가 Text에서 World로 이동할수록 처리해야 하는 정보량이 폭발적으로 증가하는 이유다.

4. Agent는 Token을 사용하는 주체를 사람에서 AI로 바꾼다

기존 Chatbot은 사람이 질문할 때만 작동했다.

사람이 질문을 한 번 입력하면 AI도 답변을 한 번 생성했다.

하지만 Agent는 다르다.

예를 들어 “해리포터 영화의 흥행 성과를 분석해줘”라고 요청하면 Agent는 필요한 자료를 찾고, 숫자를 정리하고, 계산하고, 결과가 맞는지 확인한다. 오류가 발견되면 다시 자료를 찾고 계산을 수정한다.

질문
→ 계획
→ 자료 검색
→ 계산
→ 결과 확인
→ 오류 수정
→ 최종 답변

하나의 업무 안에서 AI가 수십 번 판단하는 구조다.

따라서 Agent는 사람이 Chatbot에 질문할 때보다 훨씬 많은 Token을 사용한다.

OpenRouter 데이터에서 Agent가 사용한 Token은 약 6개월 동안 0.5조 개에서 7.3조 개로 14배 증가했다.

2026년 2월에는 Agent의 Token 사용량이 인간의 직접 사용량을 추월했다. 현재 그래프 기준으로는 Agent가 사람보다 약 5배 많은 Token을 사용하고 있다.

OpenRouter Usage Rankings

중요한 변화는 AI 사용자가 늘어난 것만이 아니다.

Token을 사용하는 주체 자체가 사람에서 Agent로 바뀌고 있다.

사람은 쉬고 잠을 잔다.

Agent는 필요한 경우 하루 종일 여러 작업을 동시에 수행할 수 있다.

한 사람이 3개, 5개, 10개의 Agent를 사용하기 시작하면 AI 사용자 수는 사람 수보다 훨씬 빠르게 늘어난다.

5. AI는 기술기업 밖으로 빠르게 확산되고 있다

처음 AI를 적극적으로 사용한 곳은 기술기업이었다.

하지만 이제 금융, 제조업, 유통업과 같은 전통 산업도 AI를 빠르게 도입하고 있다.

Ramp 고객 기업 표본에서 유료 AI 서비스를 사용하는 비중은 다음과 같이 상승했다.

Technology and Media: 80.6%
Finance and Insurance: 73.1%
Manufacturing: 60.4%
Retail: 49.0%
Health Care: 42.9%
Construction: 42.0%

Ramp AI Index

이 수치는 미국 전체 기업의 정확한 보급률이 아니라 Ramp가 관찰할 수 있는 고객 기업의 결제 데이터를 기준으로 한다.

그럼에도 방향은 분명하다.

기술기업만 사용하던 AI가 은행, 보험회사, 공장, 병원, 건설회사와 식당까지 확산되고 있다.

사용하는 기업이 많아지고, 기업마다 여러 Agent가 일하기 시작하면 Token 수요는 다음과 같이 커진다.

More Companies
× More Employees
× More Agents per Employee
× More Tasks per Agent
× More Tokens per Task

https://openai.com/ko-KR/index/how-agents-are-transforming-work/?utm_source=chatgpt.com

https://openai.com/ko-KR/index/how-agents-are-transforming-work/?utm_source=chatgpt.com

https://openai.com/ko-KR/index/how-agents-are-transforming-work/?utm_source=chatgpt.com

6. 2030년까지 Token 수요는 얼마나 증가할까

Goldman Sachs는 Agent 확산으로 글로벌 월간 Token 사용량이 2026년 약 5경 개에서 2030년 120경 개로 증가할 것으로 전망했다.

4년 동안 약 24배 증가하는 수치다.

Goldman Sachs Research

왜 이렇게 빠르게 증가할까.

첫째, AI를 사용하는 사람이 늘어난다.

둘째, 한 사람이 여러 Agent를 사용하게 된다.

셋째, Agent는 하나의 일을 수행하기 위해 여러 번 모델을 호출한다.

넷째, AI가 글을 넘어 이미지·영상·음성까지 처리한다.

다섯째, 앞으로는 로봇과 자율주행차가 현실 세계의 데이터를 계속 만들어낸다.

Goldman Sachs의 120경 개는 주로 Chatbot과 Consumer·Enterprise Agent를 중심으로 한 전망이다.

World Model과 Physical AI가 빠르게 보급될 경우 여기에 추가 수요가 붙을 수 있다.

기준 시나리오에서는 2030년까지 전 세계에서 활동하는 휴머노이드 로봇이 약 100만 대에 도달하고, 제한된 카메라와 센서 데이터만 World Model 학습에 사용된다고 가정했다.

다만 이는 아직 공식 전망이 아니라 자체 계산이다.

로봇 보급이 늦어지거나 영상 압축기술이 빠르게 발전하면 수요는 낮아질 수 있다. 반대로 휴머노이드 외에 자율주행차, 드론, 산업용 로봇과 스마트 카메라까지 포함하면 수요는 예상보다 훨씬 커질 수 있다.

7. 다음 단계는 현실 세계에서 일하는 AI다

AI가 Text만 처리할 때는 사람이 만든 문서와 인터넷 자료가 주요 학습 데이터였다.

하지만 휴머노이드 로봇은 스스로 새로운 데이터를 만든다.

로봇은 카메라로 주변을 보고, 마이크로 소리를 듣고, 센서로 힘과 거리와 움직임을 측정한다. 물건을 잡다가 실패하면 그 과정도 새로운 학습 데이터가 된다.

한 대의 로봇이 새로운 동작을 배우면 그 결과를 다른 로봇들과 공유할 수도 있다.

Robot Deployment
→ Real-world Data
→ World Model Training
→ Better Robot Intelligence
→ More Robot Deployment

로봇이 늘어날수록 현실 데이터가 늘어난다.

데이터가 늘어날수록 World Model은 더 똑똑해진다.

World Model이 똑똑해질수록 로봇이 할 수 있는 일이 늘어난다.

그러면 더 많은 로봇이 판매되고, 다시 더 많은 데이터가 만들어진다.

인터넷 시대에는 사람이 데이터를 만들었다.

Physical AI 시대에는 기계가 스스로 데이터를 생산하기 시작한다.

8. 휴머노이드 한 대보다 더 큰 것은 데이터센터 수요다

휴머노이드 로봇 한 대에는 DRAM, NAND Flash, 센서, 통신칩과 여러 반도체가 들어간다.

이들 반도체 탑재액을 대당 600~800달러로 가정하면 다음과 같다.

100만 대: 6억~8억달러
1,000만 대: 60억~80억달러

다만 이 금액 전체가 순수한 메모리 매출은 아니다. 센서와 통신칩 등 다른 반도체도 포함되어 있으므로 실제 Memory Content는 이보다 작다.

더 큰 기회는 로봇이 작동하는 동안 계속 만들어내는 데이터에 있을 가능성이 높다.

로봇 한 대가 하루에 0.1~1TB의 카메라·센서 데이터를 만든다고 가정해보자.

100만 대가 작동하면 하루에 0.1~1EB, 1년이면 36.5~365EB의 원시 데이터가 만들어질 수 있다.

물론 모든 데이터를 영구적으로 보관하지는 않는다.

중복되거나 가치가 낮은 영상은 지우고, 실패하거나 새로운 상황을 담은 중요한 데이터만 남길 것이다.

전체의 1%만 저장하더라도 연간 약 0.4~3.7EB다. 10%를 남기면 3.7~36.5EB가 된다.

따라서 Physical AI의 메모리 수요는 두 곳에서 발생한다.

로봇 안의 Memory

DRAM: 주변 상황을 실시간으로 계산
NAND: 지도·모델·작업 기록을 저장
고성능 메모리: 더 복잡한 AI를 로봇 내부에서 실행

데이터센터의 Memory와 Storage

HBM: World Model 학습과 추론
Server DRAM: 대규모 데이터 처리
Enterprise SSD: 자주 사용하는 학습 데이터
HDD: 장기간 보관하는 영상과 센서 데이터

로봇 한 대에 들어가는 메모리도 중요하다.

하지만 로봇이 평생 만들어내는 데이터를 학습하고 저장하는 인프라의 가치가 더 클 수 있다.

9. 효율이 좋아지면 Memory 수요가 줄어들까

영상 압축과 Tokenizer 기술이 발전하면 같은 영상을 더 적은 Token으로 표현할 수 있다.

NVIDIA는 Cosmos Tokenizer가 기존 기술보다 더 높은 압축률과 빠른 처리 속도를 제공한다고 설명한다.

그렇다면 메모리와 Compute 수요가 줄어들까.

반드시 그렇지는 않다.

영상 한 시간을 처리하는 비용이 10분의 1로 낮아지면 기업은 영상 10시간만 처리하고 멈추지 않을 수 있다.

더 많은 카메라를 연결하고, 더 긴 시간을 기록하고, 더 많은 미래를 시뮬레이션하게 된다.

Token Cost ↓
→ More Cameras Connected
→ More Operating Hours
→ More Simulations
→ More Robots Trained
→ Total Token Demand ↑

자동차가 연료 효율이 좋아졌다고 사람들이 자동차를 완전히 사용하지 않게 되는 것은 아니다.

오히려 이동 비용이 낮아지면서 자동차 사용이 늘어날 수도 있다.

AI도 비슷하다.

토큰당 비용은 하락하지만 전체 Token 사용량은 더 빠르게 증가할 수 있다.

10. AI는 세 번에 걸쳐 Memory 시장을 확장한다

첫 번째 변화는 Training AI였다.

거대한 LLM을 학습하기 위해 GPU와 HBM이 필요해졌다.

두 번째 변화는 Agent AI다.

AI가 사람 대신 도구를 사용하고 오랫동안 일하면서 추론 Token과 KV Cache, Server DRAM 수요가 증가한다.

세 번째 변화는 World Model과 Physical AI다.

AI가 현실 세계를 보고 행동하기 시작하면서 영상·공간·센서 데이터가 계속 만들어진다.

Training AI
→ HBM 중심

Agent AI
→ HBM + Server DRAM + Enterprise SSD

Physical AI
→ HBM + DRAM + NAND + Enterprise SSD + HDD

AI는 데이터센터에서 첫 번째 메모리 사이클을 만들었다.

Agent는 Token을 사용하는 주체를 인간에서 소프트웨어로 확장한다.

World Model과 휴머노이드 로봇은 데이터 생성 장소를 인터넷에서 현실 세계로 확장한다.

글을 마치며

해리포터 책 한 권을 읽는 데 필요한 정보는 약 10만 개의 Text Token이다.

하지만 그 이야기를 영화처럼 움직이는 세계로 표현하면 약 11억 개의 Visual Token이 필요할 수 있다.

여러 장면과 미래를 만들고 비교하면 필요한 Token은 다시 수십 배, 수백 배 늘어난다.

이 차이는 단순히 영상 파일이 글보다 크다는 이야기가 아니다.

기존 AI는 사람이 이미 만들어놓은 지식을 읽었다.

앞으로의 AI는 현실을 직접 보고, 다음 상황을 예상하고, 행동하고, 실패한 결과를 다시 학습한다.

Chatbot은 사람이 질문해야 움직인다.

Agent는 일이 끝날 때까지 스스로 움직인다.

휴머노이드 로봇은 현실 세계에서 움직이면서 하루 종일 새로운 데이터를 만들어낸다.

Human Prompt
→ AI Agent
→ World Model
→ Physical AI

AI가 이 방향으로 발전할수록 Token을 사용하는 주체와 시간, 데이터의 종류가 함께 늘어난다.

Goldman Sachs의 전망대로 Agent만으로도 2030년 Token 수요는 2026년 대비 약 24배 증가할 수 있다. World Model과 Physical AI가 예상보다 빠르게 확산되면 약 35~60배 이상도 생각해볼 수 있다.

이 과정에서 가장 중요한 것은 단순히 로봇이 몇 대 판매되는지가 아닐 수 있다.

로봇이 얼마나 오랫동안 현실을 관찰하고, 얼마나 많은 데이터를 만들며, 그 데이터를 몇 번이나 학습과 시뮬레이션에 다시 사용하는지가 더 중요하다.

AI가 글을 읽던 시대에는 Compute가 필요했다.
AI가 현실을 보기 시작하는 시대에는 Compute와 Memory, Storage가 모두 필요하다.

다음 Memory Supercycle은 데이터센터 안에서만 만들어지지 않을 수 있다.

현실 세계를 돌아다니며 매일 새로운 데이터를 생산하는 수백만 대의 기계 안에 숨어 있을 가능성이 있다.

문뜩 AGI시대가 도래할지라도 너무 비싸서 쓸 수가 없으면 무슨 소용일까 싶다.

=끝

2026년 9월 8일 화요일

생각정리 363 (* The Price of Waiting, Astra & Ultra-Low Latency Inference)

초저지연 추론시장은 얼마나 빠르게 성장할 수 있을까?

Astra 이후, AI가 일하는 속도의 가치는 얼마나 커질까

이전 생각정리 361에서는 Astra와 같은 Agentic Model이 확산될수록 메모리의 용량과 대역폭이 왜 중요해지는지를 정리했다.

이번에는 그 변화가 초저지연 추론 시장을 얼마나 크게 열어갈 수 있을지 생각을 확장해본다.

Astra를 보면서 주목했던 변화는 AI가 사람이 일하는 환경 안으로 깊이 들어오기 시작했다는 점이다.

문서를 읽고, 엑셀을 수정하고, 브라우저에서 자료를 찾고, 전문 소프트웨어를 실행한다. 사람이 사용하던 도구를 AI가 직접 다루면서 하나의 업무를 끝까지 수행할 수 있는 범위가 넓어지고 있다.

그렇게 되면 AI의 속도에 붙는 경제적 가치도 커진다.

보고서를 언제 받을 수 있는지,
프로그램을 얼마나 빨리 수정할 수 있는지,
하루에 몇 번의 분석과 검증을 반복할 수 있는지가
AI의 처리 속도와 연결되기 때문이다.

AI가 더 많은 일을 맡을수록, AI를 기다리는 시간의 비용도 함께 커진다.

초저지연 추론 시장을 이해하는 출발점은 여기에 있다고 생각한다.

1. AI가 사람이 사용하던 도구를 직접 쓰기 시작했다

AI Agent는 목표를 받아 필요한 단계를 판단하고, 도구를 사용하고, 결과를 확인하면서 다음 행동으로 넘어가는 AI다.

예를 들어 경쟁사 분석을 맡겼다고 생각해보자.

Agent는 기업의 실적 자료를 찾고, 필요한 숫자를 추출하고, 엑셀에 입력한다. 계산이 맞는지 확인한 뒤 차트를 만들고 보고서를 작성한다. 숫자가 맞지 않으면 원문으로 돌아가 다시 확인한다.

OpenAI는 Astra의 활용 사례로 고객관리 시스템 업데이트, 온라인 조사, 문서·스프레드시트 작성, 전문 소프트웨어 사용 등을 제시했다. 컴퓨터 사용 평가에서도 이전 모델보다 짧은 시간에 더 높은 성공률을 보였다고 설명한다. 공개된 성능 수치에는 평가와 시뮬레이션 환경의 결과가 포함된다. OpenAI Astra 발표

GPT‑6 Astra on robotic manipulation

이 변화로 AI에 맡길 수 있는 업무의 종류가 넓어진다.

개발자뿐 아니라 재무 담당자, 연구원, 디자이너, 영업 담당자도 자신이 사용하는 프로그램 안에서 AI에게 일을 맡길 수 있다.

사람이 도구를 사용하며 수행하던 숙련 업무가 AI의 새로운 수요처로 들어오는 것이다.

이 흐름을 보면 AI 지식노동 시장이 장기적으로 10배 이상 확대될 가능성도 생각해볼 수 있다. 다만 실제 시장의 크기는 업무 수행 능력에 더해 신뢰성, 도입 비용, 반복 사용률에 의해 결정될 것이다.

2. Agent는 하나의 업무 안에서도 여러 번 판단한다

사람이 업무를 처리하는 과정을 떠올리면 이해하기 쉽다.

자료를 읽고 생각한다. 프로그램을 실행하고 결과를 확인한다. 오류가 있으면 원인을 찾고 다시 수정한다.

Agent도 이 과정을 반복한다.

판단 → 도구 실행 → 결과 확인 → 다음 판단

여기서 AI가 입력을 읽고 다음 행동이나 답변을 만들어내는 계산을 ‘추론’이라고 부른다.

Agent가 복잡한 업무를 맡으면 추론이 업무 중간에 반복적으로 들어간다. 앞선 결과를 확인해야 다음 행동을 결정할 수 있는 단계에서는 대기시간이 누적된다.

가상의 예를 들어보자.

한 업무에서 AI가 50번 판단하고, 매번 200개의 토큰을 생성한다고 가정한다. 토큰은 AI가 글과 명령을 처리하는 작은 단위다.

총 생성량은 1만 토큰이다.

초당 100토큰을 생성하면 생성에 100초가 필요하다. 초당 1,000토큰이면 10초로 줄어든다.

브라우저와 프로그램 실행 등에 별도로 50초가 들어간다면 전체 업무 시간은 다음처럼 달라진다.

설명을 위한 단순 계산이지만, 추론 속도가 10배 빨라지면서 전체 업무는 2.5배 빨라진다.

Agent에서는 반복되는 판단의 대기시간을 줄이는 것이 업무 전체의 생산성으로 연결된다.

3. 초저지연은 세 가지 시간을 함께 봐야 한다

초저지연 추론이라는 표현에는 서로 다른 시간이 들어 있다.

첫째는 첫 반응까지의 시간이다.

질문을 하거나 명령을 내린 뒤 AI가 반응하기 시작할 때까지 걸리는 시간이다. 음성 대화에서는 이 시간이 길어지면 대화의 흐름이 끊어진다.

둘째는 답변과 명령을 생성하는 시간이다.

AI가 첫 반응을 시작한 뒤 필요한 내용을 얼마나 빠르게 만들어내는지를 뜻한다. 긴 판단이나 여러 단계의 작업에서는 이 속도가 누적 대기시간에 영향을 준다.

셋째는 업무 전체가 끝나는 시간이다.

자료 검색, 프로그램 실행, 네트워크, 오류 수정과 사람의 확인까지 포함한다. 실제 사용자가 체감하는 시간은 여기에 가깝다.

따라서 빠른 추론의 효과는 업무마다 달라진다.

시뮬레이션 프로그램이 몇 시간 동안 계산해야 하는 업무에서는 프로그램의 계산 시간이 큰 비중을 차지한다. 반대로 AI가 짧은 판단을 연속적으로 내려야 하는 업무에서는 추론 속도의 영향이 커진다.

초저지연 시장의 경제적 가치는 성공한 업무 한 건을 얼마나 빨리, 얼마의 비용으로 완료하는지에 의해 결정된다.

4. 기다리는 시간이 줄어들면 사용 방식도 달라진다

보고서 초안을 만드는 데 한 시간이 걸리면 하루에 몇 번만 사용하게 된다.

몇 분이면 결과가 나온다면 가정을 바꿔 여러 번 비교할 수 있다. 시장 전망을 수정하고, 다른 가격을 적용하고, 반대 시나리오도 계산해본다.

프로그램 수정 결과를 빠르게 확인할 수 있으면 더 많은 기능을 시험한다. 디자인 시안이 빨리 나오면 더 많은 대안을 검토한다.

속도 개선은 반복 사용을 늘리고, 반복 사용은 다시 추론 수요를 키울 수 있다.

사용 가능한 업무의 범위도 달라진다.

몇 시간이 걸려 회의 전에 끝내기 어려웠던 분석이 몇 분 안에 가능해지면 회의 중에도 사용할 수 있다. 고객과 통화하면서 처리하기 어려웠던 복잡한 조회가 빨라지면 실시간 응대 과정에 들어갈 수 있다.

이처럼 처리 시간이 일정 수준 아래로 내려가면 새로운 사용처가 열릴 수 있다.

초저지연 추론의 성장에는 기존 업무의 시간 절약과 새롭게 가능해지는 업무의 확대가 함께 들어 있다.

5. 효율이 좋아져도 전체 추론 수요는 커질 수 있다

모델의 성능이 개선되면 한 업무에 필요한 토큰과 재시도 횟수가 줄어들 수 있다.

하지만 비용과 시간이 낮아지면 사람은 더 많은 업무를 AI에 맡길 수 있다.

전체 수요를 생각할 때는 다음 관계를 함께 봐야 한다.

사용자 수 × 사용자당 위임 업무 수 × 업무당 추론량

업무당 추론량이 줄어들더라도 사용자 수와 위임 업무 수가 더 빠르게 증가하면 전체 사용량은 늘어난다.

여기에 여러 Agent의 동시 작업이 더해질 수 있다.

한 Agent가 자료를 찾고, 다른 Agent가 계산하고, 또 다른 Agent가 결과를 검토하는 방식이다. 각각을 병렬로 처리하면 전체 시간을 줄일 수 있지만, 결과를 주고받거나 최종 판단을 기다리는 구간도 남는다.

따라서 앞으로의 추론 인프라는 개별 Agent의 빠른 응답과 많은 Agent를 동시에 처리하는 능력을 함께 요구받을 가능성이 높다.

한 명이 사용할 때의 최고 속도와 수많은 사용자가 몰렸을 때의 안정적인 속도를 같이 봐야 하는 이유다.

6. 초저지연 시장은 분야별로 다른 속도로 열린다

빠른 응답에 지불할 의사는 업무마다 다르다.

반복 횟수가 많고, 결과를 빨리 받을수록 다음 행동을 앞당길 수 있는 분야에서 시장이 먼저 커질 가능성이 높다.

코딩과 디자인: 반복 속도의 가치가 큰 선행 시장

코딩은 수정하고, 실행하고, 오류를 확인하는 과정이 반복된다.

개발자가 결과를 빨리 확인할수록 더 많은 수정과 검증을 시도할 수 있다. 사용 빈도가 높고 결과도 비교적 명확하게 확인할 수 있어 속도 개선의 효과를 측정하기 쉽다.

디자인도 시안을 만들고 비교하고 수정하는 반복 과정에서 비슷한 수요가 발생한다.

Cerebras와 Lovable의 협력은 빠른 추론이 소프트웨어 제작 서비스로 연결되는 사례다. Lovable·Cerebras 협력 발표

이 분야는 2026~2027년 초기 수요 확대를 이끄는 시장으로 본다.

사무업무와 컴퓨터 사용: 가장 넓은 사용자 기반

Astra 이후 가장 큰 추가 시장으로 보는 영역이다.

엑셀, 문서, 브라우저, 고객관리 시스템을 오가며 처리하는 업무가 여기에 포함된다. 재무 분석, 영업 자료 작성, 구매 비교, 운영 보고처럼 반복적으로 발생하는 일이 많다.

대상 사용자가 넓은 만큼 잠재 규모도 크다.

다만 기업별 시스템 연결과 접근 권한, 결과 검증 절차가 필요하다. 시험 도입이 일상적인 사용으로 바뀌는 데 시간이 걸릴 수 있다.

2027~2029년에는 일반 사무업무가 초저지연 시장의 폭을 넓히는 역할을 할 가능성이 높다고 생각한다.

리서치와 문서 분석: 질문을 이어갈수록 커지는 수요

자료 검색과 비교, 추가 질문, 보고서 수정이 반복되는 분야다.

결과를 빨리 받으면 분석의 깊이와 반복 횟수를 늘릴 수 있다. Cerebras가 소개한 AlphaSense 사례도 이 방향과 연결된다. AlphaSense 사례

특히 사람이 결과를 확인하면서 다음 질문을 이어가는 구간에서 초저지연의 가치가 높다.

반면 밤새 처리해도 되는 대규모 문서 작업은 가격이 더 중요한 선택 기준이 될 수 있다.

이 분야는 2026~2028년 대화형 분석과 리서치를 중심으로 확대되는 경로를 가정했다.

보안과 IT 운영: 대응 시간을 줄이는 고부가 시장

보안 경보를 조사하고, 로그를 비교하고, 대응 방안을 정하는 과정에서는 시간이 중요하다.

장애 원인을 빠르게 좁히거나 보안 사고의 영향을 파악하면 후속 조치를 앞당길 수 있다. Cerebras와 CrowdStrike의 협력도 AI 기반 탐지와 대응을 겨냥하고 있다. CrowdStrike·Cerebras 발표

여기서 추정하는 시장은 복잡한 경보와 운영 상황을 해석하고 조치를 판단하는 Agent 계층이다.

기업의 신뢰와 운영 체계에 편입되는 과정이 필요하기 때문에 2027~2029년 확산이 본격화되는 시나리오를 두었다.

음성과 고객 응대: 대기시간이 바로 체감되는 시장

음성에서는 짧은 대기시간도 사람이 바로 느낀다.

고객의 말을 듣고, 예약 정보를 찾고, 기록을 확인한 뒤 다시 답해야 한다면 여러 시스템의 응답 속도가 함께 중요해진다.

사용량이 커질 여지가 있지만 가격 경쟁도 강할 것으로 본다. 음성 인식과 합성, 통신 지연까지 포함한 전체 경험에서 경쟁해야 하기 때문이다.

2026~2028년 확산이 가능한 시장이지만, 단위 사용량당 매출은 보수적으로 볼 필요가 있다.

과학과 시뮬레이션: 연구 과정에 편입되는 후행 시장

가설을 만들고, 실험을 설계하고, 계산 결과를 해석하는 과정에서 기회가 있다.

다만 실험과 시뮬레이션 자체가 오래 걸리는 경우가 많다. 추론 속도 개선이 전체 연구 시간을 얼마나 단축하는지는 작업에 따라 차이가 크다.

초기 규모는 작게 두고, 2028~2030년 실제 연구 과정에 Agent가 자리 잡는 속도를 보며 판단하는 편이 적절하다고 생각한다.

7. 2030년 시장은 어느 정도까지 커질 수 있을까

이번에 추정한 시장은 빠른 응답과 짧은 업무 완료 시간이 중요한 AI 추론 서비스에 지출되는 금액이다.

반도체 판매액, AI 소프트웨어 전체 매출, 사람의 임금 절감액은 포함하지 않았다. GPU와 여러 종류의 추론 전용 시스템이 공급하는 서비스를 모두 포함한다.

아래 숫자는 분야별 채택 시기와 반복 사용 확대를 반영한 자체 시나리오다. 출발점인 2026년 규모부터 추정치이므로 성장률도 같은 가정에 의존한다.

중앙 시나리오는 2026년 30억 달러에서 2030년 460억 달러로 커지는 경로다. 약 15배의 확대다.

상당히 공격적인 가정이다.

이 숫자가 성립하려면 기업의 시험 도입이 일상적인 사용으로 전환되고, 사용자당 업무 위임 횟수가 빠르게 증가해야 한다.

예를 들어 사무업무 시장 150억 달러는 다음과 같이 표현할 수 있다.

3억 명의 사용자 환산 규모 × 연간 1,000건의 위임 업무 × 업무당 추론 서비스 지출 0.05달러

연 1,000건은 근무일 기준 하루 약 네 건이다.

업무당 금액은 작지만 이용자 기반과 반복 횟수를 크게 가정하고 있다. 여기서 0.05달러는 전체 소프트웨어 이용료 중 해당 추론 서비스에 배분되는 지출을 뜻한다.

따라서 이 추정의 가장 큰 불확실성은 실제로 비용을 지불하며 반복 사용하는 사람과 기업이 얼마나 빠르게 늘어나는가다.

460억 달러라는 숫자는 이 채택 경로가 성립할 때의 시장 규모로 읽는 것이 적절하다.

8. 토큰 가격이 내려가면 시장 매출은 어떻게 될까

추론 인프라의 성능이 좋아지면 같은 비용으로 더 많은 토큰을 처리할 수 있다.

경쟁이 강해지면 이 효율 개선의 일부가 가격 인하로 고객에게 돌아간다.

따라서 시장 매출은 사용량 증가율보다 느리게 성장할 수 있다.

예를 들어 사용량이 두 배가 되고 단가가 30% 내려가면 매출은 40% 증가한다.

사용량 2배 × 단가 0.7배 = 매출 1.4배

앞서 제시한 연평균 약 98%의 시장 매출 성장은 가격 하락을 감안하면 더욱 빠른 사용량 증가를 요구한다.

연간 단가가 30% 하락한다고 단순 가정하면, 매출이 약 두 배 증가하기 위해 필요한 사용량 증가는 약 2.8배다.

이 때문에 초저지연 시장의 성장성을 판단할 때는 토큰 생산량과 매출을 함께 확인해야 한다.

가격 하락으로 새롭게 열리는 업무가 얼마나 많고, 그 업무가 얼마나 자주 반복되는지가 시장 성장의 핵심 변수다.

9. 빠른 추론을 공급하는 기술도 다양해진다

초저지연 수요가 커지면 이를 공급하는 방식도 다양해진다.

GPU는 다양한 모델과 소프트웨어를 지원하는 생태계와 범용성을 바탕으로 경쟁한다. 추론 전용 시스템은 특정 작업에서 속도와 전력 효율을 높이는 방향으로 경쟁한다.

Cerebras는 웨이퍼 규모의 칩에 연산과 고속 메모리를 밀집시키는 접근을 사용한다. NVIDIA도 Groq 3 LPX를 통해 빠른 응답이 필요한 추론 시장을 겨냥하고 있다. Cerebras CS-4, NVIDIA Groq 3 LPX

AI 추론의 단계를 나누어 처리하는 방식도 중요해질 수 있다.

입력을 읽는 Prefill과 답변을 차례로 생성하는 Decode는 계산 특성이 다르다. 각 단계에 적합한 장비를 배치하면 속도와 비용을 함께 개선할 여지가 있다.

장기적으로는 하나의 업무 안에서도 여러 종류의 컴퓨팅 자원이 역할을 나눌 가능성이 높다.

시장 확대의 수혜는 모델 지원 범위, 실제 업무 속도, 동시 처리 능력과 비용 경쟁력에 따라 나뉠 것이다.

10. 모든 업무가 가장 빠른 추론을 필요로 하지는 않는다

초저지연에 대한 지불 의사는 기다림이 만드는 비용에 따라 달라진다.

고객과 대화 중이거나, 개발자가 수정 결과를 기다리거나, 장애 대응이 지연되는 상황에서는 시간 단축의 가치가 크다.

반면 다음 날 받아도 되는 문서 정리나 정기 보고서는 낮은 가격이 더 중요할 수 있다.

사람이 다른 일을 하면서 기다릴 수 있는 경우에도 대기시간 전체를 인건비 절감으로 환산하기는 어렵다.

그래서 기업은 업무별로 다른 추론 서비스를 선택할 가능성이 높다.

짧은 반응 시간이 필요한 판단에는 빠른 서비스를 사용하고, 대량의 비긴급 작업에는 저렴한 서비스를 배정하는 방식이다.

초저지연 시장의 크기는 전체 AI 사용량 가운데 시간 단축에 추가 비용을 지불할 업무가 차지하는 비중에 의해 결정된다.

Agent가 확산되면 이 비중이 높아질 수 있지만, 가격 차이와 실제 생산성 개선이 도입 속도를 결정할 것이다.

11. 앞으로 확인할 것은 사용량과 업무의 변화다

이 시장을 추적하려면 네 가지를 계속 보면 될 것 같다.

첫째, 사용자당 실제 위임 업무량이다.

가입자 수와 함께 완료 업무 수, 반복 사용률, 유료 사용량이 늘어나는지 확인해야 한다.

둘째, 성공한 업무 한 건의 시간과 비용이다.

추론 속도의 개선이 실제 고객의 업무 완료 시간과 총비용을 얼마나 낮추는지 봐야 한다.

셋째, 동시 사용자가 늘어날 때의 응답 속도다.

최고 속도뿐 아니라 사용자가 몰릴 때에도 안정적으로 서비스를 제공할 수 있는지가 중요하다.

넷째, 가격 하락보다 빠른 수요 확대가 나타나는지다.

효율 개선으로 업무당 비용이 낮아졌을 때 사용 빈도와 적용 업무가 충분히 늘어나는지 확인해야 한다.

이 숫자들이 함께 개선된다면 초저지연 추론은 AI 인프라 안에서 큰 시장으로 자리 잡을 수 있다.

글을 마치며

Astra를 보면서 처음 떠올렸던 생각은 AI가 사람이 사용하던 도구 안으로 들어왔다는 것이었다.

그 변화의 다음 단계를 따라가다 보니 AI가 일하는 속도에 붙는 경제적 가치가 보이기 시작했다.

더 많은 업무를 맡길수록 판단의 횟수가 늘어난다.
판단 사이의 기다림이 줄어들면 하루에 시도할 수 있는 일도 많아진다.
비용과 시간이 충분히 낮아지면 지금까지 AI에 맡기지 않았던 업무도 새롭게 들어올 수 있다.

초저지연 추론 시장의 성장 가능성은 더 넓은 업무 범위와 더 잦은 반복 사용이 만나는 데 있다고 생각한다.

코딩과 대화형 서비스에서 시작된 수요가 사무업무, 리서치, 보안과 운영으로 확장된다면 빠른 추론은 일상적인 업무 인프라의 한 부분이 될 수 있다.

사람이 AI에게 맡기는 일이 많아질수록, 그 일을 언제 끝낼 수 있는지가 더욱 중요해진다.

앞으로 초저지연 추론의 가치는 그렇게 쌓여갈 가능성이 높다.

=끝

2026년 9월 7일 월요일

생각정리 362 (* The Fed, AI and the Price of Stability, Kevin Warsh)

국채금리가 연일 고점을 높이는 가운데, 케빈 워시와 베센트, 일부 연준 인사들의 발언을 보면 물가와 금리 상승에 대한 시장의 우려를 진정시키려는 듯한 인상을 받는다.

하지만 그 발언을 곱씹을수록 “과연 그럴까?”라는 의문이 남는다. 지금의 금리를 밀어 올리는 구조적 힘을 충분히 설명하고 있는지 의문이 들기 때문이다.

https://tradingeconomics.com/united-states/52-week-bill-yield

이번 글은 그 질문에서 출발했다. 그동안 블로그에 축적해온 자료를 GPT와 함께 다시 살펴보며, 연준의 역사부터 AI 시대의 소득 배분과 정부부채까지 연결해본 리서치 기록이다.

위기 때마다 커진 연준, 그리고 AI 시대에 다시 돌아오는 질문

케빈 워시의 연준 대차대조표 축소 구상을 보면서, 연준이 지금의 모습에 이르기까지의 역사를 다시 연결해보고 싶어졌다.

이전 「생각정리 173 — Kevin Warsh」에서는 2008년 금융위기 이후 연준의 역할이 어떻게 확대됐는지를 살펴봤다.

그런데 워시가 줄이려는 것은 국채와 MBS의 보유금액만은 아닌 듯하다.

정부와 금융시장이 연준을 전제로 움직이는 방식,
위기가 발생하면 중앙은행이 위험을 받아줄 것이라는 기대,
그리고 그 기대 위에서 쌓인 부채와 자산가격까지 함께 연결돼 있기 때문이다.

여기에 AI라는 새로운 변수가 들어온다.

AI는 생산성을 높이고 경제 전체의 부를 크게 늘릴 수 있다. 동시에 노동을 통해 그 부에 참여하던 통로를 좁히고, 생산성과 소득을 일부 기업·개인·자본에 집중시킬 수도 있다.

그 과정에서 불안해진 다수의 생활을 정부가 차입으로 지탱하게 된다면, 연준이 시장에서 물러나는 일은 더 어려워지는 것 아닐까.

반대로 AI의 생산성 향상이 새로운 소득과 세입으로 충분히 연결된다면, 지금의 부채와 분배 문제를 감당할 여력도 커질 수 있을 것이다.

이 두 경로를 이해하기 위해 시계를 1907년으로 돌려본다.

1. 1907~1913년 — 민간이 감당하지 못한 공황

1907년 미국에는 오늘날과 같은 중앙은행이 없었다.

산업과 금융은 빠르게 커졌지만, 위기 때 사람들이 동시에 예금을 현금으로 바꾸려 하면 필요한 자금을 탄력적으로 공급할 장치가 부족했다.

은행은 예금을 받아 기업과 가계에 대출한다. 그런데 모든 예금자가 동시에 돈을 찾으려 하면, 정상적으로 영업하던 금융기관도 자산을 급하게 처분해야 한다.

급매로 가격이 떨어지면 금융기관의 건전성에 대한 의심은 더 커지고, 추가 인출과 매도가 이어진다.

당시 공황을 진정시키기 위해 나선 사람이 J. P. 모건이었다. 민간 금융인들이 자금을 모으고 구제 대상을 조정하면서 금융시스템을 지탱했다.

하지만 국가 금융시스템의 생존을 특정 금융인의 자금력과 판단에 맡기는 구조는 지속하기 어려웠다. 연준 역사 — 1907년 공황

그렇다고 강력한 중앙은행의 설립에 모두가 동의한 것도 아니었다.

월스트리트가 통화를 지배하는 것에 대한 불신과, 워싱턴 정부가 통화를 마음대로 사용하는 것에 대한 경계가 동시에 존재했다.

이 갈등 속에서 1913년 연방준비법이 제정됐다. 중앙의 이사회와 지역 연방준비은행을 결합한 구조는 이런 정치적 타협의 결과였다. 연준 역사 — 연준 설립 논의

연준의 출발점은 민간이 스스로 감당하기 어려운 위기에 공적 유동성을 공급하는 장치였다.

이전 「생각정리 150 — 연준의 기원」에서 살펴봤듯, 연준은 처음부터 경제와 금융시장 전체를 지금과 같은 방식으로 관리하도록 만들어진 기관은 아니었다.

그러나 위기 때 필요한 역할을 맡기 시작하면서 그 범위는 계속 달라진다.

2. 전쟁과 대공황 — 개입의 비용과 개입하지 않은 비용

미국이 제1차 세계대전에 참전하면서 정부는 막대한 전쟁자금이 필요해졌다.

연준은 국채 발행과 은행의 전쟁채권 보유를 지원했다. 설립 초기부터 정부의 자금조달과 중앙은행의 통화정책이 얽힌 셈이다.

전쟁 중 신용 확대와 물가 상승 뒤에는 긴축과 경기침체가 따라왔다. 비상상황에서 필요했던 지원이 이후에도 통화와 물가에 영향을 남긴 것이다. 연준 역사 — 제1차 세계대전

반대로 1929년 이후 대공황에서는 충분히 대응하지 못한 비용이 드러났다.

은행 파산과 예금 인출이 이어지자 신용이 줄었고, 기업과 가계는 지출을 축소했다. 물가와 소득이 떨어졌지만 갚아야 할 명목부채는 그대로 남았다.

은행 불안 → 신용 축소 → 지출 감소 → 소득·물가 하락 → 실질 부채 부담 증가 → 추가 부도.

연준은 금본위제 방어, 정책 판단의 오류, 지역 간 협력 실패 등이 겹치면서 이 악순환을 충분히 차단하지 못했다. 연준 역사 — 대공황

루스벨트 정부는 은행제도와 금제도를 개편했고, 에클스가 이끈 연준 개혁에서는 정책 권한을 조정했다. 1935년 법을 통해 오늘날 FOMC의 기본 구조가 확립됐다. 연준 역사 — 1935년 은행법

하지만 회복 과정에서도 실수가 있었다.

1936~1937년 지급준비율 인상과 재무부의 금 유입 불태화, 재정 긴축 등이 겹치면서 경제가 다시 침체에 빠졌다. 은행의 많은 준비금은 공황 이후의 불안을 견디기 위한 안전장치이기도 했다. 연준 역사 — 1937~1938년 침체

중앙은행이 보기에는 남아도는 유동성이었지만, 은행에는 없으면 불안한 유동성이었던 셈이다.

연준의 역사에는 돈을 너무 많이 공급한 실패와 필요한 돈을 공급하지 못한 실패가 함께 남아 있다.

3. 1942~1951년 — 정부가 원하는 금리를 지켜준다는 것

제2차 세계대전 중 미국 정부는 낮은 금리로 전쟁비용을 조달하려 했다.

연준은 1942년부터 단기 국채금리를 약 0.375%, 장기 국채금리 상한을 2.5% 수준에서 지원했다.

이 구조에서는 시장이 해당 금리에 국채를 충분히 사주지 않으면 연준이 사야 한다.

정부가 원하는 차입금리를 지켜주는 한, 연준의 대차대조표는 물가안정에 필요한 규모보다 금리 방어에 필요한 규모에 의해 결정되기 쉬워진다.

전쟁 이후 물가가 오르고 한국전쟁으로 재정 수요가 다시 커지자 갈등이 심해졌다.

재무부는 낮은 차입금리를 원했고, 연준은 통화정책 통제권을 되찾으려 했다. 이 갈등 끝에 성립한 것이 1951년 재무부–연준 협정이다. 이후 마틴이 연준 의장을 맡았다. 연준 역사 — Treasury–Fed Accord

핵심은 정부의 자금조달 편의가 통화정책을 지배하지 못하도록 경계를 세우는 것이었다.

워시는 2025년 연설에서 이 협정의 정신을 직접 거론했다. 장기간의 QE가 재정과 통화정책의 경계를 흐리고, 정부와 시장의 중앙은행 의존을 높였다는 문제의식이다. Kevin Warsh — Commanding Heights

워시의 구상을 이해하려면 2008년뿐 아니라 1951년을 함께 봐야 한다고 생각하는 이유다.

4. 번스에서 볼커까지 — 성장과 안정 사이의 정치

전후 성장과 비교적 안정된 물가는 1960년대 후반부터 흔들리기 시작했다.

베트남전과 존슨 정부의 국내 지출이 확대됐고, 정책당국에는 경제를 정교하게 조절하면 낮은 실업률을 지속할 수 있다는 자신감도 있었다.

이후 닉슨은 1971년 달러의 금 태환을 중단하고 임금·가격 통제를 도입했다. 석유파동은 생산비와 생활비를 끌어올렸다.

그러나 대인플레이션은 석유파동 이전인 1960년대 중반부터 시작됐다. 공급 충격만으로 전체 과정을 설명하기는 어렵다. 연준 역사 — Great Inflation

번스와 밀러 시기의 문제 중 하나는 물가를 잡으려 긴축하다가 고용이 나빠지면, 물가가 충분히 안정되기 전에 다시 완화하는 패턴이었다.

시장과 노동자가 이 패턴을 학습하면 인플레이션 기대는 쉽게 내려가지 않는다.

카터가 1979년 임명한 볼커는 큰 금리 변동과 경기침체를 감수하면서 물가안정을 추진했다. 레이건 정부 아래에서도 긴축은 이어졌지만 정치적 반발은 거셌다. 연준 역사 — 볼커의 반인플레이션 정책

볼커가 회복한 것은 연준이 결국 물가를 안정시킬 것이라는 신뢰였다.

이전 「생각정리 138」에서 살펴봤던 것처럼, 통화정책은 금리 수준만으로 평가하기 어렵다.

그 정책이 필요한 만큼 지속될 것이라고 경제주체가 믿는지가 중요하다.

5. 그린스펀 — 낮아지는 금리와 커지는 금융

그린스펀 시대에는 물가 안정과 금융시장 확대가 함께 진행됐다.

여기에는 세계화, 기술 발전, 글로벌 노동공급 확대와 저축 증가가 함께 작용했다.

생산적 투자 기회에 비해 저축이 풍부해지면 균형 실질금리는 낮아질 수 있다. 연준이 단기금리를 올려도 해외 자금이 장기채시장으로 유입되면서 장기금리가 같은 폭으로 오르지 않는 현상도 나타났다. 버냉키 — Global Saving Glut

이 배경은 「21세기 통화정책」과 「생각정리 139 — The Age of Turbulence」에서 정리했다.

동시에 위기 때마다 통화정책이 충격을 완화하면서 시장에는 연준이 큰 하락을 방치하지 않을 것이라는 기대도 쌓였다.

위기 대응은 경제를 지탱한다. 하지만 손실이 정책으로 완충될 것이라고 믿으면 민간이 더 많은 위험을 선택할 유인도 생긴다.

이때까지의 완화가 주로 단기금리를 통해 이뤄졌다면, 2008년 이후에는 연준이 장기자산을 직접 대규모로 보유하는 단계로 넘어간다.

6. 버냉키·옐런·파월 — 위기 대응이 남긴 거대한 B/S

2008년 금융위기에서는 주택 관련 자산의 손실이 금융기관과 단기자금시장을 통해 확산됐다.

담보가치 하락이 추가 담보 요구와 매도를 부르고, 그 매도가 다시 가격을 떨어뜨렸다. 연준은 긴급대출과 달러 스와프로 대응했고, 정책금리가 사실상 0에 도달한 뒤에는 장기채 매입을 확대했다.

버냉키가 두려워한 것은 1930년대처럼 금융 붕괴가 장기 경제수축으로 이어지는 일이었다. 버냉키 — 금융위기 이후 통화정책

연준은 민간이 보유하던 장기자산을 인수하면서 시장이 부담하는 금리위험을 줄였다.

이 정책은 금융 붕괴와 실업을 완화하는 데 기여했지만, 자산가격과 위험 추구, 출구전략에 관한 논쟁도 남겼다. 이전 「THE LORDS OF EASY MONEY」에서 다뤘던 문제다.

옐런 시기에는 QE3가 종료됐고, 2015년 금리 인상과 2017년 QT가 시작됐다. 그러나 파월 시기인 2019년 단기자금시장이 불안해지자 다시 유동성 공급이 필요했다. 옐런의 정상화 설명, 뉴욕 연은 — 2019년 자금시장 분석

2020년 팬데믹에서는 자산매입이 재개됐고, 연준 자산은 2022년 초 약 9조 달러까지 확대됐다. 2007년 약 0.87조 달러와 비교하면 대략 열 배 수준이다. 월러 — 연준 대차대조표 설명

이후 인플레이션 대응을 위한 금리 인상과 QT가 진행됐지만, 2023년 은행 불안에서는 별도의 유동성 지원이 필요했다. 파월 시기의 QT는 2025년 12월 1일 종료하기로 결정됐다. 2025년 10월 FOMC 결정

지난 역사는 계속된 QE 하나로 설명하기보다, 위기 대응과 정상화, 금융불안과 재개입이 반복된 과정으로 보는 편이 정확하다.

그 반복 속에서 연준의 역할과 시장의 의존 관계가 함께 커졌다.

7. 워시의 담대한 계획 — 장부와 기대를 함께 줄이는 일

2026년 5월 취임한 워시가 지향하는 방향은 평상시 연준의 시장 개입을 줄이고, 민간이 가격과 위험을 더 직접적으로 판단하게 만드는 것이다. 연준 취임 발표

8월 잭슨홀 연설에서도 그는 단기금리 중심의 정책, 비전통적 수단의 제한적 사용, 시장의 과도한 연준 신호 의존 문제를 강조했다. 다만 구체적인 대규모 자산매각 일정이 확정됐다는 의미는 아니다. 워시 — In Our Time

이 구상이 어려운 이유는 연준의 보유채권을 줄여도 경제 전체의 부채와 위험이 사라지지 않기 때문이다.

연준이 국채를 덜 보유하고 정부의 차입 필요는 유지된다면, 민간이 더 많이 보유해야 한다.

민간에 새로운 돈이 풀리는 거래가 아니다.

연준이 은행에 채권을 매각하면 은행은 준비금을 지불하고 채권을 받는다. 유동성이 높은 준비금이 금리위험을 가진 자산으로 바뀐다.

따라서 핵심은 채권을 누가, 어느 수익률에서, 어떤 자금으로 인수하는가다.

장기자금을 가진 투자자가 보유하는 경우와 단기 차입으로 큰 포지션을 만드는 경우는 다르다. 후자의 비중이 커지면 충격 때 강제 매도가 발생하고 연준의 재개입을 요구할 수 있다.

워시의 목표는 연준의 장부를 줄이는 동시에, 연준이 다시 필요해지는 상황을 줄여야 한다는 어려움을 안고 있다.

8. AI — 생산성의 확장과 노동 참여 통로의 축소

이 지점에 AI가 들어온다.

AI는 기업이 성장할 때 추가로 필요로 하는 노동량을 줄일 수 있다.

과거에는 매출과 업무량이 늘어나면 분석·개발·고객응대·지원 인력을 채용해야 했다. 앞으로는 기존 인력과 더 많은 컴퓨트로 업무를 처리하는 비중이 커질 수 있다.

처음부터 대규모 해고가 필요한 것도 아니다.

신입 채용 축소, 퇴사자 미충원, 외주 계약 감소만으로 기업의 노동비용 증가율은 낮아질 수 있다.

실제로 스탠퍼드 연구진의 2026년 8월 분석에서는 AI 노출이 높은 직종의 22~25세 고용이 노출이 낮은 또래 집단의 증가 추세를 따라갔을 경우보다 19% 낮았다. 주된 경로는 해고보다 채용 감소였다. 다만 연구진은 이를 인과효과의 확정치로 보지 않으며, 경제 전체의 광범위한 고용 대체는 아직 확인하지 못했다고 명시한다. Stanford — Canaries in the Coal Mine

여기서 주목하는 것은 기업 성장과 고용 증가의 연결이다.

AI 선도기업이 비용을 낮추고 시장점유율을 높여도 그 성장에 참여하는 노동자가 과거만큼 늘지 않을 수 있다. 경쟁에서 밀린 기업의 고용까지 감소하면 압력은 더 커진다.

생산성과 기업이익이 좋아지는 동안 노동시장 진입 기회는 좁아질 수 있는 것이다.

As Alex Karp warns AI will wipe out jobs, Palantir is betting on neurodivergent talent and high school grads

9. 값싼 지능이 만드는 세 가지 집중화

이전 「생각정리 346 — AI Polarization and Contradiction」에서는 AI의 집중화를 세 층으로 나눴다.

컴퓨트·모델·데이터 등 생산수단의 집중.
AI를 깊게 활용하는 개인과 기업으로의 활용 집중.
생산성 이익이 귀속되는 소유권의 집중.

Citadel Securities가 Ramp 자료로 분석한 2026년 7월 직원당 AI 지출은 상위 1% 기업에서 전월 대비 49%, 상위 10%에서 25%, 중앙값에서 9% 증가했다. 개인별 토큰 수가 아닌 기업의 AI 지출 지표지만, 활용 격차가 확대되는 방향을 보여준다.

Citadel Securities — Elastic Expectations

같은 AI에 접근할 수 있어도 결과는 다를 수 있다.

한 사람은 기존 업무 일부를 빠르게 처리한다. 다른 사람은 고객 확보부터 분석·실행까지 전체 업무를 연결하고, 이전에 여러 사람이 하던 일을 통제한다.

이 경우 개별 과업의 능력 격차는 줄어들면서도 전체 성과와 소득의 격차는 커질 수 있다.

다만 집중화의 정도는 경쟁과 신규 진입에 따라 달라질 것이며, 모든 AI 자본이 영구적인 초과이익을 누리는 것도 아닐 것이다.

그럼에도 값싸진 지능을 더 큰 사업과 소득으로 연결할 수 있는 주체에게 보상이 집중될 가능성은 중요하게 보고 있다.

Citadel Securities — Elastic Expectations

10. 그린스펀이 본 인간 — 축적하려는 욕망과 지키려는 욕망

이런 변화는 이전 「앨런 그린스펀 Alan Greenspan」에서 정리했던 인간의 본성과 연결된다.

그린스펀의 관점을 읽으며 인상적이었던 것은 재산권이 인간의 자기이익 추구를 장기적인 투자와 혁신으로 연결한다는 설명이었다.

성과가 자신에게 돌아오고, 축적한 재산이 보호된다고 믿으면 사람은 현재의 소비를 미루고 투자한다. 위험을 부담하고, 새로운 방법을 찾고, 더 생산적인 활동을 선택할 유인이 생긴다.

경쟁은 그 과정에서 성과를 검증하고 자원을 재배치한다.

그런데 사람에게는 또 다른 욕구가 있다.

이미 확보한 직업과 소득, 생활수준을 유지하고 싶다는 욕구다.

이것은 단순한 나태함으로 설명하기 어렵다. 사람은 특정 기술과 경력, 자격과 인간관계에 오랜 시간을 투자한다. 기술 변화로 그 가치가 낮아지면 새로운 분야로 옮기는 데 비용과 불확실성이 따른다.

남은 경제활동 기간이 짧거나 부양·주거비 부담이 크다면, 전환보다 기존 소득을 지키려는 선택이 개인에게 더 합리적일 수 있다.

사회 전체에는 자원의 이동이 유리해도, 개인에게는 자신이 축적한 인적자본을 보호하는 것이 유리할 수 있다.

AI가 그 차이를 빠르게 벌린다면, 생산성 향상과 사회적 불안은 함께 커질 수 있다.

11. 소비의 불안이 정부부채로 이동하는 경로

노동소득의 불안은 실제 실직 이전부터 소비에 영향을 줄 수 있다.

가계는 현재 소득뿐 아니라 앞으로 그 소득이 유지될 것이라는 기대를 바탕으로 집을 사고, 대출을 받고, 장기적인 지출을 결정한다.

직업 전망이 약해졌다고 판단하면 월급이 그대로여도 소비와 차입을 줄일 수 있다.

기대 생애소득 약화 → 예방적 저축 증가 → 소비·차입 둔화 → 기업 매출과 고용 압박.

반면 자본소득이 늘어난 가계가 감소한 노동소득과 같은 금액을 추가 소비한다는 보장은 없다.

그래서 임금 총액이 증가하더라도 증가분이 소수에게 집중되면, 다수 가계의 소비 기반은 약해질 수 있다. IMF 연구진도 AI에 따른 노동소득 비중 하락과 소득·부의 집중을 중요한 위험으로 다룬다. IMF — Broadening the Gains from Generative AI

이 불안이 정치로 이동하면 소득과 생활 안정을 요구하는 목소리가 커질 수 있다.

시장에서의 구매력은 자산과 소득에 따라 다르지만, 민주주의의 투표권은 자산 규모에 비례하지 않는다. 경제적 이익이 집중되고 불안은 넓게 퍼질수록 보상 요구가 강해질 가능성이 있다.

정부는 생활 안정을 유지하라는 요구와 세금 부담을 높이지 말라는 요구, 기업의 투자도 지켜달라는 요구를 동시에 받는다.

이 갈등을 현재에 해결하기 어렵다면 차입은 비용을 미래로 분산시키는 수단이 될 수 있다.

소득 집중 → 생활 안정 요구 확대 → 재원 부담에 대한 합의 부족 → 차입을 통한 갈등의 유예.

이전지출은 GDP의 정부소비·투자 항목인 G에 직접 포함되는 지출은 아니지만, 가계의 가처분소득을 통해 C를 지지한다.

그 결과 소비를 유지하는 기반이 노동소득에서 재정 지원으로 일부 이동할 수 있다.

정부부채의 비용이 미래 세대에 그대로 일대일 전가되는 것은 아니다. 미래 세대는 공공자산과 채권도 함께 물려받는다. 다만 생산능력이나 세입을 충분히 늘리지 못한 채 차입 의무가 누적되면, 미래의 세금·지출 조정과 이자 부담은 커질 수 있다.

12. 이 경로에서는 워시가 물러날 공간이 좁아진다

초기에는 AI CAPEX가 소비의 약화를 가릴 수 있다.

데이터센터·전력·반도체·건설 투자가 늘고, 기업이익과 자산가격이 이를 뒷받침하면 GDP는 강하게 성장할 수 있다.

생각정리 359 (* AI Is the Exit, G20)

그러나 투자 증가세가 둔화된 이후에는 최종수요가 더 중요해진다. 노동소득과 가계 구매력이 충분히 늘지 않았다면 투자수익성도 압박받을 수 있다.

정부가 그 부족한 구매력을 차입으로 보완하는 동안 연준이 B/S까지 축소한다면, 민간은 더 많은 국채와 금리위험을 인수해야 한다.

물가가 안정돼도 장기금리가 기대만큼 낮아지지 않을 수 있는 이유다. 이 관계는 「생각정리 360 — Rate Divergence」에서 다뤘다.

국채 수익률이 높아지면 정부의 차환 비용이 늘고, 가계와 기업의 금융비용도 영향을 받는다.

민간이 단기 차입으로 국채를 소화했다면 시장 충격이 강제 매도로 이어질 수도 있다. 국채는 정부의 부채이면서 글로벌 금융시스템의 담보이기 때문에, 불안은 달러 자금시장으로 확산될 수 있다.

이때 연준에 대한 개입 요구는 정부의 이자비용 문제를 넘어 금융시스템의 기능 문제로 들어온다.

정부가 소비를 지탱하기 위해 부채를 늘리고, 민간이 그 부채를 불안정하게 소화한다면, 위험은 다시 연준으로 돌아올 수 있다.

물론 대응이 반드시 QE일 필요는 없다. QT 중단, 담보대출, 레포, 달러 스와프 등으로 한시적인 유동성을 공급할 수도 있다.

하지만 이런 지원이 반복되면 ‘작고 덜 개입하는 연준’을 지속적으로 유지하는 목표는 어려워진다. 연준 연구진도 작은 B/S, 안정적인 단기금리, 적은 개입 사이의 긴장을 지적한다. 연준 — Balance-Sheet Trilemma

워시는 연준의 장부에서 위험을 줄일 수 있어도 경제 전체의 위험을 없앨 수는 없다.

13. 반대 경로 — 생산성의 과실이 축적과 새로운 소득으로 연결된다면

그렇다고 AI가 반드시 정부부채와 중앙은행 의존을 확대하는 방향으로만 작동하는 것은 아니다.

반대 경로도 가능하다.

사회가 AI를 적극적으로 받아들이고, 기업과 개인이 새로운 생산방식에 투자하며, 그 성과를 보유할 수 있다는 신뢰가 유지되는 경우다.

기존 사업의 비용을 줄이는 데 그치지 않고 새로운 제품과 서비스가 등장하고, 가격 하락으로 수요가 확대되며, 새로운 기업과 직무가 성장한다.

이 경우 생산성 향상은 기업이익뿐 아니라 실질소득과 투자 기회, 세입의 확대로 이어질 수 있다.

AI 도입 → 생산성 향상 → 새로운 수요·사업 확대 → 소득과 부의 축적 → 지속 가능한 사회적 배분 여력 확대.

여기서 성장의 성과가 확인되기 전에 예상 부를 이미 확보한 것처럼 영구적인 지출을 약속하는 것과, 실제로 형성된 소득·세입을 바탕으로 사회적 합의를 발전시키는 것은 다르다.

생각정리 255 (* Korea’s Political Risk)

후자의 경우 사회안전망은 차입으로 기존 생활을 계속 유지하는 장치에 머물지 않을 수 있다. 축적된 부를 바탕으로 사람들이 새로운 직업과 사업으로 이동하고, 실패 이후 다시 도전할 수 있는 여력을 제공할 수 있다.

이것은 모든 지원을 성장 이후까지 미룬다는 의미도 아니다. 중요한 것은 지속적인 약속의 규모가 실제 생산성과 재정 능력에 의해 뒷받침되는가다.

그린스펀 관련 글에서 생각했던 선순환도 이와 연결된다.

재산권과 보상이 위험 부담을 유도하고, 위험 부담이 생산성과 부를 늘린다. 그 부의 일부가 생활의 기본적인 안정과 재도전을 뒷받침하면, 사회는 다시 더 많은 생산적 위험을 감수할 수 있다.

축적과 안전이 서로를 지탱하는 경로다.

14. 같은 AI, 다른 재정과 다른 연준

두 경로의 차이는 AI의 성능 하나로 결정되지 않을 것이다.

생산성 향상으로 만들어진 이익이 얼마나 새로운 수요로 연결되는지, 노동과 자본이 얼마나 이동할 수 있는지, 사회적 배분에 대한 합의가 얼마나 예측 가능한지가 중요하다.

좋은 경로에서도 장기금리가 반드시 낮아지는 것은 아니다.

생산성이 높아지고 수익성 있는 투자 기회가 많아지면 자본 수요와 균형 실질금리는 높아질 수 있다.

다만 그때의 높은 금리는 약한 소득과 불안한 재정이 감당하는 금리와 다르다. 기업과 가계, 정부의 현금흐름이 함께 개선된다면 높은 자본비용을 견딜 능력도 커진다.

워시에게 중요한 것은 낮은 금리 자체보다, 연준이 위험을 지속적으로 인수하지 않아도 민간이 자금을 조달하고 손실을 감당할 수 있는 구조일 것이다.

그 경우 명목 B/S를 일부 줄이거나, GDP 대비 비중을 낮추고, 보유자산의 구성을 바꾸는 정상화가 더 지속 가능해질 수 있다.

글을 마치며 — 연준의 크기는 사회가 남겨놓은 위험과 연결돼 있다

1907년에는 민간이 감당하지 못한 공황이 중앙은행을 필요로 했다.

1930년대에는 충분히 개입하지 못한 실패가 공적 역할의 확대를 가져왔다. 전쟁기에는 정부의 자금조달이 통화정책을 제약했고, 1951년에는 그 경계를 다시 세웠다.

2008년 이후에는 금융시스템의 복잡성과 위기의 전염이 연준의 역할을 더 넓혔다.

그리고 지금은 AI가 생산과 소득 배분의 구조를 바꾸기 시작했다.

개인적으로 워시의 계획을 어렵게 만드는 가장 큰 변수는 그의 의지 밖에 있을 가능성이 높다고 생각한다.

AI의 생산성 이익은 집중되고, 다수의 생활을 유지하는 비용은 정부 차입으로 쌓이며, 그 부채를 민간 금융이 불안정한 방식으로 인수한다면 연준이 물러날 공간은 좁아질 것이다.

반대로 AI를 통해 생산성과 부를 충분히 키우고, 그 성과가 새로운 수요와 소득, 세입과 재도전의 여력으로 연결된다면 연준의 개입을 줄일 기반도 강해질 수 있다.

워시의 작은 연준은 연준 내부의 결심만으로 완성되기 어렵다.

정부가 시장의 자금조달 조건을 감당할 수 있어야 하고, 민간이 위험을 보유할 수 있어야 하며, 가계가 연준의 자산가격 지원에만 기대지 않고 소득과 소비를 유지할 수 있어야 한다.

결국 AI 시대에 봐야 할 것은 생산성이 얼마나 높아졌는지만은 아닌 듯하다.

그 생산성이 누구의 소득이 됐는가.
전환의 비용은 누가 부담했는가.
그 비용을 감당하기 위해 누구의 부채가 늘어났는가.

이 질문의 답이 앞으로의 정부부채와 장기금리, 그리고 연준이 차지할 자리를 함께 결정하지 않을까 싶다.

AI가 생산성을 높이고 기업이익을 늘리더라도,
그 성공이 다수의 소득과 생활 안정으로 이어진다는 보장은 없다.

생산성의 과실은 일부에 집중되고,
전환의 비용은 정부부채로 쌓인다면 경제가 성장하는 동안에도 사회와 금융의 기반은 약해질 수 있다.

그 부담을 민간이 감당하지 못하는 순간, 위험은 다시 연준으로 돌아오지 않을까 한다.

=끝

2026년 9월 6일 일요일

생각정리 361 (* The Price of Idle FLOPS, Astra & HBM)

Astra가 엄청난 모델이라는 이야기는 많이 들었다.
하지만 실제로 그 변화가 여기까지 이어질 수 있을 것이라고는 생각하지 못했다.

돌이켜보면 나 역시 매일의 주가 흐름과 시장의 평가에 조금씩 영향을 받으면서, 예전처럼 기술 변화의 끝을 자유롭게 상상하기보다 당장의 현실적인 제약과 숫자 안에서만 생각하려 했던 것 같다.

그러다 Astra의 Long Context와 Agentic Workload가 실제로 Compute와 Memory 구조를 어떻게 바꿀지를 하나씩 따라가다 보니 생각보다 훨씬 큰 변화가 보이기 시작했다.

Astra가 바꾸는 것은 단순히 모델의 성능이나 Token 사용량만이 아니었다.

더 긴 Context, 더 많은 동시 Agent, 더 오래 유지되는 Memory는 결국 HBM의 Capacity와 Bandwidth를 더욱 중요한 병목으로 만들고, 이미 설치된 GPU의 유휴 FLOPS를 얼마나 실제 Token 생산으로 전환할 수 있는지가 AI Factory의 경제성을 결정하게 된다.

그렇게 생각을 이어가다 보니 HBM 역시 단순히 GPU에 붙는 고가의 Memory Component가 아니라, GPU와 전력에 투자한 막대한 자본의 생산성을 결정하는 핵심 설비에 더 가까워 보이기 시작했다.

이번 글은 Astra가 만들어낼 변화에서 출발해, 그 변화가 HBM의 수요와 기술적 중요성을 넘어 HBM 자체의 경제적 가치와 가격결정 구조를 어떻게 바꿀 수 있는지를 따라가 본 리서치 기록이다.

이번 글의 핵심문단은 아래와 같다.

Agentic AI가 확산될수록 더 긴 Context와 KV Cache를 유지해야 하고, 출력 단계에서는 이를 매 Token마다 반복적으로 읽어야 하기 때문에 Decode의 HBM Bandwidth 병목은 더욱 중요해진다.

결국 GPU의 연산성능이 아무리 높아져도 HBM이 데이터를 충분히 빠르게 공급하지 못하면 Tensor Core는 기다릴 수밖에 없다.

그래서 앞으로 HBM의 경제적 가치는 단순히 저장하는 Byte의 가치가 아니라, Memory Wall을 해소해 되살리는 GPU FLOPS와 추가 Token 생산량의 가치에 의해 결정될 가능성이 높다.

The Price of Idle FLOPS, Astra & HBM

Astra 이후, HBM의 가격은 무엇으로 결정될까

최근 OpenAI의 GPT-6 Astra와 NVIDIA의 Rubin, NVHBM 관련 자료들을 함께 정리하면서 HBM을 바라보는 기준을 조금 바꿔야겠다는 생각이 들었다.

그동안 HBM 수요를 전망할 때 가장 먼저 봤던 숫자는 GPU당 HBM 탑재용량이었다.

80GB에서 141GB, 192GB에서 288GB로 올라가는 식이다.

하지만 Astra와 같은 Agentic Model이 등장하고, Rubin처럼 GPU의 연산성능이 메모리 대역폭보다 훨씬 빠르게 증가하기 시작하면 앞으로 더 중요한 질문은 단순히 GPU 한 개에 HBM이 몇 GB 들어가는가가 아닐 수 있다.

오히려,

HBM이 없어서 얼마나 비싼 GPU의 연산기가 놀고 있는가.

그리고

추가적인 HBM Capacity와 Bandwidth가 그 유휴 FLOPS를 얼마나 다시 유료 Token으로 바꿀 수 있는가.

이 질문이 HBM의 경제적 가치를 설명하는 데 더 중요해질 수 있다.

앞서 생각정리 325 (* Memory Premium)에서 비슷한 문제를 한 번 다뤘다.

당시의 결론은 HBM의 적정가격을 DRAM 제조원가만으로 볼 것이 아니라, Memory가 회복시키는 GPU 가동시간과 추가 Token의 가치를 기준으로 역산해야 한다는 것이었다.

이번에는 Astra 이후의 Agentic AI와 Rubin·NVHBM까지 연결해서 이 생각을 조금 더 확장해본다.

1. Astra에서 중요한 것은 100만 Token이 아니다

GPT-6 Astra와 GPT-5.6 Sol의 최대 Context Window는 모두 105만 Token이다.

따라서 Astra가 Sol보다 더 많은 Memory를 필요로 한다면 단순히 Context Window가 늘었기 때문은 아니다.

중요한 것은 같은 100만 Token을 얼마나 실제 업무에 활용할 수 있느냐다.

OpenAI의 Long-context 평가에서 512K~1M Token 구간의 성능은

OpenAI

Astra 96.3%
Sol 73.8%

였다. (OpenAI)

명목상 Context Window는 같지만 실제 활용 가능한 Working Context의 범위는 상당히 달라진 것이다.

Astra의 변화는 단순히 더 긴 글을 읽는 데 그치지 않는다.

Research, Coding, Computer Use와 같은 작업을 장시간 이어가면서 과거의 Tool Output과 상태를 계속 유지하고, 이를 다시 불러와 다음 행동에 활용한다.

이 변화의 배경은 앞서 생각정리 328 (* The agent Mutipler, Unhobbling, OOM)에서 정리했기 때문에 여기서는 반복하지 않는다.

이번 글에서 중요한 것은 그 다음이다.

Agent의 능력이 높아질수록 Memory가 필요한 이유가 Model Weight 하나에서 Agent의 Working State 전체로 확장된다.

Model Weight

KV Cache
Active Context
Multiple Agents
Tool History
Persistent Memory

결국 AI의 Memory 수요 단위가

GB per Model

에서

GB × Bandwidth × Concurrent Agents × Context Lifetime

으로 바뀌기 시작한다.

2. 효율이 좋아지는데 왜 HBM 수요는 늘어날까

Astra는 일부 업무에서 Sol보다 적은 Token과 짧은 시간으로 더 높은 성공률을 보인다.

따라서 한 업무만 떼어놓고 보면 Memory Traffic이 생각보다 크게 증가하지 않을 수도 있다.

문제는 가격과 성능이 개선될수록 사람이 AI에 맡기는 업무 자체가 늘어난다는 것이다.

이 내용 역시 생각정리 358 (* The Price of Compute)에서 이미 다뤘다.

Token당 가격이 내려가면 AI 사용량이 줄어드는 것이 아니라,

Hardware Efficiency ↑
→ Cost per Token ↓
→ Addressable Tasks ↑
→ Agent Calls ↑
→ Compute Consumption ↑
→ Cloud Utilization ↑

의 제번스 효과가 발생한다.

따라서 Astra 한 번의 호출이 Sol보다 몇 % 많은 HBM을 쓰는지를 계산하는 것만으로는 충분하지 않다.

실제로 중요한 것은

Memory per Agent × Agents per User × Agent Runtime

이다.

현재 Astra의 정확한 Parameter 수와 Serving Architecture는 공개되지 않았다.

그래서 직접적인 HBM 요구량은 어디까지나 추정해야 한다.

내가 현재 사용하는 중앙 가정은 대략 다음과 같다.

여기서 위 두 줄과 아래 두 줄은 의미가 완전히 다르다.

Astra라는 모델 자체가 HBM을 2배 쓰는 것이 아니다.

모델 자체의 HBM 증가폭은 대략 25~35% 정도일 수 있다.

그보다 훨씬 큰 변화는 Astra가 가능하게 만드는 Agent 사용량과 동시성의 증가에서 발생한다.

따라서 Memory 투자관점에서는 Direct Model Effect보다 Usage Elasticity가 더 중요하다.

3. 그리고 HBM의 핵심은 Capacity보다 Bandwidth로 이동한다

이전에는 GPU당 HBM 탑재용량 증가가 가장 눈에 잘 들어왔다.

H100은 80GB, H200은 141GB, Blackwell Ultra는 288GB까지 증가했다.

그런데 Blackwell Ultra에서 Rubin으로 넘어가면 조금 이상한 변화가 나타난다.

HBM 용량은 그대로인데 대역폭이 2.75배 증가한다. (NVIDIA Developer)

왜 NVIDIA는 HBM 용량을 두 배로 늘리지 않고 대역폭을 거의 세 배 가까이 높였을까.

NVIDIA도 Rubin Architecture를 설명하면서 Context가 길어지고 Interactive Inference가 증가할수록 실제 Memory Performance가 전체 시스템 효율을 지배하는 요소가 된다고 설명한다. (NVIDIA Developer)

결국 문제는 저장공간만이 아니다.

Model Weight와 KV Cache를 아무리 많이 HBM에 넣어놔도 이를 Tensor Core에 충분히 빠르게 공급하지 못하면 연산기는 기다려야 한다.

HBM Capacity = 창고의 크기

HBM Bandwidth = 창고와 공장 사이 컨베이어의 속도

라고 생각하면 이해하기 쉽다.

AI GPU의 생산라인은 엄청난 속도로 빨라졌는데, 원재료를 공급하는 컨베이어가 그 속도를 따라가지 못하고 있는 것이다.

4. GPU Utilization과 FLOPS Utilization은 다르다

여기서 GPU 가동률이라는 표현도 조금 주의해서 사용할 필요가 있다.

GPU Utilization이 90~100%라고 표시된다고 해서 Tensor Core가 이론적 최대 FLOPS의 90~100%를 유료연산으로 전환하고 있다는 의미는 아니다.

Decode에서는 GPU에 작업이 계속 배정돼 있더라도 HBM에서 Weight와 KV Cache가 도착하기를 기다리는 시간이 존재한다.

따라서 실제로 봐야 하는 것은

Useful Model FLOPS / Peak Hardware FLOPS

에 가까운 개념이다.

이를 단순하게 MFU라고 표현하면,

FLOPS Idle = 1 - MFU

가 된다.

중요한 것은 여기서 발생하는 Idle이 단순한 서버 유휴시간과 전혀 다르다는 점이다.

전원도 들어와 있다.

GPU도 비싸게 구매했다.

전력도 소비한다.

그런데 Memory, Network, Scheduling과 Software 병목으로 인해 이론적인 연산능력 중 일부가 실제 Token 생산으로 전환되지 못한다.

말 그대로 돈을 주고 산 FLOPS가 놀고 있는 것이다.

5. H100과 H200이 보여준 Memory의 가치

이 문제를 확인하기에 H100과 H200은 상당히 좋은 자연실험이다.

두 GPU는 같은 Hopper Architecture를 사용한다.

그러나 Memory가 크게 달라졌다.

NVIDIA의 MLPerf 결과에서 동일한 700W 조건의 H200은 Llama 2 70B 추론에서 H100보다 최대 28% 높은 성능을 기록했다. (NVIDIA Developer)

NVIDIA가 설명한 이유도 명확하다.

더 큰 HBM 덕분에 일부 Tensor/Pipeline Parallelism을 줄일 수 있었고, 더 높은 Memory Bandwidth가 Memory-bound 구간의 병목을 완화하면서 Tensor Core utilization이 개선됐다.

즉 Compute Architecture를 완전히 새로 바꾸지 않고도 Memory System을 개선하자 Token 생산량이 크게 증가했다.

이것이 HBM의 경제적 가치다.

HBM은 데이터를 보관하는 부품이 아니라 이미 구입한 GPU의 생산성을 높이는 설비다.

6. Astra에서는 FLOPS가 얼마나 놀게 될까

정확한 수치는 알 수 없다.

OpenAI는 Astra의 실제 Serving Architecture와 production fleet의 MFU를 공개하지 않았다.

따라서 여기부터는 투자모델을 위한 Scenario다.

Agentic Workload를 다음처럼 나눠볼 수 있다.

내가 현재 Base Case로 사용하는 값은 Useful FLOPS 약 **35%**다.

즉 Peak FLOPS의 약 **65%**가 매 순간 완전히 꺼져 있다는 뜻은 아니다.

Memory, Network, Sequential Decode, Expert Routing, Kernel Launch, Latency SLO 등 여러 병목 때문에 최대 연산능력이 Useful Token으로 전환되지 못하는 비중을 의미한다.

그리고 이 65%를 HBM 하나로 모두 회복할 수도 없다.

내가 현실적으로 HBM Capacity와 Bandwidth 개선에 귀속시키는 구간은 약 8~15%p다.

즉,

35% MFU

→ 43~50% MFU

정도로 올라가는 Scenario다.

별것 아닌 것처럼 보이지만 GPU 생산량으로 환산하면 상당히 크다.

43 / 35 - 1 = +23%

50 / 35 - 1 = +43%

즉 Memory System의 개선으로 GPU의 실질적인 생산량이 23~43% 증가할 수 있다.

바꿔 말하면 특정 워크로드에서는 GPU를 23~43% 더 구매하는 것과 비슷한 효과다.

7. HBM 1GB의 가치는 얼마일까

여기서부터 조금 재미있는 계산이 가능하다.

H100에서 H200으로 넘어가면서

Capacity +61GB
Bandwidth +1.45TB/s

가 동시에 증가했고, 동일 700W에서 최대 28%의 추론 성능 개선이 나타났다.

Capacity와 Bandwidth 효과를 정확하게 분리할 수는 없다.

다만 여러 세대의 변화와 Batch·KV Cache 구조를 함께 감안해 HBM Capacity가 실제 병목인 구간에서 추가 **1GB당 Goodput 약 +0.10~0.18%**를 하나의 경험적 민감도로 사용할 수 있다.

이는 공식적인 산업수치가 아니라 내가 사용하는 모델링 가정이다.

그렇다면 추가 100GB는 대략

+10~18% Goodput

의 잠재가치를 갖는다.

물론 실제 함수는 선형이 아니다.

추가 Memory가 필요 없는 Workload에서는 100GB를 더 달아도 가치가 거의 없다.

반대로 Model Weight나 KV Cache가 HBM에 간발의 차이로 들어가지 않아 GPU를 하나 더 사용해야 하는 경우에는 마지막 몇 GB가 GPU 전체 한 개를 절약할 수도 있다.

그래서 HBM Capacity의 경제적 가치는 선형보다 Threshold에 가깝다.

HBM Capacity ↑
→ Larger Batch
→ More Concurrent Agents
→ Less KV Offload
→ Less Tensor Parallelism
→ Higher GPU Goodput

이 구조다.

8. 실제 돈으로 바꾸면 숫자가 더 커진다

생각정리 325 (* Memory Premium)에서 사용했던 방식과 동일하게 계산해본다.

HBM이 만들어내는 경제적 가치를

GPU 시간당 가치
× 연간시간
× 유료가동률
× Goodput 개선
× Incremental Margin
× 사용기간 현재가치

로 생각할 수 있다.

GB300급 GPU-hour 경제가치를 약 $13, 유료가동률 70%, Incremental Margin 60%, 4년 현재가치 계수를 약 3.17로 놓으면,

GPU Goodput을 단 1% 높이는 경제적 가치는 대략 GPU당 $1,500 전후가 된다.

그렇다면 앞의 경험적 민감도인

+1GB HBM → +0.10~0.18% Goodput

을 적용할 경우,

HBM 1GB의 Marginal Economic Value는 대략

$150~270/GB

정도가 된다.

조금 넓게 잡으면 $100~300/GB 정도다.

다시 말하지만 이것은 HBM의 판매가격을 의미하지 않는다.

Cloud 사업자가 추가 HBM으로 GPU의 생산성을 높이면서 얻는 경제적 잉여의 현재가치다.

9. 그런데 Capacity보다 Bandwidth의 가치가 더 커질 수 있다

Rubin은 GPU당 22TB/s의 HBM4 Bandwidth를 제공한다.

여기서 1TB/s가 추가되면 Bandwidth가 약 4.5% 증가한다.

Memory-bound Workload에서 실제 Throughput의 Bandwidth Elasticity를 보수적으로 0.5~0.8만 적용하더라도,

추가 1TB/s

→ 약 +2.3~3.6% Goodput

정도의 가치가 생길 수 있다.

앞서 계산한 Goodput 1%당 약 $1,500을 적용하면,

HBM Bandwidth +1TB/s의 4년 경제적 가치

는 GPU당 약

$3.5K~5.5K

수준이 된다.

Astra 이후 HBM을 단순히 $/GB로 보면 안 되는 이유다.

앞으로 더 중요한 지표는

$/GB

보다

$/TB/s

일 수 있다.

10. 그래서 Rubin의 22TB/s가 중요하다

Blackwell Ultra에서 Rubin으로 넘어가면서 HBM Capacity는 288GB로 동일하지만 Bandwidth는

8TB/s
→ 22TB/s

로 2.75배 증가한다.

그런데 Compute도 동시에 크게 증가한다.

Blackwell Ultra의 Dense NVFP4 Compute가 약 15PFLOPS, Rubin의 NVFP4 inference 성능은 최대 50PFLOPS다. (NVIDIA Developer)

즉 Compute 증가속도가 Memory Bandwidth 증가속도보다 느리지 않다.

HBM Bandwidth를 거의 세 배 늘렸는데도 Tensor Core를 완전히 먹여 살리기 위해 필요한 Memory Throughput 부담은 여전히 크다.

이것이 중요하다.

HBM의 기술개선이 GPU의 연산성능을 앞서가는 것이 아니라, 급증하는 Compute를 따라가기 위해 거의 전력질주하고 있는 상황에 가깝기 때문이다.

Compute ↑↑
→ Weight/KV Traffic ↑↑
→ HBM Bandwidth ↑↑
→ 그러나 Compute/Bandwidth Ratio는 여전히 높음
→ Memory Wall 지속

따라서 GPU FLOPS가 증가하면 HBM의 중요성이 떨어지는 것이 아니다.

오히려 반대다.

비싸진 FLOPS를 놀리지 않기 위해 Memory 한 단위의 가치가 더 높아진다.

11. NVHBM을 다시 보면 의미가 달라진다

NVHBM의 기술적 구조는 이미 생각정리 355 (* HBM hegemony, NVHBM)에서 정리했으므로 반복하지 않는다.

핵심 숫자만 가져오면 NVIDIA가 표준 HBM4E 대비 제시하는 최대 효과는

Memory Bandwidth +30%
HBM Power -15%
XPU Compute Die Area +25%

다. (NVIDIA Blog)

이 수치들은 NVIDIA가 제시한 up to 기준이므로 실제 고객별 성능은 달라질 수 있다.

그럼에도 앞선 경제적 가치 계산에 넣어보면 꽤 흥미롭다.

22TB/s의 30%라면 추가 Bandwidth는 최대

6.6TB/s

다.

앞서 1TB/s의 경제적 가치를 $3.5K~5.5K/GPU로 계산했으므로 단순한 Bandwidth 효과만으로도

약 $23K~36K/GPU

의 경제적 가치가 설명된다.

여기에는 HBM Power 15% 절감이나 XPU Die 면적 확보효과는 포함하지 않았다.

결국 NVIDIA가 Memory Controller까지 HBM Base Die로 가져가려는 이유도 명확해진다.

NVHBM은 단순히 더 비싼 HBM을 만드는 기술이 아니다.

GPU와 HBM 사이에서 사라지는 FLOPS를 줄이는 기술이다.

12. HBM4 전체의 경제적 가치를 다시 계산해보면

앞선 Memory Premium에서는 Rubin Memory System의 경제적 가치를 대략 $100K~140K/GPU로 추정했다.

이번에는 조금 더 보수적으로 수정하고 싶다.

Rubin HBM4의 Capacity와 Bandwidth가 Agentic Inference의 전체 Goodput을 Blackwell Ultra 대비 약 50~70% 개선하는 데 기여한다고 가정하면,

현재 GPU-hour 경제가치를 기준으로 HBM에 귀속되는 4년 영업이익 현재가치는 대략

$80K~110K/GPU

정도가 Base Case로 적절해 보인다.

Memory-heavy Astra Workload가 예상보다 빠르게 확대될 경우

$120K~150K+

도 가능하다.

즉 기존 추정치를 폐기하는 것이 아니라

기존 $100K~140K

→ Base $80K~110K

→ Astra Bull $120K~150K+

정도로 Scenario를 조금 더 구분하는 편이 합리적이다.

13. 그러면 HBM 가격은 어디까지 올라갈 수 있을까

이전 생각정리 325 (* Memory Premium)에서 Rubin GPU당 HBM4 비용을 약 $8K~12K로 가정했다.

이를 이번에 추정한 HBM의 경제적 가치와 비교하면,

Economic Value / HBM Cost

= 대략 7~14배

가 된다.

물론 이 경제적 잉여를 Memory 업체가 전부 가져갈 수는 없다.

NVIDIA가 가져갈 몫이 있고,

TSMC와 Advanced Packaging 업체가 가져갈 몫이 있고,

Cloud가 가져갈 몫이 있고,

낮아지는 Token 가격을 통해 최종고객에게 돌아갈 몫도 있다.

그러나 Memory 업체가 전체 경제적 잉여의 일부만 가격으로 가져가더라도 현재 HBM 가격보다 훨씬 높은 가격을 시스템이 감당할 여지는 존재한다.

그래서 생각정리 325 (* Memory Premium)에서 추정했던

현실적인 HBM 가격 상단 3~5배

라는 가정을 현재도 유지한다.

이 3~5배는 Cloud가 이론적으로 감당할 수 있는 최대가격이 아니다.

실제 산업 Value Chain에서 Memory 업체가 어느 정도의 경제적 잉여를 협상력을 통해 가져갈 수 있을지에 대한 현실적인 범위에 가깝다.

14. 1GW로 확대하면 더 쉽게 보인다

AI Factory의 경제성은 이미 생각정리 358 (* The Price of Compute)에서 정리했다.

당시 고가동률의 최신 AI Cloud를 가정한 장기 정상화 매출을 약 $17B/GW/년이라는 기준으로 놓았다.

이 숫자를 다시 활용해보자.

새로운 데이터센터나 GPU를 추가하지 않고 HBM이 기존 GPU Goodput만 개선한다고 가정한다.

1GW AI Factory에서 Memory System이 Goodput을 단 10% 높이는 것만으로 약 $3B 이상의 경제적 가치가 발생할 수 있다.

20%면 $6B를 넘어간다.

1GW AI Factory의 건설비 자체를 대략 $40~60B로 봤던 것과 비교해도 무시하기 어려운 금액이다.

Cloud 사업자 입장에서는 HBM 가격이 30%, 50% 올라가는 것이 가장 큰 문제가 아니다.

더 큰 문제는

수백억 달러를 들여 설치한 GPU·Network·Power가 HBM 부족 때문에 10~20% 덜 생산적인 상태로 남는 것

이다.

15. 결국 HBM의 가격결정 방식이 달라진다

과거 DRAM의 가격은 대체로 다음과 같이 생각했다.

Cost
→ Supply/Demand
→ ASP

HBM도 Memory Commodity Cycle의 영향을 받기 때문에 이 논리가 사라지는 것은 아니다.

하지만 AI 시스템 안에서는 새로운 가격기준이 하나 추가된다.

GPU CAPEX
→ Idle FLOPS
→ Additional HBM
→ Recovered Goodput
→ Additional Tokens
→ Additional Revenue
→ Willingness to Pay

따라서 HBM의 Shadow Price는

**Avoided GPU CAPEX

Additional Token Revenue
Lower Power
Lower Network/Sharding Cost**

의 합으로 볼 수 있다.

HBM DRAM Die의 제조원가는 이 가치 가운데 일부일 뿐이다.

이 관점이 중요한 이유는 HBM의 ASP가 과거 일반 DRAM보다 훨씬 오랫동안 높은 수준을 유지할 수 있는 논리적 근거가 되기 때문이다.

16. 같은 288GB라도 가격이 달라질 수 있다

HBM4 이후에는 같은 용량의 HBM이라도 경제적 가치가 달라질 가능성이 높다.

예를 들어 둘 다 288GB라고 하더라도

Bandwidth
Pin Speed
Power
Logic Base Die
Memory Controller
PHY
Packaging
GPU/XPU와의 최적화
실제 Achieved Bandwidth

가 다르면 GPU가 생산할 수 있는 Token도 달라진다.

그래서 앞으로 HBM은 단순히

GB × $/GB

로 가격이 결정되는 제품에서

Capacity × Bandwidth × Customization × System Qualification

으로 가격이 결정되는 제품에 가까워질 수 있다.

NVHBM이 중요한 이유도 여기에 있다.

앞으로 NVIDIA GPU용 HBM, Google TPU용 HBM, AWS Trainium용 HBM, Microsoft Maia용 HBM의 가격이 동일할 이유가 점점 줄어든다.

HBM은 Commodity DRAM에서 Semi-custom System Component 쪽으로 이동할 가능성이 높다.

17. SOCAMM과 NAND가 증가해도 HBM이 대체되는 것은 아니다

Astra 이후 Persistent Context가 늘어나면 모든 정보를 비싼 HBM에 저장할 수는 없다.

그래서 Memory Hierarchy가 확장된다.

Hot Memory — HBM4

Model Weight, Active KV Cache, Decode와 Prefill

Warm Memory — SOCAMM·Server DRAM

Agent State, Context Buffer, CPU-side processing

Context Memory — CMX·eSSD

Inactive KV Cache, Shared Context, Persistent Memory

Cold Storage — NAND

Long-term Data와 Archived State

이를 HBM 대체로 이해하면 안 된다.

오히려 아래 Memory Tier가 충분히 커지면 비싼 HBM은 가장 가치 있는 Hot Working Set에 집중할 수 있다.

그 결과 HBM utilization과 GPU utilization 모두 높아진다.

즉 DRAM·NAND의 확대와 HBM 확대는 서로 경쟁하는 관계라기보다 AI Memory Hierarchy 전체가 커지는 과정에 가깝다.

18. 가장 강한 반대논리

물론 이 Thesis가 틀릴 수도 있다.

다음 기술들이 예상보다 빠르게 발전한다면 HBM의 Marginal Value는 떨어질 수 있다.

KV Cache Compression

PagedAttention

MLA·GQA

Sparse Attention

Quantization

Prefill·Decode Disaggregation

CXL Memory

Context Tiering

Memory-aware Scheduling

더 중요한 것은 Astra의 성능개선이 Model Size 확대보다 Algorithm, Harness와 Test-time Compute 개선에서 대부분 발생했을 가능성이다.

이 경우 Astra 자체의 HBM Capacity 증가폭은 예상보다 훨씬 작을 수 있다.

하지만 여기서도 한 가지를 구분해야 한다.

Memory per Task 감소

와

Total Memory Demand 감소

는 같은 이야기가 아니다.

Memory Efficiency ↑
→ Cost per Task ↓
→ Addressable Tasks ↑
→ Agent Usage ↑
→ Concurrent Workloads ↑

가 더 빠르게 나타난다면 전체 Memory 수요는 계속 증가할 수 있다.

결국 이 Thesis를 정말 훼손하는 것은 Memory Efficiency 개선 그 자체가 아니다.

앞으로 확인해야 하는 것은 세 가지다.

첫째, Astra 이후 실제 평균 Context가 늘어나는가.

둘째, 사용자당 Concurrent Agent 수가 증가하는가.

셋째, Memory Traffic의 효율화보다 Agent 업무량 증가속도가 더 빠른가.

이 세 가지를 계속 확인하면 될 것 같다.

19. HBM은 GPU의 Yield Enhancer가 된다

이전까지 HBM을 바라보는 가장 직관적인 방법은 GPU 한 개에 몇 GB가 들어가는지를 계산하는 것이었다.

앞으로는 그것만으로 부족할 가능성이 높다.

내가 현재 중요하게 보는 지표는 다음과 같다.

특히 앞으로는 HBM TB/s/GPU와 Useful FLOPS/Peak FLOPS를 같이 봐야 할 것 같다.

결국 HBM이 하는 일은 단순하다.

놀고 있는 GPU FLOPS를 다시 생산라인으로 돌려놓는다.

글을 마치며,

Astra를 보면서 처음에는 이 모델이 Sol보다 HBM을 얼마나 더 많이 사용할지가 궁금했다.

조금 더 들여다보니 그 질문 자체가 너무 좁았던 것 같다.

Astra 자체가 Sol보다 HBM을 2배 사용하는지가 중요한 것이 아니다.

Astra가 더 긴 Context를 실제 업무에 사용하고, 인간이 더 많은 업무를 Agent에게 위임하고, 여러 Agent가 동시에 수시간씩 움직이기 시작하면 AI Factory 전체의 Memory Traffic이 얼마나 증가하는지가 더 중요하다.

그리고 Compute가 증가할수록 HBM의 가치도 달라진다.

GPU FLOPS ↑
→ Memory가 공급해야 할 Data ↑
→ Memory Wall ↑
→ Idle FLOPS의 절대가치 ↑
→ HBM의 Shadow Price ↑

결국 HBM의 경제적 가치는 저장되는 Byte 자체의 가치가 아니다.

그 Byte가 되살리는 GPU FLOPS의 가치다.

이 관점에서 보면 B300에서 Rubin으로 넘어가면서 HBM Capacity가 288GB로 그대로인데 Bandwidth가 8TB/s에서 22TB/s로 2.75배 증가하는 이유도 이해된다.

NVIDIA가 NVHBM을 통해 Memory Controller를 Base Die까지 내려보내고 표준 HBM4E보다 최대 30% 높은 Bandwidth를 얻으려는 이유도 같은 맥락이다.

AI 산업에서는 Compute가 점점 비싸지는 것이 아니라 생산 가능한 Compute가 점점 귀해지고 있다.

GPU 한 개가 가진 Peak FLOPS보다 중요한 것은 실제로 몇 %의 FLOPS를 유료 Token으로 전환할 수 있느냐다.

그래서 앞으로 HBM을 단순한 Memory BOM으로 보는 것은 적절하지 않을 수도 있다.

HBM은 GPU의 Yield Enhancer에 가깝다.

더 많은 GPU를 설치하지 않고도 이미 구매한 GPU, 이미 확보한 전력, 이미 지은 데이터센터에서 더 많은 Intelligence를 생산하게 해준다.

이 구조가 맞다면 HBM의 가격 상단 역시 과거 Commodity DRAM의 원가나 역사적 Premium만으로 설명하기 어렵다.

내 현재 Base Case에서는 Rubin HBM4가 GPU당 만들어내는 경제적 가치를 약 $80K~110K, Astra와 같은 Memory-heavy Agent workload가 빠르게 확산되는 경우 $120K~150K 이상까지 열어두고 있다.

반면 현재 가정하는 HBM4의 실제 비용은 그보다 훨씬 낮다.

결국 앞으로 중요한 질문은

“HBM 가격이 얼마나 더 오를 수 있는가”

보다,

“HBM이 만들어내는 System Surplus 가운데 Memory 업체가 얼마만큼을 가격으로 가져갈 수 있는가”

에 가까울 것 같다.

생각정리 324 (* Token Empire)에서 처음 정리했던 AI Cloud의 생산성은 결국

Chip × Memory × Network × Power × Software × Utilization

의 곱으로 결정된다.

Astra 이후에는 이 식에서 Memory와 Utilization 사이의 관계가 이전보다 훨씬 중요해질 가능성이 높아 보인다.

Compute가 더 빨라질수록 Memory의 중요성이 낮아지는 것이 아니라, 그 비싼 Compute를 굶기지 않기 위해 Memory의 경제적 가치가 더 높아진다.

~~(하루만 더 참을껄 젠~~~장~~~~~~..)~~

=끝

2026년 9월 5일 토요일

생각정리 360 (* Rate Divergence)

주말동안 있었던 여러 매크로 관련 이슈들을 묶어서 기록 정리해본다.

정부가 낮추려는 금리와 시장이 요구하는 금리

최근 트럼프 대통령과 베센트 재무장관, 그리고 연준 인사들의 발언을 보면서 느꼈던 점을 정리해본다.

중간선거를 앞둔 미국 정부는 물가와 금리를 안정시키기 위해 상당한 노력을 기울이는 듯하다.

트럼프는 9월 4일 연준에 금리인하를 요구하면서 무역적자 상대국들과의 교역 중단까지 언급했다. 베센트는 이란과의 충돌이 끝나면 유가가 배럴당 50달러, 나아가 40달러까지 내려갈 수 있고, 이에 따라 물가와 채권금리도 안정될 것이라고 전망했다. 트럼프 발언, 베센트 인터뷰

크리스토퍼 월러 연준 이사 역시 물가 둔화가 이어진다면 정책금리 동결을 지지하겠다는 입장을 밝혔다. 그가 제시한 근원 PCE의 최근 3개월 연율 상승률은 **2월 4.76%에서 7월 3.05%**로 낮아졌다. 향후 물가에 따라 대응하겠다는 조건부 입장이다. 연준, 월러 연설

미국 정부가 원하는 방향은 이해하기 어렵지 않다.

유가와 생활비를 낮추고, 가계의 금융비용을 줄이며, 정부도 조금 더 낮은 금리로 부채를 차환하고 싶을 것이다.

그런데 앞으로도 이 경로가 과거처럼 작동할 수 있을까.

유가가 내려가고 Fed Funds Rate이 낮아지면, 장기 시장금리도 함께 과거 수준으로 돌아갈 것인가.

개인적으로는 이 연결고리가 점점 약해질 가능성을 보고 있다.

1. 정책금리가 내려가도 장기금리는 오를 수 있다

먼저 금리를 결정하는 시간축부터 다르다.

연준은 현재의 단기자금 가격에 직접 영향을 준다. 반면 10년, 30년 동안 돈을 빌려주는 투자자는 그 기간의 성장과 물가, 향후 정책금리, 그리고 장기간 위험을 감수하는 데 필요한 보상을 함께 평가한다.

장기 국채금리 ≈ 향후 단기금리의 평균 예상치 + Term Premium

여기서 Term Premium은 미래 금리와 물가의 불확실성 등을 감수하고 장기채를 보유하는 대가다. 현재 정책금리가 낮아져도 미래 금리 전망이나 기간프리미엄이 높아지면 장기금리는 충분히 내려가지 않을 수 있다. 뉴욕연준, Treasury Term Premia

실제로 이런 모습은 이미 나타났다.

자료: 연준 통화정책보고서 — 정책금리, 금융시장. 두 지표의 관측기간에는 차이가 있다.

연준이 정책금리를 내리는 동안 시장은 향후 추가 인하 기대를 줄였고, 장기 실질금리는 상승했다.

정책금리 인하와 장기 차입비용 하락이 항상 함께 움직이지는 않는다는 뜻이다.

최근에도 9월 2일 장중 미국 10년물은 4.81%, 30년물은 5.292%까지 거래됐다. 이번 상승에는 유가와 추가 정책금리 인상 기대가 함께 반영돼 있다. Barron’s, 9월 2일 채권시장

그렇다면 다음으로 생각해볼 문제는 이것이다.

유가와 단기 물가 충격이 진정된 이후에도, 장기금리를 높은 수준에 머물게 하는 힘은 얼마나 남아 있을까.

2. 정부의 차입이 줄지 않는데 민간의 자본 수요까지 늘어난다

고령화와 재정지출의 경직성은 이전 글에서 정리했다.

생각정리 350 — Debt, Centralization

국가부채와 글로벌 장기자금 경쟁의 관계도 아래 글로 갈음한다.

생각정리 347 — AI Fiscal Race, Public Debt

이번 글에 필요한 결론은, 주요국 정부의 차입 필요가 경기회복만으로 쉽게 사라지기 어렵다는 점이다.

IMF의 2026년 4월 전망에 따르면 글로벌 정부부채는 2025년 GDP의 **약 94%에서 2029년 100%**로 상승한다. IMF, Fiscal Monitor

이 상황에서 AI가 새로운 민간 자본 수요를 만들어내고 있다.

자료: OECD, Global Debt Report 2026. 조달액은 차환을 포함하며, CAPEX와 회사채 발행 전망은 서로 다른 지표이므로 합산하지 않는다.

정부는 기존 부채를 차환하고 새로운 재정지출을 감당해야 한다. 동시에 기술기업은 데이터센터와 AI 생산설비를 건설하기 위해 외부자금을 조달한다.

반면 OECD는 중앙은행의 국채 보유가 줄어들면서 시장이 가격에 민감한 투자자에게 더 의존하게 됐다고 설명한다. OECD 보고서

자금을 필요로 하는 주체는 늘어나는데, 그 자금을 공급하는 투자자는 더 높은 보상을 따져보기 시작한 것이다.

여기서 국채의 한계 매수자가 요구하는 수익률도 달라질 수 있다.

3. AI의 생산성은 나중에 오지만 CAPEX는 먼저 발생한다

AI가 장기적으로 생산성을 높이고 단위비용을 낮출 가능성은 크다.

하지만 그 생산성을 얻으려면 먼저 AI Physical Infrastructure를 건설해야 한다.

반도체와 서버를 구매하고, 데이터센터를 짓고, 발전설비와 송전망을 확보해야 한다. 냉각설비와 변압기, 건설인력에도 비용을 지불해야 한다.

리사 쿡 연준 이사는 5월 27일 연설에서 기업들이 발표한 데이터센터 계획이 1.5조 달러 이상이며, 그중 실제로 실현된 부분은 작다고 설명했다. 반도체와 첨단 장비, 전문 건설인력의 가격 압력도 함께 언급했다. 연준, 쿡 연설

이 금액은 발표된 계획이다. 앞으로 얼마나 실제 집행으로 이어지는지가 중요하다.

고금리에도 AI 인프라 투자가 지속될 수 있는 이유는 이전 글에서 다뤘다.

생각정리 357 — Beyond the Cycle, k-EPC

여기서 주목하는 것은 시간차다.

AI CAPEX → 자금·설비·전력 수요 증가 → 생산능력 확보 → AI 도입 확산 → 생산성 개선

자본과 실물자원에 대한 수요는 앞에서 발생한다. 경제 전체가 생산성 개선의 혜택을 얻는 데는 시간이 걸린다.

따라서 유가가 하락해 단기 물가가 안정되더라도, 데이터센터와 전력 인프라를 건설하는 데 필요한 장기자금 수요는 계속 늘어날 수 있다.

유가 안정과 장기 자본비용 안정 사이에 시간차가 생길 수 있다는 의미다.

4. 금리인하가 오히려 AI 투자를 더 자극한다면

여기에 한 가지 역설이 생긴다.

미국 정부가 원하는 대로 정책금리가 낮아졌는데, AI 투자의 기대수익성은 높은 수준을 유지한다면 어떻게 될까.

단기 안전자산의 수익률이 낮아지면 투자자는 추가 수익을 얻을 기회를 찾는다. 차입비용 하락은 일부 프로젝트의 금융조달을 쉽게 만들고, 투자 가능한 사업의 범위도 넓힌다.

AI 분야에서 위험을 감안한 기대수익성이 충분한 프로젝트가 많다면, 이러한 자본이 AI 관련 지분투자와 대출, 인프라 금융으로 배분될 유인도 커진다.

BIS는 낮은 금리가 금융기관의 수익률 추구와 위험 인수를 강화하는 경로를 연구했다. 미국과 유럽의 상장은행 약 600개를 분석한 2009년 연구는 저금리의 지속이 금융기관의 위험 인수를 확대할 수 있다고 설명한다. BIS, Monetary Policy and the Risk-Taking Channel

이 연구가 AI 투자에 대한 직접적인 실증은 아니다. 다만 단기 수익률이 낮아질 때 자본배분이 어떻게 달라질 수 있는지를 설명해준다.

내가 생각하는 경로는 다음과 같다.

Fed Funds Rate 하락
→ 단기 안전자산 수익률·일부 조달비용 하락
→ AI 관련 위험자본 공급 확대
→ 신규 CAPEX와 차입 증가
→ 장기자금 수요 확대
→ 장기금리 하락을 제약하는 압력

중요한 연결고리는 신규 투자다.

기존 주식의 가격만 상승하는 경우보다, 새롭게 조달된 지분자본이 대출과 회사채 발행을 동반하고 실제 데이터센터·전력설비 건설로 이어질 때 이 경로는 강해진다.

프로젝트의 위험을 감안한 수익성이 유지된다면, 금리인하가 투자를 앞당기고 그 투자가 다시 장기자금을 필요로 하는 구조가 만들어질 수 있다.

초기에는 금융공급이 늘면서 AI 관련 신용스프레드가 좁아질 수도 있다. 이후 추가 투자와 차입이 확대되면 장기 기준금리에는 다시 상방압력이 생길 수 있다.

단기 금융여건의 완화가 장기 자본 수요를 더 크게 만드는 역설이다.

5. 장기금리는 어느 힘이 더 강한지에 따라 결정된다

정책금리 인하는 장기채 매수를 늘리는 힘도 갖고 있다.

투자자는 단기금리가 더 내려가기 전에 장기 국채의 수익률을 확보하려 할 수 있다. 미래 단기금리 전망이 낮아지는 것 자체도 장기금리를 낮추는 요인이다.

결국 아래의 힘들이 함께 작용한다.

앞으로 AI 투자와 정부의 차입 수요가 충분히 강하다면, 금리인하에 따른 장기금리 하락 효과를 상당 부분 상쇄할 수 있다고 생각한다.

특히 물가가 충분히 안정되지 않은 상태에서 인하가 이뤄지면, 시장은 미래의 인플레이션과 재긴축 가능성을 더 높게 평가할 수 있다.

그 결과 단기금리는 내려가지만 장기금리는 높은 수준에 남거나, 경우에 따라 오르는 모습도 가능해진다.

6. 결국 과거의 중립금리 Anchor를 다시 봐야 한다

AI의 영향은 현재의 CAPEX에서 끝나지 않는다.

생산성이 높아지고 수익성 있는 투자 기회가 늘어나면, 경제가 필요로 하는 자본의 규모 자체가 커질 수 있다.

마이클 바 연준 이사는 2월 17일 연설에서 AI가 생산성을 지속적으로 높일 경우 기업의 투자와 자본 수요가 늘어나 금리에 상방압력이 발생할 수 있다고 설명했다.

가계도 미래소득 증가를 기대해 저축을 줄일 수 있으며, 이러한 변화는 더 높은 균형금리인 r-star로 이어질 수 있다는 것이다. 연준, 바 연설

AI는 생산비용을 낮추면서 동시에 자본의 수익성과 투자 수요를 높일 수 있다.

Productivity 상승
→ 투자 기회 확대
→ Capital Demand 증가
→ 균형 실질금리 상승 가능

여기에 국채 공급과 기간프리미엄 부담이 겹치면, 물가가 안정되더라도 장기 명목금리가 과거 수준으로 돌아가지 않을 수 있다.

내가 말하는 금리의 Anchor 이동은 이 변화에 가깝다.

과거의 낮은 중립금리와 낮은 기간프리미엄을 앞으로의 장기 자본비용에 그대로 적용하기 어려워지는 것이다.

경제가 필요로 하는 균형금리는 높아졌는데 정책금리만 낮춘다면, 그 금리는 투자와 수요를 더 자극할 수 있다. 그리고 시장은 그 결과까지 장기금리에 반영한다.

7. 미국의 자본 수요는 글로벌 채권시장으로 연결된다

미국의 AI 투자가 미국 안에서만 자금을 조달하는 것은 아니다.

글로벌 보험사와 연기금, 국부펀드와 자산운용사는 미국채·유럽채·일본채뿐 아니라 회사채와 인프라 대출, 부동산 금융을 함께 비교한다.

이들이 미국 AI 인프라에 배분할 자금을 늘린다면 다른 자산에 대한 배분도 영향을 받는다.

국채 공급이 계속되는 상황에서 민간 장기자산의 투자 매력이 높아지면, 정부도 신규 매수자를 확보하기 위해 더 높은 수익률을 제시해야 할 수 있다.

최근 노르웨이 중앙은행은 국부펀드의 채권 벤치마크에서 정부채 비중을 70%에서 50%로 낮추고, 기관보증 MBS 등으로 투자 대상을 넓히는 방안을 권고했다. Norges Bank, 채권 투자전략 검토

아직 권고 단계이지만, 대형 장기투자자가 국채와 다른 채권의 위험프리미엄을 다시 비교하고 있다는 점은 의미가 있다.

국가별 영향의 크기는 다를 것이다. 환헤지 비용과 자국의 경기·물가, 국내 투자자의 국채 수요가 다르기 때문이다. 미국의 금리인하로 달러 환헤지 비용이 낮아지면 해외 투자자의 미국채 수요가 늘어나는 효과도 있다.

그럼에도 정부와 민간이 동시에 장기자금을 필요로 하는 방향은 중요하다.

미국의 AI CAPEX가 확대될수록 글로벌 자본배분의 기준이 달라지고, 그 변화가 다른 국가의 장기금리에도 영향을 줄 수 있다.

이전 글에서 정리한 ‘r은 세계화되고, g는 AI 인프라를 따라간다’는 생각도 이와 연결된다.

8. 이제는 금리인하 여부와 자본비용을 따로 봐야 한다

앞으로 확인할 것은 다음 FOMC에서 금리를 내리는지에만 있지 않다.

인하 이후에도 장기 실질금리와 기간프리미엄이 높은 수준을 유지하는지, AI 투자계획이 실제 금융조달과 CAPEX로 전환되는지를 함께 봐야 한다.

AI 수익성이 악화돼 투자가 취소되거나, 경기침체로 민간 차입이 줄고 안전자산 수요가 커지면 장기금리의 방향은 달라질 수 있다. 재정조정이 실제로 진행되는지도 중요한 변수다.

내가 경계하는 것은 정책금리 인하만으로 모든 자산의 할인율이 과거 수준으로 돌아갈 것이라는 기대다.

AI 인프라 기업 역시 매출과 수주가 늘어나는 것만으로 충분하지 않다. 금융비용과 유지·교체 CAPEX, 가동률을 반영한 현금수익률이 자본비용을 감당해야 한다.

성장이 강한 산업일수록 자본도 많이 필요하다. 그 자본의 가격까지 함께 봐야 한다.

#글을 마치며

미국 정부는 물가와 금리를 낮추려 할 것이다.

동시에 AI 투자를 늘려 생산성과 성장률을 높이려는 정책도 이어갈 가능성이 높다. 이러한 성장전략은 「생각정리 359 — AI Is the Exit, G20」에서 정리했다.

그런데 그 두 목표가 항상 같은 방향으로 작동하지는 않을 수 있다.

단기금리를 낮추면 일부 금융비용은 줄어든다. 하지만 높은 기대수익성을 가진 AI 투자에 자본이 더 공급되고, 그 투자가 추가 차입과 설비 수요로 이어지면 장기 자본비용에는 다시 상방압력이 발생한다.

여기에 주요국의 Public Debt와 차환 수요는 계속 남아 있다.

정부는 낮은 금리를 원하지만, 시장은 늘어나는 자본 수요를 감당할 수익률을 요구한다.

앞으로는 Fed Funds Rate이 내려가는 시기에도 장기자본은 여전히 비쌀 수 있다.

정책금리의 방향만으로 채권시장과 자산가격을 판단하기 어려워지는 시대에 가까워지고 있는 것 아닌가 싶다.

=끝