지난주부터 Astra를 사용해 이것저것 시험해보고 있다.
처음에는 “와, 개쩐다”는 생각뿐이었다. 사람이 하던 것처럼 자료를 찾고, 문서를 읽고, 엑셀을 수정하며 결과까지 만들어내는 모습을 보면서 가능한 활용법을 하나씩 시험해봤다.
그러다 오늘 아침이 되어서야 Credit이 눈 녹듯 사라지고 있다는 사실을 뒤늦게 깨달았다.
Astra는 일반 Chatbot 형태의 이전 모델보다 Token당 단가가 높을 뿐 아니라, 하나의 업무를 처리하는 과정에서 훨씬 많은 Token을 사용한다. 자료를 읽고 끝나는 것이 아니라 계획을 세우고, 도구를 사용하고, 결과를 확인하고, 문제가 생기면 다시 시도하기 때문이다.
 |
| 개인적인 Credit 사용 기반 report |
특히 9월 8~10일 3일간 XXX크레딧, 전체 사용량의 74.1%가 집중됐습니다. 최근 여러 기업의 긴 컨퍼런스콜 원문과 대형 엑셀 어닝모델을 연속해서 처리한 영향으로 보입니다.
더 중요한 부분은 토큰 구성입니다.
- 캐시된 입력: xxxM tokens, 전체 토큰의 93.2%
- 신규 입력: xxM
- 출력: xxxM
즉, 답변을 길게 써서라기보다 긴 대화 문맥·첨부파일·기존 리서치 자료가 매번 모델에 다시 투입되는 구조가 크레딧 증가의 주된 원인
- From credit report
잠깐....
텍스트로 된 Earnings Call을 정리하고 몇 번의 Financial Modeling을 맡겼을 뿐인데도 사용량이 이 정도라면, 이미지와 영상을 만들거나 현실 세계를 계속 관찰하고 예측하는 World Model에서는 얼마나 많은 Token이 필요할까?
특히 앞으로 AI가 과학적 가설을 세우고 수많은 실험 결과를 비교하거나, 휴머노이드 로봇이 카메라와 센서를 통해 현실을 끊임없이 학습하기 시작한다면 지금과는 전혀 다른 규모의 Compute와 Memory가 필요할 수도 있다.
갑자기 그 차이가 궁금해졌다.
그래서 가장 이해하기 쉬운 해리포터를 예로 들어, AI가 책 한 권을 읽을 때와 같은 이야기를 영상과 움직이는 세계로 만들 때 필요한 Token이 얼마나 달라지는지부터 하나씩 계산해봤다.
AI가 글을 읽는 시대에서 현실 세계를 이해하는 시대로
최근 Agent와 World Model 관련 자료들을 살펴보면서 앞으로 AI가 얼마나 많은 Token과 데이터를 사용하게 될지 생각해봤다.
Token은 AI가 글이나 이미지, 영상을 이해하기 위해 정보를 잘게 나눈 조각이다.
지금까지는 주로 사람이 AI에게 질문하면 AI가 글로 답하는 과정에서 Token이 사용됐다.
하지만 Agent는 사람이 시키지 않아도 여러 단계를 거쳐 일을 수행한다. World Model은 여기서 더 나아가 카메라와 센서를 통해 현실 세계를 보고, 다음에 무슨 일이 일어날지 예상한다.
이를 가장 쉽게 이해하기 위해 해리포터 1권을 예로 들어보자.
1. 해리포터 책을 읽는 AI
『해리포터와 마법사의 돌』 영어 원서는 약 7만7,000단어로 이루어져 있다.
AI가 이 책을 처음부터 끝까지 한 번 읽으려면 약 10만 개의 Text Token이 필요하다.
Token을 이해하기 어렵다면 책을 레고 블록으로 잘게 나눈다고 생각하면 된다.
AI는 해리포터 책 전체를 약 10만 개의 작은 언어 블록으로 나누어 읽는다.
텍스트 파일로 저장하면 크기는 1MB도 되지 않는다.
즉 한 권의 책은 다음과 같이 표현할 수 있다.
Harry Potter Book
→ 약 77,000 Words
→ 약 100,000 Text Tokens
→ 1MB 이하의 Data
AI가 책을 요약하고 인물 관계를 분석하고 내용을 여러 번 검토한다면 더 많은 Token이 필요하다.
그래도 대부분 수십만 개에서 수백만 개 수준이다.
여기까지가 우리가 익숙하게 알고 있던 LLM의 세계다.
2. 같은 이야기를 영화로 만들면 어떻게 될까
이제 같은 해리포터 이야기를 영화로 만든다고 생각해보자.
책에서는 다음과 같이 한 문장으로 표현할 수 있다.
“해리는 움직이는 계단을 따라 호그와트 위층으로 올라갔다.”
그러나 영상을 만들려면 훨씬 많은 정보가 필요하다.
계단은 어떻게 생겼는지, 해리는 어디에 서 있는지, 옷은 어떻게 움직이는지, 주변 조명은 얼마나 어두운지, 카메라는 어느 방향에서 촬영하는지를 모두 표현해야 한다.
그리고 이 정보는 매 순간 달라진다.
텍스트는 한 문장으로 장면을 설명할 수 있지만 영상은 매초 수많은 화면의 변화를 기록해야 한다.
NVIDIA는 현실의 영상과 로봇 데이터를 이해하고 미래 장면을 생성하는 World Model인 Cosmos를 개발했다.
Cosmos는 2,000만 시간의 실제 영상 데이터를 약 9,000조 개의 Visual Token으로 바꿔 학습했다. 이를 단순하게 나누면 영상 1시간당 약 4억5,000만 개, 1초당 약 12만5,000개의 Visual Token에 해당한다.
 |
| NVIDIA Cosmos |
해리포터 1편 영화는 약 152분이다.
이를 Cosmos 기준으로 계산하면 완성된 영화 한 편을 표현하는 데 약 11억 개의 Visual Token이 필요하다.
Harry Potter Book
→ 약 10만 Text Tokens
Harry Potter Movie
→ 약 11억 Visual Tokens
같은 이야기를 표현하는데도 영상은 텍스트보다 약 1만1,000배 많은 Token을 사용한다.
Text는 이미 정리된 이야기를 읽는다.
World Model은 이야기 속의 세계 전체를 직접 만들어야 한다.
3. 실제 영화 제작에는 완성본보다 훨씬 많은 데이터가 필요하다
영화는 처음 촬영한 장면을 그대로 사용하는 경우가 많지 않다.
같은 장면을 여러 번 촬영하고, 다른 카메라 각도를 사용하며, 특수효과와 배경도 여러 번 수정한다. 그렇게 만들어진 수많은 장면 가운데 가장 좋은 결과만 최종 영화에 들어간다.
World Model도 비슷하다.
AI가 하나의 미래만 생각하는 것이 아니라 여러 미래를 동시에 만들어보고 그중 가장 적절한 결과를 선택한다.
예를 들어 해리포터가 움직이는 계단 앞에 서 있다고 생각해보자.
AI는 다음과 같은 여러 미래를 만들 수 있다.
계단이 왼쪽으로 움직이는 미래
계단이 오른쪽으로 움직이는 미래
해리가 계단을 놓치는 미래
론과 헤르미온느가 나타나는 미래
계단 위에서 위험한 일이 생기는 미래
가능한 미래를 10개 만들면 필요한 Token도 대략 10배 늘어난다.
30개의 장면과 수정본을 만든다면 약 342억 개의 Token이 필요할 수 있다.
여러 미래를 반복해서 만들고 비교하면 수요는 다시 커진다.
Text AI는 책에 적힌 세계를 읽는다.
World Model은 그 세계가 실제로 움직이는 모습을 만들고, 앞으로 일어날 수 있는 여러 미래까지 계산한다.
Words
→ Images
→ Video
→ Interactive Worlds
→ Multiple Possible Futures
AI가 Text에서 World로 이동할수록 처리해야 하는 정보량이 폭발적으로 증가하는 이유다.
4. Agent는 Token을 사용하는 주체를 사람에서 AI로 바꾼다
기존 Chatbot은 사람이 질문할 때만 작동했다.
사람이 질문을 한 번 입력하면 AI도 답변을 한 번 생성했다.
하지만 Agent는 다르다.
예를 들어 “해리포터 영화의 흥행 성과를 분석해줘”라고 요청하면 Agent는 필요한 자료를 찾고, 숫자를 정리하고, 계산하고, 결과가 맞는지 확인한다. 오류가 발견되면 다시 자료를 찾고 계산을 수정한다.
질문
→ 계획
→ 자료 검색
→ 계산
→ 결과 확인
→ 오류 수정
→ 최종 답변
하나의 업무 안에서 AI가 수십 번 판단하는 구조다.
따라서 Agent는 사람이 Chatbot에 질문할 때보다 훨씬 많은 Token을 사용한다.
OpenRouter 데이터에서 Agent가 사용한 Token은 약 6개월 동안 0.5조 개에서 7.3조 개로 14배 증가했다.
2026년 2월에는 Agent의 Token 사용량이 인간의 직접 사용량을 추월했다. 현재 그래프 기준으로는 Agent가 사람보다 약 5배 많은 Token을 사용하고 있다.
 |
| OpenRouter Usage Rankings |
중요한 변화는 AI 사용자가 늘어난 것만이 아니다.
Token을 사용하는 주체 자체가 사람에서 Agent로 바뀌고 있다.
사람은 쉬고 잠을 잔다.
Agent는 필요한 경우 하루 종일 여러 작업을 동시에 수행할 수 있다.
한 사람이 3개, 5개, 10개의 Agent를 사용하기 시작하면 AI 사용자 수는 사람 수보다 훨씬 빠르게 늘어난다.
5. AI는 기술기업 밖으로 빠르게 확산되고 있다
처음 AI를 적극적으로 사용한 곳은 기술기업이었다.
하지만 이제 금융, 제조업, 유통업과 같은 전통 산업도 AI를 빠르게 도입하고 있다.
Ramp 고객 기업 표본에서 유료 AI 서비스를 사용하는 비중은 다음과 같이 상승했다.
Technology and Media: 80.6%
Finance and Insurance: 73.1%
Manufacturing: 60.4%
Retail: 49.0%
Health Care: 42.9%
Construction: 42.0%
이 수치는 미국 전체 기업의 정확한 보급률이 아니라 Ramp가 관찰할 수 있는 고객 기업의 결제 데이터를 기준으로 한다.
그럼에도 방향은 분명하다.
기술기업만 사용하던 AI가 은행, 보험회사, 공장, 병원, 건설회사와 식당까지 확산되고 있다.
사용하는 기업이 많아지고, 기업마다 여러 Agent가 일하기 시작하면 Token 수요는 다음과 같이 커진다.
More Companies
× More Employees
× More Agents per Employee
× More Tasks per Agent
× More Tokens per Task
 |
| https://openai.com/ko-KR/index/how-agents-are-transforming-work/?utm_source=chatgpt.com |
 |
| https://openai.com/ko-KR/index/how-agents-are-transforming-work/?utm_source=chatgpt.com |
 |
| https://openai.com/ko-KR/index/how-agents-are-transforming-work/?utm_source=chatgpt.com |
6. 2030년까지 Token 수요는 얼마나 증가할까
Goldman Sachs는 Agent 확산으로 글로벌 월간 Token 사용량이 2026년 약 5경 개에서 2030년 120경 개로 증가할 것으로 전망했다.
4년 동안 약 24배 증가하는 수치다.
 |
| Goldman Sachs Research |
왜 이렇게 빠르게 증가할까.
첫째, AI를 사용하는 사람이 늘어난다.
둘째, 한 사람이 여러 Agent를 사용하게 된다.
셋째, Agent는 하나의 일을 수행하기 위해 여러 번 모델을 호출한다.
넷째, AI가 글을 넘어 이미지·영상·음성까지 처리한다.
다섯째, 앞으로는 로봇과 자율주행차가 현실 세계의 데이터를 계속 만들어낸다.
Goldman Sachs의 120경 개는 주로 Chatbot과 Consumer·Enterprise Agent를 중심으로 한 전망이다.
World Model과 Physical AI가 빠르게 보급될 경우 여기에 추가 수요가 붙을 수 있다.
기준 시나리오에서는 2030년까지 전 세계에서 활동하는 휴머노이드 로봇이 약 100만 대에 도달하고, 제한된 카메라와 센서 데이터만 World Model 학습에 사용된다고 가정했다.
다만 이는 아직 공식 전망이 아니라 자체 계산이다.
로봇 보급이 늦어지거나 영상 압축기술이 빠르게 발전하면 수요는 낮아질 수 있다. 반대로 휴머노이드 외에 자율주행차, 드론, 산업용 로봇과 스마트 카메라까지 포함하면 수요는 예상보다 훨씬 커질 수 있다.
7. 다음 단계는 현실 세계에서 일하는 AI다
AI가 Text만 처리할 때는 사람이 만든 문서와 인터넷 자료가 주요 학습 데이터였다.
하지만 휴머노이드 로봇은 스스로 새로운 데이터를 만든다.
로봇은 카메라로 주변을 보고, 마이크로 소리를 듣고, 센서로 힘과 거리와 움직임을 측정한다. 물건을 잡다가 실패하면 그 과정도 새로운 학습 데이터가 된다.
한 대의 로봇이 새로운 동작을 배우면 그 결과를 다른 로봇들과 공유할 수도 있다.
Robot Deployment
→ Real-world Data
→ World Model Training
→ Better Robot Intelligence
→ More Robot Deployment
로봇이 늘어날수록 현실 데이터가 늘어난다.
데이터가 늘어날수록 World Model은 더 똑똑해진다.
World Model이 똑똑해질수록 로봇이 할 수 있는 일이 늘어난다.
그러면 더 많은 로봇이 판매되고, 다시 더 많은 데이터가 만들어진다.
인터넷 시대에는 사람이 데이터를 만들었다.
Physical AI 시대에는 기계가 스스로 데이터를 생산하기 시작한다.
8. 휴머노이드 한 대보다 더 큰 것은 데이터센터 수요다
휴머노이드 로봇 한 대에는 DRAM, NAND Flash, 센서, 통신칩과 여러 반도체가 들어간다.
이들 반도체 탑재액을 대당 600~800달러로 가정하면 다음과 같다.
100만 대: 6억~8억달러
1,000만 대: 60억~80억달러
다만 이 금액 전체가 순수한 메모리 매출은 아니다. 센서와 통신칩 등 다른 반도체도 포함되어 있으므로 실제 Memory Content는 이보다 작다.
더 큰 기회는 로봇이 작동하는 동안 계속 만들어내는 데이터에 있을 가능성이 높다.
로봇 한 대가 하루에 0.1~1TB의 카메라·센서 데이터를 만든다고 가정해보자.
100만 대가 작동하면 하루에 0.1~1EB, 1년이면 36.5~365EB의 원시 데이터가 만들어질 수 있다.
물론 모든 데이터를 영구적으로 보관하지는 않는다.
중복되거나 가치가 낮은 영상은 지우고, 실패하거나 새로운 상황을 담은 중요한 데이터만 남길 것이다.
전체의 1%만 저장하더라도 연간 약 0.4~3.7EB다. 10%를 남기면 3.7~36.5EB가 된다.
따라서 Physical AI의 메모리 수요는 두 곳에서 발생한다.
로봇 안의 Memory
DRAM: 주변 상황을 실시간으로 계산
NAND: 지도·모델·작업 기록을 저장
고성능 메모리: 더 복잡한 AI를 로봇 내부에서 실행
데이터센터의 Memory와 Storage
HBM: World Model 학습과 추론
Server DRAM: 대규모 데이터 처리
Enterprise SSD: 자주 사용하는 학습 데이터
HDD: 장기간 보관하는 영상과 센서 데이터
로봇 한 대에 들어가는 메모리도 중요하다.
하지만 로봇이 평생 만들어내는 데이터를 학습하고 저장하는 인프라의 가치가 더 클 수 있다.
9. 효율이 좋아지면 Memory 수요가 줄어들까
영상 압축과 Tokenizer 기술이 발전하면 같은 영상을 더 적은 Token으로 표현할 수 있다.
NVIDIA는 Cosmos Tokenizer가 기존 기술보다 더 높은 압축률과 빠른 처리 속도를 제공한다고 설명한다.
그렇다면 메모리와 Compute 수요가 줄어들까.
반드시 그렇지는 않다.
영상 한 시간을 처리하는 비용이 10분의 1로 낮아지면 기업은 영상 10시간만 처리하고 멈추지 않을 수 있다.
더 많은 카메라를 연결하고, 더 긴 시간을 기록하고, 더 많은 미래를 시뮬레이션하게 된다.
Token Cost ↓
→ More Cameras Connected
→ More Operating Hours
→ More Simulations
→ More Robots Trained
→ Total Token Demand ↑
자동차가 연료 효율이 좋아졌다고 사람들이 자동차를 완전히 사용하지 않게 되는 것은 아니다.
오히려 이동 비용이 낮아지면서 자동차 사용이 늘어날 수도 있다.
AI도 비슷하다.
토큰당 비용은 하락하지만 전체 Token 사용량은 더 빠르게 증가할 수 있다.
10. AI는 세 번에 걸쳐 Memory 시장을 확장한다
첫 번째 변화는 Training AI였다.
거대한 LLM을 학습하기 위해 GPU와 HBM이 필요해졌다.
두 번째 변화는 Agent AI다.
AI가 사람 대신 도구를 사용하고 오랫동안 일하면서 추론 Token과 KV Cache, Server DRAM 수요가 증가한다.
세 번째 변화는 World Model과 Physical AI다.
AI가 현실 세계를 보고 행동하기 시작하면서 영상·공간·센서 데이터가 계속 만들어진다.
Training AI
→ HBM 중심
Agent AI
→ HBM + Server DRAM + Enterprise SSD
Physical AI
→ HBM + DRAM + NAND + Enterprise SSD + HDD
AI는 데이터센터에서 첫 번째 메모리 사이클을 만들었다.
Agent는 Token을 사용하는 주체를 인간에서 소프트웨어로 확장한다.
World Model과 휴머노이드 로봇은 데이터 생성 장소를 인터넷에서 현실 세계로 확장한다.
글을 마치며
해리포터 책 한 권을 읽는 데 필요한 정보는 약 10만 개의 Text Token이다.
하지만 그 이야기를 영화처럼 움직이는 세계로 표현하면 약 11억 개의 Visual Token이 필요할 수 있다.
여러 장면과 미래를 만들고 비교하면 필요한 Token은 다시 수십 배, 수백 배 늘어난다.
이 차이는 단순히 영상 파일이 글보다 크다는 이야기가 아니다.
기존 AI는 사람이 이미 만들어놓은 지식을 읽었다.
앞으로의 AI는 현실을 직접 보고, 다음 상황을 예상하고, 행동하고, 실패한 결과를 다시 학습한다.
Chatbot은 사람이 질문해야 움직인다.
Agent는 일이 끝날 때까지 스스로 움직인다.
휴머노이드 로봇은 현실 세계에서 움직이면서 하루 종일 새로운 데이터를 만들어낸다.
Human Prompt
→ AI Agent
→ World Model
→ Physical AI
AI가 이 방향으로 발전할수록 Token을 사용하는 주체와 시간, 데이터의 종류가 함께 늘어난다.
Goldman Sachs의 전망대로 Agent만으로도 2030년 Token 수요는 2026년 대비 약 24배 증가할 수 있다. World Model과 Physical AI가 예상보다 빠르게 확산되면 약 35~60배 이상도 생각해볼 수 있다.
이 과정에서 가장 중요한 것은 단순히 로봇이 몇 대 판매되는지가 아닐 수 있다.
로봇이 얼마나 오랫동안 현실을 관찰하고, 얼마나 많은 데이터를 만들며, 그 데이터를 몇 번이나 학습과 시뮬레이션에 다시 사용하는지가 더 중요하다.
AI가 글을 읽던 시대에는 Compute가 필요했다.
AI가 현실을 보기 시작하는 시대에는 Compute와 Memory, Storage가 모두 필요하다.
다음 Memory Supercycle은 데이터센터 안에서만 만들어지지 않을 수 있다.
현실 세계를 돌아다니며 매일 새로운 데이터를 생산하는 수백만 대의 기계 안에 숨어 있을 가능성이 있다.
문뜩 AGI시대가 도래할지라도 너무 비싸서 쓸 수가 없으면 무슨 소용일까 싶다.
=끝
