AI Hardware 기업들이 현장에서 바라보는 수요와 시장 참여자들이 우려 섞인 시선으로 해석하는 AI 수요 사이의 간극이 점점 커지고 있다.
시장은 Token Spending 증가율 둔화와 Frontier LLM 업체들의 ARR 성장률, 자본조달 부담을 보며 AI 수요가 정점을 지나고 있는 것은 아닌지 의심한다. 반면 NVIDIA·TSMC·Dell·IBM 등 실제 공급망에 가까운 기업들은 여전히 강한 주문과 공급 부족, 고객 기반의 확산을 이야기하고 있다.
이처럼 서로 다른 전망이 나오는 이유는 어디에 있을까.
최근 Agent 기능의 확산과 함께 빠르게 성장하는 Open-weight LLM에서 그 실마리를 찾을 수 있다고 생각한다.
Open-weight Model의 성능과 비용 효율이 개선되면서 AI 수요는 소수 Frontier Lab과 Hyperscaler 중심에서 Enterprise, Sovereign AI, Private Cloud와 기업 내부 Server Rack으로 넓어지고 있다. 이 과정에서 발생하는 Token은 OpenRouter 같은 외부 API 통계나 Frontier LLM 업체의 매출에 충분히 잡히지 않는다.
시장이 관찰하는 지표에서는 AI Spending이 둔화하는 것처럼 보이지만, Hardware 공급자가 마주하는 현장에서는 더 많은 기업이 자체 Compute와 Memory를 확보하기 시작한 것이다.
결국 양측의 전망 차이는 누가 맞고 틀렸는가의 문제라기보다, AI 수요의 서로 다른 부분을 보고 있기 때문에 발생하는 간극일 수 있다.
이번 글에서는 Token 가격과 사용량을 구분해보고, Open-weight LLM의 확산이 왜 AI Hardware 수요 감소가 아닌 수요 기반의 다변화로 이어질 수 있는지 정리해보려고 한다.
OpenRouter 밖에서 커지는 AI 수요
최근 AI 산업을 둘러싼 우려가 빠르게 늘고 있다.
Token 사용량은 계속 증가하는데 Token 가격이 더 빠르게 떨어지면서 기업의 Token Spending 증가율은 둔화하고 있다. Frontier LLM 업체들의 월별 ARR 성장률과 자본조달 능력에 대한 의문도 커졌다.
여기에 미국과 유럽의 장기금리 상승, 유가와 Diesel 가격 급등까지 겹쳤다. 자본비용이 높아지면 대규모 AI Data Center 투자가 가장 먼저 흔들릴 수 있다는 우려가 나오는 것도 이해할 수 있다.
다만 여기서 한 가지는 구분해서 봐야 한다.
OpenRouter에 잡히는 Token Spending이나 Frontier LLM 업체의 매출 증가율이 둔화한다고 해서, AI Compute와 Memory 수요까지 같은 속도로 둔화하는 것은 아니다.
오히려 최근의 변화는 AI 수요가 사라지는 과정이라기보다, 수요가 측정되는 위치와 부가가치가 귀속되는 사업자가 바뀌는 과정에 가깝다고 생각한다.
1. Token Spending은 수요량만으로 결정되지 않는다
Token Spending은 간단하게 다음과 같이 나눌 수 있다.
Token Spending = Token Volume × Token Price
Ramp의 2026년 10월 AI Index에 따르면 기업들의 Token Spending은 8월과 9월 두 달 동안 사실상 정체됐다. 다만 10월 초에는 다시 상승하며 8월 전고점을 1.5% 넘어섰고, 10월 11일 기준 주간 Spending은 전월 같은 주보다 23% 증가했다. ramp.com
 |
| https://ramp.com/data/ai-index-oct-2026?utm_source=chatgpt.com |
 |
| https://ramp.com/data/ai-index-oct-2026?utm_source=chatgpt.com |
Spending의 성장률이 둔화했다는 사실 자체는 분명하다. 하지만 이를 곧바로 AI 사용량 감소로 읽기는 어렵다.
Model 경쟁과 추론 최적화, 더 저렴한 Open-weight Model로의 Routing이 동시에 진행되면서 Token 가격이 빠르게 내려가고 있기 때문이다.
 |
| https://x.com/JulietteJDI/status/2112855136687083785 |
Token 사용량이 두 배로 증가하더라도 평균가격이 절반 가까이 하락하면 Spending은 거의 늘어나지 않는다. 이 경우 매출 증가율은 둔화하지만 실제 처리해야 하는 Compute Workload는 크게 늘어날 수 있다.
따라서 지금 가장 먼저 확인해야 할 것은 Spending의 증감보다 가격과 물량 중 어느 변수가 변하고 있는가이다.
2. OpenRouter는 AI 수요 전체를 측정하지 않는다
OpenRouter 데이터에서 Open-weight Model의 Token 점유율은 최근 73% 수준까지 상승했다. 2026년 10월 21일 기준 Open-weight 비중은 73.2%, Proprietary Model은 26.8%로 집계됐다. Dirac
공개 데이터를 동일한 기간으로 다시 계산하면 Open-weight Token은 훨씬 빠르게 증가했지만, Proprietary Model의 절대 Token 사용량도 감소하지 않았다. 점유율이 이동했을 뿐 전체 시장이 단순히 대체된 것은 아니다.
 |
| https://dirac.run/labs-market-share?utm_source=chatgpt.com |
다만 OpenRouter가 보여주는 것은 외부 API와 Routing Platform을 통과한 수요다.
기업이 자체 Server Rack을 구축하고 내부망에서 Open-weight Model을 구동하면 해당 Token은 OpenRouter에 잡히지 않는다. Hyperscaler와 직접 계약하거나 Private Cloud, Sovereign AI 환경에서 처리되는 물량도 마찬가지다.
(*Frontier Labs의 자체 Trainning을 위한 RSI 컴퓨팅 사용량도 마찬가지)
보안과 데이터 주권이 중요한 금융·제조·정부기관일수록 이러한 방식의 배포를 선호할 가능성이 높다.
따라서 OpenRouter는 Model 간 점유율과 개발자 사용 추세를 관찰하는 데는 유용하지만, 전체 AI Compute 수요를 측정하는 총계로 사용하기에는 명확한 한계가 있다.
3. IBM이 말한 Open-weight 확산의 본질
최근 IBM 실적발표에서 Arvind Krishna CEO가 설명한 내용이 중요하게 느껴진다.
그에 따르면 2024년 Broad Benchmark에서 Frontier Model의 성능을 70으로 놓았을 때 대안 Model은 20~30 수준이었다. 2025년 말에는 이 차이가 대략 70 대 50으로 줄어들었다.
IBM은 향후 Frontier Model이 100에 도달할 때 대안 Model도 90 정도까지 따라갈 수 있다고 전망한다. 이는 현재 측정값이 아니라 성능 개선 추세에 대한 IBM의 전망이다.
 |
| https://www.youtube.com/watch?v=9iFsbTYe_wI&t=2s |
성능차이는 미비해지는 반면, 비용 차이는 이미 상당하다.
 |
| https://www.youtube.com/watch?v=9iFsbTYe_wI&t=2s |
Krishna는 Open-weight Model의 Token 비용이 Frontier Model의 10~25% 수준이며, 평균적인 대기업은 2~3개 Rack 정도로 자체 배포를 시작할 수 있다고 설명했다.
 |
| https://www.youtube.com/watch?v=9iFsbTYe_wI&t=2s |
이메일 요약, 계약서 검토, 고객 응대, 문서 작성 같은 대부분의 기업 업무는 반드시 가장 비싼 Frontier Model을 사용할 필요가 없다는 것이다. finance.yahoo.com
 |
| https://www.youtube.com/watch?v=9iFsbTYe_wI&t=2s |
이 지점에서 AI 수요의 성격이 바뀐다.
과거에는 소수 Frontier Lab과 Hyperscaler가 대규모 Model을 학습하고 API로 제공하는 구조가 중심이었다. 앞으로는 Enterprise가 Open-weight Model을 가져와 자사 데이터에 맞게 조정하고, 내부 Server와 Private Cloud에서 직접 구동하는 수요가 함께 커질 수 있다.
 |
| https://www.youtube.com/watch?v=9iFsbTYe_wI&t=2s |
API 매출로 집계되던 수요 일부가 기업의 Server·GPU·Memory·Storage 투자로 이동하는 셈이다.
Open-weight의 확산은 Compute 수요가 사라지는 과정이 아니라, Compute를 구매하는 고객층이 넓어지는 과정일 수 있다.
4. Token 가격과 Hardware 요구량은 다른 변수다
Open-weight Model은 무료로 내려받을 수 있어도 무료로 구동되지는 않는다.
Model을 실제 서비스하려면 가중치를 저장할 Memory, Token을 계산할 Accelerator, 긴 Context를 유지할 KV Cache, 그리고 여러 사용자의 요청을 동시에 처리할 Networking과 Storage가 필요하다.
Hardware 요구량을 결정하는 요소는 API 가격보다 다음 변수에 더 가깝다.
- 전체 Parameter 수와 Weight Precision
- Token당 활성화되는 Parameter
- Context Length
- 동시 사용자 수
- Agent가 반복하는 호출 횟수
- 응답속도와 가동률 목표
특히 Agent는 한 번 질문하고 답을 받는 데서 끝나지 않는다.
업무를 계획하고, 자료를 검색하고, Tool을 호출하고, 결과를 검토한 뒤 실패하면 다시 실행한다. 하나의 최종 결과를 만들기 위해 여러 번의 Inference와 긴 Context 유지가 필요하다.
Model 가격이 낮아지면 기업은 이전보다 더 많은 업무에 AI를 적용할 수 있다. 작은 Model 여러 개를 업무별로 배치하거나, 저렴한 Model이 대부분의 요청을 처리하고 어려운 문제만 Frontier Model로 보내는 Routing 구조도 확산할 수 있다.
결국 Model당 가격이 내려가는 동시에 Model의 수, 호출 횟수, Context, 동시성이 함께 증가한다.
Token당 가격 하락과 전체 Silicon 수요 증가는 충분히 동시에 일어날 수 있다는 것이다.
 |
| https://dirac.run/labs-market-share?utm_source=chatgpt.com |
 |
| https://semianalysis.com/gpu-pricing-index/ |
5. Open-weight는 Frontier Model을 완전히 대체하지 않는다
Open-weight Model의 성능이 올라가면 Frontier Lab의 경제성이 압박받을 수 있다.
 |
| https://x.com/GlobalMktObserv/status/2112862012740968952 |
 |
| Anthropic Q4 ARR Bridge |
성능 격차가 빠르게 좁혀질수록 Frontier Lab은 더 큰 학습 Cluster, Reinforcement Learning, Synthetic Data, Test-time Compute에 투자해야 한다. 선두 성능을 유지하기 위한 비용은 오히려 증가할 수 있다.
반대로 Enterprise는 가격과 보안, 데이터 통제권이 중요한 업무에 Open-weight Model을 적용한다.
이 과정에서 시장은 두 방향으로 나뉠 가능성이 높다.
Frontier Model은 복잡한 추론과 높은 정확도가 필요한 고부가가치 업무를 담당하고, Open-weight Model은 반복적이고 대량으로 발생하는 기업 업무를 맡는다.
한쪽의 성장이 반드시 다른 쪽의 절대 사용량 감소를 의미하지 않는다.
전체 AI 적용 범위가 커지는 동안 Model 간 역할이 나뉘고 있는 것이다.
따라서 가장 직접적인 위험은 Silicon 수요보다 Model과 API 사업자의 마진에 먼저 나타날 가능성이 높다.
가격 경쟁이 심화하면 Model 사업자의 매출과 수익성은 압박받을 수 있다. 하지만 더 저렴해진 AI가 더 많은 업무에 적용된다면 Compute·Memory·Networking 수요는 계속 증가할 수 있다.
6. CAPEX 전망보다 실제 주문을 봐야 한다
BofA는 주요 Cloud 사업자의 CAPEX가 2025년 약 5,100억달러에서 2026년 약 1조달러로 증가하고, 2027년에도 약 37% 늘어날 수 있다고 전망한다.
BofA의 Vivek Arya는 Open-weight Model이 기존 Token을 단순히 대체하기보다 전체 AI 사용량을 늘릴 가능성이 높으며, 위험은 Silicon보다 Model과 API 사업의 경제성에 있다고 설명했다. finance.yahoo.com
Goldman Sachs 역시 2026년 세계 AI 관련 투자가 1조달러를 넘어설 것으로 추정한다. 이 가운데 미국 투자는 약 5,810억달러이며, 일반적으로 인용되는 Hyperscaler CAPEX만으로는 전체 AI 투자를 충분히 설명하기 어렵다고 본다. goldmansachs.com
다만 증권사의 장기 전망은 결국 가정이다.
더 중요한 것은 실제 주문과 공급망 매출에서 수요가 확인되고 있는지다.
7. NVIDIA, Dell 주문은 수요 기반이 넓어지고 있음을 보여준다
Dell의 FY2027 2분기 AI Server 주문은 609억달러, AI Server 매출은 164억달러, 분기 말 AI Backlog는 950억달러를 기록했다.
지난 12개월 동안 주문으로 전환된 금액은 1,317억달러였고, Dell의 AI 고객 수는 6,500곳 이상으로 늘어났다. 회사는 수요가 Neocloud뿐 아니라 Sovereign과 Enterprise 고객으로 확대되고 있다고 설명했다. investors.delltechnologies.com
 |
| 2026.09.09 Dell Technology |
특히 Dell은 On-prem과 Edge Infrastructure가 적절한 Workload에서 매력적인 Token Economics를 제공하며, 고객이 데이터와 지식재산을 더 직접적으로 통제할 수 있다고 언급했다.
Michael Dell의 표현은 더 직접적이었다.
“This is a four-year problem.”
Dell은 Memory를 포함한 반도체 부족이 2027년에 2026년보다 오히려 더 심해질 수 있다고 봤다.
고객들은 가격 인상에 대해 “5단계의 슬픔”을 겪지만, 결국 물건이 없으면 사업을 할 수 없다는 단계에 도달한다. 이후에는 높아진 가격을 받아들이고 비용을 고객에게 전가하게 된다는 설명이다. www.semiboard.com
Memory를 판매하는 공급자가 아니라 세계 최대 Server·PC 구매자 중 한 곳의 CEO가 4년을 이야기한다는 점이 중요하다.
단순한 공급자의 낙관론보다 구매자의 조달 현실에 가깝기 때문이다.
최근 Jensen Huang은 2029년에 Memory 공급과잉이 발생할 가능성을 묻는 질문에 부정적으로 답했다.
 |
| Nvidia’s Jensen Huang says he sees no sign of a 2029 memory glut: ‘You can always use more’ |
HBM뿐 아니라 Data Center에 LPDDR까지 사용되는 구조를 언급하면서 Memory는 더 많을수록 더 사용할 수 있다고 설명했다. 관련 인터뷰 정리 www.barrons.com
Jensen은 앞서 Memory 부족이 향후 수년간 지속될 수 있다고도 언급했다.
좀 더 정확한 표현은 향후 수년간 병목이 이어지고, 2029년에도 공급과잉 가능성은 낮다라고 언급했다. finance.yahoo.com
이는 IBM의 설명과 같은 방향을 가리킨다.
Open-weight Model의 성능이 충분히 높아지고 자체 운영의 경제성이 개선되면, 대기업은 외부 API만 사용하는 대신 내부 Infrastructure를 함께 구축할 수 있다.
OpenRouter에 나타나지 않는 수요가 Soverign, Enterprise Server와 같은 On-Prem 주문으로 나타나는 것이다.
8. 반도체 공급망에서도 수요 둔화는 아직 확인되지 않는다
NVIDIA의 FY2027 2분기 매출은 962억달러, Data Center 매출은 890억달러로 전년 대비 117% 증가했다. Rubin Platform도 주요 Cloud와 Neocloud 사업자를 중심으로 생산 확대 단계에 들어갔다. investor.nvidia.com
 |
| 2026.08.28 NVIDIA |
이미 NVIDIA도 지난 8월 콜에서 Hyperscaler와 ACIE 비중이 2027년말부터 5:5로 동등해진다고 가정했으며,
이는 막연한 추정이 아니라 이미 받아놓은 구체적인 수주물량을 기반으로 준 가이던스이며, 이 조차도 공급제약으로 모든 수주를 다 받지못한 수치라고 했다.
이 숫자들은 공급업체의 실적이라는 한계가 있다. 그렇더라도 Server 주문, Accelerator 매출, Foundry 매출이 동시에 증가하고 있다는 점은 현재까지 AI Hardware 수요가 급격히 꺾였다는 주장과 맞지 않는다.
수요의 주체도 소수 Frontier Lab에만 머물지 않는다.
Hyperscaler와 Neocloud, Sovereign AI, Enterprise On-prem이 동시에 Infrastructure를 확보하려 하면서 고객 기반이 넓어지고 있다.
위와 같은 자료 근거들이 충분함에도 불구하고 우리(*시장이)가 여전히 AI 수요를 제대로 인지하지 못하는 이유는 체감하는 AI는 10%, 보이지 않는 AI가 90%이기 때문이라고 한다.
사람들이 “AI 열풍”이라고 느끼는 챗봇·업무도구·개인 영상을 다 합쳐도 컴퓨팅의 10%이며, 나머지 90%는 일반인이 직접 보지 못하는 곳에서 돌아가고 있다고 한다.
 |
| Nomura |
추가로 우리(*시장이)가 여전히 AI 수요를 제대로 인지하지 못하는 또 다른 이유로는 최근 급부상한 RSI 영향이 있지 않나 싶다.
생각정리 397(* The RSI Memory Stack, Context SSD)
Sundar Pichai는 단기적인 외부 Cloud 매출과 이익 기회를 일부 포기하더라도, RSI 도입 이후 차세대 LLM 개발에 Computing 자원을 우선 투입하고 있다고 설명했다.
이러한 움직임은 다른 Frontier LLM 업체에서도 비슷하게 나타날 가능성이 높다. 차세대 모델 경쟁이 치열해질수록 Training과 Reinforcement Learning에 투입되는 Compute는 더 빠르게 증가하지만, 내부 개발에 사용된 연산량은 외부 API 매출이나 Token Spending 통계에 잡히지 않는다.
따라서 최근 Token Spending 둔화에는 최종수요 약화뿐 아니라, 제한된 Computing 자원이 외부 유료 Inference에서 내부 Training으로 재배분된 영향도 일부 반영됐을 수 있다.
 |
| https://www.youtube.com/watch?v=jWso2Vgia4I&t=2s |
9. Frontier Lab의 자본조달 위험은 별도로 봐야 한다
AI Infrastructure 수요가 강하다는 사실이 모든 Frontier Lab의 재무구조가 안전하다는 의미는 아니다.
Anthropic 관련 비공개 IPO 자료 보도에서 가장 중요한 숫자는 장부상 평가손실보다 향후 Compute와 Infrastructure에 지급해야 할 최소 약정이다.
보도된 약정 규모는 최소 5,180억달러이며, 상당 부분은 7~10년에 걸친 장기계약이다. 약 **80%**는 실제 사용량과 무관하게 지급의무가 발생하는 비해지성 약정으로 알려졌다. techweez.com
 |
| 2026.10.21 Anthropic |
| 2026.10.21 Anthropic |
 |
| https://x.com/antonioalstep/status/2112939089473532118 |
이는 AI Compute 수요가 약하다는 증거라기보다 Frontier Lab이 필요한 Compute를 확보하기 위해 미래 현금흐름보다 빠르게 장기계약을 체결하고 있다는 의미에 가깝다.
하지만 약정이 아무리 강해도 계약 주체의 자금조달이 막히면 이행 위험은 커진다. 금리가 상승하고 ARR 증가율이 둔화하면 Frontier Lab의 지분조달과 차입비용 모두 불리해질 수 있다.
따라서 향후 AI 산업의 위험은 두 층으로 나눠서 봐야 한다.
첫 번째는 AI 사용량과 Compute 수요 자체가 줄어드는 위험이다.
두 번째는 수요는 강하지만 자본력이 약한 사업자가 필요한 Infrastructure를 조달하지 못하는 위험이다.
현재 확인되는 신호는 두 번째에 더 가깝다.
이 경우 AI Infrastructure 투자가 모두 사라지기보다는 자본력이 충분한 Hyperscaler와 대형 Cloud 사업자, 수익성이 검증된 Infrastructure 공급자로 수요와 이익이 집중될 가능성이 높다.
(*사실 Frontier LLM 2 곳이 무너지게 미국정부는 손놓고 방관할 수 있는 입장도 아니다.)
 |
| Too Big to Fail |
10. 무엇이 이 논리를 훼손할까
지금의 테제가 계속 유효하려면 가격 하락보다 사용량과 Hardware 도입이 더 빠르게 증가해야 한다.
다음 신호가 동시에 나타난다면 판단을 바꿔야 한다.
- Open-weight와 Proprietary Model을 합친 전체 Token 사용량 감소
- Enterprise AI Server 주문과 Pipeline의 연속적인 감소
- GPU 임대가격과 실제 가동률의 동반 하락
- Hyperscaler의 CAPEX와 선단공정 주문 취소
- Memory Lead Time 단축과 장기계약 재협상
- Enterprise On-prem 도입이 실제 Server 구매로 이어지지 않는 현상
- Frontier Lab의 자금조달 실패가 Compute 계약 취소로 전이되는 상황
현재로서는 일부 Model 사업자의 매출 증가율 둔화와 Financing Risk는 확인되고 있다. 반면 Server 주문, Accelerator 매출, Foundry HPC 매출과 Memory 부족은 여전히 반대 방향을 가리킨다.
 |
| https://www.youtube.com/watch?v=zXG7EusdCrA&t=6s |
글을 마치며
Token 가격 하락을 AI 수요 둔화로 바로 연결하면 중요한 변화를 놓칠 수 있다.
가격이 낮아질수록 기업은 더 많은 업무에 AI를 적용할 수 있고, Open-weight Model은 외부 API에 머물던 AI를 기업 내부 Server와 Private Cloud로 확산시킨다.
이 과정에서 OpenRouter가 포착하는 Token Spending의 증가율은 둔화할 수 있다. 하지만 OpenRouter 밖에서는 새로운 Server Rack과 GPU, Memory, Storage, Networking 수요가 발생한다.
Frontier LLM 업체의 ARR와 수익성만으로 AI 산업 전체의 최종수요를 판단하던 시기는 점차 지나가고 있다고 생각한다.
앞으로 더 중요하게 봐야 할 것은 누가 가장 많은 Token을 판매하는가보다, 늘어나는 AI 업무를 처리할 Compute와 Memory를 누가 먼저, 얼마나 안정적으로 확보하고 있는가다.
지금 필요한 물량을 LTA로 선점하지 못하면 향후 수요가 발생해도 서비스를 확장할 수 없다. 반대로 이미 확보한 물량을 포기하면 경쟁사가 그 Capacity를 가져가면서 되돌리기 어려운 시장점유율 손실로 이어질 수 있다.
수요자들이 높은 가격에도 Compute와 Memory 확보에 필사적인 이유가 여기에 있다. 그리고 이 경쟁이 계속되는 동안 IDM 실리콘 공급업체들은 밀려드는 수요와 제한된 생산능력을 더 높은 가격과 마진으로 전환하고 있다.
Open-weight의 확산은 AI Infrastructure 투자를 끝내는 변수가 아니다.
AI 수요의 구매자를 소수 Frontier Lab(* Hyperscaler)에서, Sovereign, Enterprise, Industrial etc까지 넓히는 변수에 가깝다.
결국 Token은 싸지고 Model은 확산되며, 더 많은 업무가 AI로 이동할수록 IDM 실리콘 공급사들의 가격결정력은 계속 높아질 수 밖에없는 구조이다.
 |
| https://www.youtube.com/watch?v=QWzQo74cA7U 반박시 샌님 말이 무조건 맞음. |
=끝
