주말 동안 나온 메모리 관련 기사들을 정리해본다.

특히 Kimi K3의 등장이 왜 컴퓨팅 자원의 희소성을 높이고, AI 인프라 투자를 다시 가속하는지를 개인적인 관점에서 살펴보고자 한다.

참고자료 : 생각정리 151 (* Sparse MoE)

모델은 공개되고, 컴퓨팅은 희소해진다

Kimi K3가 보여준 중국 오픈웨이트 LLM과 AI 인프라 투자의 재가속

최근 Kimi K3를 둘러싼 시장의 해석은 크게 두 방향으로 나뉜다.

한쪽에서는 Kimi Delta Attention, 즉 KDA와 희소(*Sparse) MoE 구조가 KV 캐시와 연산 부담을 낮춘다는 점에 주목한다. 모델의 효율성이 높아질수록 필요한 GPU와 메모리도 줄어들 수 있다는 해석이다.

다만, 이러한 주장은 과거 DeepSeek 모멘트 당시 MoE 구조가 실제로 어떤 방식으로 컴퓨팅 수요를 변화시켰는지 충분히 이해하지 못한 해석에 가깝다.

반면 다른 한쪽에서는 Kimi K3가 총 2.8조 파라미터에 달하는 초대형 모델이라는 점과 출시 직후 나타난 강한 사용자 수요에 주목한다. 효율 개선이 컴퓨팅 소비를 줄이는 데 사용된 것이 아니라, 과거에는 운영하기 어려웠던 초대형 모델을 실제 서비스 영역으로 끌어들이는 데 사용됐다는 해석이다.

내 생각은 후자에 가깝다.

Kimi K3와 같은 중국 오픈웨이트 LLM의 발전은 컴퓨팅 수요를 줄이는 사건이 아니다. 프런티어급 모델을 개발하고 운영하려는 참여자를 늘리면서 GPU, HBM, 서버 DRAM, 네트워크, 스토리지와 전력을 더욱 희소한 자원으로 만들고 있다.

Moonshot은 컴퓨팅 용량 부족으로 Kimi K3 모델의 원활한 서비스에 어려움을 겪고 있다고 함.

그리고 얼마지나지 않아 나온 KIMI 사용자 제한 공문

컴퓨팅 자원 부족 및 멤버십 신규 가입 일시 중단에 관한 안내

* Kimi 신규구독 중단 후 나온 용량 증설

이를 이해하려면 먼저 LLM에서 왜 파라미터 수가 반복적으로 강조되는지부터 살펴볼 필요가 있다.

LLM에서 파라미터가 중요한 이유

LLM의 파라미터는 학습 과정에서 조정되는 수많은 숫자 값이다.

모델 내부에서는 입력된 정보를 여러 단계에 걸쳐 변환한다. 단어의 의미를 표현하고, 문맥 속 관계를 찾고, 어떤 정보를 중요하게 볼지 결정한 뒤 다음에 올 토큰의 확률을 계산한다.

이 과정에 사용되는 임베딩, 어텐션 가중치, Feed Forward Network의 가중치와 정규화 계수 등이 모두 파라미터에 포함된다.

신경망의 연산을 단순화하면 다음과 같이 표현할 수 있다.

$y = W x + b$

여기서 $W$ 와 $b$ 가 학습을 통해 결정되는 파라미터다.

따라서 파라미터는 GPU가 처리한 학습 데이터의 연결 횟수를 의미하지 않는다. 학습 데이터를 반복해서 읽는 과정에서 모델 내부에 형성된 수많은 변환 규칙과 관계의 강도에 가깝다.

특정 파라미터 하나가 특정 지식 하나를 저장하는 구조도 아니다. 하나의 지식과 개념은 여러 파라미터에 걸쳐 분산돼 표현되고, 하나의 파라미터 역시 다양한 개념의 처리에 동시에 관여한다.

결국 파라미터 수는 모델이 얼마나 많은 패턴과 관계를 표현할 수 있는지를 보여주는 일종의 표현 용량이다.

하나의 단어가 여러 의미를 가질 수 있는 이유

파라미터를 조금 더 직관적으로 이해하기 위해 하나의 단어를 생각해볼 수 있다.

예를 들어 ‘배’라는 단어는 그 자체만으로 완성된 의미를 갖지 않는다.

배를 먹었다.
배가 아프다.
배를 타고 바다를 건넜다.
가격이 두 배로 올랐다.

같은 단어가 사용됐지만 문장마다 의미는 전혀 다르다. 사람은 앞뒤 문장과 상황을 함께 보고 현재 문맥에 맞는 뜻을 자연스럽게 선택한다.

LLM도 비슷한 방식으로 단어를 처리한다.

모델은 ‘배’라는 단어에 하나의 고정된 뜻을 붙여두지 않는다. 대신 학습 과정에서 다음과 같은 관계를 반복해서 관찰한다.

어떤 단어들과 함께 등장했는지
문장 안에서 어떤 역할을 했는지
앞뒤 문맥에 따라 의미가 어떻게 달라졌는지
비슷한 상황에서 어떤 표현이 사용됐는지

이렇게 학습된 수많은 관계와 차이를 담는 공간이 모델의 파라미터다.

다만 특정 파라미터 하나가 ‘배는 과일이다’라는 의미를 따로 저장하는 것은 아니다. 하나의 단어가 가진 여러 의미는 수많은 파라미터에 분산돼 표현된다. 문장이 입력될 때마다 모델은 이 파라미터들을 함께 사용해 현재 문맥에 가장 적절한 의미를 구성한다.

파라미터는 단어의 뜻을 고정적으로 저장하는 사전이라기보다, 문맥에 따라 달라지는 의미와 단어 사이의 관계를 표현하기 위한 수많은 조정값이다.

따라서 파라미터가 많아진다는 것은 단순히 더 많은 단어와 지식을 외운다는 의미가 아니다.

같은 단어가 서로 다른 상황에서 어떻게 다르게 쓰이는지, 여러 개념이 어떤 조건에서 연결되거나 분리되는지를 더 세밀하게 표현할 수 있는 공간이 넓어진다는 뜻이다.

파라미터와 학습 데이터는 어떻게 연결되는가

LLM의 성능은 파라미터만으로 결정되지 않는다.

파라미터와 학습 데이터, 컴퓨팅은 서로 다른 역할을 한다.

학습 데이터는 모델이 관찰하는 언어, 코드, 이미지, 문제와 해답이다.
파라미터는 데이터에서 발견한 패턴과 관계를 담는 공간이다.
컴퓨팅은 데이터를 읽고 파라미터를 반복적으로 수정하는 데 사용된다.
알고리즘과 모델 구조는 같은 자원을 얼마나 효율적으로 활용할지를 결정한다.

파라미터가 너무 작으면 방대한 학습 데이터가 가진 복잡한 관계를 충분히 표현하기 어렵다. 많은 내용을 지나치게 작은 공간에 압축하면서 중요한 패턴과 예외가 손실된다.

반대로 파라미터만 크게 만들고 데이터와 학습량을 충분히 늘리지 않으면 커진 모델의 용량을 제대로 활용하지 못한다. 모델의 그릇은 커졌지만 그 안을 채우는 학습이 부족한 상태가 된다.

이 관계를 단순화하면 다음과 같다.

$Model Capability = f (Parameters, Data, Compute, Architecture, Post-training)$

파라미터는 그릇의 크기이고, 학습 데이터는 그 안에 담기는 재료다. 컴퓨팅은 이 재료를 실제 모델 능력으로 전환하는 공정이다.

따라서 “파라미터가 클수록 성능이 좋아진다”는 설명도 파라미터만 독립적으로 늘리면 된다는 뜻으로 이해해서는 안 된다.

파라미터, 학습 데이터와 컴퓨팅이 함께 확대될 때 모델이 더 복잡한 구조와 더 많은 지식을 학습할 수 있다는 의미에 가깝다.

왜 큰 모델이 대체로 더 좋은 성능을 보이는가

현실 세계의 지식은 단순하지 않다.

언어에는 단어의 뜻과 문법뿐 아니라 수많은 예외, 은유, 전문지식과 문화적 맥락이 포함돼 있다. 코드 역시 언어별 문법만 이해해서는 충분하지 않다. 라이브러리, 시스템 구조, 오류 처리, 보안과 성능 최적화를 함께 이해해야 한다.

모델이 처리해야 하는 작업의 범위도 계속 넓어지고 있다.

긴 문서와 대규모 코드베이스 이해
여러 단계의 논리적 추론
이미지·음성·영상의 통합 처리
검색과 코드 실행을 포함한 도구 사용
장시간 이어지는 에이전트 작업
학습 과정에서 보지 못한 새로운 문제에 대한 일반화

작은 모델은 자주 등장하는 패턴과 일반적인 관계를 우선적으로 학습한다. 반면 희귀한 개념, 복잡한 예외와 긴 인과관계까지 동시에 표현하려면 더 많은 용량이 필요하다.

파라미터가 늘어나면 모델은 서로 다른 개념을 더 세밀하게 구분하고, 여러 지식과 문맥을 동시에 처리할 수 있는 공간을 확보한다. 작은 모델에서 하나의 표현 공간에 여러 개념이 겹치면서 발생하는 간섭도 줄어들 수 있다.

이러한 관계가 일정한 규모 이상에서도 반복적으로 관찰된 것이 Scaling Law다.

Scaling Law는 왜 계속 작동하는가

초기 Scaling Law 연구에서는 모델 크기와 학습 데이터, 학습 컴퓨팅을 늘릴수록 언어모델의 예측 오차가 비교적 일정한 멱법칙 형태로 감소하는 현상이 확인됐다. (Kaplan et al., 2020)

다만 이는 파라미터만 무작정 늘리면 된다는 뜻은 아니다.

이후 Chinchilla 연구는 주어진 컴퓨팅 예산 안에서 모델 크기와 학습 토큰을 균형 있게 확대해야 한다는 점을 보여줬다. 동일한 연산량을 사용하더라도 지나치게 큰 모델을 적은 데이터로 학습하는 것보다, 적절한 규모의 모델을 충분한 데이터로 학습하는 편이 더 높은 성능을 낼 수 있다는 결과였다. (Hoffmann et al., 2022)

결국 Scaling Law의 핵심은 다음과 같다.

파라미터, 데이터와 컴퓨팅을 적절한 비율로 확대하면 모델 성능은 여전히 비교적 예측 가능한 방향으로 개선된다.

이 관계가 계속 작동하는 이유는 학습해야 할 세계의 구조가 아직 포화되지 않았기 때문이다.

하나의 공개 벤치마크가 포화되더라도 더 긴 문맥, 더 어려운 추론, 멀티모달 이해, 장기 에이전트, 로보틱스와 실제 환경 조작이라는 새로운 과제가 계속 등장한다.

알고리즘 개선 역시 Scaling을 멈추게 하지 않는다.

MoE, 선형 어텐션, 저정밀 연산과 새로운 옵티마이저는 같은 컴퓨팅으로 더 높은 성능을 낼 수 있게 만든다. 그러나 프런티어 연구소는 이렇게 절약된 컴퓨팅을 반환하지 않는다.

그 자원을 다시 다음 영역에 사용한다.

더 큰 모델
더 많은 학습 데이터
더 긴 컨텍스트
더 복잡한 강화학습
더 많은 추론 토큰
더 긴 에이전트 실행

효율 개선은 Scaling의 종료보다 Scaling이 가능한 모델의 상한을 높이는 방향으로 작동해 왔다.

Kimi K3는 효율화 이후 모델이 어디까지 커질 수 있는지를 보여준다

Kimi K3는 총 2.8조 파라미터를 가진 희소 MoE 모델이다.

KDA 기반의 하이브리드 선형 어텐션과 Attention Residuals를 적용했고, 896개 전문가 가운데 토큰당 16개를 활성화한다. 최대 100만 토큰의 문맥과 멀티모달 입력을 지원하며, Moonshot AI는 Kimi K2 대비 컴퓨팅을 모델 능력으로 전환하는 효율이 약 2.5배 높아졌다고 설명한다. (Kimi K3)

여기서 중요한 것은 효율 개선의 사용처다.

Moonshot은 KDA와 희소 MoE를 이용해 작은 모델을 만드는 데 머물지 않았다. 동일한 컴퓨팅으로 더 큰 모델을 만들고, 더 긴 문맥과 더 복잡한 에이전트 작업을 처리하는 데 효율 개선분을 사용했다.

전개 과정은 다음에 가깝다.

$Efficiency Improvement \to Larger Model \to Lower Usage Cost \to More AI Workloads$

Kimi K3의 등장은 모델 효율이 높아지면 모델이 작아진다는 가정보다, 효율이 높아질수록 경제적으로 운영할 수 있는 모델의 규모가 더 커진다는 사실을 보여준다.

2.8조 파라미터가 의미하는 메모리 부담

파라미터는 실제 메모리 어딘가에 저장돼야 한다.

2.8조 파라미터 모델의 가중치 저장량을 단순 계산하면 다음과 같다.

$\text{BF16} : 2.8조 \times 2Bytes = 5.6TB$ $\text{INT8} : 2.8조 \times 1Byte = 2.8TB$ $\text{4-bit} : 2.8조 \times 0.5Byte = 1.4TB$

실제 시스템에서는 가중치만 저장하면 끝나지 않는다.

양자화 스케일, 활성값, 통신 버퍼, 라우팅 정보, KV 캐시와 시스템 여유 공간이 추가로 필요하다.

MoE 구조는 토큰당 일부 전문가만 활성화하기 때문에 연산량을 줄일 수 있다. 그러나 비활성 전문가의 가중치까지 사라지는 것은 아니다. 전체 전문가 가중치는 여러 GPU와 메모리 계층에 분산된 상태로 유지돼야 한다.

따라서 MoE 모델에서는 두 가지 숫자를 구분해야 한다.

총 파라미터 수: 모델 전체의 표현 용량과 저장해야 할 가중치 규모
활성 파라미터 수: 한 토큰을 처리할 때 실제 연산에 사용되는 규모

Kimi K3는 모든 토큰마다 2.8조 파라미터를 전부 계산하지 않는다. 그럼에도 거대한 전체 가중치를 저장하고, 선택된 전문가에게 토큰을 전달하기 위해 대규모 HBM과 고속 네트워크가 필요하다.

좀 쉬는듯 싶다가 재차 상승하는 디램 현물가격

KDA가 KV 캐시를 줄여도 시스템 전체의 수요는 줄지 않는다

Kimi K3에 대한 부정적인 해석은 KDA가 KV 캐시 부담을 낮춘다는 점에서 출발한다.

KV 캐시가 줄어들면 동일한 GPU에서 더 긴 문맥을 처리하거나 더 많은 사용자를 동시에 받을 수 있다. 단위 요청당 필요한 메모리도 낮아질 수 있다.

하지만 절감된 자원이 그대로 남는 경우는 많지 않다.

서비스 사업자는 이를 다음 용도로 다시 사용한다.

컨텍스트 길이 확대
동시 접속자 증가
배치 크기 확대
추론 시간 연장
복수 에이전트 병렬 실행
검색·코딩·검증 횟수 증가

동시에 MoE 모델은 전문가가 여러 GPU에 분산돼 있기 때문에 토큰을 GPU 사이에서 지속적으로 이동시켜야 한다. 모델 규모가 커지고 전문가 병렬화가 확대될수록 GPU의 계산 성능과 함께 Scale-up 네트워크 대역폭이 중요해진다.

NVIDIA GB200 NVL72는 72개의 Blackwell GPU를 하나의 NVLink 도메인으로 연결하며, 랙 내부에서 초당 130TB의 GPU 통신 대역폭을 제공한다. 이러한 랙 스케일 구조는 수조 파라미터 모델의 학습과 추론에서 발생하는 대규모 GPU 간 통신을 겨냥한 시스템이다. (NVIDIA GB200 NVL72)

결국 KDA가 줄이는 것은 시스템 병목 가운데 한 부분이다.

모델 규모와 사용량이 늘어나면 병목은 다시 다른 영역으로 이동한다.

가중치를 저장하는 HBM
CPU 서버의 DDR5
KV 캐시와 체크포인트를 저장하는 NVMe SSD
GPU 간 통신을 담당하는 NVLink와 네트워크
데이터센터 전력과 냉각

AI 인프라에서 효율화는 병목을 완전히 제거하기보다, 병목의 위치를 이동시키면서 전체 시스템의 처리 가능 규모를 확대한다.

오픈웨이트는 모델 경쟁의 참여자를 늘린다

Kimi K3가 갖는 더 큰 의미는 2.8조 파라미터라는 숫자에만 있지 않다.

Kimi K3는 오픈웨이트 모델로 공개됐다. 누구나 가중치를 내려받아 직접 호스팅하고, 특정 산업과 언어에 맞게 추가 학습하며, 자체 클라우드와 데이터센터에 배치할 수 있다.

폐쇄형 API 모델에서는 소수 프런티어 기업이 중앙에서 컴퓨팅을 운영하고 전 세계 사용자가 이를 호출한다.

오픈웨이트 모델에서는 구조가 달라진다.

중국 클라우드 기업이 자체 서비스를 운영
각국 CSP가 지역별로 모델을 호스팅
기업이 내부 데이터센터에 모델을 배치
정부기관이 소버린 AI 클러스터에 모델을 탑재
다른 AI 기업이 추가 미세조정과 강화학습을 수행
중국산 AI 가속기에 맞춘 별도 최적화가 진행

동일한 모델 가중치가 공개되더라도 이를 실행하는 인프라는 공유되지 않는다.

오픈웨이트는 모델을 한곳에 집중시키기보다, 여러 국가와 기업이 같은 모델을 중복해서 학습하고 호스팅하도록 만든다.

모델의 접근성은 높아지지만 컴퓨팅 인프라 수요는 더 넓은 지역과 더 많은 사업자로 분산된다.

핵심은 오픈소스 모델 확산이 GPU 수요를 줄이는 것이 아니라,
오히려 데이터브릭스 같은 호스팅·게이트웨이 사업자의 GPU 수요를 폭발시키고 있다는 점.

모든 곳에서 GPU가 고갈되고 있고 모든 국가가 GPU를 원하고 있다.

Databricks CEO: We're hosting open source models like Kimi and running out of GPUs
https://t.me/bornlupin

Databrick

증류는 성능 격차를 줄이지만 컴퓨팅 비용을 없애지 않는다

중국 LLM의 발전 속도에는 오픈웨이트뿐 아니라 프런티어 모델의 증류도 영향을 미친다.

Anthropic은 DeepSeek, Moonshot, MiniMax가 다수의 부정 계정을 이용해 대규모 Claude 대화를 생성하고, 이를 자체 모델의 에이전트 추론과 코딩, 도구 사용 능력 향상에 활용하려 했다고 주장했다. 이는 Anthropic의 조사 결과이며, 개별 중국 모델 전체가 Claude를 단순 복제해 만들어졌다는 사실을 직접 입증하는 것은 아니다. (Anthropic)

증류는 원본 모델의 파라미터를 그대로 복사하는 방식이 아니다.

강한 교사 모델에 수많은 질문을 입력하고, 얻어진 답변을 자체 모델의 학습 데이터로 활용한다. 교사 모델이 만든 코드와 추론 결과, 도구 사용 방식과 평가 점수를 학생 모델이 반복적으로 학습한다.

이 과정이 확산되면 공개적으로 관찰할 수 있는 LLM 성능은 일정한 시차를 두고 수렴할 가능성이 높다.

한 기업이 새로운 능력을 공개하면 다른 기업이 이를 증류하고, 오픈모델로 다시 확산시킨다. 후발 모델이 선두 모델의 과거 능력을 따라잡는 동안 선두는 다시 다음 프런티어로 이동하는 반복게임이다.

그러나 증류는 컴퓨팅을 대체하지 않는다.

수집된 답변을 실제 모델 능력으로 전환하려면 별도의 사전학습과 미세조정, 강화학습, 평가와 추론 서비스가 필요하다. 학생 모델의 수조 개 파라미터 역시 다시 GPU에서 계산해 만들어야 한다.

기술과 모범답안은 복제할 수 있지만, 학습과 추론에 필요한 계산은 각 기업이 직접 수행해야 한다.

따라서 모델 성능의 확산 속도가 빨라질수록 프런티어 모델을 만들 수 있다고 판단하는 기업과 국가는 늘어난다. 이는 AI 인프라 경쟁에서 수요 참여자의 증가로 이어진다.

중국의 모델 평준화는 중복 컴퓨팅 투자를 확대한다

중국의 AI 생태계에서는 새로운 모델 구조와 학습 방식이 빠르게 확산될 가능성이 높다.

Kimi, DeepSeek, Alibaba, Tencent, Zhipu 등 여러 기업이 서로의 모델 구조와 오픈소스 생태계를 활용하면서도 각각 별도의 프런티어 모델을 개발한다.

Qwen 3.8이 곧 출시되어 오픈 웨이트로 전환됩니다!

하나의 국가 대표 모델에 컴퓨팅을 집중하기보다 여러 기업이 동시에 다음 세대 모델을 만드는 구조다.

각 기업은 반복적으로 다음 과정을 수행해야 한다.

대규모 기반 모델 학습
합성 데이터와 증류 데이터 생성
미세조정과 강화학습
벤치마크와 실제 에이전트 평가
공개 이후 대규모 추론 서비스 운영
다음 세대 모델을 위한 재학습

모델의 구조와 학습 방법은 빠르게 공유될 수 있다. 그러나 각각의 모델을 만드는 학습 클러스터와 추론 클러스터는 별도로 필요하다.

그 결과는 다음과 같은 흐름으로 이어진다.

$\text{Faster Model Diffusion} \rightarrow \text{More Frontier Participants} \rightarrow \text{Duplicated Training and Serving} \rightarrow \text{Higher Compute Demand}$

중국 LLM의 평준화는 컴퓨팅 수요를 통합하기보다, 더 많은 기업이 중복 인프라를 구축하도록 만드는 방향으로 작동할 가능성이 높다.

"메모리 수요 아비규환, 증설이 생명줄"

저렴한 오픈모델은 기존 수요를 대체하면서 새로운 수요를 만든다

기업 입장에서 모든 업무에 가장 비싼 프런티어 모델을 사용할 필요는 없다.

고난도 연구, 복잡한 코딩과 중요한 의사결정에는 Claude나 ChatGPT와 같은 프런티어 모델을 사용하더라도, 반복적인 일상 업무에는 저렴한 오픈모델을 사용할 수 있다.

예를 들면 다음과 같다.

내부 문서 요약
CRM 데이터 정리
보고서 초안 작성
데이터베이스 입력
고객 문의 분류
코드 테스트와 단순 오류 수정

업무 하나에 필요한 컴퓨팅 비용이 낮아지면 과거에는 경제성이 나오지 않았던 수많은 작업이 AI로 전환된다.

전체 컴퓨팅 수요는 다음과 같이 생각할 수 있다.

$\text{Total Compute Demand} = \text{Compute per Task} \times \text{Number of Tasks} \times \text{Agent Steps} \times \text{Concurrency}$

KDA와 MoE는 업무당 컴퓨팅을 낮춘다.

그러나 가격 하락으로 처리 업무 수가 크게 늘어나고, 에이전트가 검색·코딩·검증·재시도를 반복하며, 동시 사용자가 증가하면 전체 컴퓨팅 수요는 오히려 커질 수 있다.

사용자당 AI 토큰 사용량이 지출 증가보다 더 빠르게 확대.
토큰 사용량 +225.3%, 사용자당 지출 +174.4%

AI 모델 가격은 PC 가격 보다 더 빠르게 붕괴중

CODEX 유저 증가속도
GPT 5.6 발표 이후 하루에 +100만으로

프런티어 모델과 오픈모델 역시 완전한 대체 관계로만 움직이지 않는다.

어려운 문제는 프런티어 모델이 처리하고, 빈도가 높은 일상 업무는 오픈모델이 담당한다. AI가 적용되는 전체 업무 범위가 넓어지면서 모델별 수요가 서로 다른 가격대에서 동시에 증가하는 구조가 만들어진다.

소버린 AI는 국가 단위의 신규 구매자를 추가한다

오픈웨이트 모델은 소버린 AI와 결합하기 쉽다.

정부와 기업은 폐쇄형 해외 API를 호출하는 대신, 공개된 가중치를 자국 데이터센터에 배치하고 자체 데이터로 추가 학습할 수 있다.

소버린 AI의 목적은 단순한 비용 절감에 한정되지 않는다.

데이터 주권
정부·금융·국방 데이터 보호
자국어와 문화에 특화된 모델 구축
해외 플랫폼 의존도 축소
국내 AI 산업과 클라우드 생태계 육성
국가안보와 핵심 기술 확보

경제적 효율만 고려하면 여러 국가가 하나의 글로벌 클라우드를 함께 사용하는 편이 유리하다.

그러나 안보와 데이터 주권을 고려하면 각 국가는 일정 수준의 독립적인 인프라를 구축하려 한다. 동일한 Kimi 계열 모델을 사용하더라도 중국, 중동, 아시아와 유럽의 사업자는 별도의 클러스터를 보유하게 된다.

이에 따라 AI 인프라의 구매자는 미국 하이퍼스케일러와 프런티어 연구소에서 다음 영역으로 확대된다.

중국 플랫폼 기업과 AI 연구소
지역별 클라우드 사업자
오픈모델 호스팅 기업
대기업의 사설 AI 클러스터
정부와 국부펀드가 주도하는 소버린 AI

오픈웨이트 모델의 확산은 AI 인프라 수요를 소수 빅테크에서 전 세계 국가와 기업으로 분산시키는 역할을 한다.

https://gccbusinesswatch.com/news/saudi-arabias-sovereign-ai-strategy-earns-global-recognition-as-kingdom-accelerates-leadership-in-artificial-intelligence/

컴퓨팅 병목은 GPU와 HBM을 넘어 시스템 전체로 확산된다

프런티어 모델 경쟁이 확대될수록 병목은 GPU 한 종류에 머물지 않는다.

대규모 모델을 실제로 운영하려면 다음 인프라가 함께 필요하다.

연산을 수행하는 GPU와 AI ASIC
가중치와 활성값을 저장하는 HBM
CPU 서버와 오프로드를 위한 DDR5 RDIMM
모델·데이터셋·체크포인트용 NVMe SSD
GPU 간 연결을 위한 Scale-up 네트워크
데이터센터와 랙을 연결하는 Scale-out 네트워크
전력·변전·냉각 설비

TrendForce는 AI 서버 수요가 이어지면서 서버 DRAM 시장의 공급이 타이트하게 유지되고 있으며, CSP들이 향후 부족 가능성에 대비해 조달을 확대하고 있다고 분석하고 있다. (TrendForce)

기업용 SSD 역시 생성형 AI의 대규모 확산과 함께 수요가 증가하고 있으며, 의미 있는 생산능력 확대에는 시간이 필요하다. (TrendForce)

이는 AI 인프라 사이클이 HBM만의 사이클에서 시스템 전체의 사이클로 확장되고 있음을 보여준다.

모델 가중치가 커질수록 HBM이 필요하고, 사용자가 늘수록 서버 DRAM과 SSD가 필요하다. 전문가 수가 증가할수록 네트워크가 중요해지며, 클러스터 규모가 커질수록 전력과 냉각이 새로운 제약조건으로 부상한다.

TrendForce

두 번째 AI 컴퓨팅 인프라 사이클

초기 AI 인프라 사이클은 미국 하이퍼스케일러와 소수 프런티어 연구소의 대규모 학습 클러스터 구축이 중심이었다.

현재 나타나는 흐름은 성격이 다르다.

프런티어 기업의 차세대 학습은 계속되고 있다. 여기에 중국 오픈웨이트 모델, 기업용 AI, 에이전트 추론과 소버린 AI가 새로운 수요층으로 합류하고 있다.

첫 번째 사이클이 소수 기업의 학습 CAPEX에 가까웠다면, 두 번째 사이클은 다음 요소가 동시에 결합된다.

프런티어 모델의 학습 경쟁
중국 AI 기업의 추격과 중복 투자
오픈웨이트 모델의 분산 호스팅
기업 업무의 대규모 AI 전환
장기 에이전트의 반복 추론
국가 단위 소버린 AI 구축

이에 따라 학습을 위한 CAPEX와 추론을 위한 반복적인 OPEX가 함께 증가한다.

이 국면에서 컴퓨팅 인프라는 GPU 보유량만으로 설명하기 어렵다.

$Effective Compute = Accelerator \times Memory \times Network \times Power \times Cooling \times Software \times Utilization$

컴퓨팅 인프라는 하나의 반도체가 아니라, 지능을 생산하고 전달하는 전체 시스템이다.

- "AI is becoming a widely available commodity."

결론: 오픈웨이트 모델의 확산이 컴퓨팅 투자를 다시 가속한다

Kimi K3는 효율적인 모델이다.

KDA는 KV 캐시 부담을 낮추고, 희소 MoE는 토큰당 연산량을 줄인다. 증류는 미국 프런티어 모델과의 성능 격차를 빠르게 좁힐 수 있으며, 오픈웨이트는 누구나 모델을 직접 배치하고 추가 학습할 수 있게 한다.

표면적으로 보면 이 모든 변화는 컴퓨팅 절감으로 이어질 것처럼 보인다.

그러나 실제로는 반대 방향의 변화가 나타난다.

효율 개선은 더 작은 모델보다 2.8조 파라미터의 더 큰 모델을 가능하게 했다. 오픈웨이트는 하나의 중앙 모델을 공유하기보다 여러 클라우드와 국가, 기업이 같은 모델을 중복해서 운영하게 만든다.

증류는 프런티어 모델을 만들 수 있는 참여자의 문턱을 낮추지만, 각 참여자가 학습과 추론에 사용할 컴퓨팅까지 제공하지는 않는다. 저렴한 모델은 기존의 고가 모델을 일부 대체하면서도, 과거에는 AI를 사용하지 않았던 수많은 일상 업무를 새로운 추론 수요로 전환한다.

결국 중국 오픈웨이트 LLM의 발전은 다음 흐름으로 이어질 가능성이 높다.

$Open-weight Model Progress \to More Model Developers and Hosts \to$

$More Training and Inference \to Compute Scarcity \to Infrastructure Reinvestment$

모델 기술은 빠르게 확산되고 성능은 점차 수렴할 수 있다. 그러나 이를 학습하고 운영하는 GPU, HBM, 서버 DRAM, 네트워크, 스토리지와 전력은 같은 속도로 늘어나지 않는다.

모델이 공개될수록 모델 자체의 희소성은 낮아진다. 반대로 그 모델을 가장 먼저 학습하고, 가장 저렴하게 운영하며, 가장 많은 사용자에게 공급할 수 있는 컴퓨팅 인프라의 희소성은 높아진다.

Kimi K3도 그렇게 가성비 있는 모델은 아니라고 함.
GPT 5.6과 비슷하게 돈이 들어간다고 함.
https://t.me/aetherjapanresearch

따라서 Kimi K3와 같은 중국 오픈웨이트 LLM은 NVIDIA와 메모리 수요를 위협하는 모델로 보기 어렵다.

오히려 미국의 소수 프런티어 기업에 집중돼 있던 컴퓨팅 소비를 중국 AI 기업, 글로벌 클라우드, 일반 기업과 소버린 AI로 확산시키면서 AI 컴퓨팅 인프라 투자의 재점화와 재가속을 촉진하는 사건에 가깝다.

모델이 평준화될수록 경쟁의 중심은 모델을 소유하는 능력에서, 지능을 대량 생산할 수 있는 컴퓨팅 인프라를 확보하는 능력으로 이동한다.

오픈웨이트 모델이 많아질수록 지능은 더 널리 소비되고, 그 지능을 생산하는 AI 공장은 더 많이 필요해진다.

다시 정리하면,

모델 구조와 학습 방법은 빠르게 복제됨
모델 성능 격차는 일정한 시차를 두고 축소됨
컴퓨팅 인프라는 물리적으로 건설해야 함
HBM·DRAM·전력·송전망은 단기간에 복제하기 어려움
결국 모델의 초과이익은 압축되고 인프라의 희소가치는 상승함

즉 지능의 가격은 내려가지만, 지능을 대량 생산할 수 있는 물리적 생산수단의 전략적 가치는 올라가는 구조가 한동안 지속되지않을까 한다.

#글을 마치며

경제적 수급 논리를 넘어, 메모리는 점차 AI 패권과 국가 안보를 좌우하는 전략자산으로 부상하고 있는듯 싶다.

그런 점에서 미국이 중국 메모리 기업인 CXMT와 YMTC에 대한 제재를 보다 직접적이고 강도 높게 확대하지 않는 이유에 대해서는 여전히 의문이 남는다.

https://www.tomshardware.com/pc-components/dram/lawmakers-want-us-government-to-ban-memory-chips-from-china-even-in-allied-supply-chains-citing-unacceptable-risk-to-national-economic-and-supply-chain-security

이렇게 대놓고 중국 LLM들이 불법 증류 및 추출로 따라오는데,
추가 제재를 안하고 아무 조취도 안한다고..?
~~추가 반도체 chip & equipment 수출규제나 때려버렸으면..~~

중국 AI 모델의 미국 기업 사용량 급증, 60%에 육박, 연초 대비 3배 증가

=끝

나만의 투자이야기

2026년 7월 19일 일요일

생각정리 312 (* Kimi 3.0, Computing Infra)