2026년 7월 19일 일요일

생각정리 312 (* Kimi 3.0, Computing Infra)

주말 동안 나온 메모리 관련 기사들을 정리해본다.

특히 Kimi K3의 등장이 왜 컴퓨팅 자원의 희소성을 높이고, AI 인프라 투자를 다시 가속하는지를 개인적인 관점에서 살펴보고자 한다.

참고자료 : 생각정리 151 (* Sparse MoE)

모델은 공개되고, 컴퓨팅은 희소해진다

Kimi K3가 보여준 중국 오픈웨이트 LLM과 AI 인프라 투자의 재가속

최근 Kimi K3를 둘러싼 시장의 해석은 크게 두 방향으로 나뉜다.

한쪽에서는 Kimi Delta Attention, 즉 KDA와 희소(*Sparse) MoE 구조가 KV 캐시와 연산 부담을 낮춘다는 점에 주목한다. 모델의 효율성이 높아질수록 필요한 GPU와 메모리도 줄어들 수 있다는 해석이다.

다만, 이러한 주장은 과거 DeepSeek 모멘트 당시 MoE 구조가 실제로 어떤 방식으로 컴퓨팅 수요를 변화시켰는지 충분히 이해하지 못한 해석에 가깝다.

반면 다른 한쪽에서는 Kimi K3가 총 2.8조 파라미터에 달하는 초대형 모델이라는 점과 출시 직후 나타난 강한 사용자 수요에 주목한다. 효율 개선이 컴퓨팅 소비를 줄이는 데 사용된 것이 아니라, 과거에는 운영하기 어려웠던 초대형 모델을 실제 서비스 영역으로 끌어들이는 데 사용됐다는 해석이다.

내 생각은 후자에 가깝다.

Kimi K3와 같은 중국 오픈웨이트 LLM의 발전은 컴퓨팅 수요를 줄이는 사건이 아니다. 프런티어급 모델을 개발하고 운영하려는 참여자를 늘리면서 GPU, HBM, 서버 DRAM, 네트워크, 스토리지와 전력을 더욱 희소한 자원으로 만들고 있다.

Moonshot은 컴퓨팅 용량 부족으로 Kimi K3 모델의 원활한 서비스에 어려움을 겪고 있다고 함.

그리고 얼마지나지 않아 나온 KIMI 사용자 제한 공문

컴퓨팅 자원 부족 및 멤버십 신규 가입 일시 중단에 관한 안내

* Kimi 신규구독 중단 후 나온 용량 증설

이를 이해하려면 먼저 LLM에서 왜 파라미터 수가 반복적으로 강조되는지부터 살펴볼 필요가 있다.

LLM에서 파라미터가 중요한 이유

LLM의 파라미터는 학습 과정에서 조정되는 수많은 숫자 값이다.

모델 내부에서는 입력된 정보를 여러 단계에 걸쳐 변환한다. 단어의 의미를 표현하고, 문맥 속 관계를 찾고, 어떤 정보를 중요하게 볼지 결정한 뒤 다음에 올 토큰의 확률을 계산한다.

이 과정에 사용되는 임베딩, 어텐션 가중치, Feed Forward Network의 가중치와 정규화 계수 등이 모두 파라미터에 포함된다.

신경망의 연산을 단순화하면 다음과 같이 표현할 수 있다.

$y = W x + b$

여기서 $W$ 와 $b$ 가 학습을 통해 결정되는 파라미터다.

따라서 파라미터는 GPU가 처리한 학습 데이터의 연결 횟수를 의미하지 않는다. 학습 데이터를 반복해서 읽는 과정에서 모델 내부에 형성된 수많은 변환 규칙과 관계의 강도에 가깝다.

특정 파라미터 하나가 특정 지식 하나를 저장하는 구조도 아니다. 하나의 지식과 개념은 여러 파라미터에 걸쳐 분산돼 표현되고, 하나의 파라미터 역시 다양한 개념의 처리에 동시에 관여한다.

결국 파라미터 수는 모델이 얼마나 많은 패턴과 관계를 표현할 수 있는지를 보여주는 일종의 표현 용량이다.

하나의 단어가 여러 의미를 가질 수 있는 이유

파라미터를 조금 더 직관적으로 이해하기 위해 하나의 단어를 생각해볼 수 있다.

예를 들어 ‘배’라는 단어는 그 자체만으로 완성된 의미를 갖지 않는다.

배를 먹었다.
배가 아프다.
배를 타고 바다를 건넜다.
가격이 두 배로 올랐다.

같은 단어가 사용됐지만 문장마다 의미는 전혀 다르다. 사람은 앞뒤 문장과 상황을 함께 보고 현재 문맥에 맞는 뜻을 자연스럽게 선택한다.

LLM도 비슷한 방식으로 단어를 처리한다.

모델은 ‘배’라는 단어에 하나의 고정된 뜻을 붙여두지 않는다. 대신 학습 과정에서 다음과 같은 관계를 반복해서 관찰한다.

어떤 단어들과 함께 등장했는지
문장 안에서 어떤 역할을 했는지
앞뒤 문맥에 따라 의미가 어떻게 달라졌는지
비슷한 상황에서 어떤 표현이 사용됐는지

이렇게 학습된 수많은 관계와 차이를 담는 공간이 모델의 파라미터다.

다만 특정 파라미터 하나가 ‘배는 과일이다’라는 의미를 따로 저장하는 것은 아니다. 하나의 단어가 가진 여러 의미는 수많은 파라미터에 분산돼 표현된다. 문장이 입력될 때마다 모델은 이 파라미터들을 함께 사용해 현재 문맥에 가장 적절한 의미를 구성한다.

파라미터는 단어의 뜻을 고정적으로 저장하는 사전이라기보다, 문맥에 따라 달라지는 의미와 단어 사이의 관계를 표현하기 위한 수많은 조정값이다.

따라서 파라미터가 많아진다는 것은 단순히 더 많은 단어와 지식을 외운다는 의미가 아니다.

같은 단어가 서로 다른 상황에서 어떻게 다르게 쓰이는지, 여러 개념이 어떤 조건에서 연결되거나 분리되는지를 더 세밀하게 표현할 수 있는 공간이 넓어진다는 뜻이다.

파라미터와 학습 데이터는 어떻게 연결되는가

LLM의 성능은 파라미터만으로 결정되지 않는다.

파라미터와 학습 데이터, 컴퓨팅은 서로 다른 역할을 한다.

학습 데이터는 모델이 관찰하는 언어, 코드, 이미지, 문제와 해답이다.
파라미터는 데이터에서 발견한 패턴과 관계를 담는 공간이다.
컴퓨팅은 데이터를 읽고 파라미터를 반복적으로 수정하는 데 사용된다.
알고리즘과 모델 구조는 같은 자원을 얼마나 효율적으로 활용할지를 결정한다.

파라미터가 너무 작으면 방대한 학습 데이터가 가진 복잡한 관계를 충분히 표현하기 어렵다. 많은 내용을 지나치게 작은 공간에 압축하면서 중요한 패턴과 예외가 손실된다.

반대로 파라미터만 크게 만들고 데이터와 학습량을 충분히 늘리지 않으면 커진 모델의 용량을 제대로 활용하지 못한다. 모델의 그릇은 커졌지만 그 안을 채우는 학습이 부족한 상태가 된다.

이 관계를 단순화하면 다음과 같다.

$Model Capability = f (Parameters, Data, Compute, Architecture, Post-training)$

파라미터는 그릇의 크기이고, 학습 데이터는 그 안에 담기는 재료다. 컴퓨팅은 이 재료를 실제 모델 능력으로 전환하는 공정이다.

따라서 “파라미터가 클수록 성능이 좋아진다”는 설명도 파라미터만 독립적으로 늘리면 된다는 뜻으로 이해해서는 안 된다.

파라미터, 학습 데이터와 컴퓨팅이 함께 확대될 때 모델이 더 복잡한 구조와 더 많은 지식을 학습할 수 있다는 의미에 가깝다.

왜 큰 모델이 대체로 더 좋은 성능을 보이는가

현실 세계의 지식은 단순하지 않다.

언어에는 단어의 뜻과 문법뿐 아니라 수많은 예외, 은유, 전문지식과 문화적 맥락이 포함돼 있다. 코드 역시 언어별 문법만 이해해서는 충분하지 않다. 라이브러리, 시스템 구조, 오류 처리, 보안과 성능 최적화를 함께 이해해야 한다.

모델이 처리해야 하는 작업의 범위도 계속 넓어지고 있다.

긴 문서와 대규모 코드베이스 이해
여러 단계의 논리적 추론
이미지·음성·영상의 통합 처리
검색과 코드 실행을 포함한 도구 사용
장시간 이어지는 에이전트 작업
학습 과정에서 보지 못한 새로운 문제에 대한 일반화

작은 모델은 자주 등장하는 패턴과 일반적인 관계를 우선적으로 학습한다. 반면 희귀한 개념, 복잡한 예외와 긴 인과관계까지 동시에 표현하려면 더 많은 용량이 필요하다.

파라미터가 늘어나면 모델은 서로 다른 개념을 더 세밀하게 구분하고, 여러 지식과 문맥을 동시에 처리할 수 있는 공간을 확보한다. 작은 모델에서 하나의 표현 공간에 여러 개념이 겹치면서 발생하는 간섭도 줄어들 수 있다.

이러한 관계가 일정한 규모 이상에서도 반복적으로 관찰된 것이 Scaling Law다.

Scaling Law는 왜 계속 작동하는가

초기 Scaling Law 연구에서는 모델 크기와 학습 데이터, 학습 컴퓨팅을 늘릴수록 언어모델의 예측 오차가 비교적 일정한 멱법칙 형태로 감소하는 현상이 확인됐다. (Kaplan et al., 2020)

다만 이는 파라미터만 무작정 늘리면 된다는 뜻은 아니다.

이후 Chinchilla 연구는 주어진 컴퓨팅 예산 안에서 모델 크기와 학습 토큰을 균형 있게 확대해야 한다는 점을 보여줬다. 동일한 연산량을 사용하더라도 지나치게 큰 모델을 적은 데이터로 학습하는 것보다, 적절한 규모의 모델을 충분한 데이터로 학습하는 편이 더 높은 성능을 낼 수 있다는 결과였다. (Hoffmann et al., 2022)

결국 Scaling Law의 핵심은 다음과 같다.

파라미터, 데이터와 컴퓨팅을 적절한 비율로 확대하면 모델 성능은 여전히 비교적 예측 가능한 방향으로 개선된다.

이 관계가 계속 작동하는 이유는 학습해야 할 세계의 구조가 아직 포화되지 않았기 때문이다.

하나의 공개 벤치마크가 포화되더라도 더 긴 문맥, 더 어려운 추론, 멀티모달 이해, 장기 에이전트, 로보틱스와 실제 환경 조작이라는 새로운 과제가 계속 등장한다.

알고리즘 개선 역시 Scaling을 멈추게 하지 않는다.

MoE, 선형 어텐션, 저정밀 연산과 새로운 옵티마이저는 같은 컴퓨팅으로 더 높은 성능을 낼 수 있게 만든다. 그러나 프런티어 연구소는 이렇게 절약된 컴퓨팅을 반환하지 않는다.

그 자원을 다시 다음 영역에 사용한다.

더 큰 모델
더 많은 학습 데이터
더 긴 컨텍스트
더 복잡한 강화학습
더 많은 추론 토큰
더 긴 에이전트 실행

효율 개선은 Scaling의 종료보다 Scaling이 가능한 모델의 상한을 높이는 방향으로 작동해 왔다.

Kimi K3는 효율화 이후 모델이 어디까지 커질 수 있는지를 보여준다

Kimi K3는 총 2.8조 파라미터를 가진 희소 MoE 모델이다.

KDA 기반의 하이브리드 선형 어텐션과 Attention Residuals를 적용했고, 896개 전문가 가운데 토큰당 16개를 활성화한다. 최대 100만 토큰의 문맥과 멀티모달 입력을 지원하며, Moonshot AI는 Kimi K2 대비 컴퓨팅을 모델 능력으로 전환하는 효율이 약 2.5배 높아졌다고 설명한다. (Kimi K3)

여기서 중요한 것은 효율 개선의 사용처다.

Moonshot은 KDA와 희소 MoE를 이용해 작은 모델을 만드는 데 머물지 않았다. 동일한 컴퓨팅으로 더 큰 모델을 만들고, 더 긴 문맥과 더 복잡한 에이전트 작업을 처리하는 데 효율 개선분을 사용했다.

전개 과정은 다음에 가깝다.

$Efficiency Improvement \to Larger Model \to Lower Usage Cost \to More AI Workloads$

Kimi K3의 등장은 모델 효율이 높아지면 모델이 작아진다는 가정보다, 효율이 높아질수록 경제적으로 운영할 수 있는 모델의 규모가 더 커진다는 사실을 보여준다.

2.8조 파라미터가 의미하는 메모리 부담

파라미터는 실제 메모리 어딘가에 저장돼야 한다.

2.8조 파라미터 모델의 가중치 저장량을 단순 계산하면 다음과 같다.

$\text{BF16} : 2.8조 \times 2Bytes = 5.6TB$ $\text{INT8} : 2.8조 \times 1Byte = 2.8TB$ $\text{4-bit} : 2.8조 \times 0.5Byte = 1.4TB$

실제 시스템에서는 가중치만 저장하면 끝나지 않는다.

양자화 스케일, 활성값, 통신 버퍼, 라우팅 정보, KV 캐시와 시스템 여유 공간이 추가로 필요하다.

MoE 구조는 토큰당 일부 전문가만 활성화하기 때문에 연산량을 줄일 수 있다. 그러나 비활성 전문가의 가중치까지 사라지는 것은 아니다. 전체 전문가 가중치는 여러 GPU와 메모리 계층에 분산된 상태로 유지돼야 한다.

따라서 MoE 모델에서는 두 가지 숫자를 구분해야 한다.

총 파라미터 수: 모델 전체의 표현 용량과 저장해야 할 가중치 규모
활성 파라미터 수: 한 토큰을 처리할 때 실제 연산에 사용되는 규모

Kimi K3는 모든 토큰마다 2.8조 파라미터를 전부 계산하지 않는다. 그럼에도 거대한 전체 가중치를 저장하고, 선택된 전문가에게 토큰을 전달하기 위해 대규모 HBM과 고속 네트워크가 필요하다.

좀 쉬는듯 싶다가 재차 상승하는 디램 현물가격

KDA가 KV 캐시를 줄여도 시스템 전체의 수요는 줄지 않는다

Kimi K3에 대한 부정적인 해석은 KDA가 KV 캐시 부담을 낮춘다는 점에서 출발한다.

KV 캐시가 줄어들면 동일한 GPU에서 더 긴 문맥을 처리하거나 더 많은 사용자를 동시에 받을 수 있다. 단위 요청당 필요한 메모리도 낮아질 수 있다.

하지만 절감된 자원이 그대로 남는 경우는 많지 않다.

서비스 사업자는 이를 다음 용도로 다시 사용한다.

컨텍스트 길이 확대
동시 접속자 증가
배치 크기 확대
추론 시간 연장
복수 에이전트 병렬 실행
검색·코딩·검증 횟수 증가

동시에 MoE 모델은 전문가가 여러 GPU에 분산돼 있기 때문에 토큰을 GPU 사이에서 지속적으로 이동시켜야 한다. 모델 규모가 커지고 전문가 병렬화가 확대될수록 GPU의 계산 성능과 함께 Scale-up 네트워크 대역폭이 중요해진다.

NVIDIA GB200 NVL72는 72개의 Blackwell GPU를 하나의 NVLink 도메인으로 연결하며, 랙 내부에서 초당 130TB의 GPU 통신 대역폭을 제공한다. 이러한 랙 스케일 구조는 수조 파라미터 모델의 학습과 추론에서 발생하는 대규모 GPU 간 통신을 겨냥한 시스템이다. (NVIDIA GB200 NVL72)

결국 KDA가 줄이는 것은 시스템 병목 가운데 한 부분이다.

모델 규모와 사용량이 늘어나면 병목은 다시 다른 영역으로 이동한다.

가중치를 저장하는 HBM
CPU 서버의 DDR5
KV 캐시와 체크포인트를 저장하는 NVMe SSD
GPU 간 통신을 담당하는 NVLink와 네트워크
데이터센터 전력과 냉각

AI 인프라에서 효율화는 병목을 완전히 제거하기보다, 병목의 위치를 이동시키면서 전체 시스템의 처리 가능 규모를 확대한다.

오픈웨이트는 모델 경쟁의 참여자를 늘린다

Kimi K3가 갖는 더 큰 의미는 2.8조 파라미터라는 숫자에만 있지 않다.

Kimi K3는 오픈웨이트 모델로 공개됐다. 누구나 가중치를 내려받아 직접 호스팅하고, 특정 산업과 언어에 맞게 추가 학습하며, 자체 클라우드와 데이터센터에 배치할 수 있다.

폐쇄형 API 모델에서는 소수 프런티어 기업이 중앙에서 컴퓨팅을 운영하고 전 세계 사용자가 이를 호출한다.

오픈웨이트 모델에서는 구조가 달라진다.

중국 클라우드 기업이 자체 서비스를 운영
각국 CSP가 지역별로 모델을 호스팅
기업이 내부 데이터센터에 모델을 배치
정부기관이 소버린 AI 클러스터에 모델을 탑재
다른 AI 기업이 추가 미세조정과 강화학습을 수행
중국산 AI 가속기에 맞춘 별도 최적화가 진행

동일한 모델 가중치가 공개되더라도 이를 실행하는 인프라는 공유되지 않는다.

오픈웨이트는 모델을 한곳에 집중시키기보다, 여러 국가와 기업이 같은 모델을 중복해서 학습하고 호스팅하도록 만든다.

모델의 접근성은 높아지지만 컴퓨팅 인프라 수요는 더 넓은 지역과 더 많은 사업자로 분산된다.

핵심은 오픈소스 모델 확산이 GPU 수요를 줄이는 것이 아니라,
오히려 데이터브릭스 같은 호스팅·게이트웨이 사업자의 GPU 수요를 폭발시키고 있다는 점.

모든 곳에서 GPU가 고갈되고 있고 모든 국가가 GPU를 원하고 있다.

Databricks CEO: We're hosting open source models like Kimi and running out of GPUs
https://t.me/bornlupin

Databrick

증류는 성능 격차를 줄이지만 컴퓨팅 비용을 없애지 않는다

중국 LLM의 발전 속도에는 오픈웨이트뿐 아니라 프런티어 모델의 증류도 영향을 미친다.

Anthropic은 DeepSeek, Moonshot, MiniMax가 다수의 부정 계정을 이용해 대규모 Claude 대화를 생성하고, 이를 자체 모델의 에이전트 추론과 코딩, 도구 사용 능력 향상에 활용하려 했다고 주장했다. 이는 Anthropic의 조사 결과이며, 개별 중국 모델 전체가 Claude를 단순 복제해 만들어졌다는 사실을 직접 입증하는 것은 아니다. (Anthropic)

증류는 원본 모델의 파라미터를 그대로 복사하는 방식이 아니다.

강한 교사 모델에 수많은 질문을 입력하고, 얻어진 답변을 자체 모델의 학습 데이터로 활용한다. 교사 모델이 만든 코드와 추론 결과, 도구 사용 방식과 평가 점수를 학생 모델이 반복적으로 학습한다.

이 과정이 확산되면 공개적으로 관찰할 수 있는 LLM 성능은 일정한 시차를 두고 수렴할 가능성이 높다.

한 기업이 새로운 능력을 공개하면 다른 기업이 이를 증류하고, 오픈모델로 다시 확산시킨다. 후발 모델이 선두 모델의 과거 능력을 따라잡는 동안 선두는 다시 다음 프런티어로 이동하는 반복게임이다.

그러나 증류는 컴퓨팅을 대체하지 않는다.

수집된 답변을 실제 모델 능력으로 전환하려면 별도의 사전학습과 미세조정, 강화학습, 평가와 추론 서비스가 필요하다. 학생 모델의 수조 개 파라미터 역시 다시 GPU에서 계산해 만들어야 한다.

기술과 모범답안은 복제할 수 있지만, 학습과 추론에 필요한 계산은 각 기업이 직접 수행해야 한다.

따라서 모델 성능의 확산 속도가 빨라질수록 프런티어 모델을 만들 수 있다고 판단하는 기업과 국가는 늘어난다. 이는 AI 인프라 경쟁에서 수요 참여자의 증가로 이어진다.

중국의 모델 평준화는 중복 컴퓨팅 투자를 확대한다

중국의 AI 생태계에서는 새로운 모델 구조와 학습 방식이 빠르게 확산될 가능성이 높다.

Kimi, DeepSeek, Alibaba, Tencent, Zhipu 등 여러 기업이 서로의 모델 구조와 오픈소스 생태계를 활용하면서도 각각 별도의 프런티어 모델을 개발한다.

Qwen 3.8이 곧 출시되어 오픈 웨이트로 전환됩니다!

하나의 국가 대표 모델에 컴퓨팅을 집중하기보다 여러 기업이 동시에 다음 세대 모델을 만드는 구조다.

각 기업은 반복적으로 다음 과정을 수행해야 한다.

대규모 기반 모델 학습
합성 데이터와 증류 데이터 생성
미세조정과 강화학습
벤치마크와 실제 에이전트 평가
공개 이후 대규모 추론 서비스 운영
다음 세대 모델을 위한 재학습

모델의 구조와 학습 방법은 빠르게 공유될 수 있다. 그러나 각각의 모델을 만드는 학습 클러스터와 추론 클러스터는 별도로 필요하다.

그 결과는 다음과 같은 흐름으로 이어진다.

$\text{Faster Model Diffusion} \rightarrow \text{More Frontier Participants} \rightarrow \text{Duplicated Training and Serving} \rightarrow \text{Higher Compute Demand}$

중국 LLM의 평준화는 컴퓨팅 수요를 통합하기보다, 더 많은 기업이 중복 인프라를 구축하도록 만드는 방향으로 작동할 가능성이 높다.

"메모리 수요 아비규환, 증설이 생명줄"

저렴한 오픈모델은 기존 수요를 대체하면서 새로운 수요를 만든다

기업 입장에서 모든 업무에 가장 비싼 프런티어 모델을 사용할 필요는 없다.

고난도 연구, 복잡한 코딩과 중요한 의사결정에는 Claude나 ChatGPT와 같은 프런티어 모델을 사용하더라도, 반복적인 일상 업무에는 저렴한 오픈모델을 사용할 수 있다.

예를 들면 다음과 같다.

내부 문서 요약
CRM 데이터 정리
보고서 초안 작성
데이터베이스 입력
고객 문의 분류
코드 테스트와 단순 오류 수정

업무 하나에 필요한 컴퓨팅 비용이 낮아지면 과거에는 경제성이 나오지 않았던 수많은 작업이 AI로 전환된다.

전체 컴퓨팅 수요는 다음과 같이 생각할 수 있다.

$\text{Total Compute Demand} = \text{Compute per Task} \times \text{Number of Tasks} \times \text{Agent Steps} \times \text{Concurrency}$

KDA와 MoE는 업무당 컴퓨팅을 낮춘다.

그러나 가격 하락으로 처리 업무 수가 크게 늘어나고, 에이전트가 검색·코딩·검증·재시도를 반복하며, 동시 사용자가 증가하면 전체 컴퓨팅 수요는 오히려 커질 수 있다.

사용자당 AI 토큰 사용량이 지출 증가보다 더 빠르게 확대.
토큰 사용량 +225.3%, 사용자당 지출 +174.4%

AI 모델 가격은 PC 가격 보다 더 빠르게 붕괴중

CODEX 유저 증가속도
GPT 5.6 발표 이후 하루에 +100만으로

프런티어 모델과 오픈모델 역시 완전한 대체 관계로만 움직이지 않는다.

어려운 문제는 프런티어 모델이 처리하고, 빈도가 높은 일상 업무는 오픈모델이 담당한다. AI가 적용되는 전체 업무 범위가 넓어지면서 모델별 수요가 서로 다른 가격대에서 동시에 증가하는 구조가 만들어진다.

소버린 AI는 국가 단위의 신규 구매자를 추가한다

오픈웨이트 모델은 소버린 AI와 결합하기 쉽다.

정부와 기업은 폐쇄형 해외 API를 호출하는 대신, 공개된 가중치를 자국 데이터센터에 배치하고 자체 데이터로 추가 학습할 수 있다.

소버린 AI의 목적은 단순한 비용 절감에 한정되지 않는다.

데이터 주권
정부·금융·국방 데이터 보호
자국어와 문화에 특화된 모델 구축
해외 플랫폼 의존도 축소
국내 AI 산업과 클라우드 생태계 육성
국가안보와 핵심 기술 확보

경제적 효율만 고려하면 여러 국가가 하나의 글로벌 클라우드를 함께 사용하는 편이 유리하다.

그러나 안보와 데이터 주권을 고려하면 각 국가는 일정 수준의 독립적인 인프라를 구축하려 한다. 동일한 Kimi 계열 모델을 사용하더라도 중국, 중동, 아시아와 유럽의 사업자는 별도의 클러스터를 보유하게 된다.

이에 따라 AI 인프라의 구매자는 미국 하이퍼스케일러와 프런티어 연구소에서 다음 영역으로 확대된다.

중국 플랫폼 기업과 AI 연구소
지역별 클라우드 사업자
오픈모델 호스팅 기업
대기업의 사설 AI 클러스터
정부와 국부펀드가 주도하는 소버린 AI

오픈웨이트 모델의 확산은 AI 인프라 수요를 소수 빅테크에서 전 세계 국가와 기업으로 분산시키는 역할을 한다.

https://gccbusinesswatch.com/news/saudi-arabias-sovereign-ai-strategy-earns-global-recognition-as-kingdom-accelerates-leadership-in-artificial-intelligence/

컴퓨팅 병목은 GPU와 HBM을 넘어 시스템 전체로 확산된다

프런티어 모델 경쟁이 확대될수록 병목은 GPU 한 종류에 머물지 않는다.

대규모 모델을 실제로 운영하려면 다음 인프라가 함께 필요하다.

연산을 수행하는 GPU와 AI ASIC
가중치와 활성값을 저장하는 HBM
CPU 서버와 오프로드를 위한 DDR5 RDIMM
모델·데이터셋·체크포인트용 NVMe SSD
GPU 간 연결을 위한 Scale-up 네트워크
데이터센터와 랙을 연결하는 Scale-out 네트워크
전력·변전·냉각 설비

TrendForce는 AI 서버 수요가 이어지면서 서버 DRAM 시장의 공급이 타이트하게 유지되고 있으며, CSP들이 향후 부족 가능성에 대비해 조달을 확대하고 있다고 분석하고 있다. (TrendForce)

기업용 SSD 역시 생성형 AI의 대규모 확산과 함께 수요가 증가하고 있으며, 의미 있는 생산능력 확대에는 시간이 필요하다. (TrendForce)

이는 AI 인프라 사이클이 HBM만의 사이클에서 시스템 전체의 사이클로 확장되고 있음을 보여준다.

모델 가중치가 커질수록 HBM이 필요하고, 사용자가 늘수록 서버 DRAM과 SSD가 필요하다. 전문가 수가 증가할수록 네트워크가 중요해지며, 클러스터 규모가 커질수록 전력과 냉각이 새로운 제약조건으로 부상한다.

TrendForce

두 번째 AI 컴퓨팅 인프라 사이클

초기 AI 인프라 사이클은 미국 하이퍼스케일러와 소수 프런티어 연구소의 대규모 학습 클러스터 구축이 중심이었다.

현재 나타나는 흐름은 성격이 다르다.

프런티어 기업의 차세대 학습은 계속되고 있다. 여기에 중국 오픈웨이트 모델, 기업용 AI, 에이전트 추론과 소버린 AI가 새로운 수요층으로 합류하고 있다.

첫 번째 사이클이 소수 기업의 학습 CAPEX에 가까웠다면, 두 번째 사이클은 다음 요소가 동시에 결합된다.

프런티어 모델의 학습 경쟁
중국 AI 기업의 추격과 중복 투자
오픈웨이트 모델의 분산 호스팅
기업 업무의 대규모 AI 전환
장기 에이전트의 반복 추론
국가 단위 소버린 AI 구축

이에 따라 학습을 위한 CAPEX와 추론을 위한 반복적인 OPEX가 함께 증가한다.

이 국면에서 컴퓨팅 인프라는 GPU 보유량만으로 설명하기 어렵다.

$Effective Compute = Accelerator \times Memory \times Network \times Power \times Cooling \times Software \times Utilization$

컴퓨팅 인프라는 하나의 반도체가 아니라, 지능을 생산하고 전달하는 전체 시스템이다.

- "AI is becoming a widely available commodity."

결론: 오픈웨이트 모델의 확산이 컴퓨팅 투자를 다시 가속한다

Kimi K3는 효율적인 모델이다.

KDA는 KV 캐시 부담을 낮추고, 희소 MoE는 토큰당 연산량을 줄인다. 증류는 미국 프런티어 모델과의 성능 격차를 빠르게 좁힐 수 있으며, 오픈웨이트는 누구나 모델을 직접 배치하고 추가 학습할 수 있게 한다.

표면적으로 보면 이 모든 변화는 컴퓨팅 절감으로 이어질 것처럼 보인다.

그러나 실제로는 반대 방향의 변화가 나타난다.

효율 개선은 더 작은 모델보다 2.8조 파라미터의 더 큰 모델을 가능하게 했다. 오픈웨이트는 하나의 중앙 모델을 공유하기보다 여러 클라우드와 국가, 기업이 같은 모델을 중복해서 운영하게 만든다.

증류는 프런티어 모델을 만들 수 있는 참여자의 문턱을 낮추지만, 각 참여자가 학습과 추론에 사용할 컴퓨팅까지 제공하지는 않는다. 저렴한 모델은 기존의 고가 모델을 일부 대체하면서도, 과거에는 AI를 사용하지 않았던 수많은 일상 업무를 새로운 추론 수요로 전환한다.

결국 중국 오픈웨이트 LLM의 발전은 다음 흐름으로 이어질 가능성이 높다.

$Open-weight Model Progress \to More Model Developers and Hosts \to$

$More Training and Inference \to Compute Scarcity \to Infrastructure Reinvestment$

모델 기술은 빠르게 확산되고 성능은 점차 수렴할 수 있다. 그러나 이를 학습하고 운영하는 GPU, HBM, 서버 DRAM, 네트워크, 스토리지와 전력은 같은 속도로 늘어나지 않는다.

모델이 공개될수록 모델 자체의 희소성은 낮아진다. 반대로 그 모델을 가장 먼저 학습하고, 가장 저렴하게 운영하며, 가장 많은 사용자에게 공급할 수 있는 컴퓨팅 인프라의 희소성은 높아진다.

Kimi K3도 그렇게 가성비 있는 모델은 아니라고 함.
GPT 5.6과 비슷하게 돈이 들어간다고 함.
https://t.me/aetherjapanresearch

따라서 Kimi K3와 같은 중국 오픈웨이트 LLM은 NVIDIA와 메모리 수요를 위협하는 모델로 보기 어렵다.

오히려 미국의 소수 프런티어 기업에 집중돼 있던 컴퓨팅 소비를 중국 AI 기업, 글로벌 클라우드, 일반 기업과 소버린 AI로 확산시키면서 AI 컴퓨팅 인프라 투자의 재점화와 재가속을 촉진하는 사건에 가깝다.

모델이 평준화될수록 경쟁의 중심은 모델을 소유하는 능력에서, 지능을 대량 생산할 수 있는 컴퓨팅 인프라를 확보하는 능력으로 이동한다.

오픈웨이트 모델이 많아질수록 지능은 더 널리 소비되고, 그 지능을 생산하는 AI 공장은 더 많이 필요해진다.

다시 정리하면,

모델 구조와 학습 방법은 빠르게 복제됨
모델 성능 격차는 일정한 시차를 두고 축소됨
컴퓨팅 인프라는 물리적으로 건설해야 함
HBM·DRAM·전력·송전망은 단기간에 복제하기 어려움
결국 모델의 초과이익은 압축되고 인프라의 희소가치는 상승함

즉 지능의 가격은 내려가지만, 지능을 대량 생산할 수 있는 물리적 생산수단의 전략적 가치는 올라가는 구조가 한동안 지속되지않을까 한다.

#글을 마치며

경제적 수급 논리를 넘어, 메모리는 점차 AI 패권과 국가 안보를 좌우하는 전략자산으로 부상하고 있는듯 싶다. 그

런 점에서 미국이 중국 메모리 기업인 CXMT와 YMTC에 대한 제재를 보다 직접적이고 강도 높게 확대하지 않는 이유에 대해서는 여전히 의문이 남는다.

https://www.tomshardware.com/pc-components/dram/lawmakers-want-us-government-to-ban-memory-chips-from-china-even-in-allied-supply-chains-citing-unacceptable-risk-to-national-economic-and-supply-chain-security

이렇게 대놓고 중국 LLM들이 불법 증류 및 추출로 따라오는데,
추가 제재를 안하고 아무 조취도 안한다고..?
~~추가 반도체 chip & equipment 수출규제나 때려버렸으면..~~

중국 AI 모델의 미국 기업 사용량 급증, 60%에 육박, 연초 대비 3배 증가

=끝

2026년 7월 15일 수요일

생각정리 311 (* 메모리 망상 -2)

또 시장이 발작하고 있다. 이럴 때 주가창만 하염없이 바라보기보다, 그동안 궁금했던 질문을 하나씩 공부하며 생각을 정리해보는 편이 낫다.

네이버

https://t.me/masternumber33

시장은 여전히 AI 메모리 수요를 정적인 변수처럼 다룬다. 연도별 출하량과 수요 증가율을 미리 정해놓고, 그 안에서 공급과 가격을 추정하는 방식이다.

그러나 AI 메모리 시장은 이미 오래전부터 매일 새로운 모델과 알고리즘, 서비스, 인프라 투자가 등장하면서 수요의 크기와 방향이 계속 달라지는 동적인 시장으로 바뀌었다고 생각한다.

모델 구조가 달라지면 필요한 메모리의 종류와 용량이 달라지고, 추론비용이 낮아지면 사용량과 Context 길이가 증가한다. Agent가 수행할 수 있는 업무의 범위가 넓어질수록 유지해야 할 작업 상태와 장기기억도 함께 늘어난다. 알고리즘의 효율 개선조차 단위당 메모리 절감에 머물지 않고 새로운 수요를 만드는 변수로 작용하고 있다.

따라서 몇 년 뒤의 AI 메모리 수요를 현재의 고정된 가정만으로 추정하는 데에는 분명한 한계가 있다. 중요한 것은 연도별 증가율 하나를 정확히 맞히는 일보다, AI의 성능과 비용, 활용 범위가 변화할 때 메모리 수요가 어떤 경로로 다시 확장되는지를 이해하는 것이다.

이번 글에서는 그동안 궁금했던 질문에서 출발해 관련 연구와 자료를 하나씩 살펴보고, Scaling law와 알고리즘 혁신이 장기적으로 AI 메모리 수요를 어떻게 변화시킬지 정리해보고자 한다.

#핵심 요약

이 글의 핵심 주장은 AI 알고리즘이 발전해 작업당 메모리 사용량이 줄어들더라도, AI의 활용 범위와 작업시간이 더 빠르게 확대되면서 사회 전체의 메모리 수요는 오히려 증가할 가능성이 높다는 것이다.

1. Scaling Law가 계속 작동하는 이유

현실 세계에는 반복적으로 나타나는 규칙이 존재하지만, 동시에 희귀한 사건과 복잡한 예외도 끝없이 남아 있다. 모델·데이터·연산량을 늘리면 일반적인 패턴을 넘어 드문 조건과 예외까지 더 세밀하게 학습할 수 있기 때문에, 성능 개선 속도는 둔화되더라도 Scaling Law 자체는 상당 기간 지속될 수 있다는 설명이다.

2. 연산보다 중요한 것은 연산을 통해 축적한 기억

연산은 지능을 직접 만들어내는 저장장치라기보다, 데이터 속에서 세계의 구조를 찾아내는 수단이다. 이렇게 발견한 구조는 모델 가중치와 Context, Agent의 현재 상태, 외부 장기기억 등의 형태로 저장된다. 결국 AI 성능은 더 많은 계산뿐 아니라 계산을 통해 발견한 정보를 얼마나 잘 저장하고 다시 꺼내 쓰는가에 좌우된다.

3. 범용 Agent가 발전할수록 메모리 상한은 계속 높아짐

AI가 수행하는 업무의 종류가 많아지고 작업시간이 길어질수록 유지해야 하는 중간 상태와 과거 경험이 누적된다. 특히 미래에 어떤 정보가 필요할지 미리 알기 어려운 범용 Agent는 단일 목적 AI보다 훨씬 넓은 범위의 정보를 보존해야 한다. 다만 모든 정보를 저장하는 것보다 무엇을 압축하고, 보존하고, 삭제할지를 판단하는 기억의 선택 능력이 중요해진다.

4. 알고리즘 효율화가 전체 메모리 수요 감소를 의미하지는 않음

MoE, KV Cache 양자화, 가치함수, RAG와 같은 기술은 작업당 연산량이나 메모리 사용량을 낮춘다. 그러나 절감된 자원은 더 긴 Context, 더 많은 동시 사용자, 더 큰 모델, 더 복잡하고 장시간 수행되는 업무에 다시 투입될 수 있다. 따라서 봐야 할 지표는 AI 한 번당 메모리 사용량보다 효율 개선으로 새롭게 발생하는 전체 AI 작업량이다.

5. 가치함수는 메모리를 줄이기보다 Agent의 작업시간을 늘릴 가능성

가치함수가 발전하면 불필요한 탐색과 reasoning token, 순간적인 KV Cache 사용량은 줄어들 수 있다. 반면 Agent의 신뢰성이 높아지면서 기존의 짧은 작업을 넘어 수백·수천 단계의 장기 업무를 수행하게 되면, 유지해야 할 업무 상태와 중간 결과, 경험 데이터와 장기기억은 크게 증가할 수 있다.

6. 메모리 수요는 HBM에서 전체 계층으로 확산

AI 메모리 수요는 HBM에만 집중되지 않을 가능성이 높다.

모델 가중치와 KV Cache: HBM
Agent의 현재 업무 상태와 Cache Offload: 서버 DRAM
장기 경험과 원본 업무 기록: NAND·SSD
로봇·자동차·개인 디바이스의 Edge AI: LPDDR·Edge NAND

AI가 학습과 단기 추론을 넘어 장기 업무와 개인별 경험을 축적하는 방향으로 발전할수록 메모리 수요도 계층형으로 확장된다는 논리이다.

한 문장으로 정리

AI 효율화는 메모리 수요를 낮추는 기술이라기보다, AI가 더 많은 사용자와 더 긴 업무, 더 넓은 세계를 다룰 수 있게 만들어 전체 메모리 수요의 범위를 확장하는 기술이라는 것이 글의 결론이다.

Scaling Law의 근원과 AI 메모리 수요의 확장

AI는 왜 더 많이 계산하고, 더 많이 기억할수록 똑똑해지는가

지난 글에서는 Physical AI의 발전을 감정과 가치함수, 경험과 정체성의 연속성이라는 관점에서 살펴봤다. 이번 글에서는 조금 더 가까운 시점의 질문을 다뤄보고자 한다.

Scaling law는 왜 여전히 AI 성능 향상에 효과적인가?
그리고 알고리즘이 발전해 AI가 더 효율적으로 작동할수록 메모리 수요는 줄어들까?
오히려 더 커질까?

결론부터 말하면 Scaling law의 본질은 더 많은 계산이 그 자체로 지능을 만들어낸다는 데 있지 않다. 현실 세계에 숨어 있는 더 많은 구조와 예외를 연산을 통해 찾아내고, 이를 모델의 가중치와 Context, 외부 기억에 축적할수록 예측 오차가 낮아지는 현상에 가깝다.

동시에 알고리즘 혁신은 작업 하나에 필요한 연산량과 메모리 사용량을 낮춘다. 그러나 낮아진 비용은 AI의 보급 대수와 작업량, 작업시간, 기억해야 할 경험의 범위를 더 빠르게 늘릴 수 있다. 단위당 효율 개선과 전체 메모리 수요 증가는 충분히 함께 나타날 수 있다.

관련 글: 생각정리 307 - 메모리 망상

I. Scaling law는 왜 아직도 작동하는가

1. Scaling law를 가장 단순하게 이해하는 방법

Scaling law는 모델의 파라미터와 학습 데이터, 연산량을 늘릴수록 AI의 예측 오차가 일정한 규칙에 따라 감소하는 경험적 관계이다.

이를 단순화하면 다음과 같이 표현할 수 있다.

$L (C) = L_{\infty} + a C^{- β}$

(L(C)): 주어진 연산량에서의 예측 오차
(C): 학습이나 추론에 투입한 연산량
$L_{\infty}$ : 현재 데이터와 모델 구조에서 접근할 수 있는 오차의 한계

연산량을 두 배로 늘린다고 성능이 두 배 좋아지는 것은 아니다. 성능 개선 폭은 점차 작아진다. 다만 충분히 넓은 구간에서는 모델과 데이터, 연산량을 늘릴수록 오차가 꾸준히 낮아지는 경향이 관찰된다.

여기서는 학습과 추론을 구분할 필요가 있다.

학습 Scaling은 더 많은 파라미터와 데이터, 학습 연산을 사용해 더 우수한 기본 모델을 만드는 과정이다.
추론 Scaling은 학습을 마친 모델이 답변 후보를 더 많이 생성하고, 스스로 수정하고, 검증 과정을 거치면서 정답 확률을 높이는 과정이다.

두 방식 모두 추가 연산을 성능 향상에 사용하지만, 학습 Scaling은 모델 자체의 능력을 높이고, 추론 Scaling은 이미 가진 능력을 더 효과적으로 꺼내 쓴다는 차이가 있다.

https://arxiv.org/html/2408.00724#S2.F2

2. 연산은 지능을 직접 만드는 대신 세계의 구조를 찾아낸다

더 많은 GPU와 전력을 투입하면 지능이 자연스럽게 생성된다고 생각하기 쉽다. 그러나 연산은 정보를 보존하는 저장장치가 아니라, 데이터 안에서 반복되는 패턴과 관계를 찾아내는 수단이다.

학습 과정은 대략 다음과 같이 이해할 수 있다.

데이터에서 반복되는 구조를 찾는다 → 찾은 구조를 모델의 가중치에 압축한다 → 추론할 때 이를 다시 꺼내 사용한다

AI가 학습을 마친 뒤 실제로 사용하는 것은 과거에 소비한 연산량이 아니라, 그 연산을 통해 만들어진 파라미터와 내부 표현이다. 더 많은 계산은 데이터에 숨어 있던 세계의 구조를 더 세밀하게 발견하고, 이를 모델 안에 축적할 기회를 제공한다.

여기서 가중치는 원문 데이터를 그대로 보관하는 데이터베이스와는 성격이 다르다. 수많은 사례에서 반복되는 문법과 개념, 사물 사이의 관계, 특정 조건에서 나타날 가능성이 높은 결과를 분산된 형태로 압축한다.

예를 들어 모델은 비와 젖은 도로에 관한 모든 문장을 그대로 외우는 대신, 여러 사례에서 공통으로 나타나는 관계를 내부 표현으로 만든다. 모델의 용량과 학습 데이터가 늘어나면 일반적인 관계뿐 아니라 이를 뒤집는 세부 조건과 예외까지 더 많이 구분할 수 있다.

https://arxiv.org/html/2102.06701#S1.F1
특히 Figure 1b가 데이터 증가에 따라 세계의 함수를 더 세밀하게 근사한다는 설명

3. 현실은 규칙적이지만 끝없이 많은 예외를 가진다

Scaling law가 오랫동안 작동하는 근본적인 이유는 현실 세계의 성격에 있다.

세상이 완전히 무작위라면 데이터를 아무리 많이 학습해도 일반화할 수 있는 규칙을 찾기 어렵다. 반대로 몇 개의 단순한 법칙만으로 모든 현상을 설명할 수 있다면 작은 모델도 금방 성능의 상한에 도달했을 것이다.

현실은 그 사이에 위치한다. 반복되는 구조가 충분히 많아 학습할 수 있으면서도, 드문 사건과 예외, 여러 조건이 복합적으로 작용하는 상황이 계속 남는다. 모델의 용량과 데이터가 늘어날수록 새롭게 학습할 대상이 끊이지 않는 이유이다.

자연어와 현실의 사건은 대체로 긴 꼬리 분포를 가진다. 자주 등장하는 단어와 일반적인 상황은 작은 모델도 비교적 쉽게 익힌다. 이후 성능을 더 높이려면 빈도가 낮은 개념, 드문 예외, 여러 조건이 동시에 결합된 관계까지 구분해야 한다.

예를 들어 작은 모델은 “비가 오면 길이 젖는다”는 관계를 배울 수 있다. 정확도를 더 높이려면 다음 조건도 함께 이해해야 한다.

도로에 지붕이 있는가
기온이 영하인가
배수 상태는 양호한가
노면의 재질은 무엇인가
바람의 방향과 강도는 어떠한가

모델이 커질수록 현실을 더 세밀한 조건부 구조로 나누고, 일반적인 규칙에서 벗어나는 상황까지 설명하게 된다. 성능 개선 폭은 느려져도 추가로 배울 대상은 계속 남는다.

4. 오차가 멱법칙으로 감소하는 이유

이이 현상을 보다 직관적으로 이해하기 위해 현실의 패턴을 자주 나타나는 순서대로 배열해볼 수 있다.

p (r) \propto r^{- α}

여기서 $r$ 은 패턴의 빈도 순위이다. 작은 모델은 자주 등장하는 상위 패턴부터 학습하고, 모델과 데이터가 커지면 빈도가 낮은 패턴과 드문 예외까지 차례로 학습한다.

모델이 상위 $K$ 개의 패턴을 학습했다고 가정하면, 아직 해결하지 못한 오류는 $K$ 이후에 남아 있는 희귀 패턴의 합으로 볼 수 있다.

L (K) - L_{\infty} \propto \sum_{r > K} p (r) \propto K^{1 - α}

모델 크기와 연산량이 늘어날수록 학습 가능한 패턴의 수 $K$ 도 증가한다. 그 결과 잔여 오차가 멱법칙 형태로 완만하게 감소할 수 있다.

이 모형은 모든 LLM의 작동 원리를 완전히 설명하는 이론이라기보다 Scaling law를 이해하기 위한 직관적인 틀이다. 동시에 평균적인 손실은 부드럽게 낮아지는데 특정 능력이 어느 순간 갑자기 나타나는 현상도 설명해준다.

하나의 복잡한 과제를 해결하려면 여러 하위 능력이 함께 필요하다. 모델이 필요한 하위 능력을 하나씩 습득하다가 마지막 조건까지 갖추는 순간, 외부에서는 새로운 능력이 갑자기 출현한 것처럼 보일 수 있다.

Scaling 과정에서 능력이 갑자기 생겨난 것처럼 보이는 이유는 그 능력을 구성하는 여러 하위 조건이 임계점을 넘어섰기 때문일 수 있다.

5. 학습을 마친 모델도 더 오래 생각하면 성능이 좋아질 수 있다

학습을 마친 모델은 하나의 질문에 항상 같은 답을 내놓지 않는다. 정답 경로를 생성할 확률이 조금이라도 있다면 여러 경로를 탐색하고 비교하면서 더 나은 답을 찾을 수 있다.

추론 Scaling에는 다음과 같은 방식이 포함된다.

더 긴 reasoning을 수행한다.
여러 후보 답변을 병렬로 생성한다.
중간 결과를 검토하고 잘못된 경로를 수정한다.
Verifier나 Reward Model로 후보의 우열을 평가한다.
여러 Agent의 답변을 비교하고 통합한다.
어려운 문제에 더 많은 추론 자원을 배분한다.

기본 모델이 정답 후보를 만들 수 있고, 검증 과정이 후보의 우열을 어느 정도 구분할 수 있다면 추가 추론은 실패 확률을 낮춘다.

다만 추론 시간을 무한히 늘린다고 모든 문제가 해결되는 것은 아니다. 모델이 정답 경로를 생성하지 못하거나 검증기가 잘못된 답을 가려내지 못하면 추가 연산은 같은 오류를 반복할 수 있다.

따라서 추론 Scaling의 핵심은 오래 생각하는 시간 자체보다 어떤 문제에 얼마나 많은 연산을 배분하고, 어느 경로를 계속 탐색하며, 언제 중단할지를 판단하는 능력에 있다. 이 지점에서 추론과 가치함수가 연결된다.

II. Scaling law는 어떻게 메모리 수요로 이어지는가

1. AI가 사용하는 기억은 한 종류가 아니다

Scaling law를 메모리 관점에서 보면 데이터와 연산, 기억의 관계가 보다 분명해진다.

$Data \rightarrow Compute \rightarrow Pattern\ Discovery \rightarrow Memory \rightarrow Inference$

데이터는 세계에 대한 관찰을 제공한다. 연산은 관찰 속에서 반복되는 구조를 찾는다. 찾아낸 구조는 여러 형태의 메모리에 저장되고, 추론 과정에서 현재 질문과 결합되어 답변이나 행동으로 이어진다.

AI의 기억은 크게 세 층으로 나눠볼 수 있다.

Scaling law는 연산을 통해 발견한 세계의 구조를 더 큰 모델과 메모리 체계에 축적할수록 예측 오차가 낮아지는 현상으로 해석할 수 있다.

이는 Scaling law 논문이 직접 내린 정의라기보다 관련 연구를 메모리 관점에서 재구성한 표현이다.

2. 세상을 완벽하게 복제하려면 저장량은 계속 증가한다

현실에서는 매 순간 새로운 정보가 생긴다. 사람들의 대화와 행동, 기업의 의사결정, 가격 변화, 기후, 기술, 제도는 과거 데이터만으로 완전히 복원할 수 없는 새로운 상태를 만든다.

새로 발생하는 정보를 손실 없이 모두 저장하려면 필요한 메모리는 시간에 따라 누적된다.

M (T) \geq \int_{0}^{T} I_{new} (t) d t

새롭게 생성되는 정보량이 계속 0보다 크다면 세상을 완벽하게 복제하기 위한 총저장량도 계속 늘어난다.

현실은 경로 의존적이라는 점도 중요하다. 같은 사건이라도 그전에 어떤 일이 있었고, 당사자가 이를 어떻게 해석했는지에 따라 결과가 달라진다. 미래에 어떤 질문이나 목적이 주어질지 알 수 없다면 현재는 사소해 보이는 정보가 나중에는 중요한 단서가 될 수 있다.

특정 업무만 수행하는 AI는 필요한 정보의 범위가 제한적이다. 반면 어떤 질문과 목표가 주어질지 미리 정해지지 않은 범용 AI는 불필요한 정보를 사전에 구분하기 어렵다. 범용성이 높아질수록 보존해야 할 정보의 범위도 넓어진다.

3. 더 많은 기억이 곧 더 높은 지능으로 이어지지는 않는다

인간은 관찰한 모든 장면을 같은 해상도로 기억하지 않는다. 반복되는 현상은 하나의 개념이나 규칙으로 압축한다. 중요도가 낮은 세부 정보는 잊고, 예상과 달랐던 사건이나 감정적으로 중요한 경험은 상대적으로 강하게 남긴다.

AI도 모든 데이터를 현재 Context에 넣는 방식으로 발전하기 어렵다. 관련성이 낮은 정보와 반복된 도구 출력, 오래된 실패 기록이 Context를 채우면 중요한 단서가 희석되고 추론 속도와 정확도가 함께 낮아질 수 있다.

따라서 AI의 지능은 기억의 총량과 함께 다음 능력에 의해 결정될 가능성이 높다.

반복되는 사건에서 공통 구조를 추출하는 능력
개별 경험을 더 작은 표현으로 압축하는 능력
현재 목표와 관련된 기억을 정확히 검색하는 능력
중요도가 낮아진 기억을 삭제하거나 다시 요약하는 능력

AI 메모리가 하나의 거대한 저장공간보다 계층형 구조로 발전할 가능성이 높은 이유이다. 현재 작업에 필요한 정보는 빠른 메모리에 두고, 장기 경험과 원본 기록은 대용량 저장장치에 보관한 뒤 필요한 순간에 일부만 불러오는 방식이다.

AI의 지능은 기억의 총량보다 필요한 정보를 올바른 형태로 저장하고, 적절한 순간에 다시 불러오는 능력에 더 크게 좌우될 수 있다.

https://ar5iv.labs.arxiv.org/html/2304.03442#S3.F5

4. 메모리가 충분해도 완벽한 예측에는 도달하기 어렵다

과거 정보를 빠짐없이 저장해도 미래를 완벽하게 예측할 수는 없다. 현실에는 관찰하지 못한 숨은 변수와 측정 오차, 인간의 새로운 선택, 확률적 사건이 존재한다.

일부 동적 시스템에서는 초기 조건의 작은 차이가 시간이 지나면서 크게 확대된다. 현재 상태를 무한한 정밀도로 측정할 수 없다면 완벽한 모델을 가정해도 장기 예측에는 오차가 남는다.

현실의 Agent 역시 세상의 실제 상태를 직접 보는 대신 불완전한 관찰을 바탕으로 현재 상태를 추정한다. POMDP 이론에서는 Agent가 과거의 관찰과 행동을 이용해 현실에 대한 확률적 믿음 상태를 유지한다고 설명한다.

결국 AI가 추구할 수 있는 현실적인 목표는 모든 불확실성의 제거보다, 제한된 관찰과 메모리 안에서 현재 상태를 최대한 정확히 추정하고 남은 불확실성을 반영해 행동하는 것이다.

5. 범용성이 높아질수록 필요한 메모리의 상한도 멀어진다

체스 AI는 현재 보드와 제한된 경기 이력만으로 작동할 수 있다. 정해진 공정만 수행하는 제조 로봇도 필요한 환경 정보의 범위가 비교적 좁다.

범용 Agent는 상황이 다르다. 앞으로 어떤 질문과 목표가 주어질지 알 수 없고, 과거의 어떤 정보가 새로운 업무에 필요해질지도 사전에 판단하기 어렵다. 투자 분석에서는 중요하지 않았던 정보가 법률 판단에서는 핵심이 될 수 있고, 평범한 대화가 몇 년 뒤 사용자 관계를 이해하는 중요한 단서가 될 수도 있다.

이를 개념적으로 정리하면 다음과 같다.

M e m o r y D e m a n d \propto W o r l d S c o p e \times T a s k D i v e r s i t y \times T i m e H o r i z o n \times R e q u i r e d A c c u r a c y

AI가 다루는 세계의 범위와 업무의 다양성, 작업의 시간적 길이, 요구되는 정확도가 높아질수록 필요한 메모리의 실질적인 상한은 계속 멀어진다.

다루는 세계의 범위가 넓어질수록 저장해야 할 정보가 증가한다.
수행하는 업무의 종류가 많아질수록 필요한 기억의 종류도 다양해진다.
작업시간이 길어질수록 유지해야 할 중간 상태와 경험이 누적된다.
요구되는 정확도가 높아질수록 드문 예외와 세부 조건까지 보존해야 한다.

https://arxiv.org/html/2606.06448#S4.SS7.F9
작업시간과 사용자 History가 길어질수록 Agent의 장기기억 비용과 저장량이 누적된다는 본문의 주장을 직접 뒷받침

관련 자료: Generative Agents, Agent Memory: Characterization and System Implications of Stateful Long-Horizon Agents

6. 결국 핵심은 기억의 선택이다

범용 Agent는 새로운 사건을 관찰할 때 저장 여부와 형태를 함께 판단해야 한다.

미래 행동에 다시 사용될 가능성이 높은가
기존 세계모델의 예상에서 얼마나 벗어났는가
실패나 위험을 설명하는 중요한 예외인가
다른 기록으로부터 복원할 수 있는가
원본을 남겨야 하는가, 요약만으로 충분한가
활성 Context에 둘 것인가, 외부 기억으로 옮길 것인가
언제 삭제하거나 더 짧게 압축할 것인가

이러한 판단은 추론과 분리된 부가 기능에 머물기 어렵다. 무엇을 기억할지 결정하는 행위 자체가 Agent의 핵심 행동정책으로 발전할 가능성이 높다.

AI에게 메모리는 정보를 계속 쌓기만 하는 창고보다, 변화하는 환경에 맞춰 무엇을 남기고 압축하고 잊을지 결정하는 동적 시스템에 가깝다.

세상이 새로운 정보를 계속 만들어내는 한 시스템 전체의 저장 수요는 열려 있다. 그러나 지능의 질은 기억의 양보다 선택과 검색의 정확도에서 크게 갈릴 것이다.

https://arxiv.org/html/2510.12635#S3.F2

III. 알고리즘이 발전하면 메모리 수요는 줄어들까

1. 단위당 효율과 전체 수요는 구분해야 한다

AI가 모든 경험을 원본 그대로 저장하고, 매번 전체 기록을 처음부터 다시 읽는다면 비용과 전력, 지연시간이 빠르게 증가한다. 범용 AI와 장기 Agent가 대규모로 확산되기 위해서는 기억을 선택하고 압축하며, 필요한 일부만 불러오는 알고리즘 혁신이 반드시 필요하다.

알고리즘 혁신은 작업 하나에 필요한 연산량과 메모리 사용량을 줄인다. 동시에 비용과 속도, 정확도를 개선해 과거에는 경제성이 없었던 기능을 가능하게 만든다.

전체전체 메모리 수요를 개념적으로 표현하면 다음과 같다.

Total Memory Demand = \frac{AI Deployment \times Task Volume \times Task Horizon \times State per Task}{Memory Efficiency}

이는 물리 법칙이나 산업 표준 모델이 아니라 수요의 방향을 설명하기 위한 분석식이다.

알고리즘이 작업당 메모리 사용량을 절반으로 줄이더라도 AI 보급 대수와 작업량, 작업시간, 작업당 유지해야 할 상태가 그보다 빠르게 증가하면 전체 메모리 수요는 확대된다.

따라서 앞으로의 핵심 질문은 “AI 한 번 실행에 필요한 메모리가 줄어드는가”보다 “효율 개선으로 얼마나 많은 새로운 AI 작업이 생겨나는가”에 가깝다.

2. MoE는 연산 효율과 메모리 용량을 분리한다

MoE는 여러 Expert를 모델 안에 유지하면서 입력에 따라 필요한 일부만 활성화하는 구조이다.

Dense Model에서는 각 토큰이 모델의 대부분 파라미터를 통과한다. MoE에서는 토큰의 성격에 맞는 일부 Expert만 사용한다.

$Total Parameters ↑ Active Parameters per Token \approx Limited$

이 구조를 사용하면 모델이 보유한 전체 지식 용량은 크게 늘리면서 토큰 하나를 처리하는 연산량의 증가는 제한할 수 있다.

다만 당장 활성화되지 않은 Expert도 필요할 때 사용하기 위해 저장돼 있어야 한다. 전체 파라미터와 Expert 저장공간이 늘고, Expert 사이의 데이터 이동과 통신도 중요해진다.

MoE는 알고리즘 효율화가 메모리 수요를 일방적으로 줄이지 않는 대표적인 사례이다. 토큰당 연산량을 낮추는 대신 더 큰 모델을 유지할 수 있게 만들면서 시스템의 Memory-to-Compute 비율을 높일 수 있다.

3. 가치함수는 탐색을 줄이지만 작업시간을 늘릴 수 있다

가치함수는 현재 상태나 행동 경로가 장기적으로 얼마나 좋은 결과로 이어질지를 평가한다. 강화학습에서 오랫동안 사용된 개념이며, AlphaGo 역시 Value Network로 현재 바둑판에서의 승리 가능성을 평가해 탐색 범위를 줄였다.

앞으로 중요한 돌파구는 정해진 게임을 넘어 열린 현실 환경에서도 작동하는 범용 가치함수일 가능성이 높다. 장기 작업이 끝나기 전에 현재 경로의 성공 가능성을 판단하고, 실패 가능성이 높은 경로를 조기에 중단하며, 새로운 상황에도 평가 기준을 일반화하는 능력이다.

가치함수가 정확해지면 하나의 문제를 풀기 위해 무차별적으로 탐색해야 할 경로가 줄어든다.

$100 개 경로의 탐색 \to 5 개 유망 경로의 집중 탐색$

이에 따라 reasoning token과 순간적인 KV Cache 사용량은 감소할 수 있다.

그러나 시스템 전체의 변화는 반대 방향으로 나타날 수 있다. 가치함수가 Agent의 신뢰성을 높이면 지금보다 훨씬 길고 복잡한 업무를 자동화할 수 있기 때문이다.

현재 10단계 이후 오류가 누적되는 Agent가 1,000단계의 작업을 수행하게 되면 순간 탐색량이 줄더라도 유지해야 할 업무 상태와 중간 결과, 과거 경험, 장기기억은 크게 늘어난다.

가치함수의 가장 큰 경제적 효과는 추론 토큰 절감보다 AI가 안정적으로 수행할 수 있는 작업의 시간적 범위를 늘리는 데서 나타날 수 있다.

4. 메모리 압축은 남는 공간보다 더 큰 서비스로 이어질 수 있다

KV Cache 양자화도 같은 구조를 보여준다. KV Cache의 정밀도를 낮추면 토큰당 필요한 메모리를 줄일 수 있다. 이때 확보된 공간은 비어 있는 상태로 남기보다 더 긴 Context와 더 큰 Batch Size, 더 많은 동시 사용자를 처리하는 데 활용될 가능성이 높다.

NVIDIA는 FP8 KV Cache를 NVFP4로 낮춰 메모리 사용량을 50% 줄이고, 이를 Context 길이와 Batch Size를 확대하는 방향으로 제시했다. 단위 작업의 효율 개선이 전체 메모리 절감보다 서비스 규모를 키우는 여력으로 전환되는 사례이다.

과거 알고리즘 효율 개선에서도 비슷한 흐름이 나타났다. OpenAI의 연구에 따르면 AlexNet 수준의 성능을 달성하는 데 필요한 학습 연산량은 2012년부터 2019년까지 약 44분의 1로 감소했다.

같은 성능을 훨씬 적은 연산으로 구현할 수 있게 됐지만, 절감된 자원은 더 큰 모델과 새로운 AI 기능을 만드는 데 다시 투입됐다.

https://developer.nvidia.com/blog/optimizing-inference-for-long-context-and-large-batch-sizes-with-nvfp4-kv-cache/#how-kv-cache-impacts-performance

알고리즘 효율 개선의 산업적 의미는 기존 작업의 원가 절감에 그치지 않는다. 낮아진 비용과 향상된 성능이 과거에는 실행할 수 없었던 새로운 수요를 만든다는 데 있다.

https://arxiv.org/html/2602.22603#S4.F5

5. AI에서는 제본스 효과가 더 강하게 나타날 수 있다

제본스 효과는 효율 개선으로 서비스 가격이 낮아지고 사용량이 증가하면서 전체 자원 소비가 예상보다 적게 감소하거나 오히려 늘어나는 현상이다.

AI에서는 가격 하락과 함께 성능 향상이 동시에 발생한다.

$A l g o r i t h m i c I n n o v a t i o n \to C a p a b i l i t y / J o u l e ↑ \to C o s t / T a s k ↓ \to A d d r e s s a b l e T a s k s ↑$

알고리즘이 좋아지면 같은 질문을 더 싸게 처리할 수 있을 뿐 아니라, 이전에는 불가능했던 더 복잡하고 긴 작업도 수행할 수 있다.

AI가 단순한 질문 응답에서 업무 전체의 수행으로 이동하고, 필요할 때만 호출하는 도구에서 계속 작동하는 Agent로 바뀌며, 기업별 공용 AI에서 사용자별 개인 Agent로 분화할 수 있다.

따라서 AI에서는 효율 개선이 가격을 낮추는 가격효과와 수행 가능한 업무를 넓히는 성능효과를 동시에 만든다. AI 수요의 증가폭이 일반적인 에너지 서비스보다 더 크게 나타날 수 있다고 보는 이유이다.

이는 현재까지 확정된 산업 법칙이라기보다 알고리즘의 효율 향상과 AI 활용 범위 확대를 연결한 가설이다. 다만 MoE, KV Cache 압축, 추론 효율 개선에서 이미 그 방향을 확인할 수 있다.

6. 알고리즘별로 수요가 늘어나는 메모리는 다르다

알고리즘 혁신이 전체 메모리 수요를 확대하더라도 모든 메모리 제품이 같은 방식으로 수혜를 받지는 않는다.

활성 가중치와 KV Cache가 늘어나면 HBM 수요가 강해진다. Agent의 현재 상태와 Cache Offload가 증가하면 서버 DRAM의 역할이 커진다. 장기 경험과 업무 기록, 원본 데이터가 누적되면 NAND와 SSD가 중요해진다. 소형 모델이 자동차와 로봇, 개인 디바이스로 확산되면 LPDDR과 Edge NAND 수요로 연결될 수 있다.

결국 AI 메모리 수요는 HBM 한 제품에 머무르기보다 학습과 순간 추론, 장기 작업, 경험의 영구 저장을 연결하는 계층형 수요로 확장될 가능성이 높다.

IV. 가치함수는 기억을 줄이기보다 기억의 질을 바꾼다

정확한 가치함수를 만들기 위해서는 현재 상태만 보는 것으로 부족할 수 있다. AI는 과거의 어떤 초기 신호가 실패로 이어졌는지, 특정 사용자가 어떤 결과를 선호했는지, 비슷해 보이는 두 상황이 실제로 왜 다른 결과를 만들었는지를 학습해야 한다.

가치함수의 정확도는 과거 경험과 현재 상태, 행동 이후의 장기 결과를 연결하는 능력에 의존할 가능성이 높다.

따라서 가치함수는 기억을 없애는 기술보다 기억을 관리하는 기술에 가까워질 수 있다. 어떤 경험을 저장하고, 어떤 기억을 다시 불러오며, 무엇을 잊을지를 결정하는 기준으로 작동하는 것이다.

Experience \rightarrow Value\ Evaluation \rightarrow Selective\ Memory \rightarrow Better\ Decision \rightarrow More\ Deployment \rightarrow More\ Experience

이 순환이 형성되면 Agent 보급과 메모리 수요는 서로를 강화한다.

더 많은 Agent가 실제 업무에 배치된다.
Agent가 더 많은 경험과 결과 데이터를 만든다.
가치함수가 중요한 경험을 선별해 기억한다.
축적된 경험이 이후 의사결정의 정확도를 높인다.
높아진 신뢰성이 다시 Agent의 보급과 작업시간을 늘린다.

장기 Agent는 모든 경험을 현재 Context에 담을 수 없다.

즉시 필요한 가중치와 KV Cache는 HBM에 둔다.
현재 업무 상태와 Cache Offload는 DRAM에 둔다.
장기 경험과 원본 기록은 NAND와 SSD에 보관한다.
필요한 순간에 관련 기억의 일부만 검색해 불러온다.

가치함수가 발전할수록 순간적인 무차별 탐색은 줄어들 수 있다. 동시에 더 긴 시간 동안 유지해야 할 경험과 상태가 늘어나면서 메모리의 역할은 단순한 추론 보조장치에서 Agent의 지속성과 정체성을 유지하는 인프라로 확장될 가능성이 높다.

V. 결론

Scaling law가 여전히 작동하는 이유는 현실 세계에 반복되는 구조와 끝없이 많은 예외가 함께 존재하기 때문이다.

모델과 데이터, 연산량을 늘리면 자주 등장하는 규칙을 넘어 희귀한 패턴과 복합적인 조건까지 더 많이 학습할 수 있다. 성능 개선 폭은 점차 줄어들어도 추가로 배울 대상은 계속 남는다.

이 과정에서 연산은 데이터 속 구조를 찾고, 메모리는 찾아낸 구조와 현재 상태, 과거 경험을 보존한다. AI가 다루는 세계와 업무의 범위가 넓어지고 작업시간이 길어질수록 모델 가중치와 KV Cache, Agent 상태, 외부 장기기억의 수요도 함께 증가한다.

알고리즘 혁신은 작업 하나에 필요한 연산과 메모리를 줄일 것이다.

MoE는 토큰당 활성 연산량을 낮춘다.
가치함수는 불필요한 탐색을 줄인다.
KV Cache 압축은 같은 용량에서 더 긴 Context를 처리하게 한다.
RAG와 계층형 기억은 필요한 정보만 선택적으로 불러오게 한다.

그러나 효율 개선은 AI의 비용을 낮추는 동시에 수행 가능한 업무의 경계를 넓힌다. 더 많은 사용자가 더 많은 Agent를 더 오랫동안 실행하고, 각 Agent가 더 많은 상태와 경험을 유지하게 된다면 사회 전체의 메모리 수요는 오히려 더 빠르게 증가할 수 있다.

핵심 관계는 다음과 같이 정리할 수 있다.

$Deployment\ Growth + Task\ Volume\ Growth + Task\ Horizon\ Growth + State\ Growth > Memory\ Efficiency\ Improvement$

특히 범용 가치함수가 발전할 경우 가장 큰 변화는 reasoning token의 절감보다 AI가 수행할 수 있는 작업의 시간적 범위가 길어지는 데서 나타날 가능성이 높다.

AI 한 개가 순간적으로 사용하는 자원은 줄어들 수 있지만, 사회 전체가 유지해야 하는 Agent의 수와 작업 상태, 사용자별 경험, 장기기억은 크게 늘어난다.

결국 Scaling law와 알고리즘 혁신, 메모리 수요는 하나의 순환구조로 연결된다.

더 많은 연산은 세계의 구조를 더 정교하게 찾아낸다. 알고리즘 혁신은 이를 더 적은 비용으로 저장하고 활용하게 한다. 낮아진 비용은 AI가 수행할 수 있는 업무와 시간의 범위를 넓히고, 그 결과 사회 전체가 유지해야 할 지식과 경험, 상태의 총량은 다시 증가한다.

AI가 발전할수록 필요한 것은 단순히 더 큰 저장공간만이 아니다. 무엇을 구조로 압축하고, 어떤 경험을 보존하며, 무엇을 잊을지를 판단하는 더 크고 정교한 동적 메모리 체계이다.

세상을 완벽하게 복제하려면 메모리는 계속 증가한다. 그러나 지능은 세상을 모두 저장하는 능력과 같지 않다. 완벽한 예측은 충분한 메모리만으로 달성하기 어렵고, 범용성이 높아질수록 필요한 기억의 범위는 더 넓어진다.

따라서 AI 메모리의 장기적인 핵심은 저장 용량의 확대와 함께 기억의 선택으로 수렴한다.

무엇을 기억하고,
언제 불러오며,
무엇을 잊을지를 결정하는 능력이
AI의 성능과 메모리 산업의 수요 구조를 함께 바꿔갈 가능성이 높다.

내용이 길고 복잡하더라고
정리두면 언젠간 쓸때가 꼭 찾아오긴 하더라.

=끝

생각정리 310 (* CXMT IPO)

CXMT IPO와 관련된 리서치 자료를 기록해본다.
개인적으로 CXMT 관련된 공급과잉 우려는 과장이라고 생각된다.

CXMT IPO를 어떻게 봐야 하는가

월 35만 장은 Micron급 DRAM 생산력을 의미하지 않는다

CXMT의 성장을 가볍게 볼 필요는 없다. CXMT는 이미 중국 최대 DRAM 업체이자 글로벌 4위 업체로 성장했고, DDR5·LPDDR5/5X와 서버용 DRAM으로 사업영역을 확장하고 있다.

그러나 최근 CXMT IPO를 둘러싼 우려에는 웨이퍼 생산능력, 실제 양품 비트 생산량, 고부가 DRAM 경쟁력을 동일시하는 오류가 존재한다.

결론부터 말하면 다음과 같다.

CXMT는 범용 DRAM 시장에서 의미 있는 경쟁자로 성장하고 있다. 그러나 월 35만 장의 웨이퍼 생산능력이 Micron과 동등한 DRAM 생산량이나 HBM 경쟁력을 의미하지는 않는다.

CXMT,
자국 내 서버 비중은 늘었으나 HBM 진입은 아직 무리.
기술 및 수율문제로 마진은 여전히 상대적으로 낮고, 개선 여지도 충분치않아보임.

But, 범용 DRAM 가격 사이클과 중장기 공급 증가 리스크를 높이는 변수는 맞아보임.

1. 기존 기사와 CXMT 주장의 핵심

최근 Tom’s Hardware 기사는 CXMT가 2026년 말까지 월 35만 장의 웨이퍼 생산능력을 확보해 Micron의 약 38.5만 장에 근접할 것으로 전망했다.

기사의 핵심 주장은 다음과 같다.

CXMT가 2026년 말 월 35만 장의 DRAM 웨이퍼 생산능력을 확보할 수 있다.
중국 정부가 CXMT의 기술을 JHICC, Swaysure, XMC 등 자국 업체에 공유하도록 유도하고 있다.
중국 전체 DRAM 생산능력이 월 60만 장까지 증가할 수 있다.
미국의 MATCH 법안과 추가 수출통제가 시행되면 증설 계획에 차질이 발생할 수 있다.
추가 생산량의 상당 부분은 중국 내수에서 흡수될 가능성이 높다.

CXMT 역시 IPO 관련 상하이거래소 제출 문서에서 자신을 중국 1위, 글로벌 4위 DRAM 업체로 규정했다. Omdia 기준 2025년 4분기 DRAM 매출 점유율은 **7.67%**로 제시됐다.

CXMT는 DDR4·LPDDR4X에서 DDR5·LPDDR5/5X로 제품군을 확대했고, 서버·모바일·PC·자동차 시장의 주요 고객도 확보하고 있다. 따라서 CXMT가 더 이상 실험적인 중국 DRAM 업체가 아니라는 평가는 맞다.

다만 원자료인 SemiAnalysis는 CXMT가 Micron에 근접한 것은 “오직 웨이퍼 생산능력으로 순위를 매겼을 때”라고 명시했다.

SemiAnalysis가 예상한 CXMT의 글로벌 비트 출하 점유율은 2025년 약 9%에서 2027년 12%로 증가하는 수준이다. 웨이퍼 CAPA 점유율과 실제 DRAM 비트 출하 점유율 사이에 상당한 차이가 존재하는 것이다.

또한 “중국 DRAM CAPA가 미국·일본·대만 합계를 넘어선다”는 비교는 DRAM의 핵심 생산국인 한국을 제외한 지리적 비교다. 삼성전자와 SK하이닉스의 한국 생산능력을 제외한 숫자이기 때문에 글로벌 경쟁력 비교로서 의미는 제한적이다.

2. ASUS가 지적한 CXMT DDR5의 성능 문제

Wccftech가 소개한 ASUS 테스트에서는 CXMT DDR5의 다음과 같은 약점이 확인됐다.

동일 클럭에서 SK하이닉스 DDR5보다 성능이 낮았다.
생산 배치에 따른 실리콘 성능 편차가 컸다.
전압을 높여도 성능이 충분히 향상되지 않았다.
메모리 타이밍을 조이기 어려웠다.
고품질 IC를 선별하는 과정이 빅3보다 어려웠다.

CXMT 기반 모듈이 8,600MT/s까지 동작했다는 사실보다 중요한 것은 배치 간 편차와 고성능 Bin 선별 난도다.

이는 CXMT DDR5가 일반적인 PC에서 사용할 수 없다는 의미는 아니다. 일부 독립 테스트에서는 일반적인 DDR5-6000 환경에서 비교적 양호한 성능을 보였다. 따라서 ASUS 결과는 “CXMT DDR5 전체가 불량”이라는 증거라기보다 공정 균일성·전압 마진·고성능 제품 수율이 아직 빅3보다 낮다는 증거로 해석하는 것이 적절하다.

2025년 Tom’s Hardware 보도에서도 당시 CXMT의 16Gb DDR5 Die가 삼성전자 제품보다 약 40% 크고 수율은 50%를 조금 넘는 수준이라고 전해졌다.

같은 웨이퍼 한 장에서 생산할 수 있는 Die 수가 적고 수율까지 낮다면, 웨이퍼 투입량이 같더라도 실제 판매 가능한 DRAM 비트는 크게 줄어든다.

3. 월 35만 장이 Micron급 생산력을 의미하지 않는 이유

DRAM의 실질 생산능력은 다음과 같이 계산해야 한다.

유효 생산량 = 웨이퍼 투입량 × 웨이퍼당 Die × 수율 × 고성능 Bin 비중 × 가동률

CXMT 35만 장과 Micron 38.5만 장을 단순 비교하면 CXMT의 웨이퍼 CAPA는 Micron의 약 91%다.

하지만 이 수치는 완성된 DRAM이나 실제 출하 비트를 의미하지 않는다.

CXMT는 같은 웨이퍼에서 생산하는 판매 가능 비트가 적다

CXMT는 상대적으로 오래된 공정에서 더 큰 Die를 생산한다. Die 면적이 크면 동일한 300㎜ 웨이퍼에서 생산할 수 있는 칩 수가 감소한다.

여기에 수율과 고성능 Bin 비중까지 낮다면 다음과 같은 차이가 발생한다.

CXMT: 웨이퍼 투입량은 크지만 웨이퍼당 양품 비트가 적음
Micron: 웨이퍼 투입량이 비슷해도 미세공정·수율·고성능 제품 비중이 높음

따라서 35만 WPM은 Micron과 비슷한 공장 크기를 의미할 수는 있어도 Micron과 같은 생산력이나 이익 창출력을 의미하지 않는다.

기술 공유가 생산능력 복제를 의미하지 않는다

DRAM 기술은 설계도와 공정 레시피만 이전한다고 복제되지 않는다.

실제 양산에는 다음과 같은 역량이 필요하다.

장비별 미세 조정과 공정 통합
결함 원인 분석과 수율 학습
공정 균일성 및 오염 관리
장비 유지보수와 부품 조달
신뢰성 검증과 고객 인증
수천 단계 공정 사이의 암묵적 제조 노하우

따라서 CXMT가 다른 중국 업체에 기술을 공유하더라도 CXMT 수준의 생산성과 수율을 재현하기까지 상당한 시간이 필요하다.

HBM에서는 Micron과의 차이가 훨씬 크다

SemiAnalysis는 CXMT의 HBM3 8단 수율을 다음과 같이 추정했다.

전공정 Wafer Sort 수율: 약 35%
후공정 적층·패키징 수율: 약 70%
전체 수율: 약 25%

특히 HBM4 16단은 새로운 DRAM 공정과 Base Die, 인터페이스, 적층 공정이 동시에 필요하기 때문에 단순 연산보다 실제 수율이 더 낮을 가능성이 높다.

12단과 16단은 단순히 DRAM Die를 더 쌓는 작업이 아니다. 적층 수가 증가할수록 열응력, 휨, Die 균열, TSV 연결 불량, 본딩 결함 가능성이 누적된다.

따라서 HBM4 16단 수율은 공개된 CXMT 양산 수치가 아니라 HBM3 8단 수율을 기반으로 한 시나리오 추정치다.

그럼에도 의미는 분명하다.

CXMT가 HBM 웨이퍼 CAPA를 늘리더라도 16단 HBM4의 판매 가능한 최종 생산량은 투입 웨이퍼 대비 10% 안팎에 머물 가능성이 있다.

SemiAnalysis에 따르면 2025년 말 CXMT의 HBM 배정 CAPA는 전체 약 26.5만 WPM 중 약 0.5만 WPM에 불과했다. IPO 모집자금 사용처에도 별도의 HBM 양산 프로젝트가 명시돼 있지 않다.

중국 CAPA 증가가 글로벌 가격 폭락으로 직결되기도 어렵다

CXMT의 증설은 중국 모바일·PC·일반 서버 DRAM의 수입 대체에는 상당한 영향을 줄 수 있다.

하지만 추가 공급의 상당 부분은 중국 내수에 흡수될 가능성이 높다. 수율과 수익성을 고려하면 CXMT가 HBM보다 범용 DRAM에 웨이퍼를 우선 배분할 경제적 유인도 크다.

SemiAnalysis 역시 CXMT의 증설을 반영하면서 DRAM 공급 부족이 단기간에 해소되기 어렵다고 전망했다.

따라서 CXMT는 범용 DDR5·LPDDR 가격의 상단을 제한할 변수이지만, 삼성전자·SK하이닉스의 HBM 및 고부가 서버 DRAM 가격을 즉시 붕괴시킬 변수는 아니다.

4. 장비 국산화와 수출통제라는 병목

DRAM 수율 개선에는 노광장비뿐 아니라 식각, 증착, 세정, 이온주입, 열처리, CMP, 계측·검사 장비가 모두 필요하다.

중국 장비 국산화율은 다음과 같이 추정된다.

https://t.me/HANAchina

첨부 자료의 수치는 원출처와 산정 기준을 별도로 검증할 필요가 있다. 또한 중국 내 전체 매출 점유율과 첨단 DRAM 공정에서 실제 사용할 수 있는 장비 비중도 다르다.

다만 중국 장비 국산화가 공정별로 매우 불균형하다는 방향성은 타당하다. 특히 노광과 계측·검사, 일부 증착 공정의 취약성이 크다.

별도의 Morgan Stanley 추정치를 인용한 Tom’s Hardware 보도에서도 CXMT 공장의 장비 국산화율은 약 20%로 제시됐다.

미국 수출통제는 노광장비에만 국한되지 않는다

미국 BIS는 2024년 12월 식각·증착·노광·이온주입·열처리·계측·검사·세정 등 24개 장비 유형과 HBM에 대한 추가 수출통제를 발표했다.

따라서 CXMT가 직면한 문제는 단순히 ASML의 DUV 장비를 확보할 수 있느냐의 문제가 아니다.

수율 개선을 위해서는 다음이 모두 필요하다.

식각·증착 장비의 공정 반복성
계측·검사 장비의 결함 검출 능력
장비 소프트웨어 업데이트
해외 엔지니어의 유지보수
부품 및 소모품의 안정적인 조달
신규 공정에 맞춘 장비 간 통합

첨단 DRAM은 특정 장비 한 대가 아니라 전체 장비 생태계의 완성도가 수율을 결정한다.

주요 전공정 장비사의 최근 중국 매출 비중

글로벌 장비사들의 중국 비중은 낮아지는 추세지만 아직 상당히 높다. 기준일은 2026년 7월 16일이다.

자료: ASML Q2 2026, Applied Materials Q2 FY2026, Lam Research March 2026, KLA FY2026 3Q 10-Q, Tokyo Electron FY2026

표에서 확인되는 첫 번째 사실은 글로벌 장비사들이 중국 사업에서 완전히 철수한 것은 아니라는 점이다.

Lam Research와 Tokyo Electron의 중국 매출 비중은 여전히 약 34%다. Applied Materials와 KLA도 각각 27%, 24.3%로 높은 수준이다. 반면 ASML의 2026년 2분기 중국 시스템 매출 비중은 14%까지 하락했다.

다만 이 수치를 CXMT의 장비 접근성으로 그대로 해석하면 안 된다.

장비사의 중국 매출에는 다음 수요가 함께 포함된다.

레거시 로직·파운드리 장비
전력반도체 및 아날로그 반도체 장비
기존 Fab의 부품·서비스·업그레이드
디스플레이 및 특수공정 장비
CXMT가 아닌 다른 중국 반도체 업체 매출

따라서 Lam Research의 중국 비중이 34%라는 사실은 CXMT가 첨단 식각·증착 장비를 자유롭게 구매할 수 있다는 의미가 아니다.

중국 비중 하락에는 비중국 매출 증가 효과도 있다

Tokyo Electron의 중국 비중은 FY2025 41.7%에서 FY2026 34.1%로 하락했고, ASML은 2026년 1분기 19%에서 2분기 14%로 하락했다.

그러나 이는 중국 매출 감소만으로 설명되지 않는다. AI 투자 확대에 따라 한국·대만·미국의 DRAM, HBM, 선단 로직 장비 매출이 빠르게 증가하면서 전체 매출의 분모가 커진 효과도 상당하다.

ASML의 2026년 2분기 시스템 매출 구성은 다음과 같다.

한국 43%
대만 30%
중국 14%
미국 9%
일본 4%

한국과 대만이 ASML 시스템 매출의 **73%**를 차지했다. 장비사들의 한정된 생산능력이 한국·대만의 HBM과 선단공정 투자에 우선 배정되고 있는 것이다.

ASML의 중국 비중 14%는 전체 매출이 아니라 신규 장비 중심의 Net System Sales 기준이다. 반면 Applied Materials, Lam Research, KLA는 서비스 등을 포함한 전체 매출 기준이다. 따라서 업체 간 수치를 기계적으로 평균 내는 것은 적절하지 않다.

ASML

테스트 장비에서도 중국 비중은 낮다

Advantest와 Teradyne는 엄밀히 말하면 전공정 장비사가 아니라 웨이퍼·패키지 테스트 장비사다. 다만 DRAM과 HBM의 최종 양품 수율을 결정하는 핵심 공급망이므로 함께 볼 필요가 있다.

자료: Advantest FY2025 실적, Teradyne Q1 2026 10-Q

Advantest의 17.3%는 2026년 1~3월 중국 매출 568억 엔을 전체 매출 3,281억 엔으로 나눈 수치다.

반면 같은 기간 Advantest의 대만 매출은 1,888억 엔으로 전체의 57.5%에 달했다. AI 가속기와 HBM 관련 테스트 장비 수요가 대만·한국에 집중된 결과로 해석할 수 있다.

장비업체의 Booking도 여유롭지 않다

Lam Research는 2026년 WFE 시장을 약 1,400억 달러로 전망하면서 산업 전반의 공급 제약이 장비 공급을 제한하고 있다고 밝혔다.

ASML은 2025년 말 약 388억 유로의 수주잔고를 보유했고, 2026년 2분기 실적 발표에서 AI 수요를 근거로 2026년 매출 전망을 430억~450억 유로로 상향했다.

Tokyo Electron은 2026~2027년 WFE 시장을 연간 1,500억~1,700억 달러로 예상했고, Applied Materials도 2026년 반도체 장비 사업이 30% 이상 성장할 것으로 전망했다.

즉 장비 공급사의 생산능력은 다음 수요를 동시에 감당해야 한다.

한국의 HBM 및 첨단 DRAM 투자
대만의 AI 가속기·선단 로직 투자
미국의 신규 Fab 투자
일본의 선단 로직 및 메모리 투자
유럽의 반도체 공급망 투자
중국의 레거시 및 국산화 투자

따라서 자금이 있다고 원하는 장비를 즉시 확보할 수 있는 환경이 아니다.

즉, CXMT 중국 첨단반도체 수율개선을 낙관하기 어렵다는 의미이다.

2026년 35만 WPM과 이후 증설은 구분해야 한다

중국이 모든 외산 장비에서 완전히 봉쇄된 상태는 아니다. 이미 설치된 장비와 기존 발주 물량, 수출통제 대상이 아닌 레거시 장비도 존재한다.

이에 따라 CXMT의 증설을 다음과 같이 구분할 필요가 있다.

2026년 35만 WPM: 기존 장비와 이미 발주된 장비, 신규 Fab의 초기 램프업을 통해 접근 가능
2027년 이후 추가 증설: 첨단 장비·부품·서비스 접근성 때문에 불확실성 확대
기존 G4 수율: 양산 학습을 통해 점진적으로 개선 가능
G5·1a 이하 공정: 멀티패터닝과 계측 난도 상승으로 개선 속도 둔화 가능
HBM 수율: 전공정뿐 아니라 적층·패키징·테스트 장비까지 병목이 확대

따라서 수율이 더 이상 개선되지 않는다고 단정하는 것은 무리지만, 개선 속도가 기존 추세대로 유지된다고 보는 것도 지나치게 낙관적이다.

5. CXMT 생산량 점유율 재추정

아래 모델은 명목 웨이퍼 CAPA가 아니라 양품 비트 기준 생산량 점유율을 추정한 것이다.

양품 비트 생산성 지수에는 다음 요소가 포함된다.

공정 미세화에 따른 웨이퍼당 비트
수율
고성능 Bin 비중
배치 간 편차
가동률과 고객 인증

지수 100은 물리적 수율 100%가 아니라 선두업체의 양품 비트 생산성을 100으로 놓은 상대지수다.

CAPA 가정

CXMT의 2026년 CAPA를 280으로 적용한 이유는 보도된 35만 WPM이 2026년 말 명목 CAPA이기 때문이다. 연평균 실제 투입량은 설치·인증·램프업을 고려해 더 낮게 잡았다.

양품 비트 생산성 지수

CXMT의 생산성 지수가 완만하게 개선되는 것으로 가정한 이유는 기존 공정에서의 수율 학습을 인정하면서도 다음 제약을 반영했기 때문이다.

첨단 장비와 계측 장비 접근 제한
G5·1a급 공정 램프업 난도
DDR5 배치 간 편차
고성능 Bin 선별 능력
HBM 생산비중 확대에 따른 수율 희석

생산량 기준 시장점유율

이는 5개 주요 업체만을 대상으로 한 모델이다. Winbond 등 소규모 업체를 포함하면 CXMT 점유율은 약 0.2~0.5%포인트 낮아질 수 있다.

결론: CXMT는 위협이지만 위협의 영역이 다르다

CXMT는 더 이상 무시할 수 있는 업체가 아니다. 중국 내수와 모바일·PC·범용 서버 DRAM에서는 실제 점유율 상승이 예상된다. 장기적으로 범용 DRAM 공급 증가와 가격 사이클 변동성을 확대할 가능성도 높다.

그러나 시장이 우려하는 것처럼 월 35만 장의 웨이퍼 CAPA가 곧 Micron급 DRAM 생산력이나 삼성전자·SK하이닉스 수준의 HBM 경쟁력을 의미하지는 않는다.

핵심은 다음 네 가지다.

35만 WPM은 연말 명목 웨이퍼 CAPA이지 양품 비트 생산량이 아니다.
CXMT는 수율·Die 크기·고성능 Bin·공정 균일성에서 빅3보다 뒤처져 있다.
HBM3 8단에서 약 25%로 추정되는 전체 수율은 HBM4 16단에서 10% 안팎까지 낮아질 수 있다.
2027년 이후 증설과 첨단공정 수율 개선은 장비 수출통제와 글로벌 장비 공급 부족의 영향을 더 크게 받을 가능성이 높다.

글로벌 장비사의 중국 매출 비중이 여전히 14~34%라는 사실은 중국이 모든 외산 장비로부터 완전히 단절된 것은 아니라는 점을 보여준다.

그러나 이 매출에는 레거시 공정과 기존 장비 서비스가 상당 부분 포함돼 있다. 동시에 장비사들의 제한된 생산능력은 한국과 대만의 HBM·첨단 DRAM·선단 로직 투자에 우선 배정되고 있다.

따라서 CXMT IPO를 한국 메모리 산업의 즉각적인 붕괴 신호로 해석하는 것은 과도하다.

CXMT는 2030년 범용 DRAM 생산량 점유율 10~14%를 확보할 수 있는 경쟁자다. 그러나 고부가 서버 DRAM과 HBM에서는 웨이퍼 CAPA보다 수율·공정 생산성·장비 접근성·고객 인증의 격차가 훨씬 중요하며, 이 격차는 단기간에 해소되기 어렵다.

#글을 마치며

마지막으로 최근 AI 보안 이슈가 다시 시장의 핵심 화두로 부상하고 있다는 점을 짚어보고자 한다. 특히 중국이 Anthropic과 OpenAI의 첨단 AI 기술을 탈취하고 있다는 아래 기사 내용을 계기로, 이를 메모리 보안 문제와 연결해 왜 중국산 메모리가 자유진영의 핵심 AI 시스템에 채택되기 어려운지에 대한 개인적인 생각으로 글을 마무리해본다.

How China is ripping off cutting-edge AI from Anthropic, OpenAI — and threatening US national security

중국산 메모리가 AI 시스템에 채택되기 어려운 이유

DRAM은 현대 컴퓨팅 시스템에서 가장 중요한 하드웨어 보안 취약 지점 중 하나다. 암호화 키, 사용자 데이터, AI 모델 가중치와 추론 결과 등 핵심 정보가 모두 메모리를 거쳐 처리되기 때문이다.

1. 실행 중인 핵심 정보가 집중되는 공간

DRAM은 시스템이 현재 사용하고 있는 정보를 임시로 저장하는 작업 공간이다. 운영체제, 실행 중인 프로그램, 사용자 데이터는 물론 암호화 키, 로그인 세션, 인증 토큰, 페이지 테이블과 같은 민감한 정보도 대부분 DRAM을 거쳐 처리된다.

저장장치에 보관된 데이터는 암호화되어 있더라도, CPU가 이를 실제로 사용하기 위해서는 복호화된 상태로 DRAM에 올려야 하는 경우가 많다. 따라서 공격자가 DRAM의 데이터를 읽거나 일부 내용을 변조할 수 있다면, 단순한 정보 유출을 넘어 인증 우회, 권한 상승, 시스템 제어권 탈취로까지 이어질 수 있다.

결국 DRAM의 취약성은 메모리 자체의 문제에 그치지 않는다. 시스템의 핵심 정보가 한곳에 집중되는 구조적 특성 때문에 DRAM이 침해될 경우 피해 범위가 매우 커질 수 있다.

2. DRAM 셀 자체가 물리적으로 불안정한 구조

DRAM은 미세한 커패시터에 저장된 전하의 유무를 통해 0과 1을 구분한다. 그러나 커패시터에 저장된 전하는 시간이 지나면서 자연스럽게 감소하기 때문에, DRAM은 데이터를 유지하기 위해 지속적인 리프레시 작업을 수행해야 한다.

반도체 공정이 미세화될수록 하나의 셀이 저장할 수 있는 전하량은 줄어들고, 셀 사이의 물리적 간격도 좁아진다. 이 과정에서 인접 셀 간 전기적 간섭과 누설전류의 영향이 커질 수 있다.

대표적인 사례가 Rowhammer다. 특정 메모리 행을 반복적으로 활성화하면 인접 행의 전하 상태가 흔들리면서 비트 값이 바뀔 수 있다. 공격자가 이러한 비트 플립을 의도적으로 유도하면 페이지 테이블이나 권한정보를 변경해 시스템 권한을 탈취할 가능성이 생긴다.

즉, DRAM은 완전히 디지털적인 저장장치처럼 보이지만 실제로는 미세한 전하를 이용하는 아날로그적 물리 구조를 기반으로 한다. 공정 미세화와 집적도 향상이 진행될수록 성능과 용량은 개선되지만, 셀 안정성과 보안 검증의 난도는 함께 높아진다.

3. 전원이 꺼져도 데이터가 즉시 사라지지 않는 문제

DRAM은 일반적으로 휘발성 메모리로 분류된다. 그러나 전원을 차단한다고 해서 저장된 데이터가 즉시 완전히 사라지는 것은 아니다. 셀에 남아 있는 전하는 일정 시간 동안 유지될 수 있으며, 온도를 낮추면 데이터가 소멸하는 속도가 더 느려질 수 있다.

이를 악용한 공격이 Cold Boot Attack이다. 시스템 전원을 차단한 직후 메모리 모듈의 내용을 읽어 암호화 키, 인증정보, 사용자 데이터 등을 복구하는 방식이다.

따라서 저장장치가 강력하게 암호화되어 있어도, 실행 중인 시스템의 DRAM에서 암호화 키가 탈취되면 전체 보안 체계가 무력화될 수 있다. 이 문제를 방지하기 위해서는 단순한 디스크 암호화를 넘어 메모리 암호화, 키 보호, 전원 종료 시 메모리 초기화와 같은 추가적인 방어체계가 필요하다.

4. AI 시스템에서는 DRAM의 보안 중요성이 더욱 커짐

AI 시스템에서는 DRAM 계열 메모리의 역할이 기존 서버보다 훨씬 커진다. CPU 서버의 DDR뿐 아니라 GPU와 AI 가속기에 탑재되는 HBM과 GDDR도 모두 DRAM 기술을 기반으로 한다.

AI 모델을 학습하거나 추론하는 과정에서는 모델 가중치, 사용자 입력 데이터, 중간 연산 결과, 캐시 데이터가 대규모로 메모리에 저장된다. 특히 기업용 AI와 클라우드 AI에서는 기업 내부문서, 고객정보, 금융·의료 데이터처럼 민감한 정보가 메모리를 통해 처리될 수 있다.

또한 AI 데이터센터에서는 여러 사용자와 서비스가 동일한 GPU, 메모리 컨트롤러, 가속기 인프라를 공유하는 경우가 많다. 이 과정에서 메모리 격리가 제대로 이뤄지지 않으면 사용자 간 데이터 유출, 모델 가중치 탈취, 추론 결과 변조와 같은 문제가 발생할 수 있다.

AI 모델은 일부 비트가 변조되는 것만으로도 출력 정확도나 안전성이 훼손될 수 있다. 따라서 AI 시대의 DRAM 보안은 단순히 데이터를 읽지 못하게 하는 암호화에 그치지 않고, 데이터가 변경되지 않았음을 확인하는 무결성 검증과 사용자별 메모리 격리까지 포함해야 한다.

결국 DRAM은 실행 중인 핵심 정보가 집중되고, 미세한 전하를 기반으로 동작하며, 전원 차단 이후에도 일부 데이터가 잔존할 수 있다는 구조적 약점을 가지고 있다. 여기에 AI 시스템의 대규모 데이터 처리와 자원 공유가 더해지면서, DRAM은 현대 컴퓨팅 시스템에서 가장 중요한 하드웨어 보안 취약 지점 중 하나로 부상하고 있다.

이러한 환경에서는 중국산 DRAM의 성능과 수율이 개선되더라도, 설계·제조 과정과 보안 기능을 충분히 검증할 수 있는지, 국가 차원의 공급망 위험에서 자유로운지가 더 중요한 판단 기준이 된다. 결국 가격 경쟁력만으로는 글로벌 클라우드 사업자와 정부·금융·국방 고객의 신뢰를 확보하기 어렵다.

따라서 중국산 메모리는 범용 소비자 제품에서는 사용이 확대될 수 있지만, 높은 보안성과 신뢰성이 요구되는 AI 서버와 첨단 데이터센터 시장에서는 핵심 메모리로 채택될 가능성이 상당 기간 제한될 수 있다.

이상 마바라 블로거

~~(*CXMT 공급과잉 소리는 이제 그만..)~~

=끝