또 시장이 발작하고 있다. 이럴 때 주가창만 하염없이 바라보기보다, 그동안 궁금했던 질문을 하나씩 공부하며 생각을 정리해보는 편이 낫다.

시장은 여전히 AI 메모리 수요를 정적인 변수처럼 다룬다. 연도별 출하량과 수요 증가율을 미리 정해놓고, 그 안에서 공급과 가격을 추정하는 방식이다.

그러나 AI 메모리 시장은 이미 오래전부터 매일 새로운 모델과 알고리즘, 서비스, 인프라 투자가 등장하면서 수요의 크기와 방향이 계속 달라지는 동적인 시장으로 바뀌었다고 생각한다.

모델 구조가 달라지면 필요한 메모리의 종류와 용량이 달라지고, 추론비용이 낮아지면 사용량과 Context 길이가 증가한다. Agent가 수행할 수 있는 업무의 범위가 넓어질수록 유지해야 할 작업 상태와 장기기억도 함께 늘어난다. 알고리즘의 효율 개선조차 단위당 메모리 절감에 머물지 않고 새로운 수요를 만드는 변수로 작용하고 있다.

따라서 몇 년 뒤의 AI 메모리 수요를 현재의 고정된 가정만으로 추정하는 데에는 분명한 한계가 있다. 중요한 것은 연도별 증가율 하나를 정확히 맞히는 일보다, AI의 성능과 비용, 활용 범위가 변화할 때 메모리 수요가 어떤 경로로 다시 확장되는지를 이해하는 것이다.

이번 글에서는 그동안 궁금했던 질문에서 출발해 관련 연구와 자료를 하나씩 살펴보고, Scaling law와 알고리즘 혁신이 장기적으로 AI 메모리 수요를 어떻게 변화시킬지 정리해보고자 한다.

Scaling Law의 근원과 AI 메모리 수요의 확장

AI는 왜 더 많이 계산하고, 더 많이 기억할수록 똑똑해지는가

지난 글에서는 Physical AI의 발전을 감정과 가치함수, 경험과 정체성의 연속성이라는 관점에서 살펴봤다. 이번 글에서는 조금 더 가까운 시점의 질문을 다뤄보고자 한다.

Scaling law는 왜 여전히 AI 성능 향상에 효과적인가?
그리고 알고리즘이 발전해 AI가 더 효율적으로 작동할수록 메모리 수요는 줄어들까?
오히려 더 커질까?

결론부터 말하면 Scaling law의 본질은 더 많은 계산이 그 자체로 지능을 만들어낸다는 데 있지 않다. 현실 세계에 숨어 있는 더 많은 구조와 예외를 연산을 통해 찾아내고, 이를 모델의 가중치와 Context, 외부 기억에 축적할수록 예측 오차가 낮아지는 현상에 가깝다.

동시에 알고리즘 혁신은 작업 하나에 필요한 연산량과 메모리 사용량을 낮춘다. 그러나 낮아진 비용은 AI의 보급 대수와 작업량, 작업시간, 기억해야 할 경험의 범위를 더 빠르게 늘릴 수 있다. 단위당 효율 개선과 전체 메모리 수요 증가는 충분히 함께 나타날 수 있다.

관련 글: 생각정리 307 - 메모리 망상

I. Scaling law는 왜 아직도 작동하는가

1. Scaling law를 가장 단순하게 이해하는 방법

Scaling law는 모델의 파라미터와 학습 데이터, 연산량을 늘릴수록 AI의 예측 오차가 일정한 규칙에 따라 감소하는 경험적 관계이다.

이를 단순화하면 다음과 같이 표현할 수 있다.

$L (C) = L_{\infty} + a C^{- β}$

(L(C)): 주어진 연산량에서의 예측 오차
(C): 학습이나 추론에 투입한 연산량
$L_{\infty}$ : 현재 데이터와 모델 구조에서 접근할 수 있는 오차의 한계

연산량을 두 배로 늘린다고 성능이 두 배 좋아지는 것은 아니다. 성능 개선 폭은 점차 작아진다. 다만 충분히 넓은 구간에서는 모델과 데이터, 연산량을 늘릴수록 오차가 꾸준히 낮아지는 경향이 관찰된다.

여기서는 학습과 추론을 구분할 필요가 있다.

학습 Scaling은 더 많은 파라미터와 데이터, 학습 연산을 사용해 더 우수한 기본 모델을 만드는 과정이다.
추론 Scaling은 학습을 마친 모델이 답변 후보를 더 많이 생성하고, 스스로 수정하고, 검증 과정을 거치면서 정답 확률을 높이는 과정이다.

두 방식 모두 추가 연산을 성능 향상에 사용하지만, 학습 Scaling은 모델 자체의 능력을 높이고, 추론 Scaling은 이미 가진 능력을 더 효과적으로 꺼내 쓴다는 차이가 있다.

https://arxiv.org/html/2408.00724#S2.F2

2. 연산은 지능을 직접 만드는 대신 세계의 구조를 찾아낸다

더 많은 GPU와 전력을 투입하면 지능이 자연스럽게 생성된다고 생각하기 쉽다. 그러나 연산은 정보를 보존하는 저장장치가 아니라, 데이터 안에서 반복되는 패턴과 관계를 찾아내는 수단이다.

학습 과정은 대략 다음과 같이 이해할 수 있다.

데이터에서 반복되는 구조를 찾는다 → 찾은 구조를 모델의 가중치에 압축한다 → 추론할 때 이를 다시 꺼내 사용한다

AI가 학습을 마친 뒤 실제로 사용하는 것은 과거에 소비한 연산량이 아니라, 그 연산을 통해 만들어진 파라미터와 내부 표현이다. 더 많은 계산은 데이터에 숨어 있던 세계의 구조를 더 세밀하게 발견하고, 이를 모델 안에 축적할 기회를 제공한다.

여기서 가중치는 원문 데이터를 그대로 보관하는 데이터베이스와는 성격이 다르다. 수많은 사례에서 반복되는 문법과 개념, 사물 사이의 관계, 특정 조건에서 나타날 가능성이 높은 결과를 분산된 형태로 압축한다.

예를 들어 모델은 비와 젖은 도로에 관한 모든 문장을 그대로 외우는 대신, 여러 사례에서 공통으로 나타나는 관계를 내부 표현으로 만든다. 모델의 용량과 학습 데이터가 늘어나면 일반적인 관계뿐 아니라 이를 뒤집는 세부 조건과 예외까지 더 많이 구분할 수 있다.

https://arxiv.org/html/2102.06701#S1.F1
특히 Figure 1b가 데이터 증가에 따라 세계의 함수를 더 세밀하게 근사한다는 설명

3. 현실은 규칙적이지만 끝없이 많은 예외를 가진다

Scaling law가 오랫동안 작동하는 근본적인 이유는 현실 세계의 성격에 있다.

세상이 완전히 무작위라면 데이터를 아무리 많이 학습해도 일반화할 수 있는 규칙을 찾기 어렵다. 반대로 몇 개의 단순한 법칙만으로 모든 현상을 설명할 수 있다면 작은 모델도 금방 성능의 상한에 도달했을 것이다.

현실은 그 사이에 위치한다. 반복되는 구조가 충분히 많아 학습할 수 있으면서도, 드문 사건과 예외, 여러 조건이 복합적으로 작용하는 상황이 계속 남는다. 모델의 용량과 데이터가 늘어날수록 새롭게 학습할 대상이 끊이지 않는 이유이다.

자연어와 현실의 사건은 대체로 긴 꼬리 분포를 가진다. 자주 등장하는 단어와 일반적인 상황은 작은 모델도 비교적 쉽게 익힌다. 이후 성능을 더 높이려면 빈도가 낮은 개념, 드문 예외, 여러 조건이 동시에 결합된 관계까지 구분해야 한다.

예를 들어 작은 모델은 “비가 오면 길이 젖는다”는 관계를 배울 수 있다. 정확도를 더 높이려면 다음 조건도 함께 이해해야 한다.

도로에 지붕이 있는가
기온이 영하인가
배수 상태는 양호한가
노면의 재질은 무엇인가
바람의 방향과 강도는 어떠한가

모델이 커질수록 현실을 더 세밀한 조건부 구조로 나누고, 일반적인 규칙에서 벗어나는 상황까지 설명하게 된다. 성능 개선 폭은 느려져도 추가로 배울 대상은 계속 남는다.

4. 오차가 멱법칙으로 감소하는 이유

이이 현상을 보다 직관적으로 이해하기 위해 현실의 패턴을 자주 나타나는 순서대로 배열해볼 수 있다.

p (r) \propto r^{- α}

여기서 $r$ 은 패턴의 빈도 순위이다. 작은 모델은 자주 등장하는 상위 패턴부터 학습하고, 모델과 데이터가 커지면 빈도가 낮은 패턴과 드문 예외까지 차례로 학습한다.

모델이 상위 $K$ 개의 패턴을 학습했다고 가정하면, 아직 해결하지 못한 오류는 $K$ 이후에 남아 있는 희귀 패턴의 합으로 볼 수 있다.

L (K) - L_{\infty} \propto \sum_{r > K} p (r) \propto K^{1 - α}

모델 크기와 연산량이 늘어날수록 학습 가능한 패턴의 수 $K$ 도 증가한다. 그 결과 잔여 오차가 멱법칙 형태로 완만하게 감소할 수 있다.

이 모형은 모든 LLM의 작동 원리를 완전히 설명하는 이론이라기보다 Scaling law를 이해하기 위한 직관적인 틀이다. 동시에 평균적인 손실은 부드럽게 낮아지는데 특정 능력이 어느 순간 갑자기 나타나는 현상도 설명해준다.

하나의 복잡한 과제를 해결하려면 여러 하위 능력이 함께 필요하다. 모델이 필요한 하위 능력을 하나씩 습득하다가 마지막 조건까지 갖추는 순간, 외부에서는 새로운 능력이 갑자기 출현한 것처럼 보일 수 있다.

Scaling 과정에서 능력이 갑자기 생겨난 것처럼 보이는 이유는 그 능력을 구성하는 여러 하위 조건이 임계점을 넘어섰기 때문일 수 있다.

5. 학습을 마친 모델도 더 오래 생각하면 성능이 좋아질 수 있다

학습을 마친 모델은 하나의 질문에 항상 같은 답을 내놓지 않는다. 정답 경로를 생성할 확률이 조금이라도 있다면 여러 경로를 탐색하고 비교하면서 더 나은 답을 찾을 수 있다.

추론 Scaling에는 다음과 같은 방식이 포함된다.

더 긴 reasoning을 수행한다.
여러 후보 답변을 병렬로 생성한다.
중간 결과를 검토하고 잘못된 경로를 수정한다.
Verifier나 Reward Model로 후보의 우열을 평가한다.
여러 Agent의 답변을 비교하고 통합한다.
어려운 문제에 더 많은 추론 자원을 배분한다.

기본 모델이 정답 후보를 만들 수 있고, 검증 과정이 후보의 우열을 어느 정도 구분할 수 있다면 추가 추론은 실패 확률을 낮춘다.

다만 추론 시간을 무한히 늘린다고 모든 문제가 해결되는 것은 아니다. 모델이 정답 경로를 생성하지 못하거나 검증기가 잘못된 답을 가려내지 못하면 추가 연산은 같은 오류를 반복할 수 있다.

따라서 추론 Scaling의 핵심은 오래 생각하는 시간 자체보다 어떤 문제에 얼마나 많은 연산을 배분하고, 어느 경로를 계속 탐색하며, 언제 중단할지를 판단하는 능력에 있다. 이 지점에서 추론과 가치함수가 연결된다.

II. Scaling law는 어떻게 메모리 수요로 이어지는가

1. AI가 사용하는 기억은 한 종류가 아니다

Scaling law를 메모리 관점에서 보면 데이터와 연산, 기억의 관계가 보다 분명해진다.

$Data \rightarrow Compute \rightarrow Pattern\ Discovery \rightarrow Memory \rightarrow Inference$

데이터는 세계에 대한 관찰을 제공한다. 연산은 관찰 속에서 반복되는 구조를 찾는다. 찾아낸 구조는 여러 형태의 메모리에 저장되고, 추론 과정에서 현재 질문과 결합되어 답변이나 행동으로 이어진다.

AI의 기억은 크게 세 층으로 나눠볼 수 있다.

Scaling law는 연산을 통해 발견한 세계의 구조를 더 큰 모델과 메모리 체계에 축적할수록 예측 오차가 낮아지는 현상으로 해석할 수 있다.

이는 Scaling law 논문이 직접 내린 정의라기보다 관련 연구를 메모리 관점에서 재구성한 표현이다.

2. 세상을 완벽하게 복제하려면 저장량은 계속 증가한다

현실에서는 매 순간 새로운 정보가 생긴다. 사람들의 대화와 행동, 기업의 의사결정, 가격 변화, 기후, 기술, 제도는 과거 데이터만으로 완전히 복원할 수 없는 새로운 상태를 만든다.

새로 발생하는 정보를 손실 없이 모두 저장하려면 필요한 메모리는 시간에 따라 누적된다.

M (T) \geq \int_{0}^{T} I_{new} (t) d t

새롭게 생성되는 정보량이 계속 0보다 크다면 세상을 완벽하게 복제하기 위한 총저장량도 계속 늘어난다.

현실은 경로 의존적이라는 점도 중요하다. 같은 사건이라도 그전에 어떤 일이 있었고, 당사자가 이를 어떻게 해석했는지에 따라 결과가 달라진다. 미래에 어떤 질문이나 목적이 주어질지 알 수 없다면 현재는 사소해 보이는 정보가 나중에는 중요한 단서가 될 수 있다.

특정 업무만 수행하는 AI는 필요한 정보의 범위가 제한적이다. 반면 어떤 질문과 목표가 주어질지 미리 정해지지 않은 범용 AI는 불필요한 정보를 사전에 구분하기 어렵다. 범용성이 높아질수록 보존해야 할 정보의 범위도 넓어진다.

3. 더 많은 기억이 곧 더 높은 지능으로 이어지지는 않는다

인간은 관찰한 모든 장면을 같은 해상도로 기억하지 않는다. 반복되는 현상은 하나의 개념이나 규칙으로 압축한다. 중요도가 낮은 세부 정보는 잊고, 예상과 달랐던 사건이나 감정적으로 중요한 경험은 상대적으로 강하게 남긴다.

AI도 모든 데이터를 현재 Context에 넣는 방식으로 발전하기 어렵다. 관련성이 낮은 정보와 반복된 도구 출력, 오래된 실패 기록이 Context를 채우면 중요한 단서가 희석되고 추론 속도와 정확도가 함께 낮아질 수 있다.

따라서 AI의 지능은 기억의 총량과 함께 다음 능력에 의해 결정될 가능성이 높다.

반복되는 사건에서 공통 구조를 추출하는 능력
개별 경험을 더 작은 표현으로 압축하는 능력
현재 목표와 관련된 기억을 정확히 검색하는 능력
중요도가 낮아진 기억을 삭제하거나 다시 요약하는 능력

AI 메모리가 하나의 거대한 저장공간보다 계층형 구조로 발전할 가능성이 높은 이유이다. 현재 작업에 필요한 정보는 빠른 메모리에 두고, 장기 경험과 원본 기록은 대용량 저장장치에 보관한 뒤 필요한 순간에 일부만 불러오는 방식이다.

AI의 지능은 기억의 총량보다 필요한 정보를 올바른 형태로 저장하고, 적절한 순간에 다시 불러오는 능력에 더 크게 좌우될 수 있다.

https://ar5iv.labs.arxiv.org/html/2304.03442#S3.F5

4. 메모리가 충분해도 완벽한 예측에는 도달하기 어렵다

과거 정보를 빠짐없이 저장해도 미래를 완벽하게 예측할 수는 없다. 현실에는 관찰하지 못한 숨은 변수와 측정 오차, 인간의 새로운 선택, 확률적 사건이 존재한다.

일부 동적 시스템에서는 초기 조건의 작은 차이가 시간이 지나면서 크게 확대된다. 현재 상태를 무한한 정밀도로 측정할 수 없다면 완벽한 모델을 가정해도 장기 예측에는 오차가 남는다.

현실의 Agent 역시 세상의 실제 상태를 직접 보는 대신 불완전한 관찰을 바탕으로 현재 상태를 추정한다. POMDP 이론에서는 Agent가 과거의 관찰과 행동을 이용해 현실에 대한 확률적 믿음 상태를 유지한다고 설명한다.

결국 AI가 추구할 수 있는 현실적인 목표는 모든 불확실성의 제거보다, 제한된 관찰과 메모리 안에서 현재 상태를 최대한 정확히 추정하고 남은 불확실성을 반영해 행동하는 것이다.

5. 범용성이 높아질수록 필요한 메모리의 상한도 멀어진다

체스 AI는 현재 보드와 제한된 경기 이력만으로 작동할 수 있다. 정해진 공정만 수행하는 제조 로봇도 필요한 환경 정보의 범위가 비교적 좁다.

범용 Agent는 상황이 다르다. 앞으로 어떤 질문과 목표가 주어질지 알 수 없고, 과거의 어떤 정보가 새로운 업무에 필요해질지도 사전에 판단하기 어렵다. 투자 분석에서는 중요하지 않았던 정보가 법률 판단에서는 핵심이 될 수 있고, 평범한 대화가 몇 년 뒤 사용자 관계를 이해하는 중요한 단서가 될 수도 있다.

이를 개념적으로 정리하면 다음과 같다.

M e m o r y D e m a n d \propto W o r l d S c o p e \times T a s k D i v e r s i t y \times T i m e H o r i z o n \times R e q u i r e d A c c u r a c y

AI가 다루는 세계의 범위와 업무의 다양성, 작업의 시간적 길이, 요구되는 정확도가 높아질수록 필요한 메모리의 실질적인 상한은 계속 멀어진다.

다루는 세계의 범위가 넓어질수록 저장해야 할 정보가 증가한다.
수행하는 업무의 종류가 많아질수록 필요한 기억의 종류도 다양해진다.
작업시간이 길어질수록 유지해야 할 중간 상태와 경험이 누적된다.
요구되는 정확도가 높아질수록 드문 예외와 세부 조건까지 보존해야 한다.

https://arxiv.org/html/2606.06448#S4.SS7.F9
작업시간과 사용자 History가 길어질수록 Agent의 장기기억 비용과 저장량이 누적된다는 본문의 주장을 직접 뒷받침

관련 자료: Generative Agents, Agent Memory: Characterization and System Implications of Stateful Long-Horizon Agents

6. 결국 핵심은 기억의 선택이다

범용 Agent는 새로운 사건을 관찰할 때 저장 여부와 형태를 함께 판단해야 한다.

미래 행동에 다시 사용될 가능성이 높은가
기존 세계모델의 예상에서 얼마나 벗어났는가
실패나 위험을 설명하는 중요한 예외인가
다른 기록으로부터 복원할 수 있는가
원본을 남겨야 하는가, 요약만으로 충분한가
활성 Context에 둘 것인가, 외부 기억으로 옮길 것인가
언제 삭제하거나 더 짧게 압축할 것인가

이러한 판단은 추론과 분리된 부가 기능에 머물기 어렵다. 무엇을 기억할지 결정하는 행위 자체가 Agent의 핵심 행동정책으로 발전할 가능성이 높다.

AI에게 메모리는 정보를 계속 쌓기만 하는 창고보다, 변화하는 환경에 맞춰 무엇을 남기고 압축하고 잊을지 결정하는 동적 시스템에 가깝다.

세상이 새로운 정보를 계속 만들어내는 한 시스템 전체의 저장 수요는 열려 있다. 그러나 지능의 질은 기억의 양보다 선택과 검색의 정확도에서 크게 갈릴 것이다.

https://arxiv.org/html/2510.12635#S3.F2

III. 알고리즘이 발전하면 메모리 수요는 줄어들까

1. 단위당 효율과 전체 수요는 구분해야 한다

AI가 모든 경험을 원본 그대로 저장하고, 매번 전체 기록을 처음부터 다시 읽는다면 비용과 전력, 지연시간이 빠르게 증가한다. 범용 AI와 장기 Agent가 대규모로 확산되기 위해서는 기억을 선택하고 압축하며, 필요한 일부만 불러오는 알고리즘 혁신이 반드시 필요하다.

알고리즘 혁신은 작업 하나에 필요한 연산량과 메모리 사용량을 줄인다. 동시에 비용과 속도, 정확도를 개선해 과거에는 경제성이 없었던 기능을 가능하게 만든다.

전체전체 메모리 수요를 개념적으로 표현하면 다음과 같다.

Total Memory Demand = \frac{AI Deployment \times Task Volume \times Task Horizon \times State per Task}{Memory Efficiency}

이는 물리 법칙이나 산업 표준 모델이 아니라 수요의 방향을 설명하기 위한 분석식이다.

알고리즘이 작업당 메모리 사용량을 절반으로 줄이더라도 AI 보급 대수와 작업량, 작업시간, 작업당 유지해야 할 상태가 그보다 빠르게 증가하면 전체 메모리 수요는 확대된다.

따라서 앞으로의 핵심 질문은 “AI 한 번 실행에 필요한 메모리가 줄어드는가”보다 “효율 개선으로 얼마나 많은 새로운 AI 작업이 생겨나는가”에 가깝다.

2. MoE는 연산 효율과 메모리 용량을 분리한다

MoE는 여러 Expert를 모델 안에 유지하면서 입력에 따라 필요한 일부만 활성화하는 구조이다.

Dense Model에서는 각 토큰이 모델의 대부분 파라미터를 통과한다. MoE에서는 토큰의 성격에 맞는 일부 Expert만 사용한다.

$Total Parameters ↑ Active Parameters per Token \approx Limited$

이 구조를 사용하면 모델이 보유한 전체 지식 용량은 크게 늘리면서 토큰 하나를 처리하는 연산량의 증가는 제한할 수 있다.

다만 당장 활성화되지 않은 Expert도 필요할 때 사용하기 위해 저장돼 있어야 한다. 전체 파라미터와 Expert 저장공간이 늘고, Expert 사이의 데이터 이동과 통신도 중요해진다.

MoE는 알고리즘 효율화가 메모리 수요를 일방적으로 줄이지 않는 대표적인 사례이다. 토큰당 연산량을 낮추는 대신 더 큰 모델을 유지할 수 있게 만들면서 시스템의 Memory-to-Compute 비율을 높일 수 있다.

3. 가치함수는 탐색을 줄이지만 작업시간을 늘릴 수 있다

가치함수는 현재 상태나 행동 경로가 장기적으로 얼마나 좋은 결과로 이어질지를 평가한다. 강화학습에서 오랫동안 사용된 개념이며, AlphaGo 역시 Value Network로 현재 바둑판에서의 승리 가능성을 평가해 탐색 범위를 줄였다.

앞으로 중요한 돌파구는 정해진 게임을 넘어 열린 현실 환경에서도 작동하는 범용 가치함수일 가능성이 높다. 장기 작업이 끝나기 전에 현재 경로의 성공 가능성을 판단하고, 실패 가능성이 높은 경로를 조기에 중단하며, 새로운 상황에도 평가 기준을 일반화하는 능력이다.

가치함수가 정확해지면 하나의 문제를 풀기 위해 무차별적으로 탐색해야 할 경로가 줄어든다.

$100 개 경로의 탐색 \to 5 개 유망 경로의 집중 탐색$

이에 따라 reasoning token과 순간적인 KV Cache 사용량은 감소할 수 있다.

그러나 시스템 전체의 변화는 반대 방향으로 나타날 수 있다. 가치함수가 Agent의 신뢰성을 높이면 지금보다 훨씬 길고 복잡한 업무를 자동화할 수 있기 때문이다.

현재 10단계 이후 오류가 누적되는 Agent가 1,000단계의 작업을 수행하게 되면 순간 탐색량이 줄더라도 유지해야 할 업무 상태와 중간 결과, 과거 경험, 장기기억은 크게 늘어난다.

가치함수의 가장 큰 경제적 효과는 추론 토큰 절감보다 AI가 안정적으로 수행할 수 있는 작업의 시간적 범위를 늘리는 데서 나타날 수 있다.

4. 메모리 압축은 남는 공간보다 더 큰 서비스로 이어질 수 있다

KV Cache 양자화도 같은 구조를 보여준다. KV Cache의 정밀도를 낮추면 토큰당 필요한 메모리를 줄일 수 있다. 이때 확보된 공간은 비어 있는 상태로 남기보다 더 긴 Context와 더 큰 Batch Size, 더 많은 동시 사용자를 처리하는 데 활용될 가능성이 높다.

NVIDIA는 FP8 KV Cache를 NVFP4로 낮춰 메모리 사용량을 50% 줄이고, 이를 Context 길이와 Batch Size를 확대하는 방향으로 제시했다. 단위 작업의 효율 개선이 전체 메모리 절감보다 서비스 규모를 키우는 여력으로 전환되는 사례이다.

과거 알고리즘 효율 개선에서도 비슷한 흐름이 나타났다. OpenAI의 연구에 따르면 AlexNet 수준의 성능을 달성하는 데 필요한 학습 연산량은 2012년부터 2019년까지 약 44분의 1로 감소했다.

같은 성능을 훨씬 적은 연산으로 구현할 수 있게 됐지만, 절감된 자원은 더 큰 모델과 새로운 AI 기능을 만드는 데 다시 투입됐다.

https://developer.nvidia.com/blog/optimizing-inference-for-long-context-and-large-batch-sizes-with-nvfp4-kv-cache/#how-kv-cache-impacts-performance

알고리즘 효율 개선의 산업적 의미는 기존 작업의 원가 절감에 그치지 않는다. 낮아진 비용과 향상된 성능이 과거에는 실행할 수 없었던 새로운 수요를 만든다는 데 있다.

https://arxiv.org/html/2602.22603#S4.F5

5. AI에서는 제본스 효과가 더 강하게 나타날 수 있다

제본스 효과는 효율 개선으로 서비스 가격이 낮아지고 사용량이 증가하면서 전체 자원 소비가 예상보다 적게 감소하거나 오히려 늘어나는 현상이다.

AI에서는 가격 하락과 함께 성능 향상이 동시에 발생한다.

$A l g o r i t h m i c I n n o v a t i o n \to C a p a b i l i t y / J o u l e ↑ \to C o s t / T a s k ↓ \to A d d r e s s a b l e T a s k s ↑$

알고리즘이 좋아지면 같은 질문을 더 싸게 처리할 수 있을 뿐 아니라, 이전에는 불가능했던 더 복잡하고 긴 작업도 수행할 수 있다.

AI가 단순한 질문 응답에서 업무 전체의 수행으로 이동하고, 필요할 때만 호출하는 도구에서 계속 작동하는 Agent로 바뀌며, 기업별 공용 AI에서 사용자별 개인 Agent로 분화할 수 있다.

따라서 AI에서는 효율 개선이 가격을 낮추는 가격효과와 수행 가능한 업무를 넓히는 성능효과를 동시에 만든다. AI 수요의 증가폭이 일반적인 에너지 서비스보다 더 크게 나타날 수 있다고 보는 이유이다.

이는 현재까지 확정된 산업 법칙이라기보다 알고리즘의 효율 향상과 AI 활용 범위 확대를 연결한 가설이다. 다만 MoE, KV Cache 압축, 추론 효율 개선에서 이미 그 방향을 확인할 수 있다.

6. 알고리즘별로 수요가 늘어나는 메모리는 다르다

알고리즘 혁신이 전체 메모리 수요를 확대하더라도 모든 메모리 제품이 같은 방식으로 수혜를 받지는 않는다.

활성 가중치와 KV Cache가 늘어나면 HBM 수요가 강해진다. Agent의 현재 상태와 Cache Offload가 증가하면 서버 DRAM의 역할이 커진다. 장기 경험과 업무 기록, 원본 데이터가 누적되면 NAND와 SSD가 중요해진다. 소형 모델이 자동차와 로봇, 개인 디바이스로 확산되면 LPDDR과 Edge NAND 수요로 연결될 수 있다.

결국 AI 메모리 수요는 HBM 한 제품에 머무르기보다 학습과 순간 추론, 장기 작업, 경험의 영구 저장을 연결하는 계층형 수요로 확장될 가능성이 높다.

IV. 가치함수는 기억을 줄이기보다 기억의 질을 바꾼다

정확한 가치함수를 만들기 위해서는 현재 상태만 보는 것으로 부족할 수 있다. AI는 과거의 어떤 초기 신호가 실패로 이어졌는지, 특정 사용자가 어떤 결과를 선호했는지, 비슷해 보이는 두 상황이 실제로 왜 다른 결과를 만들었는지를 학습해야 한다.

가치함수의 정확도는 과거 경험과 현재 상태, 행동 이후의 장기 결과를 연결하는 능력에 의존할 가능성이 높다.

따라서 가치함수는 기억을 없애는 기술보다 기억을 관리하는 기술에 가까워질 수 있다. 어떤 경험을 저장하고, 어떤 기억을 다시 불러오며, 무엇을 잊을지를 결정하는 기준으로 작동하는 것이다.

Experience \rightarrow Value\ Evaluation \rightarrow Selective\ Memory \rightarrow Better\ Decision \rightarrow More\ Deployment \rightarrow More\ Experience

이 순환이 형성되면 Agent 보급과 메모리 수요는 서로를 강화한다.

더 많은 Agent가 실제 업무에 배치된다.
Agent가 더 많은 경험과 결과 데이터를 만든다.
가치함수가 중요한 경험을 선별해 기억한다.
축적된 경험이 이후 의사결정의 정확도를 높인다.
높아진 신뢰성이 다시 Agent의 보급과 작업시간을 늘린다.

장기 Agent는 모든 경험을 현재 Context에 담을 수 없다.

즉시 필요한 가중치와 KV Cache는 HBM에 둔다.
현재 업무 상태와 Cache Offload는 DRAM에 둔다.
장기 경험과 원본 기록은 NAND와 SSD에 보관한다.
필요한 순간에 관련 기억의 일부만 검색해 불러온다.

가치함수가 발전할수록 순간적인 무차별 탐색은 줄어들 수 있다. 동시에 더 긴 시간 동안 유지해야 할 경험과 상태가 늘어나면서 메모리의 역할은 단순한 추론 보조장치에서 Agent의 지속성과 정체성을 유지하는 인프라로 확장될 가능성이 높다.

V. 결론

Scaling law가 여전히 작동하는 이유는 현실 세계에 반복되는 구조와 끝없이 많은 예외가 함께 존재하기 때문이다.

모델과 데이터, 연산량을 늘리면 자주 등장하는 규칙을 넘어 희귀한 패턴과 복합적인 조건까지 더 많이 학습할 수 있다. 성능 개선 폭은 점차 줄어들어도 추가로 배울 대상은 계속 남는다.

이 과정에서 연산은 데이터 속 구조를 찾고, 메모리는 찾아낸 구조와 현재 상태, 과거 경험을 보존한다. AI가 다루는 세계와 업무의 범위가 넓어지고 작업시간이 길어질수록 모델 가중치와 KV Cache, Agent 상태, 외부 장기기억의 수요도 함께 증가한다.

알고리즘 혁신은 작업 하나에 필요한 연산과 메모리를 줄일 것이다.

MoE는 토큰당 활성 연산량을 낮춘다.
가치함수는 불필요한 탐색을 줄인다.
KV Cache 압축은 같은 용량에서 더 긴 Context를 처리하게 한다.
RAG와 계층형 기억은 필요한 정보만 선택적으로 불러오게 한다.

그러나 효율 개선은 AI의 비용을 낮추는 동시에 수행 가능한 업무의 경계를 넓힌다. 더 많은 사용자가 더 많은 Agent를 더 오랫동안 실행하고, 각 Agent가 더 많은 상태와 경험을 유지하게 된다면 사회 전체의 메모리 수요는 오히려 더 빠르게 증가할 수 있다.

핵심 관계는 다음과 같이 정리할 수 있다.

$Deployment\ Growth + Task\ Volume\ Growth + Task\ Horizon\ Growth + State\ Growth > Memory\ Efficiency\ Improvement$

특히 범용 가치함수가 발전할 경우 가장 큰 변화는 reasoning token의 절감보다 AI가 수행할 수 있는 작업의 시간적 범위가 길어지는 데서 나타날 가능성이 높다.

AI 한 개가 순간적으로 사용하는 자원은 줄어들 수 있지만, 사회 전체가 유지해야 하는 Agent의 수와 작업 상태, 사용자별 경험, 장기기억은 크게 늘어난다.

결국 Scaling law와 알고리즘 혁신, 메모리 수요는 하나의 순환구조로 연결된다.

더 많은 연산은 세계의 구조를 더 정교하게 찾아낸다. 알고리즘 혁신은 이를 더 적은 비용으로 저장하고 활용하게 한다. 낮아진 비용은 AI가 수행할 수 있는 업무와 시간의 범위를 넓히고, 그 결과 사회 전체가 유지해야 할 지식과 경험, 상태의 총량은 다시 증가한다.

AI가 발전할수록 필요한 것은 단순히 더 큰 저장공간만이 아니다. 무엇을 구조로 압축하고, 어떤 경험을 보존하며, 무엇을 잊을지를 판단하는 더 크고 정교한 동적 메모리 체계이다.

세상을 완벽하게 복제하려면 메모리는 계속 증가한다. 그러나 지능은 세상을 모두 저장하는 능력과 같지 않다. 완벽한 예측은 충분한 메모리만으로 달성하기 어렵고, 범용성이 높아질수록 필요한 기억의 범위는 더 넓어진다.

따라서 AI 메모리의 장기적인 핵심은 저장 용량의 확대와 함께 기억의 선택으로 수렴한다.

무엇을 기억하고,
언제 불러오며,
무엇을 잊을지를 결정하는 능력이
AI의 성능과 메모리 산업의 수요 구조를 함께 바꿔갈 가능성이 높다.

내용이 길고 복잡하더라고
정리두면 언젠간 쓸때가 꼭 찾아오긴 하더라.

=끝

나만의 투자이야기

2026년 7월 15일 수요일

생각정리 311 (* 메모리 망상 -2)