2026년 7월 19일 일요일

생각정리 313 (* 수급, 레버리지, 부동산 증세)

최근 여러 정책 변화가 있는듯 싶다.

이번 글의 결론은 "~~레(*개)버리지~~의 끝이 별로 밝아보이진 않는다."이다.

현금으로 매수한 투자자는 시간을 견딜 수 있지만,
신용과 레버리지 ETF를 이용한 투자자는 가격이 추가로 하락할 경우 기다릴 선택권을 잃는다.

이번 하락은 좋은 기업의 전망이 무너진 사건이라기보다,
좋은 전망을 담보로 지나치게 많은 빚이 쌓였고 그 빚이 한꺼번에 회수되는(*디레버리지) 과정에 대한 기록이다.

상반기 빚투, 하반기에는 누가 받아줄 것인가

대출 총량 소진에 주거비 트리플 강세와 보유세 강화 가능성까지 겹치고 있다

최근 증시 하락을 기업 실적과 투자심리만으로 설명하기에는 부족한 부분이 있다.

상반기에는 개인 신용대출과 증권사 신용융자가 빠르게 증가했다. 단일종목 레버리지 상품까지 출시되면서 가계의 레버리지 자금이 주식시장으로 집중됐다.

그러나 하반기 들어 흐름이 바뀌고 있다.

은행과 증권사의 대출 여력은 한계에 도달했고, 주가 하락으로 기존 레버리지 포지션의 청산 압력은 높아졌다. 여기에 주택 매매가격과 전세·월세가 동시에 오르는 주거비 트리플 강세가 나타나면서 가계의 가처분소득까지 줄어들고 있다.

향후 보유세 강화가 현실화하면 가계는 새로운 자산을 매입하기보다 기존 자산을 처분해 대출과 주거비, 세금을 감당하는 방향으로 이동할 가능성이 높다.

상반기에는 레버리지가 증시 상승을 가속했다면, 하반기에는 대출 제한과 주거비 상승이 그 레버리지의 상환을 강제하는 국면으로 전환되고 있을 수 있다.

1. 주택담보대출보다 빠르게 늘어난 개인 신용대출

2026년 6월 5대 은행의 개인 신용대출은 한 달 만에 2조1,550억원 증가했다. 같은 기간 주택담보대출 증가액은 1조7,576억원이었다.

전체 은행권에서도 6월 가계대출이 전월 대비 7조6,000억원 늘었다. 이 가운데 주택담보대출은 4조3,000억원, 신용대출을 포함한 기타대출은 3조3,000억원 증가했다.

한국은행은 기타대출 증가 배경으로 개인의 주식투자 확대를 지목했다. 신용대출 증가분 전체가 증시로 유입됐다고 단정할 수는 없지만, 같은 기간 신용융자와 미수거래가 함께 급증했다는 점에서 상반기 가계 신용 확대와 주식시장 사이의 연결고리는 분명해 보인다.

한국은행 2026년 6월 금융시장 동향 관련 보도

2. 은행의 가계대출 여력은 이미 소진됐다

5대 은행이 금융감독원에 제출한 2026년 연간 가계대출 증가 목표는 약 4조3,400억원이다.

정책성 대출을 제외한 가계대출은 6월 말까지 지난해 말보다 2조5,045억원 증가했다. 그러나 7월 들어 신용대출이 다시 급증하면서 7월 15일에는 증가액이 4조6,912억원에 도달했다.

상반기가 끝난 지 보름 만에 연간 목표의 108.1%를 사용한 것이다.

은행들은 신규 대출 한도를 줄이고 모집인 접수를 중단하는 등 강한 총량 관리에 나서고 있다. 7월 1일부터 15일까지 5대 은행의 주택구입 목적 신규 주담대 취급액은 하루 평균 1,857억원으로, 6월보다 약 25% 감소했다.

정부가 수도권·규제지역의 주택구입 목적 주담대 한도를 최대 6억원으로 제한한 가운데, KB국민은행은 자체적으로 이를 다시 3억원으로 낮췄다.

정확히 말하면 3억원 제한은 정부의 일률적인 규제가 아니라, 가계대출 목표를 맞추기 위해 국민은행이 시행한 총량 관리 조치이다. 다만 다른 은행들도 연간 목표에 근접하거나 이미 초과한 만큼 유사한 제한이 확산될 가능성은 남아 있다.

5대 은행 가계대출 세부 통계
KB국민은행 주택구입자금 대출 한도 축소

기존에 6억원의 주담대를 예상했던 가계가 3억원만 받을 수 있다면 부족한 3억원을 자기자금으로 마련해야 한다. 주택은 즉시 현금화하기 어렵기 때문에 예금 인출이나 주식·ETF 매도가 가장 빠른 자금 조달 수단이 된다.

집값을 억제하기 위한 대출 규제가 단기적으로는 주식시장의 매도 압력으로 전이될 수 있는 구조이다.

3. 증권사의 빚투 공급 능력도 한계에 도달했다

은행에서 돈을 빌려 투자하는 경로만 막힌 것이 아니다. 증권사의 신용융자와 예탁증권담보대출도 한도에 근접했다.

주요 10개 증권사의 일평균 신용융자 잔고는 2025년 평균 20조9,000억원에서 2026년 1월 28조8,000억원, 3월 32조9,000억원, 5월 36조3,000억원으로 증가했다.

전체 신용융자 잔고는 6월 24일 38조6,328억원까지 확대됐다.

증권사의 투자자 대상 신용공여는 신용융자와 증권담보대출 등을 합산해 원칙적으로 자기자본의 100% 이내에서 관리된다.

상반기 빚투 증가 속도가 증권사 자기자본 증가 속도를 앞지르면서 한국투자증권은 신규 신용약정과 예탁증권담보대출을 일시 중단했고, NH투자증권과 KB증권도 계좌별 신용융자 한도를 축소했다.

일부 제한은 시장 상황에 따라 완화됐지만, 증권업계 전체의 신용공여 능력이 상반기보다 제한된다는 흐름은 달라지지 않았다.

금융감독원 증권사 신용융자 통계
증권사별 신용공여 제한 현황

4. 레버리지 자금은 일부 대형주에 집중됐다

상반기에 증가한 신용자금은 시장 전체로 고르게 확산되지 않았다.

7월 7일 기준 삼성전자와 SK하이닉스의 신용잔고 합계는 10조5,982억원으로 코스피 전체 신용융자의 약 36%를 차지했다.

한 달 동안 삼성전자의 신용잔고는 1조1,700억원, SK하이닉스는 1조4,489억원 증가했다. 반면 두 종목을 제외한 나머지 코스피 종목의 신용잔고는 오히려 1조893억원 감소했다.

이는 신규 레버리지 자금이 시장 전체보다 삼성전자와 SK하이닉스에 집중됐다는 의미이다.

상승 국면에서는 이러한 집중이 지수 상승을 가속한다. 그러나 주가가 하락하면 동일한 종목에서 담보 부족과 손절매가 동시에 발생하면서 매도 압력이 빠르게 확대될 수 있다.

삼성전자·SK하이닉스 신용잔고 집중도

5. 단일종목 레버리지 상품이 집중도를 더욱 높였다

단일종목 레버리지 ETF·ETN의 시가총액은 5월 27일 4조4,000억원에서 7월 15일 11조9,000억원으로 증가했다.

약 7주 만에 2.7배로 확대된 것이다.

단일종목 레버리지 상품은 특정 종목의 일간 수익률을 두 배로 추종한다. 상승할 때는 수익률을 확대하지만, 하락할 때는 손실과 매도 압력도 함께 증폭된다.

특히 변동성이 확대되면 다음과 같은 문제가 발생한다.

기초종목보다 큰 손실 발생
환매에 따른 헤지 포지션 축소
일일 리밸런싱 과정에서 추가 매도 수요 발생
급등락 반복에 따른 음의 복리효과 확대

금융당국은 과열과 변동성 확대를 우려해 신규 상품 상장을 잠정 중단하고, 기본예탁금을 기존 1,000만원에서 현금 3,000만원으로 높이기로 했다.

이 조치는 투자자 보호와 시장 안정이라는 목적을 갖지만, 수급 측면에서는 하반기 신규 레버리지 자금의 유입을 제한하는 효과로 이어진다.

금융위원회 단일종목 레버리지 상품 보완방안

6. 신규 빚투는 막히고 기존 레버리지는 청산되고 있다

신용거래융자 잔고는 6월 24일 38조6,328억원에서 7월 15일 34조3,702억원으로 감소했다.

고점 대비 약 4조3,000억원, 비율로는 약 11% 줄어든 것이다.

주가가 하락한다고 신용대출 원금이 자동으로 줄어드는 것은 아니다. 신용융자 잔고 감소는 대출 상환과 손절매, 담보 부족에 따른 반대매매가 실제로 진행되고 있다는 의미가 크다.

7월 1일부터 13일까지 위탁매매 미수금 반대매매로 처분된 주식은 4,519억원에 달했다. 특히 7월 9일과 10일 이틀 동안에만 2,238억원이 강제로 매각됐다.

7월 반대매매 통계

상반기에는 신용대출과 신용융자가 새로운 매수자금으로 작용했다. 하반기에는 같은 레버리지가 상환과 청산을 요구하는 매도자금으로 바뀌고 있다.

7. 주거비 트리플 강세가 가처분소득을 압박한다

가계의 유동성을 압박하는 요인은 대출 제한에 그치지 않는다.

서울에서는 주택 매매가격과 전세·월세가 동시에 오르는 주거비 트리플 강세가 나타나고 있다.

한국부동산원의 2026년 6월 전국주택가격동향조사에 따르면 서울 주택 매매가격은 전월 대비 1.03%, 전세가격은 1.08%, 월세가격은 0.96% 상승했다.

아파트만 보면 매매가격은 1.21%, 전세가격은 1.37%, 월세가격은 1.15% 올랐다. 특히 월세 상승률은 관련 통계 작성 이후 가장 높은 수준을 기록했다.

서울 주택 매매·전세·월세 트리플 강세

이러한 주거비 상승은 무주택자와 유주택자 모두의 현금흐름을 압박한다.

주택 매수자

주택가격은 오르는데 대출 한도는 줄고 있다. 같은 집을 구입하기 위해 더 많은 자기자금을 투입해야 한다.

부족한 자금은 예금과 주식 등 기존 금융자산을 처분해 마련할 가능성이 높다.

전세 거주자

전세가격이 오르면 계약 갱신 과정에서 추가 보증금을 마련해야 한다. 그러나 은행의 대출 총량이 소진되면서 전세대출과 신용대출을 추가로 받기도 어려워지고 있다.

결국 저축을 인출하거나 보유 주식을 매도해 보증금을 충당해야 할 수 있다.

월세 거주자

월세 상승은 매달 반복되는 현금 유출을 직접 늘린다. 주택가격 상승과 달리 월세는 자산으로 남지 않는다.

월세 부담이 커지면 소비와 저축, 주식 투자에 사용할 수 있는 가처분소득이 즉시 줄어든다.

매매가격 상승은 주택 구입에 필요한 자기자금을 늘리고, 전세가격 상승은 보증금 부담을 높이며, 월세 상승은 매월 투자할 수 있는 현금을 줄인다.

청와대도 최근 주택 매매·전세·월세가 동시에 오르는 트리플 강세를 공식적으로 인정했다. 김용범 정책실장은 국민에게 사과하면서 부동산 수급 여건을 무겁게 보고 있다고 밝혔다. 한국일보 관련 기사

8. 집값 상승이 가계 유동성 증가로 이어지지 않는 이유

일반적으로 주택가격이 오르면 주택 보유자의 자산가치도 상승한다.

그러나 현재는 자산가치 상승이 소비와 투자 여력 확대로 이어지기 어려운 환경이다. 주택가격 상승분은 주택을 매각하거나 담보대출을 추가로 받아야 현금화할 수 있기 때문이다.

현재 가계가 직면한 상황은 다음과 같다.

주택 보유자의 자산가치는 올라도 실제 사용할 수 있는 현금은 줄어들 수 있다. 자산은 부유해 보이지만 현금흐름은 오히려 나빠지는 상황이다.

따라서 집값 상승을 단순한 가계 자산 증가로 해석하기 어렵다. 주택가격 상승이 전세·월세와 보유세를 함께 끌어올리면 경제 전체의 가처분소득은 오히려 위축될 수 있다.

9. 보유세 강화가 겹치면 현금흐름 압박은 더 커진다

오는 7월 23일에는 대통령이 주재하는 부동산 국민 대토론회가 열린다.

이날 세제개편안이 확정 발표되는 것은 아니다. 공급·금융·세제 전반을 논의한 뒤 7월 말에서 8월 초 사이 부동산 종합대책과 세법 개정안에 반영할 예정이다.

현재까지는 다음과 같은 방향이 논의되고 있다.

다주택자와 1주택자 차등 과세
실거주와 비거주 주택의 차등 적용
초고가 1주택에 대한 과세 강화
주택 수보다 전체 보유가액 중심으로 종부세 개편
장기보유특별공제를 보유 기간보다 실거주 기간 중심으로 조정

청와대는 초고가 주택과 비거주·다주택자를 중심으로 보유세를 강화하는 방향을 재확인했다.

다만 양도소득세까지 일률적으로 인상하는 방안이 확정된 것은 아니다. 정부는 보유세를 강화하더라도 일정 기간에는 매도할 수 있도록 양도세 부담을 낮추고, 이후 부담을 높이는 방안도 검토하고 있다.

따라서 현시점에서는 보유세 강화 가능성은 높지만, 양도세는 매물 유도를 위해 일부 완화될 가능성도 함께 열려 있다고 보는 편이 정확하다.

부동산 대토론회 및 세제개편 일정
보유세·양도세 개편 방향

그럼에도 보유세 인상은 가계에 반복적인 현금 유출을 만든다.

소득에 비해 부동산 보유 비중이 높은 가계는 세금을 마련하기 위해 소비와 신규 금융투자를 줄이거나, 주식과 펀드를 처분할 수 있다.

10. 부동산을 겨냥한 정책이 주식시장을 먼저 압박할 수 있다

현재 가계가 사용할 수 있는 자금 경로는 동시에 좁아지고 있다.

은행 신용대출은 연간 총량 소진으로 신규 취급이 제한되고 있음

주택담보대출은 최대한도가 축소되고 있음
증권사 신용융자와 담보대출도 한도에 근접함
단일종목 레버리지 상품의 투자요건은 강화됨
전세와 월세 상승으로 주거비 지출은 증가함
보유세 강화 가능성으로 미래 현금 유출도 확대될 수 있음

결국 가계는 신규 대출을 받아 자산을 추가 매입하기보다, 기존 자산을 처분해 주거비와 대출, 세금을 감당하는 방향으로 이동할 가능성이 높다.

이 과정에서 가장 먼저 매각되는 자산은 주택이 아닐 수 있다.

주택은 거래 비용이 크고 매각까지 시간이 오래 걸린다. 반면 주식과 ETF는 즉시 처분할 수 있다. 정부 정책의 목표가 가계대출과 집값 안정이더라도 단기적인 유동성 충격은 주식시장에서 먼저 나타날 수 있다.

결론: 하반기 증시의 핵심은 가계의 현금흐름이다

상반기에는 신용대출과 신용융자, 단일종목 레버리지 상품이 증시로 새로운 매수자금을 공급했다.

하반기에는 은행과 증권사의 대출 여력이 줄어든 가운데 매매가격과 전세·월세가 동시에 오르면서 가계의 현금흐름까지 약해지고 있다. 여기에 보유세 강화가 현실화하면 주택 보유 가계의 금융투자 여력도 추가로 줄어들 수 있다.

현재의 수급 구조는 다음과 같이 정리할 수 있다.

대출 규제가 자금의 입구를 막고

→ 주거비 상승과 보유세가 가계의 현금을 흡수하며

→ 주가 하락이 기존 레버리지의 청산을 강제하고

→ 반대매매가 다시 주가를 끌어내리는 구조이다.

금주 한국 내 전체 성인 인구의 3.4%(*120만명)가 마진콜

https://www.tokenpost.kr/news/insights/378748

>디레버리징은 끝났나? 한국 투자자 신용융자 잔액, 4월 하순 수준까지 감소
한국금융투자협회 데이터

기업의 장기적인 실적 전망이 유지되더라도 단기 주가는 수급에 의해 크게 흔들릴 수 있다. 현재 시장을 압박하는 핵심은 기업의 이익 감소보다 가계의 현금흐름 악화와 레버리지 축소일 가능성이 높다.

상반기에는 빚이 자산가격 상승을 가속했다. 하반기에는 대출 제한과 주거비 상승이 그 빚의 상환을 강제하면서, 매도가 다시 매도를 부르는 수급 악순환으로 전환되고 있을 수 있다.

#글을 마치며

손실의 원인을 외부에서만 찾고 싶은 유혹은 언제나 경계해야 한다.
투자 판단에 대한 책임은 결국 투자자 자신에게 있기 때문이다.

그럼에도 이번 상황만큼은 정책이 던진 메시지와 실제 결과 사이의 괴리가 지나치게 컸다는 생각을 지우기 어렵다.

정부는 부동산보다 주식시장으로 자금이 이동하도록 유도했고,
코스닥 활성화와 단일종목 레버리지 상품 도입에도 적극적인 태도를 보였다.

그러나 결과적으로 집권 1년 차에 주택가격은 유례없이 빠른 속도로 상승했다.

우스갯소리로 한국에서 부의 사다리는 문** 정권과 이** 정권을 언제 만났느냐에 따라 극명하게 갈린다는 이야기가 문득 떠오른다.

문** 정부 당시 자기자본 2~3억원에 주택담보대출 4~5억원을 더해 6~8억원대 도심 아파트를 매수했다면, 현재 시세는 대략 13~15억원 안팎까지 상승했을 가능성이 크다.

그동안의 대출 상환과 추가 저축까지 감안하면, 기존 주택을 처분한 뒤 20억원대 아파트로 갈아탈 수 있는 자산 기반을 마련했을 가능성도 높다.

https://www.reb.or.kr/r-one/portal/stat/easyStatPage.do
꾸준히 우상향중인 도심 집값..

정부의 메시지와 달리 주택을 계속 보유한 가계의 자산가치는 오히려 더 크게 늘어났다. 이러한 역설은 오랜 기간 반복되어온 대한민국 부동산 시장의 한 장면이기도 하다.

반면 정책을 믿고 코스닥과 레버리지 상품에 투자한 개인들은 상당한 손실을 입었다.

단일종목 ETF 레버리지

코스닥 지수

https://v.daum.net/v/20260720104125342

이런 상황에서 향후 예정된 ‘부동산 대국민담화’가 부동산 증세를 추진하는 데 집중하면서, 무주택자와 서울시장의 문제 제기를 충분히 담아내지 못한 일방적인 연출로 비친다면 국민이 느끼는 정책 불신은 더욱 커질 수밖에 없다.

지금 안 사면 지각비… 서울 밖 벼랑끝 매수

정책의 취지가 아무리 선하더라도,
그 결과와 과정에 대한 충분한 설명과 설득이 뒤따르지 않으면 시장은 더 이상 정부의 메시지를 신뢰하지 않는다.

이렇게 누적된 불신과 박탈감은 추가 규제나 담화만으로 되돌리기 어렵다.

이거 실화에요..?

개인적으로 이번 정권은 이미 정책 추진 동력을 상당 부분 잃었다고 본다.
(*지난 1년을 돌아보면 ALL TIME Legend이긴 했음..)

그동안 억눌려 있던 규제들이 다시 ‘정상화’되는 과정에서,
함께 눌려 있던 자산가격 역시 재평가되며 큰 폭으로 상승하는 국면이 찾아올 가능성이 있다.

공부하고 기록할수록 이번 하락에 지나치게 매몰되기보다,
그 이후 펼쳐질 다음 국면을 어떻게 맞이할 것인지에 더 집중해야 한다는 생각이 든다.

지금 필요한 것은 단기적인 시장 변동에 대한 걱정보다,
다가올 변화에 대비하기 위한 전략적 고민이지 않나 싶다

=끝

생각정리 312 (* Kimi 3.0, Computing Infra)

주말 동안 나온 메모리 관련 기사들을 정리해본다.

특히 Kimi K3의 등장이 왜 컴퓨팅 자원의 희소성을 높이고, AI 인프라 투자를 다시 가속하는지를 개인적인 관점에서 살펴보고자 한다.

참고자료 : 생각정리 151 (* Sparse MoE)

모델은 공개되고, 컴퓨팅은 희소해진다

Kimi K3가 보여준 중국 오픈웨이트 LLM과 AI 인프라 투자의 재가속

최근 Kimi K3를 둘러싼 시장의 해석은 크게 두 방향으로 나뉜다.

한쪽에서는 Kimi Delta Attention, 즉 KDA와 희소(*Sparse) MoE 구조가 KV 캐시와 연산 부담을 낮춘다는 점에 주목한다. 모델의 효율성이 높아질수록 필요한 GPU와 메모리도 줄어들 수 있다는 해석이다.

다만, 이러한 주장은 과거 DeepSeek 모멘트 당시 MoE 구조가 실제로 어떤 방식으로 컴퓨팅 수요를 변화시켰는지 충분히 이해하지 못한 해석에 가깝다.

반면 다른 한쪽에서는 Kimi K3가 총 2.8조 파라미터에 달하는 초대형 모델이라는 점과 출시 직후 나타난 강한 사용자 수요에 주목한다. 효율 개선이 컴퓨팅 소비를 줄이는 데 사용된 것이 아니라, 과거에는 운영하기 어려웠던 초대형 모델을 실제 서비스 영역으로 끌어들이는 데 사용됐다는 해석이다.

내 생각은 후자에 가깝다.

Kimi K3와 같은 중국 오픈웨이트 LLM의 발전은 컴퓨팅 수요를 줄이는 사건이 아니다. 프런티어급 모델을 개발하고 운영하려는 참여자를 늘리면서 GPU, HBM, 서버 DRAM, 네트워크, 스토리지와 전력을 더욱 희소한 자원으로 만들고 있다.

Moonshot은 컴퓨팅 용량 부족으로 Kimi K3 모델의 원활한 서비스에 어려움을 겪고 있다고 함.

그리고 얼마지나지 않아 나온 KIMI 사용자 제한 공문

컴퓨팅 자원 부족 및 멤버십 신규 가입 일시 중단에 관한 안내

* Kimi 신규구독 중단 후 나온 용량 증설

이를 이해하려면 먼저 LLM에서 왜 파라미터 수가 반복적으로 강조되는지부터 살펴볼 필요가 있다.

LLM에서 파라미터가 중요한 이유

LLM의 파라미터는 학습 과정에서 조정되는 수많은 숫자 값이다.

모델 내부에서는 입력된 정보를 여러 단계에 걸쳐 변환한다. 단어의 의미를 표현하고, 문맥 속 관계를 찾고, 어떤 정보를 중요하게 볼지 결정한 뒤 다음에 올 토큰의 확률을 계산한다.

이 과정에 사용되는 임베딩, 어텐션 가중치, Feed Forward Network의 가중치와 정규화 계수 등이 모두 파라미터에 포함된다.

신경망의 연산을 단순화하면 다음과 같이 표현할 수 있다.

$y = W x + b$

여기서 $W$ 와 $b$ 가 학습을 통해 결정되는 파라미터다.

따라서 파라미터는 GPU가 처리한 학습 데이터의 연결 횟수를 의미하지 않는다. 학습 데이터를 반복해서 읽는 과정에서 모델 내부에 형성된 수많은 변환 규칙과 관계의 강도에 가깝다.

특정 파라미터 하나가 특정 지식 하나를 저장하는 구조도 아니다. 하나의 지식과 개념은 여러 파라미터에 걸쳐 분산돼 표현되고, 하나의 파라미터 역시 다양한 개념의 처리에 동시에 관여한다.

결국 파라미터 수는 모델이 얼마나 많은 패턴과 관계를 표현할 수 있는지를 보여주는 일종의 표현 용량이다.

하나의 단어가 여러 의미를 가질 수 있는 이유

파라미터를 조금 더 직관적으로 이해하기 위해 하나의 단어를 생각해볼 수 있다.

예를 들어 ‘배’라는 단어는 그 자체만으로 완성된 의미를 갖지 않는다.

배를 먹었다.
배가 아프다.
배를 타고 바다를 건넜다.
가격이 두 배로 올랐다.

같은 단어가 사용됐지만 문장마다 의미는 전혀 다르다. 사람은 앞뒤 문장과 상황을 함께 보고 현재 문맥에 맞는 뜻을 자연스럽게 선택한다.

LLM도 비슷한 방식으로 단어를 처리한다.

모델은 ‘배’라는 단어에 하나의 고정된 뜻을 붙여두지 않는다. 대신 학습 과정에서 다음과 같은 관계를 반복해서 관찰한다.

어떤 단어들과 함께 등장했는지
문장 안에서 어떤 역할을 했는지
앞뒤 문맥에 따라 의미가 어떻게 달라졌는지
비슷한 상황에서 어떤 표현이 사용됐는지

이렇게 학습된 수많은 관계와 차이를 담는 공간이 모델의 파라미터다.

다만 특정 파라미터 하나가 ‘배는 과일이다’라는 의미를 따로 저장하는 것은 아니다. 하나의 단어가 가진 여러 의미는 수많은 파라미터에 분산돼 표현된다. 문장이 입력될 때마다 모델은 이 파라미터들을 함께 사용해 현재 문맥에 가장 적절한 의미를 구성한다.

파라미터는 단어의 뜻을 고정적으로 저장하는 사전이라기보다, 문맥에 따라 달라지는 의미와 단어 사이의 관계를 표현하기 위한 수많은 조정값이다.

따라서 파라미터가 많아진다는 것은 단순히 더 많은 단어와 지식을 외운다는 의미가 아니다.

같은 단어가 서로 다른 상황에서 어떻게 다르게 쓰이는지, 여러 개념이 어떤 조건에서 연결되거나 분리되는지를 더 세밀하게 표현할 수 있는 공간이 넓어진다는 뜻이다.

파라미터와 학습 데이터는 어떻게 연결되는가

LLM의 성능은 파라미터만으로 결정되지 않는다.

파라미터와 학습 데이터, 컴퓨팅은 서로 다른 역할을 한다.

학습 데이터는 모델이 관찰하는 언어, 코드, 이미지, 문제와 해답이다.
파라미터는 데이터에서 발견한 패턴과 관계를 담는 공간이다.
컴퓨팅은 데이터를 읽고 파라미터를 반복적으로 수정하는 데 사용된다.
알고리즘과 모델 구조는 같은 자원을 얼마나 효율적으로 활용할지를 결정한다.

파라미터가 너무 작으면 방대한 학습 데이터가 가진 복잡한 관계를 충분히 표현하기 어렵다. 많은 내용을 지나치게 작은 공간에 압축하면서 중요한 패턴과 예외가 손실된다.

반대로 파라미터만 크게 만들고 데이터와 학습량을 충분히 늘리지 않으면 커진 모델의 용량을 제대로 활용하지 못한다. 모델의 그릇은 커졌지만 그 안을 채우는 학습이 부족한 상태가 된다.

이 관계를 단순화하면 다음과 같다.

$Model Capability = f (Parameters, Data, Compute, Architecture, Post-training)$

파라미터는 그릇의 크기이고, 학습 데이터는 그 안에 담기는 재료다. 컴퓨팅은 이 재료를 실제 모델 능력으로 전환하는 공정이다.

따라서 “파라미터가 클수록 성능이 좋아진다”는 설명도 파라미터만 독립적으로 늘리면 된다는 뜻으로 이해해서는 안 된다.

파라미터, 학습 데이터와 컴퓨팅이 함께 확대될 때 모델이 더 복잡한 구조와 더 많은 지식을 학습할 수 있다는 의미에 가깝다.

왜 큰 모델이 대체로 더 좋은 성능을 보이는가

현실 세계의 지식은 단순하지 않다.

언어에는 단어의 뜻과 문법뿐 아니라 수많은 예외, 은유, 전문지식과 문화적 맥락이 포함돼 있다. 코드 역시 언어별 문법만 이해해서는 충분하지 않다. 라이브러리, 시스템 구조, 오류 처리, 보안과 성능 최적화를 함께 이해해야 한다.

모델이 처리해야 하는 작업의 범위도 계속 넓어지고 있다.

긴 문서와 대규모 코드베이스 이해
여러 단계의 논리적 추론
이미지·음성·영상의 통합 처리
검색과 코드 실행을 포함한 도구 사용
장시간 이어지는 에이전트 작업
학습 과정에서 보지 못한 새로운 문제에 대한 일반화

작은 모델은 자주 등장하는 패턴과 일반적인 관계를 우선적으로 학습한다. 반면 희귀한 개념, 복잡한 예외와 긴 인과관계까지 동시에 표현하려면 더 많은 용량이 필요하다.

파라미터가 늘어나면 모델은 서로 다른 개념을 더 세밀하게 구분하고, 여러 지식과 문맥을 동시에 처리할 수 있는 공간을 확보한다. 작은 모델에서 하나의 표현 공간에 여러 개념이 겹치면서 발생하는 간섭도 줄어들 수 있다.

이러한 관계가 일정한 규모 이상에서도 반복적으로 관찰된 것이 Scaling Law다.

Scaling Law는 왜 계속 작동하는가

초기 Scaling Law 연구에서는 모델 크기와 학습 데이터, 학습 컴퓨팅을 늘릴수록 언어모델의 예측 오차가 비교적 일정한 멱법칙 형태로 감소하는 현상이 확인됐다. (Kaplan et al., 2020)

다만 이는 파라미터만 무작정 늘리면 된다는 뜻은 아니다.

이후 Chinchilla 연구는 주어진 컴퓨팅 예산 안에서 모델 크기와 학습 토큰을 균형 있게 확대해야 한다는 점을 보여줬다. 동일한 연산량을 사용하더라도 지나치게 큰 모델을 적은 데이터로 학습하는 것보다, 적절한 규모의 모델을 충분한 데이터로 학습하는 편이 더 높은 성능을 낼 수 있다는 결과였다. (Hoffmann et al., 2022)

결국 Scaling Law의 핵심은 다음과 같다.

파라미터, 데이터와 컴퓨팅을 적절한 비율로 확대하면 모델 성능은 여전히 비교적 예측 가능한 방향으로 개선된다.

이 관계가 계속 작동하는 이유는 학습해야 할 세계의 구조가 아직 포화되지 않았기 때문이다.

하나의 공개 벤치마크가 포화되더라도 더 긴 문맥, 더 어려운 추론, 멀티모달 이해, 장기 에이전트, 로보틱스와 실제 환경 조작이라는 새로운 과제가 계속 등장한다.

알고리즘 개선 역시 Scaling을 멈추게 하지 않는다.

MoE, 선형 어텐션, 저정밀 연산과 새로운 옵티마이저는 같은 컴퓨팅으로 더 높은 성능을 낼 수 있게 만든다. 그러나 프런티어 연구소는 이렇게 절약된 컴퓨팅을 반환하지 않는다.

그 자원을 다시 다음 영역에 사용한다.

더 큰 모델
더 많은 학습 데이터
더 긴 컨텍스트
더 복잡한 강화학습
더 많은 추론 토큰
더 긴 에이전트 실행

효율 개선은 Scaling의 종료보다 Scaling이 가능한 모델의 상한을 높이는 방향으로 작동해 왔다.

Kimi K3는 효율화 이후 모델이 어디까지 커질 수 있는지를 보여준다

Kimi K3는 총 2.8조 파라미터를 가진 희소 MoE 모델이다.

KDA 기반의 하이브리드 선형 어텐션과 Attention Residuals를 적용했고, 896개 전문가 가운데 토큰당 16개를 활성화한다. 최대 100만 토큰의 문맥과 멀티모달 입력을 지원하며, Moonshot AI는 Kimi K2 대비 컴퓨팅을 모델 능력으로 전환하는 효율이 약 2.5배 높아졌다고 설명한다. (Kimi K3)

여기서 중요한 것은 효율 개선의 사용처다.

Moonshot은 KDA와 희소 MoE를 이용해 작은 모델을 만드는 데 머물지 않았다. 동일한 컴퓨팅으로 더 큰 모델을 만들고, 더 긴 문맥과 더 복잡한 에이전트 작업을 처리하는 데 효율 개선분을 사용했다.

전개 과정은 다음에 가깝다.

$Efficiency Improvement \to Larger Model \to Lower Usage Cost \to More AI Workloads$

Kimi K3의 등장은 모델 효율이 높아지면 모델이 작아진다는 가정보다, 효율이 높아질수록 경제적으로 운영할 수 있는 모델의 규모가 더 커진다는 사실을 보여준다.

2.8조 파라미터가 의미하는 메모리 부담

파라미터는 실제 메모리 어딘가에 저장돼야 한다.

2.8조 파라미터 모델의 가중치 저장량을 단순 계산하면 다음과 같다.

$\text{BF16} : 2.8조 \times 2Bytes = 5.6TB$ $\text{INT8} : 2.8조 \times 1Byte = 2.8TB$ $\text{4-bit} : 2.8조 \times 0.5Byte = 1.4TB$

실제 시스템에서는 가중치만 저장하면 끝나지 않는다.

양자화 스케일, 활성값, 통신 버퍼, 라우팅 정보, KV 캐시와 시스템 여유 공간이 추가로 필요하다.

MoE 구조는 토큰당 일부 전문가만 활성화하기 때문에 연산량을 줄일 수 있다. 그러나 비활성 전문가의 가중치까지 사라지는 것은 아니다. 전체 전문가 가중치는 여러 GPU와 메모리 계층에 분산된 상태로 유지돼야 한다.

따라서 MoE 모델에서는 두 가지 숫자를 구분해야 한다.

총 파라미터 수: 모델 전체의 표현 용량과 저장해야 할 가중치 규모
활성 파라미터 수: 한 토큰을 처리할 때 실제 연산에 사용되는 규모

Kimi K3는 모든 토큰마다 2.8조 파라미터를 전부 계산하지 않는다. 그럼에도 거대한 전체 가중치를 저장하고, 선택된 전문가에게 토큰을 전달하기 위해 대규모 HBM과 고속 네트워크가 필요하다.

좀 쉬는듯 싶다가 재차 상승하는 디램 현물가격

KDA가 KV 캐시를 줄여도 시스템 전체의 수요는 줄지 않는다

Kimi K3에 대한 부정적인 해석은 KDA가 KV 캐시 부담을 낮춘다는 점에서 출발한다.

KV 캐시가 줄어들면 동일한 GPU에서 더 긴 문맥을 처리하거나 더 많은 사용자를 동시에 받을 수 있다. 단위 요청당 필요한 메모리도 낮아질 수 있다.

하지만 절감된 자원이 그대로 남는 경우는 많지 않다.

서비스 사업자는 이를 다음 용도로 다시 사용한다.

컨텍스트 길이 확대
동시 접속자 증가
배치 크기 확대
추론 시간 연장
복수 에이전트 병렬 실행
검색·코딩·검증 횟수 증가

동시에 MoE 모델은 전문가가 여러 GPU에 분산돼 있기 때문에 토큰을 GPU 사이에서 지속적으로 이동시켜야 한다. 모델 규모가 커지고 전문가 병렬화가 확대될수록 GPU의 계산 성능과 함께 Scale-up 네트워크 대역폭이 중요해진다.

NVIDIA GB200 NVL72는 72개의 Blackwell GPU를 하나의 NVLink 도메인으로 연결하며, 랙 내부에서 초당 130TB의 GPU 통신 대역폭을 제공한다. 이러한 랙 스케일 구조는 수조 파라미터 모델의 학습과 추론에서 발생하는 대규모 GPU 간 통신을 겨냥한 시스템이다. (NVIDIA GB200 NVL72)

결국 KDA가 줄이는 것은 시스템 병목 가운데 한 부분이다.

모델 규모와 사용량이 늘어나면 병목은 다시 다른 영역으로 이동한다.

가중치를 저장하는 HBM
CPU 서버의 DDR5
KV 캐시와 체크포인트를 저장하는 NVMe SSD
GPU 간 통신을 담당하는 NVLink와 네트워크
데이터센터 전력과 냉각

AI 인프라에서 효율화는 병목을 완전히 제거하기보다, 병목의 위치를 이동시키면서 전체 시스템의 처리 가능 규모를 확대한다.

오픈웨이트는 모델 경쟁의 참여자를 늘린다

Kimi K3가 갖는 더 큰 의미는 2.8조 파라미터라는 숫자에만 있지 않다.

Kimi K3는 오픈웨이트 모델로 공개됐다. 누구나 가중치를 내려받아 직접 호스팅하고, 특정 산업과 언어에 맞게 추가 학습하며, 자체 클라우드와 데이터센터에 배치할 수 있다.

폐쇄형 API 모델에서는 소수 프런티어 기업이 중앙에서 컴퓨팅을 운영하고 전 세계 사용자가 이를 호출한다.

오픈웨이트 모델에서는 구조가 달라진다.

중국 클라우드 기업이 자체 서비스를 운영
각국 CSP가 지역별로 모델을 호스팅
기업이 내부 데이터센터에 모델을 배치
정부기관이 소버린 AI 클러스터에 모델을 탑재
다른 AI 기업이 추가 미세조정과 강화학습을 수행
중국산 AI 가속기에 맞춘 별도 최적화가 진행

동일한 모델 가중치가 공개되더라도 이를 실행하는 인프라는 공유되지 않는다.

오픈웨이트는 모델을 한곳에 집중시키기보다, 여러 국가와 기업이 같은 모델을 중복해서 학습하고 호스팅하도록 만든다.

모델의 접근성은 높아지지만 컴퓨팅 인프라 수요는 더 넓은 지역과 더 많은 사업자로 분산된다.

핵심은 오픈소스 모델 확산이 GPU 수요를 줄이는 것이 아니라,
오히려 데이터브릭스 같은 호스팅·게이트웨이 사업자의 GPU 수요를 폭발시키고 있다는 점.

모든 곳에서 GPU가 고갈되고 있고 모든 국가가 GPU를 원하고 있다.

Databricks CEO: We're hosting open source models like Kimi and running out of GPUs
https://t.me/bornlupin

Databrick

증류는 성능 격차를 줄이지만 컴퓨팅 비용을 없애지 않는다

중국 LLM의 발전 속도에는 오픈웨이트뿐 아니라 프런티어 모델의 증류도 영향을 미친다.

Anthropic은 DeepSeek, Moonshot, MiniMax가 다수의 부정 계정을 이용해 대규모 Claude 대화를 생성하고, 이를 자체 모델의 에이전트 추론과 코딩, 도구 사용 능력 향상에 활용하려 했다고 주장했다. 이는 Anthropic의 조사 결과이며, 개별 중국 모델 전체가 Claude를 단순 복제해 만들어졌다는 사실을 직접 입증하는 것은 아니다. (Anthropic)

증류는 원본 모델의 파라미터를 그대로 복사하는 방식이 아니다.

강한 교사 모델에 수많은 질문을 입력하고, 얻어진 답변을 자체 모델의 학습 데이터로 활용한다. 교사 모델이 만든 코드와 추론 결과, 도구 사용 방식과 평가 점수를 학생 모델이 반복적으로 학습한다.

이 과정이 확산되면 공개적으로 관찰할 수 있는 LLM 성능은 일정한 시차를 두고 수렴할 가능성이 높다.

한 기업이 새로운 능력을 공개하면 다른 기업이 이를 증류하고, 오픈모델로 다시 확산시킨다. 후발 모델이 선두 모델의 과거 능력을 따라잡는 동안 선두는 다시 다음 프런티어로 이동하는 반복게임이다.

그러나 증류는 컴퓨팅을 대체하지 않는다.

수집된 답변을 실제 모델 능력으로 전환하려면 별도의 사전학습과 미세조정, 강화학습, 평가와 추론 서비스가 필요하다. 학생 모델의 수조 개 파라미터 역시 다시 GPU에서 계산해 만들어야 한다.

기술과 모범답안은 복제할 수 있지만, 학습과 추론에 필요한 계산은 각 기업이 직접 수행해야 한다.

따라서 모델 성능의 확산 속도가 빨라질수록 프런티어 모델을 만들 수 있다고 판단하는 기업과 국가는 늘어난다. 이는 AI 인프라 경쟁에서 수요 참여자의 증가로 이어진다.

중국의 모델 평준화는 중복 컴퓨팅 투자를 확대한다

중국의 AI 생태계에서는 새로운 모델 구조와 학습 방식이 빠르게 확산될 가능성이 높다.

Kimi, DeepSeek, Alibaba, Tencent, Zhipu 등 여러 기업이 서로의 모델 구조와 오픈소스 생태계를 활용하면서도 각각 별도의 프런티어 모델을 개발한다.

Qwen 3.8이 곧 출시되어 오픈 웨이트로 전환됩니다!

하나의 국가 대표 모델에 컴퓨팅을 집중하기보다 여러 기업이 동시에 다음 세대 모델을 만드는 구조다.

각 기업은 반복적으로 다음 과정을 수행해야 한다.

대규모 기반 모델 학습
합성 데이터와 증류 데이터 생성
미세조정과 강화학습
벤치마크와 실제 에이전트 평가
공개 이후 대규모 추론 서비스 운영
다음 세대 모델을 위한 재학습

모델의 구조와 학습 방법은 빠르게 공유될 수 있다. 그러나 각각의 모델을 만드는 학습 클러스터와 추론 클러스터는 별도로 필요하다.

그 결과는 다음과 같은 흐름으로 이어진다.

$\text{Faster Model Diffusion} \rightarrow \text{More Frontier Participants} \rightarrow \text{Duplicated Training and Serving} \rightarrow \text{Higher Compute Demand}$

중국 LLM의 평준화는 컴퓨팅 수요를 통합하기보다, 더 많은 기업이 중복 인프라를 구축하도록 만드는 방향으로 작동할 가능성이 높다.

"메모리 수요 아비규환, 증설이 생명줄"

저렴한 오픈모델은 기존 수요를 대체하면서 새로운 수요를 만든다

기업 입장에서 모든 업무에 가장 비싼 프런티어 모델을 사용할 필요는 없다.

고난도 연구, 복잡한 코딩과 중요한 의사결정에는 Claude나 ChatGPT와 같은 프런티어 모델을 사용하더라도, 반복적인 일상 업무에는 저렴한 오픈모델을 사용할 수 있다.

예를 들면 다음과 같다.

내부 문서 요약
CRM 데이터 정리
보고서 초안 작성
데이터베이스 입력
고객 문의 분류
코드 테스트와 단순 오류 수정

업무 하나에 필요한 컴퓨팅 비용이 낮아지면 과거에는 경제성이 나오지 않았던 수많은 작업이 AI로 전환된다.

전체 컴퓨팅 수요는 다음과 같이 생각할 수 있다.

$\text{Total Compute Demand} = \text{Compute per Task} \times \text{Number of Tasks} \times \text{Agent Steps} \times \text{Concurrency}$

KDA와 MoE는 업무당 컴퓨팅을 낮춘다.

그러나 가격 하락으로 처리 업무 수가 크게 늘어나고, 에이전트가 검색·코딩·검증·재시도를 반복하며, 동시 사용자가 증가하면 전체 컴퓨팅 수요는 오히려 커질 수 있다.

사용자당 AI 토큰 사용량이 지출 증가보다 더 빠르게 확대.
토큰 사용량 +225.3%, 사용자당 지출 +174.4%

AI 모델 가격은 PC 가격 보다 더 빠르게 붕괴중

CODEX 유저 증가속도
GPT 5.6 발표 이후 하루에 +100만으로

프런티어 모델과 오픈모델 역시 완전한 대체 관계로만 움직이지 않는다.

어려운 문제는 프런티어 모델이 처리하고, 빈도가 높은 일상 업무는 오픈모델이 담당한다. AI가 적용되는 전체 업무 범위가 넓어지면서 모델별 수요가 서로 다른 가격대에서 동시에 증가하는 구조가 만들어진다.

소버린 AI는 국가 단위의 신규 구매자를 추가한다

오픈웨이트 모델은 소버린 AI와 결합하기 쉽다.

정부와 기업은 폐쇄형 해외 API를 호출하는 대신, 공개된 가중치를 자국 데이터센터에 배치하고 자체 데이터로 추가 학습할 수 있다.

소버린 AI의 목적은 단순한 비용 절감에 한정되지 않는다.

데이터 주권
정부·금융·국방 데이터 보호
자국어와 문화에 특화된 모델 구축
해외 플랫폼 의존도 축소
국내 AI 산업과 클라우드 생태계 육성
국가안보와 핵심 기술 확보

경제적 효율만 고려하면 여러 국가가 하나의 글로벌 클라우드를 함께 사용하는 편이 유리하다.

그러나 안보와 데이터 주권을 고려하면 각 국가는 일정 수준의 독립적인 인프라를 구축하려 한다. 동일한 Kimi 계열 모델을 사용하더라도 중국, 중동, 아시아와 유럽의 사업자는 별도의 클러스터를 보유하게 된다.

이에 따라 AI 인프라의 구매자는 미국 하이퍼스케일러와 프런티어 연구소에서 다음 영역으로 확대된다.

중국 플랫폼 기업과 AI 연구소
지역별 클라우드 사업자
오픈모델 호스팅 기업
대기업의 사설 AI 클러스터
정부와 국부펀드가 주도하는 소버린 AI

오픈웨이트 모델의 확산은 AI 인프라 수요를 소수 빅테크에서 전 세계 국가와 기업으로 분산시키는 역할을 한다.

https://gccbusinesswatch.com/news/saudi-arabias-sovereign-ai-strategy-earns-global-recognition-as-kingdom-accelerates-leadership-in-artificial-intelligence/

컴퓨팅 병목은 GPU와 HBM을 넘어 시스템 전체로 확산된다

프런티어 모델 경쟁이 확대될수록 병목은 GPU 한 종류에 머물지 않는다.

대규모 모델을 실제로 운영하려면 다음 인프라가 함께 필요하다.

연산을 수행하는 GPU와 AI ASIC
가중치와 활성값을 저장하는 HBM
CPU 서버와 오프로드를 위한 DDR5 RDIMM
모델·데이터셋·체크포인트용 NVMe SSD
GPU 간 연결을 위한 Scale-up 네트워크
데이터센터와 랙을 연결하는 Scale-out 네트워크
전력·변전·냉각 설비

TrendForce는 AI 서버 수요가 이어지면서 서버 DRAM 시장의 공급이 타이트하게 유지되고 있으며, CSP들이 향후 부족 가능성에 대비해 조달을 확대하고 있다고 분석하고 있다. (TrendForce)

기업용 SSD 역시 생성형 AI의 대규모 확산과 함께 수요가 증가하고 있으며, 의미 있는 생산능력 확대에는 시간이 필요하다. (TrendForce)

이는 AI 인프라 사이클이 HBM만의 사이클에서 시스템 전체의 사이클로 확장되고 있음을 보여준다.

모델 가중치가 커질수록 HBM이 필요하고, 사용자가 늘수록 서버 DRAM과 SSD가 필요하다. 전문가 수가 증가할수록 네트워크가 중요해지며, 클러스터 규모가 커질수록 전력과 냉각이 새로운 제약조건으로 부상한다.

TrendForce

두 번째 AI 컴퓨팅 인프라 사이클

초기 AI 인프라 사이클은 미국 하이퍼스케일러와 소수 프런티어 연구소의 대규모 학습 클러스터 구축이 중심이었다.

현재 나타나는 흐름은 성격이 다르다.

프런티어 기업의 차세대 학습은 계속되고 있다. 여기에 중국 오픈웨이트 모델, 기업용 AI, 에이전트 추론과 소버린 AI가 새로운 수요층으로 합류하고 있다.

첫 번째 사이클이 소수 기업의 학습 CAPEX에 가까웠다면, 두 번째 사이클은 다음 요소가 동시에 결합된다.

프런티어 모델의 학습 경쟁
중국 AI 기업의 추격과 중복 투자
오픈웨이트 모델의 분산 호스팅
기업 업무의 대규모 AI 전환
장기 에이전트의 반복 추론
국가 단위 소버린 AI 구축

이에 따라 학습을 위한 CAPEX와 추론을 위한 반복적인 OPEX가 함께 증가한다.

이 국면에서 컴퓨팅 인프라는 GPU 보유량만으로 설명하기 어렵다.

$Effective Compute = Accelerator \times Memory \times Network \times Power \times Cooling \times Software \times Utilization$

컴퓨팅 인프라는 하나의 반도체가 아니라, 지능을 생산하고 전달하는 전체 시스템이다.

- "AI is becoming a widely available commodity."

결론: 오픈웨이트 모델의 확산이 컴퓨팅 투자를 다시 가속한다

Kimi K3는 효율적인 모델이다.

KDA는 KV 캐시 부담을 낮추고, 희소 MoE는 토큰당 연산량을 줄인다. 증류는 미국 프런티어 모델과의 성능 격차를 빠르게 좁힐 수 있으며, 오픈웨이트는 누구나 모델을 직접 배치하고 추가 학습할 수 있게 한다.

표면적으로 보면 이 모든 변화는 컴퓨팅 절감으로 이어질 것처럼 보인다.

그러나 실제로는 반대 방향의 변화가 나타난다.

효율 개선은 더 작은 모델보다 2.8조 파라미터의 더 큰 모델을 가능하게 했다. 오픈웨이트는 하나의 중앙 모델을 공유하기보다 여러 클라우드와 국가, 기업이 같은 모델을 중복해서 운영하게 만든다.

증류는 프런티어 모델을 만들 수 있는 참여자의 문턱을 낮추지만, 각 참여자가 학습과 추론에 사용할 컴퓨팅까지 제공하지는 않는다. 저렴한 모델은 기존의 고가 모델을 일부 대체하면서도, 과거에는 AI를 사용하지 않았던 수많은 일상 업무를 새로운 추론 수요로 전환한다.

결국 중국 오픈웨이트 LLM의 발전은 다음 흐름으로 이어질 가능성이 높다.

$Open-weight Model Progress \to More Model Developers and Hosts \to$

$More Training and Inference \to Compute Scarcity \to Infrastructure Reinvestment$

모델 기술은 빠르게 확산되고 성능은 점차 수렴할 수 있다. 그러나 이를 학습하고 운영하는 GPU, HBM, 서버 DRAM, 네트워크, 스토리지와 전력은 같은 속도로 늘어나지 않는다.

모델이 공개될수록 모델 자체의 희소성은 낮아진다. 반대로 그 모델을 가장 먼저 학습하고, 가장 저렴하게 운영하며, 가장 많은 사용자에게 공급할 수 있는 컴퓨팅 인프라의 희소성은 높아진다.

Kimi K3도 그렇게 가성비 있는 모델은 아니라고 함.
GPT 5.6과 비슷하게 돈이 들어간다고 함.
https://t.me/aetherjapanresearch

따라서 Kimi K3와 같은 중국 오픈웨이트 LLM은 NVIDIA와 메모리 수요를 위협하는 모델로 보기 어렵다.

오히려 미국의 소수 프런티어 기업에 집중돼 있던 컴퓨팅 소비를 중국 AI 기업, 글로벌 클라우드, 일반 기업과 소버린 AI로 확산시키면서 AI 컴퓨팅 인프라 투자의 재점화와 재가속을 촉진하는 사건에 가깝다.

모델이 평준화될수록 경쟁의 중심은 모델을 소유하는 능력에서, 지능을 대량 생산할 수 있는 컴퓨팅 인프라를 확보하는 능력으로 이동한다.

오픈웨이트 모델이 많아질수록 지능은 더 널리 소비되고, 그 지능을 생산하는 AI 공장은 더 많이 필요해진다.

다시 정리하면,

모델 구조와 학습 방법은 빠르게 복제됨
모델 성능 격차는 일정한 시차를 두고 축소됨
컴퓨팅 인프라는 물리적으로 건설해야 함
HBM·DRAM·전력·송전망은 단기간에 복제하기 어려움
결국 모델의 초과이익은 압축되고 인프라의 희소가치는 상승함

즉 지능의 가격은 내려가지만, 지능을 대량 생산할 수 있는 물리적 생산수단의 전략적 가치는 올라가는 구조가 한동안 지속되지않을까 한다.

#글을 마치며

경제적 수급 논리를 넘어, 메모리는 점차 AI 패권과 국가 안보를 좌우하는 전략자산으로 부상하고 있는듯 싶다.

그런 점에서 미국이 중국 메모리 기업인 CXMT와 YMTC에 대한 제재를 보다 직접적이고 강도 높게 확대하지 않는 이유에 대해서는 여전히 의문이 남는다.

https://www.tomshardware.com/pc-components/dram/lawmakers-want-us-government-to-ban-memory-chips-from-china-even-in-allied-supply-chains-citing-unacceptable-risk-to-national-economic-and-supply-chain-security

이렇게 대놓고 중국 LLM들이 불법 증류 및 추출로 따라오는데,
추가 제재를 안하고 아무 조취도 안한다고..?
~~추가 반도체 chip & equipment 수출규제나 때려버렸으면..~~

중국 AI 모델의 미국 기업 사용량 급증, 60%에 육박, 연초 대비 3배 증가

=끝

2026년 7월 15일 수요일

생각정리 311 (* 메모리 망상 -2)

또 시장이 발작하고 있다. 이럴 때 주가창만 하염없이 바라보기보다, 그동안 궁금했던 질문을 하나씩 공부하며 생각을 정리해보는 편이 낫다.

네이버

https://t.me/masternumber33

시장은 여전히 AI 메모리 수요를 정적인 변수처럼 다룬다. 연도별 출하량과 수요 증가율을 미리 정해놓고, 그 안에서 공급과 가격을 추정하는 방식이다.

그러나 AI 메모리 시장은 이미 오래전부터 매일 새로운 모델과 알고리즘, 서비스, 인프라 투자가 등장하면서 수요의 크기와 방향이 계속 달라지는 동적인 시장으로 바뀌었다고 생각한다.

모델 구조가 달라지면 필요한 메모리의 종류와 용량이 달라지고, 추론비용이 낮아지면 사용량과 Context 길이가 증가한다. Agent가 수행할 수 있는 업무의 범위가 넓어질수록 유지해야 할 작업 상태와 장기기억도 함께 늘어난다. 알고리즘의 효율 개선조차 단위당 메모리 절감에 머물지 않고 새로운 수요를 만드는 변수로 작용하고 있다.

따라서 몇 년 뒤의 AI 메모리 수요를 현재의 고정된 가정만으로 추정하는 데에는 분명한 한계가 있다. 중요한 것은 연도별 증가율 하나를 정확히 맞히는 일보다, AI의 성능과 비용, 활용 범위가 변화할 때 메모리 수요가 어떤 경로로 다시 확장되는지를 이해하는 것이다.

이번 글에서는 그동안 궁금했던 질문에서 출발해 관련 연구와 자료를 하나씩 살펴보고, Scaling law와 알고리즘 혁신이 장기적으로 AI 메모리 수요를 어떻게 변화시킬지 정리해보고자 한다.

#핵심 요약

이 글의 핵심 주장은 AI 알고리즘이 발전해 작업당 메모리 사용량이 줄어들더라도, AI의 활용 범위와 작업시간이 더 빠르게 확대되면서 사회 전체의 메모리 수요는 오히려 증가할 가능성이 높다는 것이다.

1. Scaling Law가 계속 작동하는 이유

현실 세계에는 반복적으로 나타나는 규칙이 존재하지만, 동시에 희귀한 사건과 복잡한 예외도 끝없이 남아 있다. 모델·데이터·연산량을 늘리면 일반적인 패턴을 넘어 드문 조건과 예외까지 더 세밀하게 학습할 수 있기 때문에, 성능 개선 속도는 둔화되더라도 Scaling Law 자체는 상당 기간 지속될 수 있다는 설명이다.

2. 연산보다 중요한 것은 연산을 통해 축적한 기억

연산은 지능을 직접 만들어내는 저장장치라기보다, 데이터 속에서 세계의 구조를 찾아내는 수단이다. 이렇게 발견한 구조는 모델 가중치와 Context, Agent의 현재 상태, 외부 장기기억 등의 형태로 저장된다. 결국 AI 성능은 더 많은 계산뿐 아니라 계산을 통해 발견한 정보를 얼마나 잘 저장하고 다시 꺼내 쓰는가에 좌우된다.

3. 범용 Agent가 발전할수록 메모리 상한은 계속 높아짐

AI가 수행하는 업무의 종류가 많아지고 작업시간이 길어질수록 유지해야 하는 중간 상태와 과거 경험이 누적된다. 특히 미래에 어떤 정보가 필요할지 미리 알기 어려운 범용 Agent는 단일 목적 AI보다 훨씬 넓은 범위의 정보를 보존해야 한다. 다만 모든 정보를 저장하는 것보다 무엇을 압축하고, 보존하고, 삭제할지를 판단하는 기억의 선택 능력이 중요해진다.

4. 알고리즘 효율화가 전체 메모리 수요 감소를 의미하지는 않음

MoE, KV Cache 양자화, 가치함수, RAG와 같은 기술은 작업당 연산량이나 메모리 사용량을 낮춘다. 그러나 절감된 자원은 더 긴 Context, 더 많은 동시 사용자, 더 큰 모델, 더 복잡하고 장시간 수행되는 업무에 다시 투입될 수 있다. 따라서 봐야 할 지표는 AI 한 번당 메모리 사용량보다 효율 개선으로 새롭게 발생하는 전체 AI 작업량이다.

5. 가치함수는 메모리를 줄이기보다 Agent의 작업시간을 늘릴 가능성

가치함수가 발전하면 불필요한 탐색과 reasoning token, 순간적인 KV Cache 사용량은 줄어들 수 있다. 반면 Agent의 신뢰성이 높아지면서 기존의 짧은 작업을 넘어 수백·수천 단계의 장기 업무를 수행하게 되면, 유지해야 할 업무 상태와 중간 결과, 경험 데이터와 장기기억은 크게 증가할 수 있다.

6. 메모리 수요는 HBM에서 전체 계층으로 확산

AI 메모리 수요는 HBM에만 집중되지 않을 가능성이 높다.

모델 가중치와 KV Cache: HBM
Agent의 현재 업무 상태와 Cache Offload: 서버 DRAM
장기 경험과 원본 업무 기록: NAND·SSD
로봇·자동차·개인 디바이스의 Edge AI: LPDDR·Edge NAND

AI가 학습과 단기 추론을 넘어 장기 업무와 개인별 경험을 축적하는 방향으로 발전할수록 메모리 수요도 계층형으로 확장된다는 논리이다.

한 문장으로 정리

AI 효율화는 메모리 수요를 낮추는 기술이라기보다, AI가 더 많은 사용자와 더 긴 업무, 더 넓은 세계를 다룰 수 있게 만들어 전체 메모리 수요의 범위를 확장하는 기술이라는 것이 글의 결론이다.

Scaling Law의 근원과 AI 메모리 수요의 확장

AI는 왜 더 많이 계산하고, 더 많이 기억할수록 똑똑해지는가

지난 글에서는 Physical AI의 발전을 감정과 가치함수, 경험과 정체성의 연속성이라는 관점에서 살펴봤다. 이번 글에서는 조금 더 가까운 시점의 질문을 다뤄보고자 한다.

Scaling law는 왜 여전히 AI 성능 향상에 효과적인가?
그리고 알고리즘이 발전해 AI가 더 효율적으로 작동할수록 메모리 수요는 줄어들까?
오히려 더 커질까?

결론부터 말하면 Scaling law의 본질은 더 많은 계산이 그 자체로 지능을 만들어낸다는 데 있지 않다. 현실 세계에 숨어 있는 더 많은 구조와 예외를 연산을 통해 찾아내고, 이를 모델의 가중치와 Context, 외부 기억에 축적할수록 예측 오차가 낮아지는 현상에 가깝다.

동시에 알고리즘 혁신은 작업 하나에 필요한 연산량과 메모리 사용량을 낮춘다. 그러나 낮아진 비용은 AI의 보급 대수와 작업량, 작업시간, 기억해야 할 경험의 범위를 더 빠르게 늘릴 수 있다. 단위당 효율 개선과 전체 메모리 수요 증가는 충분히 함께 나타날 수 있다.

관련 글: 생각정리 307 - 메모리 망상

I. Scaling law는 왜 아직도 작동하는가

1. Scaling law를 가장 단순하게 이해하는 방법

Scaling law는 모델의 파라미터와 학습 데이터, 연산량을 늘릴수록 AI의 예측 오차가 일정한 규칙에 따라 감소하는 경험적 관계이다.

이를 단순화하면 다음과 같이 표현할 수 있다.

$L (C) = L_{\infty} + a C^{- β}$

(L(C)): 주어진 연산량에서의 예측 오차
(C): 학습이나 추론에 투입한 연산량
$L_{\infty}$ : 현재 데이터와 모델 구조에서 접근할 수 있는 오차의 한계

연산량을 두 배로 늘린다고 성능이 두 배 좋아지는 것은 아니다. 성능 개선 폭은 점차 작아진다. 다만 충분히 넓은 구간에서는 모델과 데이터, 연산량을 늘릴수록 오차가 꾸준히 낮아지는 경향이 관찰된다.

여기서는 학습과 추론을 구분할 필요가 있다.

학습 Scaling은 더 많은 파라미터와 데이터, 학습 연산을 사용해 더 우수한 기본 모델을 만드는 과정이다.
추론 Scaling은 학습을 마친 모델이 답변 후보를 더 많이 생성하고, 스스로 수정하고, 검증 과정을 거치면서 정답 확률을 높이는 과정이다.

두 방식 모두 추가 연산을 성능 향상에 사용하지만, 학습 Scaling은 모델 자체의 능력을 높이고, 추론 Scaling은 이미 가진 능력을 더 효과적으로 꺼내 쓴다는 차이가 있다.

https://arxiv.org/html/2408.00724#S2.F2

2. 연산은 지능을 직접 만드는 대신 세계의 구조를 찾아낸다

더 많은 GPU와 전력을 투입하면 지능이 자연스럽게 생성된다고 생각하기 쉽다. 그러나 연산은 정보를 보존하는 저장장치가 아니라, 데이터 안에서 반복되는 패턴과 관계를 찾아내는 수단이다.

학습 과정은 대략 다음과 같이 이해할 수 있다.

데이터에서 반복되는 구조를 찾는다 → 찾은 구조를 모델의 가중치에 압축한다 → 추론할 때 이를 다시 꺼내 사용한다

AI가 학습을 마친 뒤 실제로 사용하는 것은 과거에 소비한 연산량이 아니라, 그 연산을 통해 만들어진 파라미터와 내부 표현이다. 더 많은 계산은 데이터에 숨어 있던 세계의 구조를 더 세밀하게 발견하고, 이를 모델 안에 축적할 기회를 제공한다.

여기서 가중치는 원문 데이터를 그대로 보관하는 데이터베이스와는 성격이 다르다. 수많은 사례에서 반복되는 문법과 개념, 사물 사이의 관계, 특정 조건에서 나타날 가능성이 높은 결과를 분산된 형태로 압축한다.

예를 들어 모델은 비와 젖은 도로에 관한 모든 문장을 그대로 외우는 대신, 여러 사례에서 공통으로 나타나는 관계를 내부 표현으로 만든다. 모델의 용량과 학습 데이터가 늘어나면 일반적인 관계뿐 아니라 이를 뒤집는 세부 조건과 예외까지 더 많이 구분할 수 있다.

https://arxiv.org/html/2102.06701#S1.F1
특히 Figure 1b가 데이터 증가에 따라 세계의 함수를 더 세밀하게 근사한다는 설명

3. 현실은 규칙적이지만 끝없이 많은 예외를 가진다

Scaling law가 오랫동안 작동하는 근본적인 이유는 현실 세계의 성격에 있다.

세상이 완전히 무작위라면 데이터를 아무리 많이 학습해도 일반화할 수 있는 규칙을 찾기 어렵다. 반대로 몇 개의 단순한 법칙만으로 모든 현상을 설명할 수 있다면 작은 모델도 금방 성능의 상한에 도달했을 것이다.

현실은 그 사이에 위치한다. 반복되는 구조가 충분히 많아 학습할 수 있으면서도, 드문 사건과 예외, 여러 조건이 복합적으로 작용하는 상황이 계속 남는다. 모델의 용량과 데이터가 늘어날수록 새롭게 학습할 대상이 끊이지 않는 이유이다.

자연어와 현실의 사건은 대체로 긴 꼬리 분포를 가진다. 자주 등장하는 단어와 일반적인 상황은 작은 모델도 비교적 쉽게 익힌다. 이후 성능을 더 높이려면 빈도가 낮은 개념, 드문 예외, 여러 조건이 동시에 결합된 관계까지 구분해야 한다.

예를 들어 작은 모델은 “비가 오면 길이 젖는다”는 관계를 배울 수 있다. 정확도를 더 높이려면 다음 조건도 함께 이해해야 한다.

도로에 지붕이 있는가
기온이 영하인가
배수 상태는 양호한가
노면의 재질은 무엇인가
바람의 방향과 강도는 어떠한가

모델이 커질수록 현실을 더 세밀한 조건부 구조로 나누고, 일반적인 규칙에서 벗어나는 상황까지 설명하게 된다. 성능 개선 폭은 느려져도 추가로 배울 대상은 계속 남는다.

4. 오차가 멱법칙으로 감소하는 이유

이이 현상을 보다 직관적으로 이해하기 위해 현실의 패턴을 자주 나타나는 순서대로 배열해볼 수 있다.

p (r) \propto r^{- α}

여기서 $r$ 은 패턴의 빈도 순위이다. 작은 모델은 자주 등장하는 상위 패턴부터 학습하고, 모델과 데이터가 커지면 빈도가 낮은 패턴과 드문 예외까지 차례로 학습한다.

모델이 상위 $K$ 개의 패턴을 학습했다고 가정하면, 아직 해결하지 못한 오류는 $K$ 이후에 남아 있는 희귀 패턴의 합으로 볼 수 있다.

L (K) - L_{\infty} \propto \sum_{r > K} p (r) \propto K^{1 - α}

모델 크기와 연산량이 늘어날수록 학습 가능한 패턴의 수 $K$ 도 증가한다. 그 결과 잔여 오차가 멱법칙 형태로 완만하게 감소할 수 있다.

이 모형은 모든 LLM의 작동 원리를 완전히 설명하는 이론이라기보다 Scaling law를 이해하기 위한 직관적인 틀이다. 동시에 평균적인 손실은 부드럽게 낮아지는데 특정 능력이 어느 순간 갑자기 나타나는 현상도 설명해준다.

하나의 복잡한 과제를 해결하려면 여러 하위 능력이 함께 필요하다. 모델이 필요한 하위 능력을 하나씩 습득하다가 마지막 조건까지 갖추는 순간, 외부에서는 새로운 능력이 갑자기 출현한 것처럼 보일 수 있다.

Scaling 과정에서 능력이 갑자기 생겨난 것처럼 보이는 이유는 그 능력을 구성하는 여러 하위 조건이 임계점을 넘어섰기 때문일 수 있다.

5. 학습을 마친 모델도 더 오래 생각하면 성능이 좋아질 수 있다

학습을 마친 모델은 하나의 질문에 항상 같은 답을 내놓지 않는다. 정답 경로를 생성할 확률이 조금이라도 있다면 여러 경로를 탐색하고 비교하면서 더 나은 답을 찾을 수 있다.

추론 Scaling에는 다음과 같은 방식이 포함된다.

더 긴 reasoning을 수행한다.
여러 후보 답변을 병렬로 생성한다.
중간 결과를 검토하고 잘못된 경로를 수정한다.
Verifier나 Reward Model로 후보의 우열을 평가한다.
여러 Agent의 답변을 비교하고 통합한다.
어려운 문제에 더 많은 추론 자원을 배분한다.

기본 모델이 정답 후보를 만들 수 있고, 검증 과정이 후보의 우열을 어느 정도 구분할 수 있다면 추가 추론은 실패 확률을 낮춘다.

다만 추론 시간을 무한히 늘린다고 모든 문제가 해결되는 것은 아니다. 모델이 정답 경로를 생성하지 못하거나 검증기가 잘못된 답을 가려내지 못하면 추가 연산은 같은 오류를 반복할 수 있다.

따라서 추론 Scaling의 핵심은 오래 생각하는 시간 자체보다 어떤 문제에 얼마나 많은 연산을 배분하고, 어느 경로를 계속 탐색하며, 언제 중단할지를 판단하는 능력에 있다. 이 지점에서 추론과 가치함수가 연결된다.

II. Scaling law는 어떻게 메모리 수요로 이어지는가

1. AI가 사용하는 기억은 한 종류가 아니다

Scaling law를 메모리 관점에서 보면 데이터와 연산, 기억의 관계가 보다 분명해진다.

$Data \rightarrow Compute \rightarrow Pattern\ Discovery \rightarrow Memory \rightarrow Inference$

데이터는 세계에 대한 관찰을 제공한다. 연산은 관찰 속에서 반복되는 구조를 찾는다. 찾아낸 구조는 여러 형태의 메모리에 저장되고, 추론 과정에서 현재 질문과 결합되어 답변이나 행동으로 이어진다.

AI의 기억은 크게 세 층으로 나눠볼 수 있다.

Scaling law는 연산을 통해 발견한 세계의 구조를 더 큰 모델과 메모리 체계에 축적할수록 예측 오차가 낮아지는 현상으로 해석할 수 있다.

이는 Scaling law 논문이 직접 내린 정의라기보다 관련 연구를 메모리 관점에서 재구성한 표현이다.

2. 세상을 완벽하게 복제하려면 저장량은 계속 증가한다

현실에서는 매 순간 새로운 정보가 생긴다. 사람들의 대화와 행동, 기업의 의사결정, 가격 변화, 기후, 기술, 제도는 과거 데이터만으로 완전히 복원할 수 없는 새로운 상태를 만든다.

새로 발생하는 정보를 손실 없이 모두 저장하려면 필요한 메모리는 시간에 따라 누적된다.

M (T) \geq \int_{0}^{T} I_{new} (t) d t

새롭게 생성되는 정보량이 계속 0보다 크다면 세상을 완벽하게 복제하기 위한 총저장량도 계속 늘어난다.

현실은 경로 의존적이라는 점도 중요하다. 같은 사건이라도 그전에 어떤 일이 있었고, 당사자가 이를 어떻게 해석했는지에 따라 결과가 달라진다. 미래에 어떤 질문이나 목적이 주어질지 알 수 없다면 현재는 사소해 보이는 정보가 나중에는 중요한 단서가 될 수 있다.

특정 업무만 수행하는 AI는 필요한 정보의 범위가 제한적이다. 반면 어떤 질문과 목표가 주어질지 미리 정해지지 않은 범용 AI는 불필요한 정보를 사전에 구분하기 어렵다. 범용성이 높아질수록 보존해야 할 정보의 범위도 넓어진다.

3. 더 많은 기억이 곧 더 높은 지능으로 이어지지는 않는다

인간은 관찰한 모든 장면을 같은 해상도로 기억하지 않는다. 반복되는 현상은 하나의 개념이나 규칙으로 압축한다. 중요도가 낮은 세부 정보는 잊고, 예상과 달랐던 사건이나 감정적으로 중요한 경험은 상대적으로 강하게 남긴다.

AI도 모든 데이터를 현재 Context에 넣는 방식으로 발전하기 어렵다. 관련성이 낮은 정보와 반복된 도구 출력, 오래된 실패 기록이 Context를 채우면 중요한 단서가 희석되고 추론 속도와 정확도가 함께 낮아질 수 있다.

따라서 AI의 지능은 기억의 총량과 함께 다음 능력에 의해 결정될 가능성이 높다.

반복되는 사건에서 공통 구조를 추출하는 능력
개별 경험을 더 작은 표현으로 압축하는 능력
현재 목표와 관련된 기억을 정확히 검색하는 능력
중요도가 낮아진 기억을 삭제하거나 다시 요약하는 능력

AI 메모리가 하나의 거대한 저장공간보다 계층형 구조로 발전할 가능성이 높은 이유이다. 현재 작업에 필요한 정보는 빠른 메모리에 두고, 장기 경험과 원본 기록은 대용량 저장장치에 보관한 뒤 필요한 순간에 일부만 불러오는 방식이다.

AI의 지능은 기억의 총량보다 필요한 정보를 올바른 형태로 저장하고, 적절한 순간에 다시 불러오는 능력에 더 크게 좌우될 수 있다.

https://ar5iv.labs.arxiv.org/html/2304.03442#S3.F5

4. 메모리가 충분해도 완벽한 예측에는 도달하기 어렵다

과거 정보를 빠짐없이 저장해도 미래를 완벽하게 예측할 수는 없다. 현실에는 관찰하지 못한 숨은 변수와 측정 오차, 인간의 새로운 선택, 확률적 사건이 존재한다.

일부 동적 시스템에서는 초기 조건의 작은 차이가 시간이 지나면서 크게 확대된다. 현재 상태를 무한한 정밀도로 측정할 수 없다면 완벽한 모델을 가정해도 장기 예측에는 오차가 남는다.

현실의 Agent 역시 세상의 실제 상태를 직접 보는 대신 불완전한 관찰을 바탕으로 현재 상태를 추정한다. POMDP 이론에서는 Agent가 과거의 관찰과 행동을 이용해 현실에 대한 확률적 믿음 상태를 유지한다고 설명한다.

결국 AI가 추구할 수 있는 현실적인 목표는 모든 불확실성의 제거보다, 제한된 관찰과 메모리 안에서 현재 상태를 최대한 정확히 추정하고 남은 불확실성을 반영해 행동하는 것이다.

5. 범용성이 높아질수록 필요한 메모리의 상한도 멀어진다

체스 AI는 현재 보드와 제한된 경기 이력만으로 작동할 수 있다. 정해진 공정만 수행하는 제조 로봇도 필요한 환경 정보의 범위가 비교적 좁다.

범용 Agent는 상황이 다르다. 앞으로 어떤 질문과 목표가 주어질지 알 수 없고, 과거의 어떤 정보가 새로운 업무에 필요해질지도 사전에 판단하기 어렵다. 투자 분석에서는 중요하지 않았던 정보가 법률 판단에서는 핵심이 될 수 있고, 평범한 대화가 몇 년 뒤 사용자 관계를 이해하는 중요한 단서가 될 수도 있다.

이를 개념적으로 정리하면 다음과 같다.

M e m o r y D e m a n d \propto W o r l d S c o p e \times T a s k D i v e r s i t y \times T i m e H o r i z o n \times R e q u i r e d A c c u r a c y

AI가 다루는 세계의 범위와 업무의 다양성, 작업의 시간적 길이, 요구되는 정확도가 높아질수록 필요한 메모리의 실질적인 상한은 계속 멀어진다.

다루는 세계의 범위가 넓어질수록 저장해야 할 정보가 증가한다.
수행하는 업무의 종류가 많아질수록 필요한 기억의 종류도 다양해진다.
작업시간이 길어질수록 유지해야 할 중간 상태와 경험이 누적된다.
요구되는 정확도가 높아질수록 드문 예외와 세부 조건까지 보존해야 한다.

https://arxiv.org/html/2606.06448#S4.SS7.F9
작업시간과 사용자 History가 길어질수록 Agent의 장기기억 비용과 저장량이 누적된다는 본문의 주장을 직접 뒷받침

관련 자료: Generative Agents, Agent Memory: Characterization and System Implications of Stateful Long-Horizon Agents

6. 결국 핵심은 기억의 선택이다

범용 Agent는 새로운 사건을 관찰할 때 저장 여부와 형태를 함께 판단해야 한다.

미래 행동에 다시 사용될 가능성이 높은가
기존 세계모델의 예상에서 얼마나 벗어났는가
실패나 위험을 설명하는 중요한 예외인가
다른 기록으로부터 복원할 수 있는가
원본을 남겨야 하는가, 요약만으로 충분한가
활성 Context에 둘 것인가, 외부 기억으로 옮길 것인가
언제 삭제하거나 더 짧게 압축할 것인가

이러한 판단은 추론과 분리된 부가 기능에 머물기 어렵다. 무엇을 기억할지 결정하는 행위 자체가 Agent의 핵심 행동정책으로 발전할 가능성이 높다.

AI에게 메모리는 정보를 계속 쌓기만 하는 창고보다, 변화하는 환경에 맞춰 무엇을 남기고 압축하고 잊을지 결정하는 동적 시스템에 가깝다.

세상이 새로운 정보를 계속 만들어내는 한 시스템 전체의 저장 수요는 열려 있다. 그러나 지능의 질은 기억의 양보다 선택과 검색의 정확도에서 크게 갈릴 것이다.

https://arxiv.org/html/2510.12635#S3.F2

III. 알고리즘이 발전하면 메모리 수요는 줄어들까

1. 단위당 효율과 전체 수요는 구분해야 한다

AI가 모든 경험을 원본 그대로 저장하고, 매번 전체 기록을 처음부터 다시 읽는다면 비용과 전력, 지연시간이 빠르게 증가한다. 범용 AI와 장기 Agent가 대규모로 확산되기 위해서는 기억을 선택하고 압축하며, 필요한 일부만 불러오는 알고리즘 혁신이 반드시 필요하다.

알고리즘 혁신은 작업 하나에 필요한 연산량과 메모리 사용량을 줄인다. 동시에 비용과 속도, 정확도를 개선해 과거에는 경제성이 없었던 기능을 가능하게 만든다.

전체전체 메모리 수요를 개념적으로 표현하면 다음과 같다.

Total Memory Demand = \frac{AI Deployment \times Task Volume \times Task Horizon \times State per Task}{Memory Efficiency}

이는 물리 법칙이나 산업 표준 모델이 아니라 수요의 방향을 설명하기 위한 분석식이다.

알고리즘이 작업당 메모리 사용량을 절반으로 줄이더라도 AI 보급 대수와 작업량, 작업시간, 작업당 유지해야 할 상태가 그보다 빠르게 증가하면 전체 메모리 수요는 확대된다.

따라서 앞으로의 핵심 질문은 “AI 한 번 실행에 필요한 메모리가 줄어드는가”보다 “효율 개선으로 얼마나 많은 새로운 AI 작업이 생겨나는가”에 가깝다.

2. MoE는 연산 효율과 메모리 용량을 분리한다

MoE는 여러 Expert를 모델 안에 유지하면서 입력에 따라 필요한 일부만 활성화하는 구조이다.

Dense Model에서는 각 토큰이 모델의 대부분 파라미터를 통과한다. MoE에서는 토큰의 성격에 맞는 일부 Expert만 사용한다.

$Total Parameters ↑ Active Parameters per Token \approx Limited$

이 구조를 사용하면 모델이 보유한 전체 지식 용량은 크게 늘리면서 토큰 하나를 처리하는 연산량의 증가는 제한할 수 있다.

다만 당장 활성화되지 않은 Expert도 필요할 때 사용하기 위해 저장돼 있어야 한다. 전체 파라미터와 Expert 저장공간이 늘고, Expert 사이의 데이터 이동과 통신도 중요해진다.

MoE는 알고리즘 효율화가 메모리 수요를 일방적으로 줄이지 않는 대표적인 사례이다. 토큰당 연산량을 낮추는 대신 더 큰 모델을 유지할 수 있게 만들면서 시스템의 Memory-to-Compute 비율을 높일 수 있다.

3. 가치함수는 탐색을 줄이지만 작업시간을 늘릴 수 있다

가치함수는 현재 상태나 행동 경로가 장기적으로 얼마나 좋은 결과로 이어질지를 평가한다. 강화학습에서 오랫동안 사용된 개념이며, AlphaGo 역시 Value Network로 현재 바둑판에서의 승리 가능성을 평가해 탐색 범위를 줄였다.

앞으로 중요한 돌파구는 정해진 게임을 넘어 열린 현실 환경에서도 작동하는 범용 가치함수일 가능성이 높다. 장기 작업이 끝나기 전에 현재 경로의 성공 가능성을 판단하고, 실패 가능성이 높은 경로를 조기에 중단하며, 새로운 상황에도 평가 기준을 일반화하는 능력이다.

가치함수가 정확해지면 하나의 문제를 풀기 위해 무차별적으로 탐색해야 할 경로가 줄어든다.

$100 개 경로의 탐색 \to 5 개 유망 경로의 집중 탐색$

이에 따라 reasoning token과 순간적인 KV Cache 사용량은 감소할 수 있다.

그러나 시스템 전체의 변화는 반대 방향으로 나타날 수 있다. 가치함수가 Agent의 신뢰성을 높이면 지금보다 훨씬 길고 복잡한 업무를 자동화할 수 있기 때문이다.

현재 10단계 이후 오류가 누적되는 Agent가 1,000단계의 작업을 수행하게 되면 순간 탐색량이 줄더라도 유지해야 할 업무 상태와 중간 결과, 과거 경험, 장기기억은 크게 늘어난다.

가치함수의 가장 큰 경제적 효과는 추론 토큰 절감보다 AI가 안정적으로 수행할 수 있는 작업의 시간적 범위를 늘리는 데서 나타날 수 있다.

4. 메모리 압축은 남는 공간보다 더 큰 서비스로 이어질 수 있다

KV Cache 양자화도 같은 구조를 보여준다. KV Cache의 정밀도를 낮추면 토큰당 필요한 메모리를 줄일 수 있다. 이때 확보된 공간은 비어 있는 상태로 남기보다 더 긴 Context와 더 큰 Batch Size, 더 많은 동시 사용자를 처리하는 데 활용될 가능성이 높다.

NVIDIA는 FP8 KV Cache를 NVFP4로 낮춰 메모리 사용량을 50% 줄이고, 이를 Context 길이와 Batch Size를 확대하는 방향으로 제시했다. 단위 작업의 효율 개선이 전체 메모리 절감보다 서비스 규모를 키우는 여력으로 전환되는 사례이다.

과거 알고리즘 효율 개선에서도 비슷한 흐름이 나타났다. OpenAI의 연구에 따르면 AlexNet 수준의 성능을 달성하는 데 필요한 학습 연산량은 2012년부터 2019년까지 약 44분의 1로 감소했다.

같은 성능을 훨씬 적은 연산으로 구현할 수 있게 됐지만, 절감된 자원은 더 큰 모델과 새로운 AI 기능을 만드는 데 다시 투입됐다.

https://developer.nvidia.com/blog/optimizing-inference-for-long-context-and-large-batch-sizes-with-nvfp4-kv-cache/#how-kv-cache-impacts-performance

알고리즘 효율 개선의 산업적 의미는 기존 작업의 원가 절감에 그치지 않는다. 낮아진 비용과 향상된 성능이 과거에는 실행할 수 없었던 새로운 수요를 만든다는 데 있다.

https://arxiv.org/html/2602.22603#S4.F5

5. AI에서는 제본스 효과가 더 강하게 나타날 수 있다

제본스 효과는 효율 개선으로 서비스 가격이 낮아지고 사용량이 증가하면서 전체 자원 소비가 예상보다 적게 감소하거나 오히려 늘어나는 현상이다.

AI에서는 가격 하락과 함께 성능 향상이 동시에 발생한다.

$A l g o r i t h m i c I n n o v a t i o n \to C a p a b i l i t y / J o u l e ↑ \to C o s t / T a s k ↓ \to A d d r e s s a b l e T a s k s ↑$

알고리즘이 좋아지면 같은 질문을 더 싸게 처리할 수 있을 뿐 아니라, 이전에는 불가능했던 더 복잡하고 긴 작업도 수행할 수 있다.

AI가 단순한 질문 응답에서 업무 전체의 수행으로 이동하고, 필요할 때만 호출하는 도구에서 계속 작동하는 Agent로 바뀌며, 기업별 공용 AI에서 사용자별 개인 Agent로 분화할 수 있다.

따라서 AI에서는 효율 개선이 가격을 낮추는 가격효과와 수행 가능한 업무를 넓히는 성능효과를 동시에 만든다. AI 수요의 증가폭이 일반적인 에너지 서비스보다 더 크게 나타날 수 있다고 보는 이유이다.

이는 현재까지 확정된 산업 법칙이라기보다 알고리즘의 효율 향상과 AI 활용 범위 확대를 연결한 가설이다. 다만 MoE, KV Cache 압축, 추론 효율 개선에서 이미 그 방향을 확인할 수 있다.

6. 알고리즘별로 수요가 늘어나는 메모리는 다르다

알고리즘 혁신이 전체 메모리 수요를 확대하더라도 모든 메모리 제품이 같은 방식으로 수혜를 받지는 않는다.

활성 가중치와 KV Cache가 늘어나면 HBM 수요가 강해진다. Agent의 현재 상태와 Cache Offload가 증가하면 서버 DRAM의 역할이 커진다. 장기 경험과 업무 기록, 원본 데이터가 누적되면 NAND와 SSD가 중요해진다. 소형 모델이 자동차와 로봇, 개인 디바이스로 확산되면 LPDDR과 Edge NAND 수요로 연결될 수 있다.

결국 AI 메모리 수요는 HBM 한 제품에 머무르기보다 학습과 순간 추론, 장기 작업, 경험의 영구 저장을 연결하는 계층형 수요로 확장될 가능성이 높다.

IV. 가치함수는 기억을 줄이기보다 기억의 질을 바꾼다

정확한 가치함수를 만들기 위해서는 현재 상태만 보는 것으로 부족할 수 있다. AI는 과거의 어떤 초기 신호가 실패로 이어졌는지, 특정 사용자가 어떤 결과를 선호했는지, 비슷해 보이는 두 상황이 실제로 왜 다른 결과를 만들었는지를 학습해야 한다.

가치함수의 정확도는 과거 경험과 현재 상태, 행동 이후의 장기 결과를 연결하는 능력에 의존할 가능성이 높다.

따라서 가치함수는 기억을 없애는 기술보다 기억을 관리하는 기술에 가까워질 수 있다. 어떤 경험을 저장하고, 어떤 기억을 다시 불러오며, 무엇을 잊을지를 결정하는 기준으로 작동하는 것이다.

Experience \rightarrow Value\ Evaluation \rightarrow Selective\ Memory \rightarrow Better\ Decision \rightarrow More\ Deployment \rightarrow More\ Experience

이 순환이 형성되면 Agent 보급과 메모리 수요는 서로를 강화한다.

더 많은 Agent가 실제 업무에 배치된다.
Agent가 더 많은 경험과 결과 데이터를 만든다.
가치함수가 중요한 경험을 선별해 기억한다.
축적된 경험이 이후 의사결정의 정확도를 높인다.
높아진 신뢰성이 다시 Agent의 보급과 작업시간을 늘린다.

장기 Agent는 모든 경험을 현재 Context에 담을 수 없다.

즉시 필요한 가중치와 KV Cache는 HBM에 둔다.
현재 업무 상태와 Cache Offload는 DRAM에 둔다.
장기 경험과 원본 기록은 NAND와 SSD에 보관한다.
필요한 순간에 관련 기억의 일부만 검색해 불러온다.

가치함수가 발전할수록 순간적인 무차별 탐색은 줄어들 수 있다. 동시에 더 긴 시간 동안 유지해야 할 경험과 상태가 늘어나면서 메모리의 역할은 단순한 추론 보조장치에서 Agent의 지속성과 정체성을 유지하는 인프라로 확장될 가능성이 높다.

V. 결론

Scaling law가 여전히 작동하는 이유는 현실 세계에 반복되는 구조와 끝없이 많은 예외가 함께 존재하기 때문이다.

모델과 데이터, 연산량을 늘리면 자주 등장하는 규칙을 넘어 희귀한 패턴과 복합적인 조건까지 더 많이 학습할 수 있다. 성능 개선 폭은 점차 줄어들어도 추가로 배울 대상은 계속 남는다.

이 과정에서 연산은 데이터 속 구조를 찾고, 메모리는 찾아낸 구조와 현재 상태, 과거 경험을 보존한다. AI가 다루는 세계와 업무의 범위가 넓어지고 작업시간이 길어질수록 모델 가중치와 KV Cache, Agent 상태, 외부 장기기억의 수요도 함께 증가한다.

알고리즘 혁신은 작업 하나에 필요한 연산과 메모리를 줄일 것이다.

MoE는 토큰당 활성 연산량을 낮춘다.
가치함수는 불필요한 탐색을 줄인다.
KV Cache 압축은 같은 용량에서 더 긴 Context를 처리하게 한다.
RAG와 계층형 기억은 필요한 정보만 선택적으로 불러오게 한다.

그러나 효율 개선은 AI의 비용을 낮추는 동시에 수행 가능한 업무의 경계를 넓힌다. 더 많은 사용자가 더 많은 Agent를 더 오랫동안 실행하고, 각 Agent가 더 많은 상태와 경험을 유지하게 된다면 사회 전체의 메모리 수요는 오히려 더 빠르게 증가할 수 있다.

핵심 관계는 다음과 같이 정리할 수 있다.

$Deployment\ Growth + Task\ Volume\ Growth + Task\ Horizon\ Growth + State\ Growth > Memory\ Efficiency\ Improvement$

특히 범용 가치함수가 발전할 경우 가장 큰 변화는 reasoning token의 절감보다 AI가 수행할 수 있는 작업의 시간적 범위가 길어지는 데서 나타날 가능성이 높다.

AI 한 개가 순간적으로 사용하는 자원은 줄어들 수 있지만, 사회 전체가 유지해야 하는 Agent의 수와 작업 상태, 사용자별 경험, 장기기억은 크게 늘어난다.

결국 Scaling law와 알고리즘 혁신, 메모리 수요는 하나의 순환구조로 연결된다.

더 많은 연산은 세계의 구조를 더 정교하게 찾아낸다. 알고리즘 혁신은 이를 더 적은 비용으로 저장하고 활용하게 한다. 낮아진 비용은 AI가 수행할 수 있는 업무와 시간의 범위를 넓히고, 그 결과 사회 전체가 유지해야 할 지식과 경험, 상태의 총량은 다시 증가한다.

AI가 발전할수록 필요한 것은 단순히 더 큰 저장공간만이 아니다. 무엇을 구조로 압축하고, 어떤 경험을 보존하며, 무엇을 잊을지를 판단하는 더 크고 정교한 동적 메모리 체계이다.

세상을 완벽하게 복제하려면 메모리는 계속 증가한다. 그러나 지능은 세상을 모두 저장하는 능력과 같지 않다. 완벽한 예측은 충분한 메모리만으로 달성하기 어렵고, 범용성이 높아질수록 필요한 기억의 범위는 더 넓어진다.

따라서 AI 메모리의 장기적인 핵심은 저장 용량의 확대와 함께 기억의 선택으로 수렴한다.

무엇을 기억하고,
언제 불러오며,
무엇을 잊을지를 결정하는 능력이
AI의 성능과 메모리 산업의 수요 구조를 함께 바꿔갈 가능성이 높다.

내용이 길고 복잡하더라고
정리두면 언젠간 쓸때가 꼭 찾아오긴 하더라.

=끝

2026년 7월 19일 일요일

생각정리 313 (* 수급, 레버리지, 부동산 증세)

상반기 빚투, 하반기에는 누가 받아줄 것인가

대출 총량 소진에 주거비 트리플 강세와 보유세 강화 가능성까지 겹치고 있다

1. 주택담보대출보다 빠르게 늘어난 개인 신용대출

2. 은행의 가계대출 여력은 이미 소진됐다

3. 증권사의 빚투 공급 능력도 한계에 도달했다

4. 레버리지 자금은 일부 대형주에 집중됐다

5. 단일종목 레버리지 상품이 집중도를 더욱 높였다

6. 신규 빚투는 막히고 기존 레버리지는 청산되고 있다

7. 주거비 트리플 강세가 가처분소득을 압박한다

주택 매수자

전세 거주자

월세 거주자

8. 집값 상승이 가계 유동성 증가로 이어지지 않는 이유

9. 보유세 강화가 겹치면 현금흐름 압박은 더 커진다

10. 부동산을 겨냥한 정책이 주식시장을 먼저 압박할 수 있다

결론: 하반기 증시의 핵심은 가계의 현금흐름이다

#글을 마치며

생각정리 312 (* Kimi 3.0, Computing Infra)

모델은 공개되고, 컴퓨팅은 희소해진다

Kimi K3가 보여준 중국 오픈웨이트 LLM과 AI 인프라 투자의 재가속

LLM에서 파라미터가 중요한 이유

하나의 단어가 여러 의미를 가질 수 있는 이유

파라미터와 학습 데이터는 어떻게 연결되는가

왜 큰 모델이 대체로 더 좋은 성능을 보이는가

Scaling Law는 왜 계속 작동하는가

Kimi K3는 효율화 이후 모델이 어디까지 커질 수 있는지를 보여준다

2.8조 파라미터가 의미하는 메모리 부담

KDA가 KV 캐시를 줄여도 시스템 전체의 수요는 줄지 않는다

오픈웨이트는 모델 경쟁의 참여자를 늘린다

증류는 성능 격차를 줄이지만 컴퓨팅 비용을 없애지 않는다

중국의 모델 평준화는 중복 컴퓨팅 투자를 확대한다

저렴한 오픈모델은 기존 수요를 대체하면서 새로운 수요를 만든다

소버린 AI는 국가 단위의 신규 구매자를 추가한다

컴퓨팅 병목은 GPU와 HBM을 넘어 시스템 전체로 확산된다

두 번째 AI 컴퓨팅 인프라 사이클

결론: 오픈웨이트 모델의 확산이 컴퓨팅 투자를 다시 가속한다

#글을 마치며

2026년 7월 15일 수요일

생각정리 311 (* 메모리 망상 -2)

#핵심 요약

1. Scaling Law가 계속 작동하는 이유

2. 연산보다 중요한 것은 연산을 통해 축적한 기억

3. 범용 Agent가 발전할수록 메모리 상한은 계속 높아짐

4. 알고리즘 효율화가 전체 메모리 수요 감소를 의미하지는 않음

5. 가치함수는 메모리를 줄이기보다 Agent의 작업시간을 늘릴 가능성

6. 메모리 수요는 HBM에서 전체 계층으로 확산

한 문장으로 정리

Scaling Law의 근원과 AI 메모리 수요의 확장

AI는 왜 더 많이 계산하고, 더 많이 기억할수록 똑똑해지는가

I. Scaling law는 왜 아직도 작동하는가

1. Scaling law를 가장 단순하게 이해하는 방법

2. 연산은 지능을 직접 만드는 대신 세계의 구조를 찾아낸다

3. 현실은 규칙적이지만 끝없이 많은 예외를 가진다

4. 오차가 멱법칙으로 감소하는 이유

5. 학습을 마친 모델도 더 오래 생각하면 성능이 좋아질 수 있다

II. Scaling law는 어떻게 메모리 수요로 이어지는가

1. AI가 사용하는 기억은 한 종류가 아니다

2. 세상을 완벽하게 복제하려면 저장량은 계속 증가한다

3. 더 많은 기억이 곧 더 높은 지능으로 이어지지는 않는다

4. 메모리가 충분해도 완벽한 예측에는 도달하기 어렵다

5. 범용성이 높아질수록 필요한 메모리의 상한도 멀어진다

6. 결국 핵심은 기억의 선택이다

III. 알고리즘이 발전하면 메모리 수요는 줄어들까

1. 단위당 효율과 전체 수요는 구분해야 한다

2. MoE는 연산 효율과 메모리 용량을 분리한다

3. 가치함수는 탐색을 줄이지만 작업시간을 늘릴 수 있다

4. 메모리 압축은 남는 공간보다 더 큰 서비스로 이어질 수 있다

5. AI에서는 제본스 효과가 더 강하게 나타날 수 있다

6. 알고리즘별로 수요가 늘어나는 메모리는 다르다

IV. 가치함수는 기억을 줄이기보다 기억의 질을 바꾼다

V. 결론

블로그 보관함

프로필