2026년 8월 9일 일요일

생각정리 335 (* Stateful AI Factory, Memory, MLCC)

MLCC와 Memory 산업은 이미 변곡의 임계점에 가까워지고 있는듯 싶다.

그러나 최근의 주가 흐름은 이러한 산업의 구조적 변화를 충분히 반영하지 못하고 있다.

산업의 방향성과 시장의 인식 사이에 나타나는 이 괴리를 보며, 다시 한번 생각을 정리해본다.

https://mezha.ua/en/news/cloudflare-predicts-1-000x-more-bot-traffic-in-5-years-313991/

AI Agent의 진화가 메모리와 MLCC를 바꾼다

Stateless AI에서 Stateful AI Factory로

최근 AI 기술의 변화에서 가장 중요하게 보는 것은 AI의 발전 방향이 ‘얼마나 잘 생각하는가’에서 ‘얼마나 오래 기억하고, 실제 행동하고, 결과를 검증하며, 경험을 축적해 스스로 개선하는가’로 이동하고 있다는 점이다.

기존 LLM은 질문을 입력하면 답을 생성하는 Stateless Intelligence에 가까웠다. 반면 최근 Agent는 수시간에서 수일에 걸쳐 업무를 수행하고, Context와 State를 유지하며, Tool과 API를 사용하고, 결과를 검증하고, 성공과 실패를 장기기억으로 축적한다. 더 나아가 축적된 경험을 이용해 Memory Policy, Skill, Workflow, Harness 자체를 개선하는 연구까지 빠르게 등장하고 있다.

이러한 흐름을 연결하면 AI의 발전 경로는 비교적 명확하다.

Model Intelligence → Tool Use → Long Context → Context Management → Long-Term Memory → Harness → Enterprise Execution → Persistent Agent → Recursive Self-Improvement

결국 핵심은 Stateless AI → Stateful AI로의 전환이다.

이 변화는 AI Software만의 이야기가 아니다. Stateful AI가 확산될수록 데이터센터는 더 많은 Memory를 통해 State를 유지해야 하고, 그 State를 끊임없이 처리하기 위해 더 많은 Compute와 더 강한 Power Delivery Network(PDN)가 필요하다.

따라서 Agent AI의 발전은 HBM·DRAM·NAND뿐 아니라 MLCC·Polymer·Silicon Capacitor까지 하나의 AI Infrastructure Theme으로 연결해서 볼 필요가 있다.

1. Agent 연구의 중심이 ‘더 큰 Context’에서 ‘State Management’로 이동하고 있다

최근 Context/Harness 연구의 공통점은 단순히 Context Window를 늘리는 것이 장기 Agent의 해법이 아니라는 것이다.

LongHorizon-Harness는 하나의 Agent가 모든 History를 들고 다니지 않고 Manager–Executor–Auditor로 역할을 분리해 검증된 정보만 Persistent State로 남긴다. ACM은 Agent가 직접 Context를 압축하고 외부 Memory로 Offload한 뒤 필요할 때 Retrieve하도록 한다. Self-GC와 AgentFold 역시 모든 Token을 동일하게 보존하지 않고 중요도에 따라 Fold·Prune·Compress한다.

과거에는 AI Memory를 “얼마나 긴 Context를 한 번에 넣을 수 있는가”로 봤다면 앞으로는 “어떤 정보가 지금 필요한가, 무엇을 외부 Memory로 보낼 것인가, 언제 다시 가져올 것인가”가 더 중요해진다.

즉 Context Window와 Long-Term Memory가 분리되고 AI Memory가 계층형 Architecture로 발전하기 시작하는 것이다.

SmoothAgent와 같은 연구에서 Context 변경에 따른 KV Cache 재계산 비용을 직접 최적화하기 시작한 것도 같은 흐름이다. Agent가 많아질수록 GPU에는 Model Weight뿐 아니라 수많은 Agent의 KV Cache와 Active State가 동시에 존재하게 된다. 결국 GPU Memory는 단순 모델 저장소가 아니라 다수 Agent의 Working State를 관리하는 자원으로 변한다.

2. Long-Term Memory는 ‘대화 기록’이 아니라 AI의 경험 자산이 되고 있다

두 번째 변화는 Memory의 성격 자체가 달라지고 있다는 것이다.

Memory as Action과 AgeMem에서는 Agent가 직접 Store, Retrieve, Update, Summarize, Discard를 결정한다. MemSkill은 무엇을 기억하는 것이 좋은지에 대한 방법 자체를 Skill로 만들고, EvolveMem은 Retrieval과 Scoring을 포함한 Memory Architecture를 Agent 스스로 수정한다.

ACE와 Unified Context Evolution은 더 나아가 과거 경험을 단순 Conversation Log로 저장하지 않고 Memory, Strategy, Workflow, Skill로 분해해 재사용한다.

따라서 앞으로 Agent의 장기기억은 단순한 Chat History와는 성격이 다르다. User Memory, Company Knowledge, Workflow, Successful Skill, Failure Case, Verification History, Audit Log, Checkpoint 등이 계속 축적된다.

AI가 일할수록 Memory가 늘어나고, 이 Memory가 다음 업무의 생산성을 높이는 누적형 자산이 되는 것이다. 결국 Stateful Agent가 확산되면 AI Memory 수요는 더 이상 Model Weight와 KV Cache만으로 설명할 수 없게 된다.

3. RSI의 등장으로 Training과 Inference의 경계가 흐려진다

Darwin Gödel Machine, MetaSkill-Evolve, AREX 등이 흥미로운 이유는 AI가 단순히 Task를 수행하는 수준을 넘어 자신의 업무 방식까지 개선하기 시작하기 때문이다.

예를 들어 AREX는 한 번 조사하고 답변을 생성하는 것으로 끝나지 않는다.

Research → Answer → Audit → Additional Research → Update

를 반복한다.

Darwin Gödel Machine은 더 나아가 Agent가 자신의 Code를 직접 수정하고 새로운 버전을 평가한다. MetaSkill-Evolve에서는 Task Skill을 개선하는 Fast Loop 위에 Skill을 개선하는 방법 자체를 발전시키는 Meta Loop가 존재한다.

기존 구조는 비교적 단순했다.

Training → Model Weight 개선 → Inference

그러나 Agent 시대에는 다음과 같은 순환구조가 가능해진다.

Inference → Tool Use → Result → Verification → Synthetic Experience → Memory → Evaluation → Skill/Context Update → Post-Training/RL → 다시 Inference

즉 Inference 과정에서 발생한 Tool Trajectory, Failure Case, Verification Result, Agent Interaction이 단순 부산물이 아니라 다음 AI를 개선하기 위한 Synthetic Data가 된다.

장기적으로 수백만 개의 Agent가 기업 업무를 수행한다면 인간이 직접 만드는 학습 데이터보다 Agent가 매일 생성하는 Synthetic Trajectory의 증가 속도가 훨씬 빨라질 가능성이 있다.

현재 산업 전체에서 Agentic Inference가 Training Compute를 이미 넘어섰다고 단정할 단계는 아니다. 그러나 중요한 것은 현재 절대량보다 Inference-derived Synthetic Data와 Evaluation Loop의 증가율이다.

실제로 NVIDIA도 Vera Rubin을 설명하면서 기존의 Pre-training, Post-training, Inference를 별개의 영역으로 보기보다 이들의 융합이 차세대 AI 데이터센터의 중요한 변화라고 설명하고 있다. 또한 Agentic Reasoning을 위해 수십만 Token의 Long Context와 지속적인 Real-time Inference가 필요하다고 강조한다.

앞으로 AI Factory는 Training Cluster와 Inference Cluster로 깔끔하게 구분되기보다 Reasoning → Action → Evaluation → Learning이 계속 순환하는 Continuous AI Factory에 가까워질 가능성이 있다.

4. Enterprise Agent의 확산은 AI 수요 단위를 ‘Query’에서 ‘Job’으로 바꾼다

Enterprise Agent 연구에서도 같은 흐름이 나타난다.

TheAgentCompany와 EnterpriseBench는 AI에게 질문을 푸는 것이 아니라 실제 직원의 Job을 맡긴다. OdysseyBench는 Word, Excel, Email, Calendar를 넘나드는 장기 업무를 수행하게 하고, BlueFin은 금융 모델의 숫자만 맞히는 것이 아니라 Formula와 Dependency까지 유지하도록 요구한다.

Agentic ERP에서는 ERP가 단순한 System of Record에서 System of Action으로 발전한다. EntWorld는 Agent가 “완료했다”고 말하는 것이 아니라 실제 Database State가 제대로 변경됐는지를 검사한다. World of Workflows는 기업 내부의 Business Rule과 State Transition을 이해하기 위해 일종의 Enterprise World Model이 필요하다는 점을 보여준다.

따라서 AI의 Workload Unit도 달라질 가능성이 높다.

과거에는 Queries per User가 중요한 지표였다면 앞으로는 다음과 같은 변수가 더 중요할 수 있다.

Agent Steps per Task × Tasks per Agent × Concurrent Agents × Inference Loops per Task × State Retention Duration

Human Query 하나가 Inference 하나를 발생시키는 구조에서 Human Intent 하나가 수십~수백 번의 Reasoning, Tool Call, Verification, Retry를 발생시키는 구조로 이동하는 것이다.

NVIDIA 역시 Agentic Inference에서는 Agent의 Action·Observation·Decision으로 구성된 비결정적 Trajectory가 발생하며, 하나의 Session이 수백 번의 Inference Request로 이어질 수 있다고 설명한다.

5. 이것이 HBM만이 아니라 전체 Memory Hierarchy를 키우는 이유이다

기존 AI Memory Thesis는 비교적 단순했다.

Bigger Model → More HBM

Agent 시대에는 구조가 달라진다.

Model Weight + KV Cache + Active Context + Agent State + Tool Result + Enterprise State + User Memory + Workflow + Skill Library + Verification History + Checkpoint + Long-Term Experience

를 모두 관리해야 하기 때문이다.

이에 따라 Memory별 역할도 분화될 가능성이 높다.

HBM은 Model Weight, Active KV Cache, 현재 실행 중인 Agent State를 담당하는 초고속 Working Memory가 된다.

Host DRAM은 Warm Context, Dormant Agent State, Retrieval Cache를 보관하는 계층이 될 수 있다.

더 장기적으로는 CXL/Pooled Memory가 여러 CPU·Accelerator 사이에서 공유되는 대규모 State를 담당하고,

Enterprise SSD/NAND는 Long-Term Memory, Skill Library, Audit Trail, Historical Context를 저장하는 역할을 할 수 있다.

즉 AI Memory Architecture는 HBM → DRAM → CXL/Pooled Memory → SSD라는 보다 명확한 계층 구조로 발전할 가능성이 있다.

특히 HBM에서는 Bandwidth뿐 아니라 Capacity가 중요해질 가능성이 높다. Agent 한 개가 아니라 다수의 Agent가 동시에 존재하고 각각 별도의 KV Cache와 Working State를 갖기 때문이다. NVIDIA Rubin GPU 역시 Agentic AI와 Long Context를 겨냥해 288GB HBM4와 22TB/s의 HBM Bandwidth를 제공하는 방향으로 설계됐다.

6. Memory Efficiency가 높아질수록 오히려 Memory 수요가 커질 수 있다

Context Compression, KV Cache Optimization, Memory Tiering이 발전하면 Agent당 Memory 사용량이 감소한다. 하지만 총수요에서는 오히려 반대 결과가 나타날 가능성이 있다.

바로 제번스의 역설(Jevons Paradox)이다.

Memory Efficiency가 향상되면 Agent 하나를 실행하는 비용이 낮아진다. 하나의 GPU에서 더 많은 Agent를 동시에 실행할 수 있고, 기존에는 비용 때문에 자동화하지 못했던 업무까지 Agent가 맡을 수 있게 된다.

따라서 구조는 다음과 같다.

Memory Efficiency 개선 → Cost per Agent 하락 → Agent Deployment 확대 → Concurrent Agents 증가 → Workflow 확대 → Verification·RSI Loop 증가 → Persistent State 증가 → Total Memory Workload 증가

총 Memory 수요를 단순화하면 다음과 같이 볼 수 있다.

Total Memory Demand ≈ Memory per Agent × Concurrent Agents × Agent Steps per Task × Tasks per Agent × State Retention Duration

Memory Efficiency는 첫 번째 변수인 Memory per Agent를 낮춘다. 그러나 비용 하락으로 나머지 변수들이 훨씬 빠르게 증가한다면 전체 Memory 수요는 오히려 확대된다.

따라서 핵심 질문은 Agent당 Memory 사용량이 얼마나 줄어드는가가 아니라, 비용 하락에 Agent 수요가 얼마나 탄력적으로 반응하는가이다.

7. Stateful AI Factory는 전력 특성도 바꾼다

Agentic AI의 확산은 Memory뿐 아니라 데이터센터 전력 구조에도 영향을 준다.

Training 중심의 GPU Cluster는 비교적 장시간 높은 Accelerator Utilization을 유지한다. 반면 Agentic Inference는 GPU Reasoning → CPU Orchestration → Tool/API → Memory Retrieval → GPU Reasoning → Verification을 반복한다.

이에 따라 CPU·GPU·Memory·Network·Storage가 서로 다른 시점에 활성화되면서 보다 동적인 Power Profile이 발생할 수 있다.

NVIDIA는 Vera Rubin Platform을 소개하며 Training에서는 GPU들이 동기화되어 Compute와 Communication Phase를 오가면서 큰 Power Swing이 발생하고, Inference에서는 Sharp·Bursty Demand Spike가 발생한다고 직접 설명한다. NVIDIA는 이를 단순 전력 소비 증가가 아니라 AI Factory Architecture가 해결해야 할 구조적 문제로 보고 있다.

다만 여기서 중요한 구분이 있다.

데이터센터 전체의 순간 전력 변화와 GPU Chip 근처의 순간 전류 변화는 서로 다른 문제이다.

Rack 차원의 ms~초 단위 Power Swing은 Power Shelf, Energy Storage, BBU·BESS 같은 장치가 담당한다. 반면 GPU·ASIC이 연산 상태를 순간적으로 전환할 때 발생하는 훨씬 빠른 Current Step은 Processor 가까이의 Decoupling Capacitor가 대응해야 한다.

즉 Agentic AI가 MLCC 수요로 연결되는 핵심은 단순히 “AI가 전기를 많이 쓴다”는 것이 아니다.

AI Accelerator의 저전압·대전류화와 빠른 Current Transient가 동시에 심화되는 것이 핵심이다.

7-1. NVIDIA가 이미 ‘AI 전력의 급격한 변동’을 핵심 설계 문제로 보고 있다

이 부분은 NVIDIA의 실제 제품과 진단 Tool을 보면 이해가 쉽다.

NVIDIA는 GB300 NVL72에서 수천 개 GPU가 동시에 연산하면서 Idle 상태와 High-power 상태를 함께 오가기 때문에 기존 데이터센터보다 전력 변화가 훨씬 급격하다고 설명한다. 이를 완화하기 위해 Power Cap, GPU Burn, Energy Storage를 결합한 Power Smoothing을 도입했다. GB300 Power Shelf에는 전해 Capacitor를 이용한 Energy Storage가 들어가며, NVIDIA는 동일 Rack·동일 Workload에서 Peak Grid Demand를 최대 약 30% 낮출 수 있다고 설명한다.

보다 직관적인 부분은 Power Supply 내부이다. NVIDIA는 GB300 PSU 내부 공간의 약 절반을 Energy Storage용 Capacitor가 차지하며 GPU당 약 65J를 저장한다고 설명한다. 즉 AI Workload의 급격한 전력 변동을 안정시키기 위해 Capacitor를 시스템 Architecture 수준에서 적극적으로 사용하기 시작한 것이다.

Vera Rubin에서는 이 방향이 더욱 강화된다. NVIDIA는 Rubin Rack에 이전 세대 대비 약 6배 많은 Rack-level Energy Storage와 GPU당 약 400J의 Energy Buffer를 적용하고, GPU가 Capacitor의 State of Charge를 지속적으로 확인하면서 Power Profile을 평탄화하는 Intelligent Power Smoothing을 도입했다.

다시 강조하면 이 Capacitor는 GPU 주변 MLCC와 동일한 부품은 아니다. NVIDIA가 말하는 Rack-level Energy Storage는 상대적으로 긴 시간축의 전력 변동을 흡수하기 위한 대용량 Capacitor이다.

그러나 중요한 것은 NVIDIA가 “AI Workload의 급격한 Power/Current 변화 자체를 해결해야 할 문제”로 공식적으로 다루고 있다는 사실이다.

이보다 더 짧은 시간의 변화를 확인하는 자료도 있다.

NVIDIA의 DCGM에는 Pulse Test라는 GPU 진단 기능이 있다. 이 Test는 GPU의 전력과 전류 수요를 일부러 빠르게 변화시켜 Board와 Platform의 Power Delivery System이 이를 견딜 수 있는지를 검사한다. Test Pattern은 Oscilloscope로 측정해 Worst-case Power Transient를 발생시키는지 검증한다고 NVIDIA가 명시하고 있다.

쉽게 표현하면 NVIDIA가 실제 GPU 시스템에서 다음 상황을 일부러 만들어보는 것이다.

GPU가 갑자기 많은 연산을 시작한다 → 순간적으로 전류 요구가 급증한다 → 전원 회로가 흔들리지 않는지 검사한다.

즉 Fast Current Transient가 실제 GPU Platform의 설계·검증 항목이라는 의미이다.

공식 자료: NVIDIA DCGM Pulse Test

7-2. AMD 공식 설계 가이드는 왜 Decoupling Capacitor가 필요한지를 설명한다

NVIDIA가 “실제로 이런 전력 변화가 발생한다”는 것을 보여준다면, AMD 자료는 왜 이 문제가 Capacitor와 연결되는지를 설명해준다.

AMD의 Versal Adaptive SoC PCB Design Guide에서는 Step Load를 Switching Event 때 순간적으로 요구되는 Dynamic Current로 정의한다.

중요한 부분은 그 다음이다.

전압 조절기인 VRM이 전류 증가에 즉시 반응할 수 없기 때문에, 그 짧은 순간에 필요한 전류는 주로 Decoupling Capacitor가 먼저 공급한다고 AMD는 설명한다. 또한 Core Rail인 VCCINT의 Current Consumption이 커질수록 필요한 Decoupling 양에 큰 영향을 준다고 명시한다.

이를 수도관으로 비유하면 이해하기 쉽다.

VRM은 멀리 있는 큰 물펌프이고 MLCC는 GPU 바로 옆에 설치된 작은 물탱크와 비슷하다. GPU가 갑자기 많은 전류를 요구하면 멀리 있는 VRM이 즉시 반응하기 전에 가까운 Capacitor가 먼저 저장해둔 전기를 공급한다.

그래서 고성능 Processor일수록 Capacitor를 Chip 가까이에 배치하는 것이 중요해진다.

AMD가 사용하는 또 하나의 중요한 개념이 Target Impedance이다.

간단하게 표현하면 다음과 같다.

Target Impedance ≈ 허용 가능한 Voltage Ripple / 순간 Current Step

즉 GPU가 순간적으로 요구하는 전류 변화가 커질수록, 동일한 전압 안정성을 유지하기 위해서는 Power Delivery Network의 Impedance를 더 낮게 만들어야 한다.

AMD는 실제 설계 가이드에서 0.8V Rail과 40A Step Current 같은 사례를 제시하며, Decoupling Capacitor가 효과적인 Frequency Range에서 PDN Impedance를 Target 이하로 유지해야 한다고 설명한다.

공식 자료: AMD Target Impedance

공식 자료: AMD Current Step Load

여기서 MLCC의 기술력이 중요해진다.

AMD는 Decoupling Capacitor를 선택할 때 단순히 µF, 즉 용량만 보는 것이 아니라 ESR, ESL, Self-Resonant Frequency, 수량, Placement를 함께 고려한다고 설명한다. AMD의 Power Design Manager는 실제 Current Requirement와 Step Load에 따라 필요한 Capacitor 종류와 수량을 계산한다.

쉽게 말하면 고성능 AI Chip의 요구는 다음과 같다.

더 많은 전기를 저장하면서도 → 더 빠르게 꺼내 쓸 수 있고 → Processor에 더 가까이 설치할 수 있는 Capacitor

가 필요한 것이다.

이를 제품 기술의 언어로 바꾸면:

High Capacitance + Small Size + Low ESR/ESL + Close Placement

이다.

이제 이 원리를 실제 MLCC 업체들의 제품과 연결해보면 더욱 명확해진다.

8. 왜 AI GPU가 강해질수록 고기능 MLCC가 중요해지는가 — 공급업체 제품이 이미 이를 검증하고 있다

AMD와 NVIDIA 자료를 통해 물리적 원리를 정리하면 다음과 같다.

AI Processor 성능 상승 → 소비전력 및 Current 증가 → 순간 Current Step 확대 → 전압 안정성 요구 상승 → PDN Target Impedance 하락 → 더 강한 Decoupling 필요

그리고 실제 MLCC 제조업체들은 이미 이 방향에 맞춰 제품을 개발하고 있다.

삼성전기: “AI 서버는 일반 서버보다 MLCC를 10~15배 이상 사용”

2026.07.30 Samsung Electromechanics

삼성전기는 2026년 공식 기술자료에서 AI 서버가 범용 서버 대비 10~15배 이상의 MLCC를 탑재한다고 설명한다. GPU와 CPU는 약 0.8V의 낮은 전압에서 수천 A에 달하는 전류를 사용하기 때문에 GPU Power Dynamics에 대응하려면 MLCC의 Total Capacitance가 증가해야 한다는 설명이다.

즉 앞서 AMD가 설명한 “Current Step 증가 → 더 많은 Decoupling 필요”라는 원리가 실제 AI 서버 BOM에 나타나고 있는 것이다.

삼성전기: AI Industry 대응 전략

삼성전기의 제품 Roadmap도 같은 방향이다. AI 서버용으로 0402 크기의 47µF, 0603 크기의 100µF 제품을 개발했으며, 더 큰 용량에서는 1206 크기의 220µF와 1210 크기의 330µF MLCC까지 양산하고 있다. 삼성전기는 고연산 작업 때 발생하는 큰 순간 Current 변화에 대응하고 Peak Current를 보충하기 위해 초고용량 MLCC가 필요하다고 설명한다.

삼성전기: AI Server 47µF·100µF MLCC

삼성전기: 220µF·330µF 초고용량 MLCC

흥미로운 점은 MLCC만 강화되는 것이 아니라는 것이다. 삼성전기는 2026년 AI Server GPU와 HBM Package 내부에 사용하는 Silicon Capacitor의 대규모 공급 계약도 발표했다. 이는 Power Delivery가 PCB 위 MLCC뿐 아니라 Package 내부까지 확대되고 있다는 신호이다.

Murata: 0603 크기에 100µF를 구현

2026.07.31 Murata Manufacturing

Murata는 2024년 서버·데이터센터를 겨냥한 0603 inch 크기 100µF MLCC를 발표했다. 핵심은 단순히 용량이 큰 것이 아니라 작은 크기에서 낮은 ESR과 낮은 Impedance를 구현했다는 점이다.

Murata는 AI 성능과 서버 집적도가 올라갈수록 Board 공간은 줄어드는 반면 고용량 Capacitor에 대한 요구는 커진다고 설명한다. 또한 100µF를 작은 Package에 구현하면 기존보다 적은 Capacitor 수로 필요한 Total Capacitance를 확보할 수 있어 PCB 면적도 줄일 수 있다.

Murata: 0603-size 100µF MLCC

이 부분은 투자 관점에서 중요하다. AI가 발전한다고 MLCC 개수가 무조건 비례해서 증가하는 것은 아니며, MLCC 한 개당 용량과 ASP가 올라가는 방향도 동시에 진행되기 때문이다.

TAIYO YUDEN: 이제 MLCC를 Processor ‘안쪽’으로 넣기 시작한다

2026.08.05 TAIYO YUDEN

TAIYO YUDEN은 여기에서 한 단계 더 나아간다.

2025년 AI Server용 1005 size 22µF Embedded MLCC를 양산하기 시작했고, 2012 size 100µF Embedded MLCC까지 제품군을 확대했다.

Embedded MLCC란 Capacitor를 PCB 표면에만 장착하지 않고 기판 내부에 넣어 Processor와의 거리를 더 줄이는 방식이다.

왜 이렇게 하는가.

AMD가 설명했듯 배선이 길어지면 Inductance가 증가하고 Capacitor가 빠르게 전류를 공급하는 능력이 떨어진다. 따라서 Capacitor를 Processor에 더 가까이 배치할수록 Fast Transient에 대응하기 유리하다.

TAIYO YUDEN도 AI Server가 막대한 데이터를 처리하면서 큰 전류를 효율적으로 공급하고 Power Loss를 줄이기 위해 Embedded MLCC 수요가 증가할 것이라고 설명하고 있다.

TAIYO YUDEN: AI Server Embedded MLCC

결국 NVIDIA와 AMD가 보여주는 시스템 요구와 실제 MLCC 업체의 제품 방향이 일치한다.

More Capacitance + Smaller Size + Lower ESR/ESL + Closer to Processor

가 AI Server MLCC 기술의 중심축이 되고 있는 것이다.

9. 중요한 것은 MLCC ‘개수’보다 Value Content이다

GPU Power가 두 배가 된다고 MLCC 개수가 반드시 두 배가 되는 것은 아니다. MLCC 자체의 Capacitance Density가 빠르게 높아지고 있기 때문이다.

과거 10µF MLCC 여러 개가 필요했던 공간을 100µF급 제품 몇 개가 대체할 수 있다. Murata 역시 100µF 0603 제품의 장점 가운데 하나로 필요 Capacitor 수와 PCB 면적을 줄일 수 있다는 점을 제시한다.

따라서 AI MLCC Thesis를 단순히 Units per GPU로 보면 기술 발전에 따른 부품 통합을 놓칠 수 있다.

더 중요한 지표는 다음과 같다.

Total Capacitance per Accelerator, MLCC Value Content per Rack, High-Capacitance Mix, Low-ESL/Embedded Mix, High-Temperature Mix, High-Voltage Mix

즉 AI 서버에서 MLCC의 산업 수혜는 단순 수량 증가뿐 아니라 고부가 제품 Mix와 ASP 상승을 포함한 Content Value 증가로 보는 것이 더 적절하다.

10. 48V와 800V HVDC는 Capacitor 수요를 또 다른 방향에서 만든다

AI Rack의 Power Density가 높아지면서 전원 Architecture 역시 변하고 있다.

NVIDIA는 현재의 54V DC Architecture로는 향후 1MW급 AI Rack을 효율적으로 지원하기 어렵다고 보고, 2027년부터 800V DC 기반 AI Factory Power Infrastructure로 전환하는 방향을 추진하고 있다. NVIDIA는 800V DC가 기존 시스템 대비 Conversion Stage와 Copper 사용량을 줄이고 MW급 Rack으로 확장하는 데 적합하다고 설명한다.

NVIDIA: 800V DC Architecture

GPU 가까이에서는 저전압·초고용량·저ESL Capacitor가 중요하지만, Rack의 Power Conversion 영역에서는 고전압·고온·저손실 Capacitor가 중요해지는 것이다.

따라서 AI 데이터센터의 Capacitor 수요는 크게 두 방향으로 확대될 수 있다.

GPU/ASIC 주변 → Low Voltage + Ultra-high Capacitance + Low ESL

Power Conversion → High Voltage + High Temperature + Low Loss

즉 AI Power Density 상승은 단순 MLCC 수량뿐 아니라 Capacitor Stack 전체의 기술 난이도와 Value Content를 높이는 방향이다.

12. 다만 MLCC만 독식하는 시장은 아니다

가장 중요한 Counter Thesis도 있다.

AI Processor의 모든 Power Transient를 MLCC 하나가 담당하는 것은 아니다. Frequency와 필요한 Energy에 따라 적합한 Capacitor가 다르다.

개념적으로 보면 Very High Frequency에서는 Package/Silicon Capacitor, High~Mid Frequency에서는 MLCC, Lower Frequency와 더 큰 Energy 영역에서는 Polymer·Tantalum·Aluminum Capacitor, Rack-level에서는 Electrolytic Capacitor·BBU·BESS가 역할을 나누는 구조이다.

AMD 역시 Capacitor가 각각의 Self-Resonant Frequency를 중심으로 서로 다른 Frequency Range를 담당한다고 설명하고 있으며, Capacitance·ESR·ESL과 실제 Placement까지 함께 최적화할 것을 권고한다.

따라서 AI Power Density 상승을 무조건 PCB MLCC 개수 증가로 해석하는 것은 위험하다.

투자 관점에서는 전체 Capacitor Stack 가운데 어떤 기술이 어느 Frequency Band와 Placement를 차지하는가를 봐야 한다.

이 관점에서 Murata는 MLCC뿐 아니라 Silicon과 Polymer Capacitor까지 보유하고 있고, YAGEO/KEMET 역시 MLCC·Polymer·Tantalum·Aluminum·Film Capacitor를 폭넓게 가지고 있다는 점이 강점이다.

YAGEO/KEMET은 AI Hardware의 높은 전력 요구에 대응하기 위한 제품으로 Ultra-low ESR Polymer Capacitor와 Low-inductance MLCC 등을 직접 제시하고 있다.

2026.07.29 Yageo

YAGEO/KEMET AI Applications

YAGEO MLCC
2026/08/10 02:16:12

13. 업체별로 보면 무엇을 봐야 하는가

삼성전기는 AI Server용 초고용량·고온·고전압 MLCC 확대가 핵심이다. 이미 47µF·100µF에서 220µF·330µF 제품까지 확대했으며, AI Data Center Server용 MLCC와 Package Substrate 경쟁력 강화를 위해 장기 투자계획까지 발표했다.

Murata는 초소형·고용량 MLCC와 함께 Silicon/Polymer 등 다양한 Capacitor Technology를 보유하고 있어 Processor 근처 고주파 Decoupling에서 전체 Stack 대응력이 강점이다.

TAIYO YUDEN은 High-Capacitance MLCC뿐 아니라 Processor와의 거리를 줄이는 Embedded MLCC가 차별화 포인트이다.

YAGEO/KEMET은 MLCC 단일 제품보다는 AI 시스템 전체의 Capacitor Content 상승이라는 관점에서 보는 것이 적절하다. 특히 Ultra-low ESR Polymer와 High-CV Capacitor Portfolio를 보유하고 있다.

Holy Stone은 AI PSU와 고전압 Power Conversion에 필요한 High-voltage MLCC 영역에서 확인할 가치가 있다.

Walsin Technology는 AI/HPC 방향 자체는 긍정적이나 Leading-edge AI Platform Qualification과 고부가 MLCC Mix가 얼마나 확대되는지가 핵심 확인 포인트이다.

결국 업체별 수혜를 판단할 때 단순 MLCC 생산 Capacity보다 AI Platform Qualification, High-Capacitance Mix, Low-ESL Technology, Embedded Capability, High-Voltage Product, 고객별 Design-in을 봐야 한다.

14. 결국 AI Agent → Memory → Power → MLCC는 하나의 흐름이다

지금까지 AI Infrastructure를 Compute, Memory, Power라는 별도의 산업 Theme으로 보는 경우가 많았다. 그러나 Stateful Agent 시대에는 이 세 요소가 하나의 Loop로 연결된다.

더 강한 Model → 더 많은 Agentic Inference → 더 많은 Synthetic Trajectory → 더 많은 Memory/Storage → 더 많은 Evaluation·Post-Training·RSI → 더 많은 Compute → 더 높은 Power Density → 더 강한 PDN 필요 → 다시 더 많은 AI Workload

Training과 Inference의 경계가 흐려지는 것처럼 Compute·Memory·Storage·Power Delivery의 경계 역시 하나의 AI Factory 안에서 연결되는 것이다.

NVIDIA가 Vera Rubin을 설명하면서 AI Data Center를 단순 Training 시스템이 아니라 Power, Silicon, Data를 지속적으로 Intelligence로 변환하는 Always-on AI Factory라고 표현하는 것도 이 흐름과 일치한다.

기존 AI Infrastructure Thesis가

Bigger Model → More GPU → More HBM

이었다면 Agent 시대에는 다음과 같이 확장할 필요가 있다.

More Agents → Longer Workflows → More Context/KV Cache → More Persistent State → More Synthetic Data → More Evaluation/RSI → More Accelerators → Higher Rack Power → More Memory + More Power Delivery Content

Memory에서는 HBM → DRAM → CXL → Enterprise SSD로 이어지는 계층형 구조가 중요해지고, Power에서는 Ultra-high-capacitance MLCC → Embedded/Silicon Capacitor → Polymer Capacitor → High-Voltage Power Capacitor → Rack Energy Storage까지 전체 Stack의 Content가 증가할 가능성이 있다.

15. 최종 투자 Thesis

결국 Agent 시대의 핵심 질문은 한 번의 AI 연산에 Memory나 Capacitor가 얼마나 많이 필요한가가 아니다.

더 중요한 것은 AI의 단위 비용이 낮아질수록 얼마나 많은 새로운 Agent, Workflow, Synthetic Data, Verification, Self-Improvement Loop가 경제성을 확보하는가이다.

따라서 장기적으로는 다음 Thesis를 생각할 수 있다.

AI가 Stateless에서 Stateful로 전환되고 Training과 Inference의 경계가 흐려질수록 데이터센터는 더 많은 Memory를 통해 State를 유지하고, 더 강한 Power Delivery를 통해 그 State를 끊임없이 연산하는 ‘Stateful AI Factory’로 변한다.

그리고 NVIDIA와 AMD의 공식 자료는 이 Thesis에서 Power 부분을 상당히 강하게 뒷받침한다.

NVIDIA는 AI Training과 Inference에서 실제로 급격한 Power/Current Swing이 발생한다는 것을 제품 Architecture와 진단 Tool 차원에서 확인하고 있으며, GB300과 Rubin에서는 Capacitor 기반 Energy Buffer와 Power Smoothing까지 시스템 수준에서 적용하고 있다.

AMD는 더 짧은 Chip/Board 시간축에서 Processor가 순간적으로 요구하는 Step Current를 VRM이 반응하기 전 Decoupling Capacitor가 공급해야 하며, Current Step이 커질수록 더 낮은 PDN Target Impedance가 요구된다는 설계 원칙을 공식화하고 있다.

그리고 삼성전기·Murata·TAIYO YUDEN이 실제로 더 높은 Capacitance, 더 작은 Size, 더 낮은 ESR/ESL, Processor에 더 가까운 Placement를 향해 제품 Roadmap을 이동시키고 있다는 사실은 이러한 시스템 요구가 실제 부품 시장으로 전달되고 있음을 보여준다.

따라서 MLCC 투자 Thesis를 단순히 “AI 서버 한 대에 MLCC가 몇 개 들어가는가”로 접근하기보다는 다음 네 가지 변수를 보는 것이 더 중요하다.

AI Accelerator Installed Base × Power Density per Accelerator × Required Decoupling/Power Conversion Content × MLCC Share of Capacitor Stack

이 가운데 첫 번째와 두 번째 변수는 AI Agent와 Inference 확산에 따라 구조적으로 상승할 가능성이 높다. 세 번째 변수 역시 저전압·대전류화와 더 엄격한 PDN 요구 때문에 증가할 가능성이 있다. 가장 중요한 불확실성은 네 번째인 MLCC와 Silicon·Polymer·Embedded Capacitor 사이의 역할 분담이다.

결국 AI Agent의 발전은 MLCC를 단순한 수동소자가 아니라 AI Processor의 성능을 실제로 구현하기 위해 필요한 Power Delivery Infrastructure의 일부로 변화시키고 있다고 볼 수 있다.

부록. AI Agent 발전 흐름을 보여주는 주요 논문 27편

Context / Harness

1. LongHorizon-Harness — 2026.08.03
긴 업무를 Manager–Executor–Auditor로 분리하고 검증된 Task State만 유지하는 구조이다.
논문

2. CHILL-Harness — 2026.07.28
업무 상태에 따라 Agent Harness와 Workflow를 동적으로 최적화하는 연구이다.
논문

3. Natural-Language Agent Harnesses — 2026.03.26
Agent가 읽고 수정할 수 있는 자연어 기반 실행 Harness를 제안한다.
논문

4. ACM: Agentic Context Management — 2026.07.26
Context를 Agent가 직접 압축·Offload·Retrieve하도록 한다.
논문

5. Self-GC — 2026.07.01
Context를 Fold·Mask·Prune·Recover하는 Agent용 Garbage Collection 개념이다.
논문

6. SmoothAgent — 2026.06.30
Context 변화에 따른 KV Cache 재계산 비용을 줄이는 Serving Architecture이다.
논문

7. AgentFold — 2025.10.28
Long-Horizon 업무에서 중요도에 따라 Context를 단계적으로 압축한다.
논문

Long-Term Memory

8. Memory as Action — 2025.10.14
Memory 저장·검색·삭제 자체를 Agent Action으로 학습한다.
논문

9. ACE: Agentic Context Engineering — 2025.10.06
Agent의 경험을 지속적으로 진화하는 Playbook으로 축적한다.
논문

10. AgeMem — 2026.01.05
Short-Term/Long-Term Memory를 하나의 Agent Policy 안에서 통합 관리한다.
논문

11. MemSkill — 2026.02.02
기억을 만드는 방법 자체를 진화 가능한 Memory Skill로 만든다.
논문

12. EvolveMem — 2026.05.13
Retrieval과 Scoring을 포함한 Memory Architecture 자체를 자동 개선한다.
논문

13. Unified Context Evolution — 2026.06.01
Agent Experience를 Memory·Strategy·Workflow·Skill로 분해해 축적한다.
논문

RSI / Self-Improvement

14. Darwin Gödel Machine — 2025.05.29
Agent가 자신의 Code를 수정하고 우수한 변형을 선택·축적한다.
논문

15. MetaSkill-Evolve — 2026.07.06
Task Skill과 Skill을 개선하는 Meta-Skill을 동시에 진화시킨다.
논문

16. AREX — 2026.07.23
Research–Audit–추가 Research를 반복하는 Recursive Improvement Agent이다.
논문

Enterprise Execution

17. Agentic ERP — 2026.07.19
AI Agent가 ERP의 실제 Operational Decision을 수행하는 구조이다.
논문

18. World of Workflows — 2026.01.29
기업 시스템의 Business Rule과 State Transition을 이해하는 World Model 필요성을 제시한다.
논문

19. EntWorld — 2026.01.25
Agent의 말이 아니라 실제 Database State가 바뀌었는지를 검증한다.
논문

20. Terminal Agents Suffice for Enterprise Automation — 2026.03.31
강한 Agent가 GUI보다 Terminal/API를 직접 사용해 기업 업무를 자동화할 수 있음을 보여준다.
논문

21. CRMArena-Pro — 2025.05.24
Salesforce 환경의 실제 Sales·Service·CPQ 업무를 평가한다.
논문

22. EnterpriseBench — 2025.10.31
AI 평가 단위를 Question이 아니라 실제 기업 Job으로 확장한다.
논문

23. TheAgentCompany — 2024.12.18
가상의 회사에서 AI Agent가 실제 직원 업무를 수행한다.
논문

24. OdysseyBench — 2025.08.12
Word·Excel·Email·Calendar를 넘나드는 Long-Horizon Office Agent를 평가한다.
논문

25. BlueFin — 2026.05.29
Agent가 실제 금융 Spreadsheet의 Formula와 Dependency를 유지할 수 있는지 평가한다.
논문

26. POLARIS — 2026.01.16
Enterprise Agent에 Plan·Policy Check·Verification·Repair를 결합한 Governed Execution 구조이다.
논문

AI Infrastructure

27. Architectural Implications of Agentic AI Workflows — 2026.08.05
실제 Azure Agent Workload를 바탕으로 CPU·GPU·Memory·Storage Architecture 변화를 분석한다.
논문

추가 참고자료: AI Power / PDN

NVIDIA — Inside the NVIDIA Vera Rubin Platform
Agentic AI, Long Context, Dynamic Training/Inference Power와 Rack-level Power Smoothing을 설명한다.
공식 자료

NVIDIA — DCGM Pulse Test
GPU의 급격한 Power/Current 변화가 Board PDN 안정성에 미치는 영향을 실제 진단하는 Tool이다.
공식 자료

NVIDIA — GB300 NVL72 Power Smoothing
AI workload의 빠른 Power Swing과 Capacitor 기반 Rack-level Energy Storage를 설명한다.
공식 자료

NVIDIA — 800V DC Architecture
MW급 AI Rack 시대의 800V DC Power Distribution 전환을 설명한다.
공식 자료

AMD — Current Step Load Assumptions
Processor가 순간적으로 요구하는 Current를 VRM 반응 이전에 Decoupling Capacitor가 공급한다는 PDN 원리를 설명한다.
공식 자료

AMD — Target Impedance
Voltage Ripple과 Current Step을 기준으로 PDN의 목표 Impedance를 결정하는 방식을 설명한다.
공식 자료

AMD — Recommended Decoupling Capacitors
Power Requirement와 Frequency별로 필요한 Capacitor의 Capacitance·ESR·ESL·수량을 설계하는 방법을 설명한다.
공식 자료

=끝

생각정리 334 (* Refactoring Investment, Contiunal Learning)

주말에 읽은 여러 글 가운데 개인적으로 흥미로웠던 내용들을 하나의 흐름으로 엮어 기록해본다.

최근 나 역시 하루 업무의 상당 부분을 Agent에게 위임하고, 그 결과물을 압축·정리해 의미를 추출한 뒤 이를 어떻게 P/F 투자 판단에 반영할 것인지 고민하는 시간이 압도적으로 늘고 있음을 체감한다.

반대로 과거 많은 시간을 들였던 정보 수집과 정리, 개별 기업의 어닝모델 업데이트와 같은 작업은 빠르게 Agent에게 이관되고 있다.

결국 AI가 금융투자업의 업무방식까지 바꾸기 시작한다면 앞으로 중요한 질문은 달라질 수밖에 없다.

정보를 더 많이 수집하고 더 빠르게 분석하는 능력이 점점 보편화되는 환경에서, 무엇이 투자자의 차별화된 판단을 만들고 궁극적으로 위험 대비 초과수익, 즉 Alpha를 만들어낼 것인가?

아래 글은 전기와 컴퓨터 혁명에서 시작해 최근 Coding Agent가 보여주고 있는 업무방식의 변화, 그리고 이를 금융투자 분석과 Portfolio Management에 대입해보면서 이 질문에 대한 생각을 정리한 것이다.

AI 시대의 투자조직은 어떻게 바뀌어야 하는가

다이너모에서 Coding Agent까지, 생산성 혁신의 역사가 말해주는 것

기술혁신은 새로운 기술이 등장하는 순간 완성되지 않는다. 역사적으로도 범용기술의 성능 향상보다 그것을 실제 생산 시스템에 연결하는 보완재와 조직의 재설계가 생산성 혁신의 핵심이었다.

19세기 말 전기혁명, 20세기 컴퓨터 혁명, 그리고 현재의 AI 혁명도 이 관점에서 보면 놀라울 정도로 비슷한 경로를 걷고 있다.

최근 AI를 금융투자 분석업무에 활용하면서 느끼는 변화도 여기에 가깝다. AI는 단순히 애널리스트 한 명의 업무를 빠르게 만들어주는 도구가 아니라, 리서치 조직과 Portfolio Manager의 역할 자체를 다시 설계하게 만드는 기술로 발전하고 있다.

그리고 이러한 변화가 가장 먼저 극적인 형태로 나타나고 있는 산업이 바로 Software Coding이다.

1. 전기혁명은 전기모터가 아니라 ‘공장 재설계’에서 완성됐다

Paul David의 「The Dynamo and the Computer」가 보여주는 핵심은 단순하다.

https://www.jstor.org/stable/2006600?utm_source=chatgpt.com

증기기관 시대의 공장은 중앙의 거대한 엔진에서 Shaft와 Belt를 통해 수많은 기계로 동력을 전달했다.

Steam Engine → Shaft → Belt → Machine

전기모터가 등장했지만 초기에는 기존 공장의 구조를 그대로 둔 채 동력원만 전기로 바꾸는 경우가 많았다.

Electric Motor → Shaft → Belt → Machine

기술은 바뀌었지만 공장의 Architecture는 바뀌지 않은 것이다.

이미 투자된 공장과 설비, 기존 업무방식이라는 Inertia(*관성)가 새로운 기술의 잠재력을 제한했다.

진짜 변화는 개별 기계에 작은 전기모터를 붙이는 Unit Drive가 확산되면서 나타났다.

모든 기계를 중앙 Shaft에 연결할 필요가 없어지자 기계 배치를 자유롭게 바꿀 수 있었고, 공장은 동력 전달이 아니라 생산과 물류의 흐름을 중심으로 다시 설계될 수 있었다.

Power Flow 중심의 공장 → Material Flow 중심의 공장

전기혁명의 생산성 향상은 단순히 더 좋은 모터에서 나온 것이 아니었다.

전기를 전제로 공장 전체를 다시 설계했기 때문에 가능했다.

2. 컴퓨터 혁명도 같은 과정을 거쳤다

컴퓨터 역시 처음에는 기존 업무를 디지털화하는 데 사용됐다.

종이 장부는 전산 장부가 되고, 계산기는 Spreadsheet가 되었지만 기업의 정보 흐름은 상당 기간 그대로였다.

사람이 자료를 만들고,

다른 사람에게 전달하고,

상사가 검토하고,

다른 부서가 다시 입력하고,

최종적으로 보고서를 만드는 구조가 유지됐다.

컴퓨터는 들어왔지만 Information Architecture는 과거의 방식에 머물러 있었던 것이다.

생산성 향상이 본격적으로 나타난 것은 Database, Network, ERP, Internet, Cloud, API 등 보완재가 발전하면서 컴퓨터가 기업의 정보 흐름 자체를 바꾸기 시작한 이후였다.

전기가 Physical Architecture를 바꿨다면,

컴퓨터는 Information Architecture를 바꿨다.

3. AI도 처음에는 ‘전기모터를 단 증기공장’이었다

생성형 AI의 초기 도입도 비슷했다.

기존 업무가

Employee → Email → Excel → ERP → Approval → Report

였다면,

AI 도입 후에는

Employee + ChatGPT → Email → Excel → ERP → Approval → Report

정도로 바뀌었다.

AI가 추가됐지만 기존 Workflow는 그대로였다.

LLM이 이메일을 10배 빨리 작성하고 보고서를 순식간에 요약해도, 사람이 다시 읽고 복사하고 승인받고 다른 시스템에 입력한다면 Local Productivity는 올라가지만 System Productivity는 제한된다.

그런데 최근에는 상황이 달라지고 있다.

Computing H/W 성능 향상

LLM Capability 향상

Token Cost 하락

과 함께 Harness와 Agent 같은 보완재가 빠르게 발전하고 있기 때문이다.

Harness는 Context, Memory, Tool, API, Retrieval, Permission, Evaluation 등을 모델에 연결해 LLM이 실제 업무를 수행할 수 있도록 만든다.

그리고 Agent가 등장하면서 AI의 단위도

Prompt → Response

에서

Observe → Plan → Act → Verify → Retry

로 변하고 있다.

즉, AI의 경제적 단위가 Token Generation에서 Task Completion으로 이동하고 있다.

과거 AI의 경제성은 얼마나 많은 Token을 얼마나 낮은 비용으로 생성할 수 있는가에 의해 설명됐다. 그러나 Agent의 등장으로 중요한 기준은 Token의 양이 아니라, 하나의 업무를 얼마나 적은 인간 개입으로 완결할 수 있는가로 이동하고 있다.

전기의 Unit Motor가 하나의 공장 동력원을 개별 기계 단위로 분산시키면서 각각의 기계가 독립적으로 작동할 수 있게 만들었다면, AI Agent는 지능을 각각의 Work Unit에 배치해 업무 단위가 독립적으로 실행될 수 있게 만든다.

따라서 AI Token 경제학도 단순한 연산비용의 문제가 아니라, Token 투입이 실제 Task Completion과 경제적 산출물로 얼마나 효율적으로 전환되는가를 측정하는 생산성의 문제로 확장되고 있다.

결국 AI의 경제적 가치는 더 이상 Cost per Token만으로 설명하기 어렵다. 앞으로 중요한 지표는 Cost per Task, Tasks per Worker, Revenue per Agent, Human Hours Saved와 같이 AI가 실제 업무 산출물을 얼마나 증가시키는지를 측정하는 방향으로 이동하게 된다.

즉, AI는 이제 정보 생성 기술을 넘어 경제적 산출물의 생산함수 자체를 변화시키는 생산성 기술의 영역으로 진입하고 있다.

4. Coding 산업은 이 변화가 어디까지 갈지를 먼저 보여주고 있다

최근 Peter Steinberger의 인터뷰는 이 변화를 매우 선명하게 보여준다.

The creator of OpenClaw: "I ship code I don't read"

PSPDFKit을 다시 지금의 AI Agent 환경에서 만든다면 어떻게 하겠느냐는 질문에 그는 과거 인원의 약 30% 수준으로도 회사를 운영할 수 있을 것 같다고 답했다.

다만 필요한 사람은 단순히 코드를 빨리 작성하는 Engineer가 아니다.

무엇을 만들고 있는지 깊게 이해하고, Agent에게 과감히 위임하면서도 무엇을 직접 통제해야 하는지 판단할 수 있는 매우 Senior한 Engineer가 필요하다고 설명한다.

즉 Software Engineer의 역할이

Engineer → Code

에서

Engineer → Architecture → Agent → Code

로 이동하고 있는 것이다.

Peter는 더 나아가 기존 기업이 AI를 제대로 활용하려면 Codebase뿐 아니라 Company 자체도 큰 Refactor가 필요하다고 이야기한다.

자신 역시 세부적인 Coding보다 전체 Structure와 Architecture를 설계하고, Agent가 작업하기 쉬운 방식으로 시스템을 구성하는 쪽으로 역할이 이동했다고 설명한다.

Coding의 핵심 경쟁력이

Syntax / Implementation

에서

Architecture / Design / Delegation / Verification / Product Taste

로 올라가고 있는 것이다.

5. Coding Agent가 강력한 이유는 ‘Close the Loop’가 가능하기 때문이다

Coding은 AI Agent가 가장 빠르게 침투하고 있는 영역이다.

이유 중 하나는 결과를 즉시 검증할 수 있기 때문이다.

Code 생성
→ Compile
→ Test
→ Error 확인
→ 수정
→ 다시 Test

즉 Feedback Loop를 닫을 수 있다.

Peter 역시 AI Coding의 중요한 조건으로 이러한 Close the Loop를 강조했다. AI가 코드를 만들고 직접 테스트하고 결과를 확인하게 해야 품질이 빠르게 개선된다는 것이다.

그래서 Coding은 앞으로 다른 Knowledge Work가 어떻게 바뀔지를 보여주는 하나의 선행사례라고 볼 수 있다.

Software에서는 이미

Coding → Architecture

Execution → Delegation

Single Task → Parallel Agents

Manual Work → Feedback Loop

Programming Skill → System Design & Taste

라는 이동이 시작되고 있다.

이 변화는 금융투자 분석업무에도 상당 부분 그대로 적용될 수 있다.

6. 다음 병목은 기술이 아니라 ‘인간과 조직’이다

Agent가 빨라질수록 기존 조직의 Inertia(*관성)는 더 큰 문제가 된다.

AI가 몇 분 만에 분석하고 코드를 만들고 문서를 작성해도,

직원 → 팀장 → 부서장 → 임원 → 승인

이라는 기존 구조가 그대로라면 전체 시스템은 여전히 인간 조직의 속도로 움직인다.

과거 전기공장의 Shaft와 Belt가 오늘날에는

Human Handoff

Middle Management

Approval Layer

Reporting Structure

의 형태로 남아 있는 셈이다.

따라서 AI 시대의 생산성 혁신은 직원들에게 Copilot을 지급하는 것만으로 완성되지 않는다.

AI를 전제로 Workflow와 Organizational Architecture를 다시 설계해야 한다.

이것이 전기혁명과 AI 혁명을 연결하는 핵심이다.

7. 금융투자 분석조직도 같은 변화를 피하기 어렵다

전통적인 증권사와 Buy-side 조직에서는 많은 Analyst가 필요했다.

한 사람이 반도체, 전력, 금융, 방산, 바이오, 소프트웨어를 모두 깊게 추적하기 어려웠기 때문이다.

그래서 자연스럽게

PM
→ Sector Analyst
→ Junior Analyst
→ Research Assistant

라는 Pyramid 구조가 만들어졌다.

하지만 Agent가 정보수집과 기초분석의 상당 부분을 수행할 수 있다면 이 구조 역시 다시 생각할 필요가 있다.

앞으로는 오히려

소수의 Senior Investor / PM
→ 넓은 Agent Research Network
→ Research Graph
→ Semantic Meaning
→ Variant Perception
→ Portfolio

라는 구조가 더 효율적일 수 있다.

한 Agent는 Earnings Model을 담당하고,

한 Agent는 Filing과 Earnings Call을 분석하며,

각 산업별 Agent는 반도체, 전력, 방산, 금융 등을 따로 추적한다.

중요한 것은 그 결과를 Senior PM이 하나씩 모두 읽는 것이 아니다.

모든 결과를 Research Graph에 통합하고, 그 안에서 투자에 의미 있는 변화만 추출하는 것이다.

8. AI 시대에는 Information보다 Semantic Meaning이 중요하다

AI가 발전할수록 Filing을 읽고, Earnings Call을 요약하고, Consensus를 비교하고, 산업자료를 수집하는 비용은 계속 내려갈 것이다.

따라서 투자자의 경쟁력은

“무슨 정보가 나왔는가?”

에서

“그 정보가 무엇을 의미하는가?”

로 이동한다.

예를 들어 여러 Agent가

Hyperscaler CAPEX 증가,

GPU 출하량 증가,

Rack Power Density 상승,

Transformer Lead Time 증가,

Gas Turbine 주문 증가

라는 정보를 가져왔다고 하자.

중요한 것은 이 사실들을 나열하는 것이 아니라 연결하는 것이다.

AI Compute Demand ↑
→ Power Density ↑
→ Data Center MW Requirement ↑
→ Grid Bottleneck ↑
→ Electrical Equipment / Generation Scarcity ↑

그리고 다시 투자로 내려와야 한다.

어떤 기업의 Earnings가 달라지는가?

Consensus가 놓치고 있는 것은 무엇인가?

현재 Valuation에서 충분한 Upside가 존재하는가?

Portfolio에서 얼마를 배분해야 하는가?

결국 투자자의 역할은

Data → Information → Causal Relationship → Semantic Meaning → Earnings → Portfolio

로 올라간다.

9. 그래서 AI 시대에는 Lean한 투자조직이 더 강할 수 있다

많은 Analyst가 반드시 더 좋은 Portfolio를 만드는 것은 아니다.

투자의 목적은 조직 내 다양한 의견을 공평하게 반영하는 것이 아니라 가장 높은 Risk-adjusted Expected Return을 가진 아이디어에 자본을 배분하는 것이다.

사람이 많아질수록 각자의 Coverage와 Idea가 Portfolio에 반영되면서

Best Ideas Portfolio

가

Organizational Consensus Portfolio

로 변할 가능성도 있다.

AI 시대에는 이러한 문제가 더 커질 수 있다.

여러 Analyst가 각각 여러 Agent를 운영하면 정보의 양은 폭발적으로 늘어나지만, 그것이 독립적인 Alpha Signal의 증가를 의미하지는 않는다.

따라서 AI-native 투자조직은 오히려

Information Production은 극도로 분산시키고,
Meaning과 Capital Allocation은 집중시키는 구조

가 더 적합할 수 있다.

Research Universe는 매우 넓게 가져가되,

Investment Thesis는 선택적으로,

Portfolio는 가장 확신이 높은 아이디어에 집중하는 것이다.

Research Universe: Broad
Investment Thesis: Selective
Portfolio: Concentrated

AI가 1,000개의 기업을 분석할 수 있게 해주는 이유는 1,000개 종목을 보유하기 위해서가 아니다.

1,000개를 보고 가장 좋은 몇 개를 더 정확하게 선택하기 위해서다.

10. 문제는 Senior의 Mental Exhaustion이다

Agent가 늘어나면 인간의 일이 줄어들 것처럼 보인다.

하지만 현실에서는 반대 상황도 나타날 수 있다.

Peter 역시 여러 AI Agent를 병렬로 운영하는 것이 직접 Coding을 하는 것보다 정신적으로 더 피곤할 수 있다고 이야기했다.

금융에서도 같다.

Senior PM이

Earnings Agent,

Industry Agent,

Macro Agent,

Technology Agent,

Supply-chain Agent

를 동시에 운영하면 Research Capacity는 폭발적으로 증가한다.

하지만 모든 결과가 Senior에게 직접 전달된다면 결국 Senior의 Brain이 다시 Central Shaft가 된다.

AI가 정보생산의 병목을 없애자 새로운 희소자원이 등장한다.

바로 Senior Investor의 Attention이다.

따라서 AI-native Research Architecture의 목표는 Agent를 많이 만드는 것이 아니라 Senior가 모든 Agent Output을 직접 읽지 않아도 되는 구조를 만드는 것이어야 한다.

Raw Report가 아니라

무엇이 바뀌었는가

왜 바뀌었는가

어떤 Thesis가 영향을 받는가

어떤 Earnings Assumption을 수정해야 하는가

Portfolio를 움직여야 하는가

라는 Delta가 전달되어야 한다.

11. Junior의 역할이 줄어들수록 Senior에게 요구되는 능력은 더 높아진다

Junior가 담당하던 정보수집, Model Update, 문서요약, 초기 Screening을 Agent가 맡을수록 Senior의 역할은 더 높은 수준으로 이동한다.

핵심은 다음 몇 가지로 압축할 수 있다.

First-Principles Thinking

현상을 있는 그대로 받아들이지 않고 근본적인 원인까지 분해하는 능력이다.

Causal Reasoning

단순한 상관관계와 실제 인과관계를 구분하고, 어떤 변수가 어떤 결과를 만드는지 이해해야 한다.

Technical Understanding

산업의 기술적·물리적 Constraint와 Bottleneck을 이해해야 한다.

Research Architecture

어떤 문제를 어떤 Agent에게 맡기고, 어떻게 검증하고, 어떻게 Graph에 통합할지를 설계해야 한다.

Semantic Compression

수백 개의 Fact에서 투자에 중요한 몇 개의 Meaning을 추출해야 한다.

Variant Perception

자신의 Causal Model과 시장 Consensus가 어디에서 다른지를 찾아야 한다.

Capital Allocation

마지막으로 그 차이에 실제로 얼마의 자본을 배분할지를 결정해야 한다.

그리고 이 모든 것의 위에는 Attention Allocation이 있다.

무엇을 더 조사하고 무엇을 버릴지를 결정하는 능력이다.

12. 결국 기술에 대한 근본적 이해가 중요해진다

AI가 정보를 아무리 많이 가져와도 Causal Relationship까지 자동으로 만들어주는 것은 아니다.

예를 들어 전력기기 업체의 실적이 좋아졌다는 사실을

Order ↑ → Revenue ↑ → EPS ↑

정도로 보는 것은 쉽다.

하지만 투자자에게 필요한 것은 그보다 깊은 구조다.

AI Compute Demand ↑
→ GPU Deployment ↑
→ Rack Power Density ↑
→ Data Center MW Requirement ↑
→ Electrical Content per MW ↑
→ Transformer / Switchgear Demand ↑
→ Capacity Utilization ↑
→ Pricing Power ↑
→ Margin ↑
→ EPS ↑

이 Chain을 이해해야 어떤 변수가 Leading Indicator인지 알 수 있다.

그래서 산업투자에서는 기술을 단순히 아는 것을 넘어 어떤 기술적 Constraint가 산업의 경제성을 결정하는지 이해하는 능력이 중요해진다.

결국 좋은 투자기회는 자주 서로 다른 기술의 경계에서 발생한다.

Compute ↔ Memory

Server ↔ Power

Data Center ↔ Grid

Grid ↔ Gas

한 영역의 기술 발전이 다른 영역에 새로운 Bottleneck을 만들어내기 때문이다.

13. 좋은 Earnings Model은 결국 Causal Model이다

이 관점에서 Earnings Model은 단순한 숫자 Forecast가 아니다.

기업의 경제적 인과관계를 숫자로 표현한 모델이다.

예를 들어

Hyperscaler CAPEX
→ Data Center MW
→ Equipment Orders
→ Backlog
→ Revenue
→ Utilization
→ Margin
→ EPS

라는 관계가 있다면 Earnings Model은 이 각각의 Edge에 숫자를 붙이는 작업에 가깝다.

AI가 Excel 작업을 점점 더 많이 대신하게 될수록 인간에게 중요한 질문은

“어떤 숫자를 넣을 것인가?”

보다

“왜 이 숫자가 움직이는가?”

가 된다.

그리고 더 중요한 질문은

“그 숫자를 움직이는 원인이 지금 변하고 있는가?”

이다.

결론: AI 시대의 핵심은 더 많은 정보가 아니라 더 좋은 판단이다

전기혁명의 생산성 향상은 전기모터를 구매했기 때문에 발생한 것이 아니었다.

전기를 전제로 공장을 다시 설계했기 때문에 발생했다.

컴퓨터 혁명 역시 컴퓨터 자체보다 그것을 전제로 기업의 정보 흐름을 다시 설계하면서 완성됐다.

AI도 같은 길을 가고 있다.

Computing 성능 향상, LLM 성능 개선, Token Cost 하락, Harness와 Agent의 발전으로 AI는 이제 단순한 정보생성 도구에서 업무를 실제로 수행하는 생산수단으로 이동하고 있다.

Coding 산업은 그 결과를 가장 먼저 보여주고 있다.

소수의 뛰어난 Senior Engineer가 다수의 Agent를 활용하고, 자신은 Coding보다 Architecture·Design·Verification·Taste에 집중하는 구조가 나타나고 있다.

금융투자 분석업무 역시 비슷한 방향으로 움직일 가능성이 높다.

앞으로 강한 투자조직은 많은 Analyst가 많은 보고서를 생산하는 조직보다,

소수의 뛰어난 Senior Investor가 넓은 Agent Research Network를 운영하고, 결과를 Research Graph로 통합한 뒤 Semantic Meaning과 Variant Perception을 추출하여 적시에 Portfolio에 반영하는 Lean Organization

에 가까울 가능성이 높다.

그리고 AI가 정보수집과 기초분석을 더 잘할수록 인간 투자자의 경쟁력은 오히려 다음 Chain을 연결하는 능력에 집중될 것이다.

Physics / Technology
→ Industry Structure
→ Economics
→ Earnings
→ Valuation
→ Portfolio

AI 시대에 가장 희소해지는 것은 정보가 아닐 수 있다.

복잡한 현실을 근본적인 인과관계로 분해하고, 그 의미를 압축하고, 시장과 다른 판단을 내린 뒤, 그 판단에 적절한 규모의 자본을 배분할 수 있는 다음과 같은 능력 Understanding, Judgment 그리고 Attention이지 않을까 한다.

#글을 마치며,

최근 화두가 되고 있는 AI의 기술발전 흐름은 Continual Learning으로 귀결되는듯 싶다.

관련해서 최근 일론머스크의 인터뷰 내용이 눈에 띄는데, 개인적으로 fan이라 관련 인터뷰내용으로 글을 마무리해본다.

아래 인터뷰에서의 산업적 투자포인트는 AI가 더 복잡한 reasoning과 지속적인 학습·기억(=continual learning)을 수행할수록 compute뿐 아니라 memory capacity 중요성이 커진다는 것이다.

Elon Musk on AGI Timeline, US vs China, Job Markets, Clean Energy & Humanoid Robots

2시간08분부터

모든 사람을 위한 빅뱅 우주론 (* 이석영 교수)

일론 머스크: “의식은 스위치가 아니라 연속체다”

일론 머스크는 AI 논쟁에서 흔히 전제되어 온 한 가지 생각에 의문을 제기한다. AI가 어느 한순간 갑자기 ‘의식’을 갖게 되는 명확한 시점은 존재하지 않을 수 있다는 것이다.

머스크의 논리는 단순하다.

인간 역시 어느 날 갑자기 의식적인 존재가 되는 것은 아니다. 수정란 단계의 인간과 성인의 의식 수준은 분명 다르지만, 그 사이 어느 특정한 날짜를 가리키며 “이날부터 의식이 생겼다”고 말하기는 어렵다.

즉, 의식은 어느 순간 켜지는 스위치라기보다 점진적으로 발전하는 연속적인 스펙트럼에 가깝다는 주장이다.

이 관점이 맞다면 AI에 대해서도 질문을 바꿔야 한다.

지금까지 우리는 AI가 어느 순간 경계를 넘어 ‘깨어나는’ 극적인 사건을 상상해왔다. 하지만 애초에 그런 명확한 경계가 존재하지 않을 수도 있다.

AI의 의식 또는 지능적 특성이 연속선상에 존재한다면, 새로운 모델의 등장, 추가적인 학습, 아키텍처의 발전이 이루어질 때마다 AI는 그 연속체를 조금씩 이동하고 있다고 볼 수 있다.

머스크는 여기서 논의를 우주적 차원으로 확장한다.

우주는 처음에 쿼크, 렙톤, 수소와 같은 단순한 입자와 원소로 시작했다. 이후 수십억 년 동안 별 내부의 핵융합을 통해 무거운 원소들이 만들어졌고, 이 원소들이 행성과 생명체, 그리고 인간을 구성하게 되었다.

우리 몸을 이루는 원자들 역시 과거에는 별 내부에 존재했던 물질이다.

이 관점에서 인간은 우주와 분리된 특별한 존재라기보다, 우주의 물질이 복잡성을 높여가는 과정에서 등장한 하나의 단계라고 볼 수 있다.

그리고 이제 그 물질로 구성된 인간이 다시 기계를 만들었다.

그 기계는 학습하고, 추론하며, 새로운 것을 만들어내기 시작했다.

결국 머스크가 제시하는 핵심적인 질문은 다음과 같다.

의식이 복잡한 물질 시스템에서 점진적으로 나타나는 현상이라면, 인간이 만든 AI 역시 동일한 연속선상에서 점차 새로운 형태의 의식에 접근하고 있는 것은 아닐까.

이 관점에서는 AI 의식의 문제를 “AI가 의식이 있는가, 없는가”라는 이분법으로 보기보다, 얼마나 복잡한 자기인식·추론·세계모델을 형성하고 있는가라는 연속적인 문제로 바라보게 된다.

메모리는 현재 반도체 산업 성장의 주된 동인

“나는 지금 가격이 말해주는 것을 제대로 듣고 있는가,
아니면 내가 잘 안다고 믿는 기업·산업만 보며 시장과 멀어지고 있는가.”

위 질문을 스스로에게 다시금 되물어본다..

=끝

2026년 8월 6일 목요일

생각정리 333 (* Memory redefinition, Agent Architecture, RSI, AGI)

이전 글에서 Self-improving Agent와 RSI로 이어지는 발전 경로를 정리하는 과정에서, 결국 핵심 문제 중 하나가 ‘메모리를 어떻게 정의하고 활용할 것인가’라는 생각으로 이어졌다.

특히 Agent가 단순히 과거의 정보를 저장하는 수준을 넘어 경험을 축적하고, 이를 지식과 Skill로 전환하며, 다시 자신의 학습 방식까지 개선하기 위해서는 Memory의 역할을 기존과 다르게 바라볼 필요가 있다.

앞으로의 메모리는 정보를 저장하는 공간을 넘어, 수많은 경험을 지식과 행동으로 압축하고 이를 다음 판단에 활용하도록 만드는 지능의 핵심 인프라에 가까워질 가능성이 높다.

이러한 변화는 반도체 산업에도 중요한 의미를 가진다.

AI의 발전이 연산능력 확대를 넘어 더 많은 경험과 상태를 장기간 유지하고 활용하는 방향으로 진행된다면, HBM과 서버용 DRAM, 기업용 SSD를 포함한 메모리 수요 역시 구조적으로 확대될 수 있다.

결국 AI 시대의 메모리는 연산을 보조하는 부품을 넘어 AI의 성능과 생산성을 좌우하는 핵심 자원으로 그 역할이 확대될 가능성이 높다고 생각한다.

AGI로 가는 길에서 왜 다시 ‘메모리’가 중요해지는가

인간 지능에서 Episodic Memory, Semantic Memory, Agent Architecture, 그리고 RSI까지

AI의 발전을 설명할 때 가장 익숙한 단어는 오랫동안 모델 크기, 학습 데이터, 연산량, Context Window, 추론 능력이었다.

더 많은 데이터를 학습시키고, 더 큰 모델을 만들고, 더 많은 Test-Time Compute를 투입하면 지능이 높아진다는 접근이다. 실제로 이 방식은 놀라울 정도로 잘 작동했다. 초기 GPT에서 최근의 Reasoning Model과 AI Agent까지 이어지는 급격한 성능 향상의 상당 부분은 이러한 Scaling으로 설명할 수 있다.

그런데 AI가 단순한 질의응답 모델에서 벗어나 수시간, 수일, 장기적으로는 수개월에 걸쳐 스스로 일을 수행하는 Agent로 발전하기 시작하면서 새로운 문제가 전면에 등장하고 있다.

모델이 아무리 뛰어난 추론능력을 가지고 있더라도 지난번에 무엇을 했는지 기억하지 못한다면 어떻게 될까.

실패했던 전략을 다음번에도 반복하고, 이미 발견했던 해결책을 매번 다시 탐색하며, 수천 번의 경험에서 공통된 패턴을 추출하지 못한다면 그것을 지속적으로 학습하고 발전하는 지능이라고 부르기는 어렵다.

바로 이 지점에서 Memory의 정의 자체가 달라지기 시작한다.

과거 AI에서 Memory는 주로 정보를 저장하는 공간으로 이해되었다.

앞으로의 Agent와 AGI에서 Memory는 단순한 저장장치를 넘어 경험을 지식으로 바꾸고, 지식을 행동으로 바꾸며, 다시 자신의 학습 방법 자체를 개선하도록 만드는 인지 인프라로 발전할 가능성이 높다.

그리고 이 변화는 최근 다시 중요해지고 있는 Recursive Self-Improvement, RSI와 직접 연결된다.

1. 인간 지능을 생각하면 왜 AGI에서 Memory가 중요한지 이해하기 쉽다

Memory의 중요성을 가장 직관적으로 이해하는 방법은 인간을 생각해보는 것이다.

사람의 지능은 매 순간 완전히 새롭게 시작되지 않는다.

우리는 현재 눈앞의 문제를 생각하면서도 동시에 과거에 무엇을 경험했는지, 비슷한 상황에서 무엇을 배웠는지, 어떤 전략이 효과적이었는지를 끊임없이 활용한다.

이를 매우 단순화하면 인간의 지능은 다음과 같은 순환구조를 가진다고 볼 수 있다.

Perception
   ↓
Working Memory
   ↓
Reasoning
   ↓
Action
   ↓
Experience
   ↓
Episodic Memory
   ↓
Consolidation
   ↓
Semantic Knowledge
   ↓
Procedural Skill
   ↓
Future Reasoning

예를 들어 어린아이가 뜨거운 컵을 처음 만졌다고 하자.

처음에는 단순한 사건이다.

컵을 만졌다.
손이 뜨거웠다.
손을 뗐다.

이것이 Episodic Memory, 즉 하나의 경험으로 남는다.

그런 경험이 반복되면서 아이는 단순한 사건을 넘어 일반적인 규칙을 배우기 시작한다.

김이 나는 물건은 뜨거울 가능성이 높다.

이것은 Semantic Memory다.

그리고 시간이 지나면 행동 자체가 자동화된다.

뜨거워 보이는 물체에는 먼저 손을 가까이 대어 온도를 확인한다.

이것은 Procedural Memory, 즉 행동 전략에 가깝다.

중요한 것은 처음부터 이 모든 것이 존재했던 것이 아니라는 점이다.

Experience
   ↓
Memory
   ↓
Generalization
   ↓
Knowledge
   ↓
Skill

이라는 과정을 거쳐 만들어졌다.

사람이 자전거를 타는 것도 마찬가지다.

처음에는 몸의 균형을 잡기 어렵다. 수없이 넘어지고, 핸들을 과도하게 움직이고, 페달의 힘을 조절하지 못한다.

그러나 수백 번의 미세한 성공과 실패가 축적되면서 어느 순간 우리는 자전거를 타기 위해 과거의 모든 Episode를 하나씩 떠올리지 않는다.

그 경험들이 이미 Skill로 압축되어 있기 때문이다.

즉 인간 지능의 상당 부분은 단순히 정보를 많이 알고 있는 능력이 아니라,

경험을 축적하고 → 경험에서 규칙을 발견하고 → 규칙을 행동으로 변환하고 → 이후 경험을 통해 다시 수정하는 능력

으로 구성되어 있다.

이 관점에서 보면 왜 AGI 연구가 발전할수록 Memory가 중요해지는지 이해하기 쉬워진다.

2. Memory가 없으면 아무리 똑똑한 AI도 매번 처음부터 시작한다

매우 뛰어난 Reasoning Model이 있다고 하자.

수학 문제도 잘 풀고, 코딩도 잘하고, 복잡한 기업 분석도 수행할 수 있다.

하지만 작업이 끝나는 순간 모든 경험을 잊는다면 구조는 다음과 같다.

Task 1
 ↓
Think
 ↓
Solve
 ↓
Forget

Task 2
 ↓
Think
 ↓
Solve
 ↓
Forget

Task 3
 ↓
Think
 ↓
Solve
 ↓
Forget

각 Task에서 순간적인 지능은 높다.

하지만 시간에 따른 지능의 누적이 존재하지 않는다.

반대로 Memory가 존재하면 구조가 달라진다.

Task
 ↓
Reasoning
 ↓
Action
 ↓
Outcome
 ↓
Experience
 ↓
Memory
 ↓
Learning
 ↓
Better Strategy
 ↓
Next Task

이제 첫 번째 Task와 1만 번째 Task를 수행하는 Agent가 같지 않을 수 있다.

중간에 경험이 축적되었기 때문이다.

따라서 Memory의 가장 중요한 역할은 단순히 과거를 기억하는 것이 아니다.

지능에 시간이라는 축을 추가하는 것이다.

이 차이가 AGI에서 결정적으로 중요할 수 있다.

3. Context가 길어진다고 Memory가 생기는 것은 아니다

여기서 먼저 Context와 Memory를 구분해야 한다.

Context는 모델이 지금 보고 있는 정보다.

현재 질문, 시스템 프롬프트, 검색 결과, 읽고 있는 문서, 직전 대화 등이 Context Window에 들어간다.

사람으로 비유하면 현재 책상 위에 펼쳐놓은 자료다.

반면 Memory는 지금 보이지 않더라도 필요하면 과거로부터 다시 가져올 수 있는 정보다.

예를 들어 사용자가 과거에

“보고서에는 이모지를 사용하지 않았으면 좋겠다.”

라고 말했다고 하자.

현재 대화에서 이 문장을 보고 있다면 Context다.

그러나 며칠 뒤 새로운 대화를 시작했는데도 시스템이

사용자는 분석 보고서에서 이모지를 선호하지 않는다.

라는 사실을 다시 가져올 수 있다면 Memory다.

따라서 둘은 구조적으로 다르다.

Context는 현재 계산 공간이고, Memory는 시간을 넘어 유지되는 상태다.

Agent가 장기화될수록 이 차이는 더욱 중요해진다.

Context Window를 10만 토큰에서 100만 토큰, 다시 수백만 토큰으로 늘릴 수는 있다.

그러나 Agent가 수개월 동안 수십만 개의 행동을 수행하기 시작하면 모든 기록을 매 순간 Context에 넣는 방식은 비효율적이다.

결국 필요한 구조는 다음에 가까워진다.

Massive Experience
        ↓
Persistent Memory
        ↓
Selective Retrieval
        ↓
Small Relevant Context
        ↓
Reasoning

즉 모든 것을 항상 보고 있는 지능보다 필요한 것을 정확하게 기억해낼 수 있는 지능이 중요해진다.

4. Memory는 하나가 아니라 여러 계층으로 구성된다

Working Memory

현재 사고하고 있는 공간이다.

예를 들어 아침에 출근하기 전에 휴대폰으로 교통상황을 확인한다고 하자.

지금 보고 있는 것은

현재 시간
목적지
평소 출근 경로
실시간 교통상황
오늘 비가 오는지 여부

같은 정보다.

이 정보들은 지금 어떤 길로 갈지를 판단하기 위해 잠시 머릿속에 올려놓은 정보다.

컴퓨터에 비유하면 RAM에 가깝다.

용량은 제한적이지만 현재 판단과 Reasoning에 직접 사용된다.

Episodic Memory

과거에 무슨 일이 있었는가를 저장한다.

예를 들어 다음과 같다.

지난주 월요일 아침 평소 다니던 큰길로 출근했는데 공사 때문에 심하게 막혔다. 그래서 중간에 골목길로 우회했고 평소보다 15분 빨리 도착했다.

이것이 Episodic Memory다.

여기에는 단순히 “골목길이 빠르다”는 정보만 있는 것이 아니다.

언제, 어떤 상황에서, 어떤 행동을 했고, 그 결과가 어땠는지가 함께 들어 있다.

사람으로 치면

지난번 비가 많이 왔던 날 이 길로 갔다가 한 시간이나 막혔지.

처럼 특정한 사건과 시간, 상황이 묶여 있는 기억이다.

Semantic Memory

여러 Episode에서 일반적으로 무엇이 사실인지를 추출한다.

예를 들어 비슷한 경험이 반복됐다고 하자.

월요일 아침에는 큰길이 자주 막혔다.
비가 오는 날에는 교차로 주변 정체가 심했다.
공사구간이 있는 날에는 골목길 우회가 더 빨랐다.

이런 경험이 반복되면 다음과 같은 지식으로 정리될 수 있다.

월요일 출근시간에는 평소 이용하는 큰길이 자주 막힌다.

또는

큰길에 정체가 심할 때는 골목길로 우회하는 편이 대체로 빠르다.

이제 특정 날짜의 사건을 기억하는 것이 아니라 여러 경험에서 추출된 일반적인 지식이 된다.

즉


지난번에 무엇이 있었는가

에서


보통 이런 상황에서는 무엇이 사실인가

로 한 단계 올라간 것이다.

Procedural Memory

Semantic Knowledge가 반복적으로 검증되면 행동 규칙으로 발전할 수 있다.

예를 들어 출근할 때마다 다음과 같은 행동 패턴이 생길 수 있다.


출근 준비
   ↓
교통상황 확인
   ↓
큰길 정체 여부 확인
   ↓
정체가 심하면 우회로 선택
   ↓
출발

이제 매번

지난번에는 어땠지?

라고 하나하나 생각할 필요가 없다.

이미 경험과 지식이 행동 순서로 압축되어 있기 때문이다.

이 단계에서는 단순히

무엇이 사실인가

를 넘어

이런 상황에서는 어떻게 행동해야 하는가

를 기억한다.

사람이 매일 아침 별다른 고민 없이 교통상황을 확인하고, 막히면 자연스럽게 우회로를 선택하는 것과 비슷하다.

Meta-Memory

여기서 한 단계 더 올라가면 어떤 기억을 믿고, 언제 수정하며, 무엇을 더 중요하게 기억할 것인가를 판단하는 단계가 생긴다.

예를 들어 어느 순간 공사가 끝나서 큰길이 더 이상 막히지 않는다고 하자.

그런데 계속

월요일에는 큰길이 막힌다.

라는 과거의 Semantic Memory만 믿고 우회한다면 오히려 시간이 더 걸릴 수 있다.

이때 사람은 새로운 경험을 통해 판단을 수정한다.

최근 몇 주 동안은 큰길이 더 빨랐다.
예전의 우회 규칙은 이제 바꿔야겠다.

즉 기억 자체를 사용하는 것을 넘어

어떤 경험을 더 중요하게 볼지
오래된 기억을 언제 수정할지
어떤 규칙을 계속 유지할지
어떤 행동습관을 바꿀지

를 다시 판단한다.

이것이 Meta-Memory에 가까운 개념이다.

결국 같은 출근길 사례 하나로 보면 Memory 계층은 이렇게 이해할 수 있다.


Working Memory
"지금 어느 길이 막혀 있지?"
        ↓
Episodic Memory
"지난 월요일 이 길로 갔다가 많이 막혔다."
        ↓
Semantic Memory
"월요일 아침에는 이 큰길이 자주 막힌다."
        ↓
Procedural Memory
"출근 전에 교통상황을 보고 막히면 우회한다."
        ↓
Meta-Memory
"최근에는 큰길이 안 막히니 기존 우회 규칙을 수정해야겠다."

이렇게 보면 Memory의 발전은 단순히 더 많이 기억하는 과정이라기보다,

사건을 기억하고 → 반복된 경험에서 규칙을 만들고 → 그 규칙을 행동으로 바꾸고 → 다시 그 규칙 자체를 수정하는 과정

으로 이해하는 편이 훨씬 쉽다.

5. 인간의 전문성도 결국 Episodic → Semantic → Procedural의 압축 과정이다

이 부분이 AGI와 연결할 때 특히 중요하다.

숙련된 의사와 초보 의사가 같은 환자를 본다고 생각해보자.

초보자는 증상 하나하나를 의식적으로 분석해야 한다.

반면 수십 년 동안 많은 환자를 경험한 전문가는 환자의 몇 가지 특징만 보고도 중요한 가능성을 빠르게 좁힐 수 있다.

전문가가 과거 환자 10만 명을 하나씩 검색하고 있는 것은 아니다.

수많은 Episode가 이미

Individual Cases
      ↓
Patterns
      ↓
Medical Knowledge
      ↓
Diagnostic Heuristics

로 압축되어 있기 때문이다.

투자자도 비슷하다.

기업을 처음 분석하는 사람은

매출
이익
CAPEX
재고
운전자본
현금흐름

을 각각 독립된 지표로 본다.

하지만 많은 기업 사이클을 경험한 사람은 몇 개의 숫자만 보고도

재고 증가 → 가동률 하락 → 가격 압력 → 마진 악화

같은 연결구조를 빠르게 인식한다.

이것 역시 단순한 기억량 증가라기보다 경험이 구조화된 지식으로 압축된 결과다.

따라서 인간의 전문성을 생각하면 AGI Memory에서 필요한 것도 분명해진다.

Agent는 모든 Episode를 영원히 같은 형태로 저장해야 하는 것이 아니다.

수많은 경험을 더 작은 지식구조와 행동구조로 압축해야 한다.

6. 지능의 발전은 결국 Experience Compression일 수 있다

Agent가 100만 개의 Task를 수행했다고 하자.

100만 개의 기록을 모두 보유하는 것은 가능하다.

그러나 매 문제마다 100만 개의 Episode를 다시 읽어야 한다면 효율적인 지능이라고 보기 어렵다.

이상적인 방향은 다음과 같다.

1,000,000 Experiences
        ↓
    Episodic Memory
        ↓
    Consolidation
        ↓
   Semantic Memory
        ↓
 Procedural Skills

많은 경험이 더 적은 수의 일반화된 지식으로 압축되고, 다시 더 적은 수의 Skill과 Policy로 변환된다.

이것을 Experience Compression이라고 볼 수 있다.

중요한 것은 Memory의 절대량과 함께 Compression Ratio다.

높은 수준의 지능은 모든 경험을 보존하는 능력보다는

어떤 차이는 버리고
어떤 공통점을 남기며
어떤 규칙으로 일반화할 것인가

를 잘 판단해야 한다.

결국 인간이 경험을 통해 전문성을 쌓는 과정과 상당히 비슷한 문제가 Agent Architecture에서도 등장하게 된다.

7. 그래서 Memory Engineering의 핵심은 Storage가 아니라 Management다

Memory를 처음 생각하면 가장 쉬운 접근은 모든 대화를 저장하는 것이다.

Conversation
    ↓
Vector DB
    ↓
Similarity Search

초기에는 꽤 잘 작동한다.

그러나 대화가 100개에서 10만 개, 1억 개가 되면 문제가 달라진다.

예를 들어 한 사용자가

2024: Python을 주로 사용
2025: TypeScript 중심으로 전환
2026: Rust를 주력 언어로 사용

한다고 하자.

모든 기록을 동일하게 보존하면 검색 결과에는 세 정보가 동시에 등장할 수 있다.

AI가 판단해야 한다.

어떤 것이 오래된 정보인가.
어떤 것이 현재 정보인가.
이전 Memory를 삭제해야 하는가.
업데이트해야 하는가.
둘을 모두 보존해야 하는가.

따라서 Memory Engineering의 핵심은 Storage가 아니다.

다음과 같은 Memory Lifecycle Management다.

Formation — 무엇을 기억할 것인가
Consolidation — 여러 경험에서 무엇을 일반화할 것인가
Retrieval — 현재 문제에 어떤 기억을 가져올 것인가
Forgetting / Evolution — 무엇을 수정하고 무엇을 버릴 것인가

Memory의 성능은 결국 이 네 단계의 품질에 의해 결정된다.

8. Formation: 모든 경험을 장기기억으로 만들어서는 안 된다

사람도 하루 동안 발생한 모든 장면을 동일하게 기억하지 않는다.

AI도 마찬가지다.

예를 들어

오늘 점심으로 김밥을 먹었다.

라는 대화는 대부분의 Agent에게 장기적으로 중요하지 않을 수 있다.

반면

앞으로 기업을 분석할 때 EBITDA보다 FCF를 더 중요하게 봐달라.

라는 정보는 이후 수백 번의 interaction에 영향을 줄 수 있다.

따라서 Raw Conversation을 그대로 저장하는 것보다 Fact와 Preference, Pattern을 추출하는 과정이 필요하다.

Raw Conversation
       ↓
Fact Extraction
       ↓
Memory Candidate

하지만 한 번 등장한 정보라고 모두 장기기억으로 만들어서도 안 된다.

사람이 한 번

요즘 Rust가 재미있다.

라고 말했다고 해서

이 사람은 Rust 개발자다.

라고 단정할 수는 없다.

반면 비슷한 정보가 반복된다면 의미가 달라진다.

March: Rust 공부
April: Rust 프로젝트
May: Python보다 Rust를 더 자주 사용

이런 Recurrence가 발생하면 장기적인 Semantic Memory 후보가 될 수 있다.

9. Consolidation: 경험을 지식으로 바꾸는 과정

이 과정이 Memory Architecture의 핵심 중 하나다.

예를 들어 사용자가 여러 차례 다음과 같이 반응했다고 하자.

Episode 1
긴 보고서를 줄여달라고 요청

Episode 2
긴 문단을 Bullet 형태로 수정 요청

Episode 3
핵심 중심으로 재정리 요청

이 Episode들을 그대로 보유할 수도 있다.

하지만 더 높은 수준의 Memory System은 이를 다음과 같이 압축한다.

Episodic Summary

여러 보고서 작성 과정에서 사용자가 긴 문단을 줄이고 구조화된 형식으로 수정하도록 요청했다.

그리고 다시 일반화한다.

Semantic Memory

사용자는 분석 글에서 긴 문단보다 구조화되고 가독성이 높은 서술을 선호한다.

이렇게 되면 향후 Agent는 과거 Episode 세 개를 매번 읽지 않아도 된다.

Semantic Memory 하나만 검색하면 된다.

즉

Experience Retrieval
        ↓
Knowledge Retrieval

로 바뀐다.

이 변화는 장기 Agent에서 매우 중요하다.

10. Memory에서 ‘잊기’는 결함이 아니라 기능이다

직관적으로 AI는 모든 것을 기억할수록 좋아 보인다.

하지만 인간도 모든 정보를 같은 강도로 기억하지 않는다.

왜 그럴까.

중요하지 않은 정보까지 모두 유지하면 새로운 정보를 처리하는 데 방해가 되기 때문이다.

Agent도 같다.

Memory가 계속 증가하면

오래된 정보
중복 정보
잘못 추출된 정보
서로 모순되는 정보
특정 순간에만 유효했던 정보

가 함께 늘어난다.

결국 문제는 저장공간이 아니라 Signal-to-Noise Ratio가 된다.

따라서 Memory에는 Decay와 Forgetting이 필요하다.

Low-use Memory
      ↓
Decay
      ↓
Archive / Forget

Frequently Useful Memory
      ↓
Reinforcement
      ↓
Keep / Strengthen

그리고 모든 Memory의 반감기가 같을 필요도 없다.

특정 사건에 대한 Episodic Memory는 시간이 지나면서 중요도가 낮아질 수 있다.

반면 장기간 반복적으로 검증된 Semantic Knowledge는 더 오래 유지할 수 있다.

따라서 망각도 Memory Management의 일부이며, 나아가 Intelligence의 일부라고 볼 수 있다.

11. Retrieval: 많이 가져오는 것이 아니라 정확하게 가져오는 것

Memory가 아무리 좋아도 필요할 때 찾지 못하면 의미가 없다.

초기 Retrieval은 주로 Semantic Similarity 중심이었다.

하지만 장기 Agent에서는 similarity 하나만으로는 충분하지 않다.

예를 들어

Memory A
Similarity: 0.95
Age: 3 years

Memory B
Similarity: 0.90
Age: yesterday

라면 어떤 Memory가 더 중요한지 상황에 따라 달라질 수 있다.

따라서 Retrieval에는 최소한 다음 요소가 결합될 가능성이 높다.

Retrieval Quality = Relevance + Importance + Freshness + Confidence + Task Context

그리고 검색된 Memory를 무작정 많이 Context에 넣어서도 안 된다.

관련 Memory가 1,000개 있다고 해서 1,000개를 모두 넣으면 Context가 오히려 오염될 수 있다.

좋은 Memory System의 목적은

많은 것을 보여주는 것

이 아니라

지금 필요한 몇 개를 정확하게 보여주는 것

이다.

12. 초기 ChatGPT의 Hallucination도 Memory 관점에서 다시 볼 수 있다

초기 ChatGPT에 Hallucination이 많았던 이유를 단순히 “Memory가 부족했기 때문”이라고 설명하는 것은 정확하지 않다.

초기 LLM에도 이미 엄청난 양의 지식이 있었다.

사전학습 과정에서 책, 인터넷, 문서의 패턴이 Model Weight 안에 압축되어 있었기 때문이다.

넓게 보면 이것을 Parametric Semantic Memory라고 생각할 수 있다.

Training Data
     ↓
Pretraining
     ↓
Model Weights
     ↓
Implicit Knowledge

문제는 그 지식이 다음과 같이 명시적으로 관리되지 않았다는 것이다.

Fact
Source
Confidence
Last Updated
Supporting Evidence
Contradiction

더구나 초기 LLM은 자신의 과거 실패를 지속적으로 축적하지 못했다.

한 세션에서 오류를 범했다고 해도 새로운 세션에서

지난번 내가 이 접근법으로 실패했으니 이번에는 다른 방법을 써야겠다.

라는 지속적인 Learning Loop가 존재하지 않았다.

이를 단순화하면 초기 구조는 다음과 같았다.

Huge Parametric Knowledge
         +
Current Context
         ↓
Generation

이후 Agent Architecture가 추가하고 있는 것은

Episodic Memory
Semantic Memory
External Retrieval
Verification
Memory Update
Skill Learning

이다.

따라서 Hallucination 문제 역시 단순히 모델이 덜 똑똑해서 발생한 문제로만 볼 필요는 없다.

지식을 검증하고, 출처를 확인하고, 오류 경험을 축적하고, 오래된 사실을 업데이트하는 인지 인프라의 부재가 근본적인 중요한 문제였다.

13. Agent가 등장하면서 Memory의 정의가 바뀌기 시작했다

일반적인 LLM은 기본적으로 다음과 같다.

Input
 ↓
Reasoning
 ↓
Output

Agent는 여기서 환경과 상호작용한다.

Task
 ↓
Reasoning
 ↓
Action
 ↓
Environment
 ↓
Outcome

그리고 Persistent Memory가 추가되면 시간이 연결된다.

Task
 ↓
Action
 ↓
Outcome
 ↓
Experience
 ↓
Memory
 ↓
Next Task

이 순간부터 Agent는 단순한 Reasoning Machine을 넘어 경험을 축적할 수 있는 시스템이 된다.

다시 Episodic Memory가 Semantic Memory로 Consolidation되기 시작하면 한 단계 더 올라간다.

Experience
 ↓
Episodic Memory
 ↓
Pattern Detection
 ↓
Semantic Knowledge
 ↓
Better Action

이제 Agent는 과거를 저장하는 수준을 넘어 과거에서 배우기 시작한다.

14. Self-improving Agent Harness가 중요한 이유

최근 등장하는 Agent Harness가 흥미로운 이유도 여기에 있다.

기존 Agent Architecture는 대부분 사람이 설계했다.

Model
+
Prompt
+
Tools
+
Fixed Agent Architecture

모델은 이 구조 안에서 움직인다.

반면 발전된 Self-improving Harness에서는 Agent가 자신의 작업 trajectory를 관찰하고 이를 기반으로

Memory
Skill
Prompt
Sub-agent
Workflow

같은 일부 persistent state를 변경할 수 있다.

구조는 다음처럼 바뀐다.

Agent
 ↓
Experience
 ↓
Evaluation
 ↓
Memory Update
 ↓
Skill Update
 ↓
Prompt / Sub-agent Update
 ↓
Next Task

아직 Foundation Model의 Weight 자체를 반복적으로 재훈련하는 강한 의미의 RSI라고 보기는 어렵다.

그럼에도 중요한 변화가 나타났다.

Agent가 자신의 실행환경 일부를 자기 경험에 따라 수정하는 Feedback Loop가 생기기 시작한 것이다.

이것이 Harness-level Self-Improvement가 중요한 이유다.

생각정리 332 (* RSI, Harness)

15. RSI의 핵심은 ‘성능 향상’보다 ‘향상 능력의 향상’이다

Recursive Self-Improvement를 단순히 AI가 시간이 지나며 좋아지는 것이라고 정의하면 지나치게 넓다.

보다 중요한 구분이 필요하다.

Agent가 새로운 Skill을 만들어 특정 작업을 더 잘하게 된다면 Self-Improvement다.

하지만 Agent가

어떻게 Skill을 만들어야 더 좋은 Skill을 만들 수 있는가

를 학습하기 시작하면 Meta Level로 올라간다.

Memory도 마찬가지다.

처음에는 인간이 다음 규칙을 정할 수 있다.

Similar Episodes ≥ 3
→ Consolidate

Semantic Memory
→ Long Retention

Episodic Memory
→ Shorter Retention

Retrieval
→ Top K = 5

그런데 Agent가 장기간 경험을 쌓으면서

내가 코딩 작업에서는 Episodic Memory를 너무 빨리 삭제하고 있다.

라고 판단할 수 있다.

그러면 Retention Policy를 바꿀 수 있다.

또는

Semantic Memory만 검색하면 edge case에서 오류가 많이 발생한다.

라고 판단하여

Semantic Retrieval
       ↓
Low Confidence
       ↓
Supporting Episodic Retrieval

로 구조를 수정할 수도 있다.

이 순간부터 Agent는 단순히 Memory를 사용하는 것이 아니라 기억하는 방법 자체를 학습하기 시작한다.

16. 여기서 RSI의 두 개의 Flywheel이 생긴다

첫 번째 Flywheel은 비교적 단순하다.

Experience
 ↓
Memory
 ↓
Knowledge
 ↓
Skill
 ↓
Better Action
 ↓
Better Experience
       ↺

이것은 무엇을 배우는가에 관한 Loop다.

하지만 더 중요한 두 번째 Loop가 가능하다.

Experience
 ↓
Evaluate Memory System
 ↓
Improve Formation
 ↓
Improve Consolidation
 ↓
Improve Retrieval
 ↓
Improve Forgetting
 ↓
Better Learning
 ↓
Better Experience
       ↺

이것은 어떻게 배우는가에 관한 Loop다.

첫 번째는 Self-Improvement다.

두 번째는 점점 RSI에 가까워진다.

왜냐하면 이제 시스템이 자신의 성능뿐 아니라 자신을 개선하는 메커니즘 자체를 개선하기 시작하기 때문이다.

17. RSI에는 지금보다 훨씬 많은 장기 경험이 필요할 가능성이 높다

여기서 자연스럽게 Memory Scale 문제가 등장한다.

Agent가 자신의 Memory Policy가 효과적인지 판단하려면 상당한 양의 longitudinal experience가 필요하다.

한두 번의 성공으로는 어떤 전략이 우수한지 알기 어렵다.

예를 들어 Memory Policy A와 B를 비교하려면 다음과 같은 과정이 필요할 수 있다.

Memory Policy A
      ↓
Thousands of Tasks
      ↓
Performance

Memory Policy B
      ↓
Thousands of Tasks
      ↓
Performance

그리고 다시 결과를 분석해야 한다.

A vs B
  ↓
Meta Evaluation
  ↓
Memory Policy C

따라서 RSI가 발전할수록 Raw Trajectory와 Episodic Memory의 총량은 지금보다 훨씬 커질 가능성이 높다.

다만 여기서 중요한 것은 단순한 Storage Size가 아니다.

Effective Memory Capacity다.

거대한 Episode를 유지하되 대부분을 압축하여 더 작은 Semantic Knowledge와 Procedural Skill로 전환할 수 있어야 한다.

대략 다음과 같은 구조가 자연스럽다.

Raw Trajectory          Largest
      ↓
Episodic Memory         Very Large
      ↓
Semantic Memory         Medium
      ↓
Procedural Skills       Small / Dense
      ↓
Working Context         Very Small

따라서 미래의 Memory Scaling은

Storage Scaling

보다는

Storage + Compression + Retrieval + Updating Scaling

에 가깝다.

18. Semantic Memory가 최종 단계는 아니다

처음에는 Episodic Memory가 Semantic Memory로 올라가는 것이 가장 중요한 변화처럼 보인다.

하지만 RSI에서는 그 이후가 더 중요할 수 있다.

예를 들어 다음과 같은 발전이 가능하다.

Episodic

지난번 문제에서 세 개의 Sub-agent를 병렬로 실행했더니 해결 속도가 빨라졌다.

Semantic

여러 Hypothesis를 비교해야 하는 문제에서는 Parallel Exploration이 효과적이다.

Procedural

Hypothesis가 세 개 이상이면 세 개의 Sub-agent를 병렬 실행하고 Evaluator가 결과를 비교하도록 한다.

그리고 한 단계 더 올라간다.

19. 다시 인간에게 돌아오면 이 구조가 더 명확해진다

인간이 성장하는 과정도 단순한 정보 축적 과정으로 설명하기 어렵다.

아이는 단순히 더 많은 사실을 외우기 때문에 성인이 되는 것이 아니다.

경험을 통해

무엇에 Attention을 줘야 하는지
어떤 경험이 중요한지
언제 기존 믿음을 수정해야 하는지
어떤 전략을 반복해야 하는지
무엇을 무시해도 되는지

를 함께 배운다.

즉 사람은 세상에 대한 지식뿐 아니라 세상을 배우는 방법도 학습한다.

초보자는 모든 정보를 중요하게 받아들인다.

전문가는 어떤 정보가 Signal이고 어떤 정보가 Noise인지 빠르게 구분한다.

초보자는 실패할 때마다 개별 사건으로 받아들인다.

전문가는 실패들 사이의 공통 구조를 발견한다.

초보자는 매 문제를 새롭게 해결한다.

전문가는 과거 경험에서 만들어진 Mental Model과 Skill을 재사용한다.

결국 전문성이란 단순한 Memory Volume의 증가가 아니다.

Memory Organization의 질적 변화라고 볼 수 있다.

이 점이 미래 Agent Architecture와 상당히 닮아 있다.

20. AGI에서 Memory가 중앙에 위치할 가능성이 높은 이유

이 관점에서 AGI를 하나의 시스템으로 보면 Memory는 매우 독특한 역할을 가진다.

Reasoning은 현재 문제를 해결한다.

Action은 외부세계와 상호작용한다.

Learning은 결과에서 변화한다.

그리고 Memory는 이 모든 과정을 시간적으로 연결한다.

이를 단순화하면

$A G I \approx R e a so nin g \times M e m ory \times A c t i o n \times L e a r nin g$

이라고 생각할 수 있다.

곱셈으로 보는 이유가 중요하다.

Reasoning이 아무리 뛰어나도 Memory가 없다면 경험이 누적되지 않는다.

Memory가 아무리 커도 Reasoning이 약하면 경험을 올바르게 일반화하지 못한다.

Reasoning과 Memory가 모두 뛰어나도 Action이 없다면 새로운 경험을 생성하기 어렵다.

그리고 Evaluation과 Learning이 없다면 어떤 경험이 성공이었는지 판단할 수 없다.

따라서 AGI를 Memory 하나로 환원할 수는 없다.

다만 Memory는 다른 요소들을 시간축에서 하나의 지속적인 지능으로 연결하는 핵심 인프라라고 볼 수 있다.

21. 지능의 정의 자체도 달라질 수 있다

초기 LLM 시대에는 지능을 상당 부분 다음 질문으로 평가했다.

이 모델은 지금 이 문제를 얼마나 잘 풀 수 있는가.

그래서 Benchmark가 중요했다.

하지만 장기 Agent 시대에는 다른 질문이 중요해질 수 있다.

같은 Agent에게 10만 개의 Task를 수행하게 했을 때 첫 번째 Task와 10만 번째 Task 사이에는 어떤 차이가 생겼는가.

이제 지능은 정적인 Capability만으로 설명하기 어려워진다.

개념적으로 세 단계로 나눌 수 있다.

Static Intelligence
= 지금 얼마나 잘하는가

Learning Intelligence
= 경험한 뒤 얼마나 좋아지는가

Recursive Intelligence
= 좋아지는 능력 자체가 얼마나 좋아지는가

이 정의를 받아들이면 Memory의 중요성이 더욱 명확해진다.

과거 상태를 기억하지 못하면 현재와 비교할 수 없다.

경험을 저장하지 못하면 학습할 수 없다.

학습 결과를 보존하지 못하면 Skill이 누적되지 않는다.

그리고 자신의 학습 과정에 대한 기록이 없다면 학습 방법 자체를 개선하기도 어렵다.

따라서 Recursive라는 개념 자체가 본질적으로 시간과 Memory를 요구한다.

22. AGI 시대에는 새로운 Scaling Axis가 추가될 수 있다

LLM 시대의 주요 Scaling Axis는 대략 다음과 같았다.

Parameters
 ↓
Training Data
 ↓
Training Compute
 ↓
Context Length
 ↓
Test-Time Compute

그러나 Agent와 AGI 시대로 갈수록 새로운 축이 추가될 가능성이 있다.

Persistent Experience
 ↓
Episodic Memory
 ↓
Semantic Compression
 ↓
Proceduralization
 ↓
Meta-Learning

지금까지 AI Scaling은 주로 공간적인 확대였다.

더 많은 Parameter.

더 많은 GPU.

더 많은 Token.

더 큰 Context.

앞으로는 여기에 시간적인 Scaling이 추가될 수 있다.

한 Agent가 얼마나 오랫동안 경험할 수 있는가.

얼마나 많은 Episode를 축적할 수 있는가.

그 Episode에서 얼마나 좋은 Semantic Knowledge를 만들어낼 수 있는가.

Semantic Knowledge를 얼마나 효율적인 Skill로 컴파일할 수 있는가.

그리고 그 경험을 통해 자신의 학습 방법까지 얼마나 개선할 수 있는가.

이것이 AGI의 새로운 Scaling Dimension이 될 가능성이 있다.

23. 하지만 Memory가 커질수록 새로운 위험도 생긴다

Memory Architecture가 강해진다고 모든 문제가 해결되는 것은 아니다.

잘못된 Episode를 잘못 일반화하면 잘못된 Semantic Memory가 생길 수 있다.

그 Semantic Memory가 Procedural Skill로 변환되면 Agent의 행동 자체가 잘못될 수 있다.

그리고 잘못된 행동이 다시 새로운 잘못된 경험을 생산하면 다음과 같은 Loop가 가능하다.

Wrong Experience
 ↓
Wrong Semantic Memory
 ↓
Wrong Skill
 ↓
Wrong Action
 ↓
More Wrong Experience
 ↓
Reinforcement
       ↺

즉 Self-Improvement Flywheel은 반대 방향으로도 돌 수 있다.

Self-Corruption Flywheel이다.

그래서 미래의 Agent에서는 Semantic Memory가 어떤 Episode에서 만들어졌는지 추적할 수 있는 Provenance가 중요해질 가능성이 높다.

필요하다면

Semantic Claim
      ↓
Supporting Episodes
      ↓
Raw Evidence
      ↓
Revalidation

이 가능해야 한다.

즉 Semantic Memory를 만든다고 Episodic Memory를 무조건 삭제해서는 안 된다.

고수준 지식과 저수준 Evidence가 함께 존재하는 계층적인 Memory System이 더 자연스러울 수 있다.

24. 결국 Memory는 저장장치에서 인지 인프라로 변하고 있다

AI 발전을 Memory 관점에서 다시 정리하면 흐름이 선명해진다.

초기에는 Model Weight 자체가 거의 유일한 장기 지식 저장소였다.

그다음 Context Window가 커졌다.

이후 Retrieval이 붙었다.

Agent가 등장하면서 Persistent Episodic Memory가 필요해졌다.

Long-term Agent에서는 Semantic Consolidation이 중요해지고 있다.

더 발전하면 Semantic Knowledge가 Skill과 Procedural Memory로 변한다.

Self-improving Agent에서는 자신의 Memory Policy를 수정하는 Meta-Memory까지 필요해질 수 있다.

Model Weights
     ↓
Context
     ↓
Retrieval
     ↓
Persistent Memory
     ↓
Episodic Memory
     ↓
Semantic Memory
     ↓
Procedural Skills
     ↓
Meta-Memory
     ↓
Self-Improving Learning Policy

Memory의 정의 자체가 계속 확장되고 있는 셈이다.

과거에는

무엇을 저장하고 있는가.

가 중요했다.

앞으로는

무엇을 기억하고,
무엇을 일반화하고,
언제 검색하고,
무엇을 버리고,
어떤 경험을 Skill로 변환하며,
이 모든 정책을 어떻게 개선할 것인가.

전체가 Memory Architecture가 될 수 있다.

마무리: AGI는 ‘더 잘 생각하는 AI’에서 ‘더 잘 배우는 AI’로

AI 발전의 초기 질문은 비교적 명확했다.

어떻게 더 잘 생각하게 만들 것인가.

더 큰 모델과 더 많은 데이터, 더 많은 Compute가 중심이었다.

Agent 시대의 질문은 조금 달라졌다.

어떻게 AI가 자신의 경험을 다음 행동에 활용하게 할 것인가.

여기에서 Episodic Memory와 Semantic Memory가 중요해진다.

그리고 RSI 단계에서는 질문이 다시 한 단계 올라간다.

어떻게 Agent가 자신의 경험뿐 아니라 경험을 학습하는 방법 자체를 개선하게 할 것인가.

이 단계에서 Memory는 더 이상 부가기능이라고 보기 어렵다.

RSI Flywheel이 작동하기 위해 필요한 핵심 상태변수에 가까워진다.

첫 번째 Loop는 다음과 같다.

$E x p er i e n ce \to M e m ory \to K n o wl e d g e \to S ki ll \to B e tt er A c t i o n \to B e tt er E x p er i e n ce$

그리고 그 위에 두 번째 Loop가 만들어진다.

$M e m ory P o l i cy \to B e tt er L e a r nin g \to B e tt er M e m ory P o l i cy$

인간의 지능도 비슷한 관점으로 생각해볼 수 있다.

인간은 단순히 뇌 안에 많은 정보를 저장하고 있기 때문에 지능적인 존재가 아니다.

경험을 남기고, 반복되는 경험에서 패턴을 발견하고, 이를 지식으로 일반화하며, 자주 사용하는 지식을 행동으로 자동화하고, 필요하지 않은 것은 잊는다.

그리고 더 중요한 것은 경험이 늘어날수록 무엇을 배워야 하고 어떻게 배워야 하는지 자체도 바뀐다는 점이다.

이것이 초보자와 전문가의 차이를 만든다.

따라서 AGI에 가까워질수록 우리가 다시 발견하고 있는 것은 어쩌면 인간 지능의 매우 기본적인 구조일 수 있다.

지능은 순간적인 추론능력만으로 완성되지 않는다.

과거의 경험을 남기고, 경험을 지식으로 압축하고, 필요한 순간에 다시 꺼내고, 잘못된 것은 수정하며, 중요하지 않은 것은 잊고, 궁극적으로는 이 학습 방법 자체를 개선할 수 있어야 한다.

그래서 앞으로 AI에서 중요한 질문은 단순히

얼마나 큰 모델인가.

에서 끝나지 않을 가능성이 높다.

오히려 다음 질문들이 점점 중요해질 것이다.

얼마나 오랫동안 경험할 수 있는가.

얼마나 많은 경험을 유효하게 보존할 수 있는가.

경험을 얼마나 좋은 Semantic Knowledge로 압축할 수 있는가.

그 Knowledge를 얼마나 효과적인 Skill로 변환할 수 있는가.

그리고 자신의 Formation → Consolidation → Retrieval → Forgetting 정책 자체를 얼마나 잘 개선할 수 있는가.

이 관점에서 Memory는 AI에 정보를 더 저장하는 기능을 넘어선다.

Memory는 지능에 시간이라는 축을 부여하고, 경험을 누적 가능한 변화로 바꾸는 인지 인프라다.

그리고 그 시간축 위에서

Experience → Memory → Knowledge → Skill → Better Learning

이라는 Flywheel이 돌기 시작할 때, 우리는 단순한 Agent를 넘어 Self-improving Agent와 RSI, 그리고 그 이후의 AGI를 논의할 수 있게 될 가능성이 높다.

#글을 마치며

역사를 돌아보면 르네상스와 과학혁명의 중요한 변화 중 하나는 문제와 가설, 관찰 결과를 언어와 기록으로 남기고 이를 다른 사람과 공유·검증할 수 있게 된 것이였다고 한다. 이후 인쇄술과 학술 네트워크의 확산은 지식을 개인의 경험에 머물게 하지 않고 사회 전체가 축적하는 형태로 바꾸는 데 중요한 역할을 했다고 한다.

리서치에서 ChatGPT 글쓰기 기능의 장점도 비슷한 지점에 있다고 생각한다. 단순히 모르는 것에 대한 답을 얻는 것보다, 내가 무엇을 알고 무엇을 모르는지, 그리고 그 사이에 어떤 논리적 공백이 있는지를 질문을 통해 구체화하고 그 과정을 기록으로 남길 수 있다는 점이 더 중요하다.

결국 질문하고, 탐색하고, 수정하고, 다시 글로 남기는 과정이 반복되면서 막연했던 생각은 구조화된 지식으로 바뀐다. 그리고 그렇게 축적된 기록은 다음 질문과 사고의 출발점이 된다.

나에게 있어 ChatGPT의 가장 큰 효용은 답을 대신 만들어주는 데 있기보다, 내가 이해해가는 과정을 나만의 언어로 축적할 수 있게 해준다는 데 있지 않나 싶다.

동시에 지금의 AGI를 향한 AI의 발전방향과 인류 지능의 발전방향이 상당히 유사한 형태로 궤를 같이하고 있다는게 소름이 돋긴하다..

=끝