이전 글에서 Self-improving Agent와 RSI로 이어지는 발전 경로를 정리하는 과정에서, 결국 핵심 문제 중 하나가 ‘메모리를 어떻게 정의하고 활용할 것인가’라는 생각으로 이어졌다.
특히 Agent가 단순히 과거의 정보를 저장하는 수준을 넘어 경험을 축적하고, 이를 지식과 Skill로 전환하며, 다시 자신의 학습 방식까지 개선하기 위해서는 Memory의 역할을 기존과 다르게 바라볼 필요가 있다.
앞으로의 메모리는 정보를 저장하는 공간을 넘어, 수많은 경험을 지식과 행동으로 압축하고 이를 다음 판단에 활용하도록 만드는 지능의 핵심 인프라에 가까워질 가능성이 높다.
이러한 변화는 반도체 산업에도 중요한 의미를 가진다.
AI의 발전이 연산능력 확대를 넘어 더 많은 경험과 상태를 장기간 유지하고 활용하는 방향으로 진행된다면, HBM과 서버용 DRAM, 기업용 SSD를 포함한 메모리 수요 역시 구조적으로 확대될 수 있다.
결국 AI 시대의 메모리는 연산을 보조하는 부품을 넘어 AI의 성능과 생산성을 좌우하는 핵심 자원으로 그 역할이 확대될 가능성이 높다고 생각한다.
AGI로 가는 길에서 왜 다시 ‘메모리’가 중요해지는가
인간 지능에서 Episodic Memory, Semantic Memory, Agent Architecture, 그리고 RSI까지
AI의 발전을 설명할 때 가장 익숙한 단어는 오랫동안 모델 크기, 학습 데이터, 연산량, Context Window, 추론 능력이었다.
더 많은 데이터를 학습시키고, 더 큰 모델을 만들고, 더 많은 Test-Time Compute를 투입하면 지능이 높아진다는 접근이다. 실제로 이 방식은 놀라울 정도로 잘 작동했다. 초기 GPT에서 최근의 Reasoning Model과 AI Agent까지 이어지는 급격한 성능 향상의 상당 부분은 이러한 Scaling으로 설명할 수 있다.
그런데 AI가 단순한 질의응답 모델에서 벗어나 수시간, 수일, 장기적으로는 수개월에 걸쳐 스스로 일을 수행하는 Agent로 발전하기 시작하면서 새로운 문제가 전면에 등장하고 있다.
모델이 아무리 뛰어난 추론능력을 가지고 있더라도 지난번에 무엇을 했는지 기억하지 못한다면 어떻게 될까.
실패했던 전략을 다음번에도 반복하고, 이미 발견했던 해결책을 매번 다시 탐색하며, 수천 번의 경험에서 공통된 패턴을 추출하지 못한다면 그것을 지속적으로 학습하고 발전하는 지능이라고 부르기는 어렵다.
바로 이 지점에서 Memory의 정의 자체가 달라지기 시작한다.
과거 AI에서 Memory는 주로 정보를 저장하는 공간으로 이해되었다.
앞으로의 Agent와 AGI에서 Memory는 단순한 저장장치를 넘어 경험을 지식으로 바꾸고, 지식을 행동으로 바꾸며, 다시 자신의 학습 방법 자체를 개선하도록 만드는 인지 인프라로 발전할 가능성이 높다.
그리고 이 변화는 최근 다시 중요해지고 있는 Recursive Self-Improvement, RSI와 직접 연결된다.
1. 인간 지능을 생각하면 왜 AGI에서 Memory가 중요한지 이해하기 쉽다
Memory의 중요성을 가장 직관적으로 이해하는 방법은 인간을 생각해보는 것이다.
사람의 지능은 매 순간 완전히 새롭게 시작되지 않는다.
우리는 현재 눈앞의 문제를 생각하면서도 동시에 과거에 무엇을 경험했는지, 비슷한 상황에서 무엇을 배웠는지, 어떤 전략이 효과적이었는지를 끊임없이 활용한다.
이를 매우 단순화하면 인간의 지능은 다음과 같은 순환구조를 가진다고 볼 수 있다.
Perception
↓
Working Memory
↓
Reasoning
↓
Action
↓
Experience
↓
Episodic Memory
↓
Consolidation
↓
Semantic Knowledge
↓
Procedural Skill
↓
Future Reasoning
예를 들어 어린아이가 뜨거운 컵을 처음 만졌다고 하자.
처음에는 단순한 사건이다.
컵을 만졌다.
손이 뜨거웠다.
손을 뗐다.
이것이 Episodic Memory, 즉 하나의 경험으로 남는다.
그런 경험이 반복되면서 아이는 단순한 사건을 넘어 일반적인 규칙을 배우기 시작한다.
김이 나는 물건은 뜨거울 가능성이 높다.
이것은 Semantic Memory다.
그리고 시간이 지나면 행동 자체가 자동화된다.
뜨거워 보이는 물체에는 먼저 손을 가까이 대어 온도를 확인한다.
이것은 Procedural Memory, 즉 행동 전략에 가깝다.
중요한 것은 처음부터 이 모든 것이 존재했던 것이 아니라는 점이다.
Experience
↓
Memory
↓
Generalization
↓
Knowledge
↓
Skill
이라는 과정을 거쳐 만들어졌다.
사람이 자전거를 타는 것도 마찬가지다.
처음에는 몸의 균형을 잡기 어렵다. 수없이 넘어지고, 핸들을 과도하게 움직이고, 페달의 힘을 조절하지 못한다.
그러나 수백 번의 미세한 성공과 실패가 축적되면서 어느 순간 우리는 자전거를 타기 위해 과거의 모든 Episode를 하나씩 떠올리지 않는다.
그 경험들이 이미 Skill로 압축되어 있기 때문이다.
즉 인간 지능의 상당 부분은 단순히 정보를 많이 알고 있는 능력이 아니라,
경험을 축적하고 → 경험에서 규칙을 발견하고 → 규칙을 행동으로 변환하고 → 이후 경험을 통해 다시 수정하는 능력
으로 구성되어 있다.
이 관점에서 보면 왜 AGI 연구가 발전할수록 Memory가 중요해지는지 이해하기 쉬워진다.
2. Memory가 없으면 아무리 똑똑한 AI도 매번 처음부터 시작한다
매우 뛰어난 Reasoning Model이 있다고 하자.
수학 문제도 잘 풀고, 코딩도 잘하고, 복잡한 기업 분석도 수행할 수 있다.
하지만 작업이 끝나는 순간 모든 경험을 잊는다면 구조는 다음과 같다.
Task 1
↓
Think
↓
Solve
↓
Forget
Task 2
↓
Think
↓
Solve
↓
Forget
Task 3
↓
Think
↓
Solve
↓
Forget
각 Task에서 순간적인 지능은 높다.
하지만 시간에 따른 지능의 누적이 존재하지 않는다.
반대로 Memory가 존재하면 구조가 달라진다.
Task
↓
Reasoning
↓
Action
↓
Outcome
↓
Experience
↓
Memory
↓
Learning
↓
Better Strategy
↓
Next Task
이제 첫 번째 Task와 1만 번째 Task를 수행하는 Agent가 같지 않을 수 있다.
중간에 경험이 축적되었기 때문이다.
따라서 Memory의 가장 중요한 역할은 단순히 과거를 기억하는 것이 아니다.
지능에 시간이라는 축을 추가하는 것이다.
이 차이가 AGI에서 결정적으로 중요할 수 있다.
3. Context가 길어진다고 Memory가 생기는 것은 아니다
여기서 먼저 Context와 Memory를 구분해야 한다.
Context는 모델이 지금 보고 있는 정보다.
현재 질문, 시스템 프롬프트, 검색 결과, 읽고 있는 문서, 직전 대화 등이 Context Window에 들어간다.
사람으로 비유하면 현재 책상 위에 펼쳐놓은 자료다.
반면 Memory는 지금 보이지 않더라도 필요하면 과거로부터 다시 가져올 수 있는 정보다.
예를 들어 사용자가 과거에
“보고서에는 이모지를 사용하지 않았으면 좋겠다.”
라고 말했다고 하자.
현재 대화에서 이 문장을 보고 있다면 Context다.
그러나 며칠 뒤 새로운 대화를 시작했는데도 시스템이
사용자는 분석 보고서에서 이모지를 선호하지 않는다.
라는 사실을 다시 가져올 수 있다면 Memory다.
따라서 둘은 구조적으로 다르다.
Context는 현재 계산 공간이고, Memory는 시간을 넘어 유지되는 상태다.
Agent가 장기화될수록 이 차이는 더욱 중요해진다.
Context Window를 10만 토큰에서 100만 토큰, 다시 수백만 토큰으로 늘릴 수는 있다.
그러나 Agent가 수개월 동안 수십만 개의 행동을 수행하기 시작하면 모든 기록을 매 순간 Context에 넣는 방식은 비효율적이다.
결국 필요한 구조는 다음에 가까워진다.
Massive Experience
↓
Persistent Memory
↓
Selective Retrieval
↓
Small Relevant Context
↓
Reasoning
즉 모든 것을 항상 보고 있는 지능보다 필요한 것을 정확하게 기억해낼 수 있는 지능이 중요해진다.
4. Memory는 하나가 아니라 여러 계층으로 구성된다
Working Memory
현재 사고하고 있는 공간이다.
예를 들어 아침에 출근하기 전에 휴대폰으로 교통상황을 확인한다고 하자.
지금 보고 있는 것은
- 현재 시간
- 목적지
- 평소 출근 경로
- 실시간 교통상황
- 오늘 비가 오는지 여부
같은 정보다.
이 정보들은 지금 어떤 길로 갈지를 판단하기 위해 잠시 머릿속에 올려놓은 정보다.
컴퓨터에 비유하면 RAM에 가깝다.
용량은 제한적이지만 현재 판단과 Reasoning에 직접 사용된다.
Episodic Memory
과거에 무슨 일이 있었는가를 저장한다.
예를 들어 다음과 같다.
지난주 월요일 아침 평소 다니던 큰길로 출근했는데 공사 때문에 심하게 막혔다. 그래서 중간에 골목길로 우회했고 평소보다 15분 빨리 도착했다.
이것이 Episodic Memory다.
여기에는 단순히 “골목길이 빠르다”는 정보만 있는 것이 아니다.
언제, 어떤 상황에서, 어떤 행동을 했고, 그 결과가 어땠는지가 함께 들어 있다.
사람으로 치면
지난번 비가 많이 왔던 날 이 길로 갔다가 한 시간이나 막혔지.
처럼 특정한 사건과 시간, 상황이 묶여 있는 기억이다.
Semantic Memory
여러 Episode에서 일반적으로 무엇이 사실인지를 추출한다.
예를 들어 비슷한 경험이 반복됐다고 하자.
- 월요일 아침에는 큰길이 자주 막혔다.
- 비가 오는 날에는 교차로 주변 정체가 심했다.
- 공사구간이 있는 날에는 골목길 우회가 더 빨랐다.
이런 경험이 반복되면 다음과 같은 지식으로 정리될 수 있다.
월요일 출근시간에는 평소 이용하는 큰길이 자주 막힌다.
또는
큰길에 정체가 심할 때는 골목길로 우회하는 편이 대체로 빠르다.
이제 특정 날짜의 사건을 기억하는 것이 아니라 여러 경험에서 추출된 일반적인 지식이 된다.
즉
지난번에 무엇이 있었는가
에서
보통 이런 상황에서는 무엇이 사실인가
로 한 단계 올라간 것이다.
Procedural Memory
Semantic Knowledge가 반복적으로 검증되면 행동 규칙으로 발전할 수 있다.
예를 들어 출근할 때마다 다음과 같은 행동 패턴이 생길 수 있다.
출근 준비 ↓ 교통상황 확인 ↓ 큰길 정체 여부 확인 ↓ 정체가 심하면 우회로 선택 ↓ 출발
이제 매번
지난번에는 어땠지?
라고 하나하나 생각할 필요가 없다.
이미 경험과 지식이 행동 순서로 압축되어 있기 때문이다.
이 단계에서는 단순히
무엇이 사실인가
를 넘어
이런 상황에서는 어떻게 행동해야 하는가
를 기억한다.
사람이 매일 아침 별다른 고민 없이 교통상황을 확인하고, 막히면 자연스럽게 우회로를 선택하는 것과 비슷하다.
Meta-Memory
여기서 한 단계 더 올라가면 어떤 기억을 믿고, 언제 수정하며, 무엇을 더 중요하게 기억할 것인가를 판단하는 단계가 생긴다.
예를 들어 어느 순간 공사가 끝나서 큰길이 더 이상 막히지 않는다고 하자.
그런데 계속
월요일에는 큰길이 막힌다.
라는 과거의 Semantic Memory만 믿고 우회한다면 오히려 시간이 더 걸릴 수 있다.
이때 사람은 새로운 경험을 통해 판단을 수정한다.
최근 몇 주 동안은 큰길이 더 빨랐다.
예전의 우회 규칙은 이제 바꿔야겠다.
즉 기억 자체를 사용하는 것을 넘어
- 어떤 경험을 더 중요하게 볼지
- 오래된 기억을 언제 수정할지
- 어떤 규칙을 계속 유지할지
- 어떤 행동습관을 바꿀지
를 다시 판단한다.
이것이 Meta-Memory에 가까운 개념이다.
결국 같은 출근길 사례 하나로 보면 Memory 계층은 이렇게 이해할 수 있다.
Working Memory "지금 어느 길이 막혀 있지?" ↓ Episodic Memory "지난 월요일 이 길로 갔다가 많이 막혔다." ↓ Semantic Memory "월요일 아침에는 이 큰길이 자주 막힌다." ↓ Procedural Memory "출근 전에 교통상황을 보고 막히면 우회한다." ↓ Meta-Memory "최근에는 큰길이 안 막히니 기존 우회 규칙을 수정해야겠다."
이렇게 보면 Memory의 발전은 단순히 더 많이 기억하는 과정이라기보다,
사건을 기억하고 → 반복된 경험에서 규칙을 만들고 → 그 규칙을 행동으로 바꾸고 → 다시 그 규칙 자체를 수정하는 과정
으로 이해하는 편이 훨씬 쉽다.
5. 인간의 전문성도 결국 Episodic → Semantic → Procedural의 압축 과정이다
이 부분이 AGI와 연결할 때 특히 중요하다.
숙련된 의사와 초보 의사가 같은 환자를 본다고 생각해보자.
초보자는 증상 하나하나를 의식적으로 분석해야 한다.
반면 수십 년 동안 많은 환자를 경험한 전문가는 환자의 몇 가지 특징만 보고도 중요한 가능성을 빠르게 좁힐 수 있다.
전문가가 과거 환자 10만 명을 하나씩 검색하고 있는 것은 아니다.
수많은 Episode가 이미
Individual Cases
↓
Patterns
↓
Medical Knowledge
↓
Diagnostic Heuristics
로 압축되어 있기 때문이다.
투자자도 비슷하다.
기업을 처음 분석하는 사람은
매출
이익
CAPEX
재고
운전자본
현금흐름
을 각각 독립된 지표로 본다.
하지만 많은 기업 사이클을 경험한 사람은 몇 개의 숫자만 보고도
재고 증가 → 가동률 하락 → 가격 압력 → 마진 악화
같은 연결구조를 빠르게 인식한다.
이것 역시 단순한 기억량 증가라기보다 경험이 구조화된 지식으로 압축된 결과다.
따라서 인간의 전문성을 생각하면 AGI Memory에서 필요한 것도 분명해진다.
Agent는 모든 Episode를 영원히 같은 형태로 저장해야 하는 것이 아니다.
수많은 경험을 더 작은 지식구조와 행동구조로 압축해야 한다.
6. 지능의 발전은 결국 Experience Compression일 수 있다
Agent가 100만 개의 Task를 수행했다고 하자.
100만 개의 기록을 모두 보유하는 것은 가능하다.
그러나 매 문제마다 100만 개의 Episode를 다시 읽어야 한다면 효율적인 지능이라고 보기 어렵다.
이상적인 방향은 다음과 같다.
1,000,000 Experiences
↓
Episodic Memory
↓
Consolidation
↓
Semantic Memory
↓
Procedural Skills
많은 경험이 더 적은 수의 일반화된 지식으로 압축되고, 다시 더 적은 수의 Skill과 Policy로 변환된다.
이것을 Experience Compression이라고 볼 수 있다.
중요한 것은 Memory의 절대량과 함께 Compression Ratio다.
높은 수준의 지능은 모든 경험을 보존하는 능력보다는
어떤 차이는 버리고
어떤 공통점을 남기며
어떤 규칙으로 일반화할 것인가
를 잘 판단해야 한다.
결국 인간이 경험을 통해 전문성을 쌓는 과정과 상당히 비슷한 문제가 Agent Architecture에서도 등장하게 된다.
7. 그래서 Memory Engineering의 핵심은 Storage가 아니라 Management다
Memory를 처음 생각하면 가장 쉬운 접근은 모든 대화를 저장하는 것이다.
Conversation
↓
Vector DB
↓
Similarity Search
초기에는 꽤 잘 작동한다.
그러나 대화가 100개에서 10만 개, 1억 개가 되면 문제가 달라진다.
예를 들어 한 사용자가
2024: Python을 주로 사용
2025: TypeScript 중심으로 전환
2026: Rust를 주력 언어로 사용
한다고 하자.
모든 기록을 동일하게 보존하면 검색 결과에는 세 정보가 동시에 등장할 수 있다.
AI가 판단해야 한다.
어떤 것이 오래된 정보인가.
어떤 것이 현재 정보인가.
이전 Memory를 삭제해야 하는가.
업데이트해야 하는가.
둘을 모두 보존해야 하는가.
따라서 Memory Engineering의 핵심은 Storage가 아니다.
다음과 같은 Memory Lifecycle Management다.
Formation — 무엇을 기억할 것인가
Consolidation — 여러 경험에서 무엇을 일반화할 것인가
Retrieval — 현재 문제에 어떤 기억을 가져올 것인가
Forgetting / Evolution — 무엇을 수정하고 무엇을 버릴 것인가
Memory의 성능은 결국 이 네 단계의 품질에 의해 결정된다.
8. Formation: 모든 경험을 장기기억으로 만들어서는 안 된다
사람도 하루 동안 발생한 모든 장면을 동일하게 기억하지 않는다.
AI도 마찬가지다.
예를 들어
오늘 점심으로 김밥을 먹었다.
라는 대화는 대부분의 Agent에게 장기적으로 중요하지 않을 수 있다.
반면
앞으로 기업을 분석할 때 EBITDA보다 FCF를 더 중요하게 봐달라.
라는 정보는 이후 수백 번의 interaction에 영향을 줄 수 있다.
따라서 Raw Conversation을 그대로 저장하는 것보다 Fact와 Preference, Pattern을 추출하는 과정이 필요하다.
Raw Conversation
↓
Fact Extraction
↓
Memory Candidate
하지만 한 번 등장한 정보라고 모두 장기기억으로 만들어서도 안 된다.
사람이 한 번
요즘 Rust가 재미있다.
라고 말했다고 해서
이 사람은 Rust 개발자다.
라고 단정할 수는 없다.
반면 비슷한 정보가 반복된다면 의미가 달라진다.
March: Rust 공부
April: Rust 프로젝트
May: Python보다 Rust를 더 자주 사용
이런 Recurrence가 발생하면 장기적인 Semantic Memory 후보가 될 수 있다.
9. Consolidation: 경험을 지식으로 바꾸는 과정
이 과정이 Memory Architecture의 핵심 중 하나다.
예를 들어 사용자가 여러 차례 다음과 같이 반응했다고 하자.
Episode 1
긴 보고서를 줄여달라고 요청
Episode 2
긴 문단을 Bullet 형태로 수정 요청
Episode 3
핵심 중심으로 재정리 요청
이 Episode들을 그대로 보유할 수도 있다.
하지만 더 높은 수준의 Memory System은 이를 다음과 같이 압축한다.
Episodic Summary
여러 보고서 작성 과정에서 사용자가 긴 문단을 줄이고 구조화된 형식으로 수정하도록 요청했다.
그리고 다시 일반화한다.
Semantic Memory
사용자는 분석 글에서 긴 문단보다 구조화되고 가독성이 높은 서술을 선호한다.
이렇게 되면 향후 Agent는 과거 Episode 세 개를 매번 읽지 않아도 된다.
Semantic Memory 하나만 검색하면 된다.
즉
Experience Retrieval
↓
Knowledge Retrieval
로 바뀐다.
이 변화는 장기 Agent에서 매우 중요하다.
10. Memory에서 ‘잊기’는 결함이 아니라 기능이다
직관적으로 AI는 모든 것을 기억할수록 좋아 보인다.
하지만 인간도 모든 정보를 같은 강도로 기억하지 않는다.
왜 그럴까.
중요하지 않은 정보까지 모두 유지하면 새로운 정보를 처리하는 데 방해가 되기 때문이다.
Agent도 같다.
Memory가 계속 증가하면
오래된 정보
중복 정보
잘못 추출된 정보
서로 모순되는 정보
특정 순간에만 유효했던 정보
가 함께 늘어난다.
결국 문제는 저장공간이 아니라 Signal-to-Noise Ratio가 된다.
따라서 Memory에는 Decay와 Forgetting이 필요하다.
Low-use Memory
↓
Decay
↓
Archive / Forget
Frequently Useful Memory
↓
Reinforcement
↓
Keep / Strengthen
그리고 모든 Memory의 반감기가 같을 필요도 없다.
특정 사건에 대한 Episodic Memory는 시간이 지나면서 중요도가 낮아질 수 있다.
반면 장기간 반복적으로 검증된 Semantic Knowledge는 더 오래 유지할 수 있다.
따라서 망각도 Memory Management의 일부이며, 나아가 Intelligence의 일부라고 볼 수 있다.
11. Retrieval: 많이 가져오는 것이 아니라 정확하게 가져오는 것
Memory가 아무리 좋아도 필요할 때 찾지 못하면 의미가 없다.
초기 Retrieval은 주로 Semantic Similarity 중심이었다.
하지만 장기 Agent에서는 similarity 하나만으로는 충분하지 않다.
예를 들어
Memory A
Similarity: 0.95
Age: 3 years
Memory B
Similarity: 0.90
Age: yesterday
라면 어떤 Memory가 더 중요한지 상황에 따라 달라질 수 있다.
따라서 Retrieval에는 최소한 다음 요소가 결합될 가능성이 높다.
Retrieval Quality = Relevance + Importance + Freshness + Confidence + Task Context
그리고 검색된 Memory를 무작정 많이 Context에 넣어서도 안 된다.
관련 Memory가 1,000개 있다고 해서 1,000개를 모두 넣으면 Context가 오히려 오염될 수 있다.
좋은 Memory System의 목적은
많은 것을 보여주는 것
이 아니라
지금 필요한 몇 개를 정확하게 보여주는 것
이다.
12. 초기 ChatGPT의 Hallucination도 Memory 관점에서 다시 볼 수 있다
초기 ChatGPT에 Hallucination이 많았던 이유를 단순히 “Memory가 부족했기 때문”이라고 설명하는 것은 정확하지 않다.
초기 LLM에도 이미 엄청난 양의 지식이 있었다.
사전학습 과정에서 책, 인터넷, 문서의 패턴이 Model Weight 안에 압축되어 있었기 때문이다.
넓게 보면 이것을 Parametric Semantic Memory라고 생각할 수 있다.
Training Data
↓
Pretraining
↓
Model Weights
↓
Implicit Knowledge
문제는 그 지식이 다음과 같이 명시적으로 관리되지 않았다는 것이다.
Fact
Source
Confidence
Last Updated
Supporting Evidence
Contradiction
더구나 초기 LLM은 자신의 과거 실패를 지속적으로 축적하지 못했다.
한 세션에서 오류를 범했다고 해도 새로운 세션에서
지난번 내가 이 접근법으로 실패했으니 이번에는 다른 방법을 써야겠다.
라는 지속적인 Learning Loop가 존재하지 않았다.
이를 단순화하면 초기 구조는 다음과 같았다.
Huge Parametric Knowledge
+
Current Context
↓
Generation
이후 Agent Architecture가 추가하고 있는 것은
Episodic Memory
Semantic Memory
External Retrieval
Verification
Memory Update
Skill Learning
이다.
따라서 Hallucination 문제 역시 단순히 모델이 덜 똑똑해서 발생한 문제로만 볼 필요는 없다.
지식을 검증하고, 출처를 확인하고, 오류 경험을 축적하고, 오래된 사실을 업데이트하는 인지 인프라의 부재가 근본적인 중요한 문제였다.
13. Agent가 등장하면서 Memory의 정의가 바뀌기 시작했다
일반적인 LLM은 기본적으로 다음과 같다.
Input
↓
Reasoning
↓
Output
Agent는 여기서 환경과 상호작용한다.
Task
↓
Reasoning
↓
Action
↓
Environment
↓
Outcome
그리고 Persistent Memory가 추가되면 시간이 연결된다.
Task
↓
Action
↓
Outcome
↓
Experience
↓
Memory
↓
Next Task
이 순간부터 Agent는 단순한 Reasoning Machine을 넘어 경험을 축적할 수 있는 시스템이 된다.
다시 Episodic Memory가 Semantic Memory로 Consolidation되기 시작하면 한 단계 더 올라간다.
Experience
↓
Episodic Memory
↓
Pattern Detection
↓
Semantic Knowledge
↓
Better Action
이제 Agent는 과거를 저장하는 수준을 넘어 과거에서 배우기 시작한다.
14. Self-improving Agent Harness가 중요한 이유
최근 등장하는 Agent Harness가 흥미로운 이유도 여기에 있다.
기존 Agent Architecture는 대부분 사람이 설계했다.
Model
+
Prompt
+
Tools
+
Fixed Agent Architecture
모델은 이 구조 안에서 움직인다.
반면 발전된 Self-improving Harness에서는 Agent가 자신의 작업 trajectory를 관찰하고 이를 기반으로
Memory
Skill
Prompt
Sub-agent
Workflow
같은 일부 persistent state를 변경할 수 있다.
구조는 다음처럼 바뀐다.
Agent
↓
Experience
↓
Evaluation
↓
Memory Update
↓
Skill Update
↓
Prompt / Sub-agent Update
↓
Next Task
아직 Foundation Model의 Weight 자체를 반복적으로 재훈련하는 강한 의미의 RSI라고 보기는 어렵다.
그럼에도 중요한 변화가 나타났다.
Agent가 자신의 실행환경 일부를 자기 경험에 따라 수정하는 Feedback Loop가 생기기 시작한 것이다.
이것이 Harness-level Self-Improvement가 중요한 이유다.
생각정리 332 (* RSI, Harness)
15. RSI의 핵심은 ‘성능 향상’보다 ‘향상 능력의 향상’이다
Recursive Self-Improvement를 단순히 AI가 시간이 지나며 좋아지는 것이라고 정의하면 지나치게 넓다.
보다 중요한 구분이 필요하다.
Agent가 새로운 Skill을 만들어 특정 작업을 더 잘하게 된다면 Self-Improvement다.
하지만 Agent가
어떻게 Skill을 만들어야 더 좋은 Skill을 만들 수 있는가
를 학습하기 시작하면 Meta Level로 올라간다.
Memory도 마찬가지다.
처음에는 인간이 다음 규칙을 정할 수 있다.
Similar Episodes ≥ 3
→ Consolidate
Semantic Memory
→ Long Retention
Episodic Memory
→ Shorter Retention
Retrieval
→ Top K = 5
그런데 Agent가 장기간 경험을 쌓으면서
내가 코딩 작업에서는 Episodic Memory를 너무 빨리 삭제하고 있다.
라고 판단할 수 있다.
그러면 Retention Policy를 바꿀 수 있다.
또는
Semantic Memory만 검색하면 edge case에서 오류가 많이 발생한다.
라고 판단하여
Semantic Retrieval
↓
Low Confidence
↓
Supporting Episodic Retrieval
로 구조를 수정할 수도 있다.
이 순간부터 Agent는 단순히 Memory를 사용하는 것이 아니라 기억하는 방법 자체를 학습하기 시작한다.
16. 여기서 RSI의 두 개의 Flywheel이 생긴다
첫 번째 Flywheel은 비교적 단순하다.
Experience
↓
Memory
↓
Knowledge
↓
Skill
↓
Better Action
↓
Better Experience
↺
이것은 무엇을 배우는가에 관한 Loop다.
하지만 더 중요한 두 번째 Loop가 가능하다.
Experience
↓
Evaluate Memory System
↓
Improve Formation
↓
Improve Consolidation
↓
Improve Retrieval
↓
Improve Forgetting
↓
Better Learning
↓
Better Experience
↺
이것은 어떻게 배우는가에 관한 Loop다.
첫 번째는 Self-Improvement다.
두 번째는 점점 RSI에 가까워진다.
왜냐하면 이제 시스템이 자신의 성능뿐 아니라 자신을 개선하는 메커니즘 자체를 개선하기 시작하기 때문이다.
17. RSI에는 지금보다 훨씬 많은 장기 경험이 필요할 가능성이 높다
여기서 자연스럽게 Memory Scale 문제가 등장한다.
Agent가 자신의 Memory Policy가 효과적인지 판단하려면 상당한 양의 longitudinal experience가 필요하다.
한두 번의 성공으로는 어떤 전략이 우수한지 알기 어렵다.
예를 들어 Memory Policy A와 B를 비교하려면 다음과 같은 과정이 필요할 수 있다.
Memory Policy A
↓
Thousands of Tasks
↓
Performance
Memory Policy B
↓
Thousands of Tasks
↓
Performance
그리고 다시 결과를 분석해야 한다.
A vs B
↓
Meta Evaluation
↓
Memory Policy C
따라서 RSI가 발전할수록 Raw Trajectory와 Episodic Memory의 총량은 지금보다 훨씬 커질 가능성이 높다.
다만 여기서 중요한 것은 단순한 Storage Size가 아니다.
Effective Memory Capacity다.
거대한 Episode를 유지하되 대부분을 압축하여 더 작은 Semantic Knowledge와 Procedural Skill로 전환할 수 있어야 한다.
대략 다음과 같은 구조가 자연스럽다.
Raw Trajectory Largest
↓
Episodic Memory Very Large
↓
Semantic Memory Medium
↓
Procedural Skills Small / Dense
↓
Working Context Very Small
따라서 미래의 Memory Scaling은
Storage Scaling
보다는
Storage + Compression + Retrieval + Updating Scaling
에 가깝다.
18. Semantic Memory가 최종 단계는 아니다
처음에는 Episodic Memory가 Semantic Memory로 올라가는 것이 가장 중요한 변화처럼 보인다.
하지만 RSI에서는 그 이후가 더 중요할 수 있다.
예를 들어 다음과 같은 발전이 가능하다.
Episodic
지난번 문제에서 세 개의 Sub-agent를 병렬로 실행했더니 해결 속도가 빨라졌다.
Semantic
여러 Hypothesis를 비교해야 하는 문제에서는 Parallel Exploration이 효과적이다.
Procedural
Hypothesis가 세 개 이상이면 세 개의 Sub-agent를 병렬 실행하고 Evaluator가 결과를 비교하도록 한다.
그리고 한 단계 더 올라간다.
Meta
어떤 상황에서 Parallel Exploration 전략을 Skill로 만들고, 언제 수정하며, 언제 폐기할 것인가.
결국 Memory Hierarchy는 다음 방향으로 발전할 수 있다.
Episodic→Semantic→Procedural→Meta
Semantic Memory는 무엇을 알고 있는가를 담당한다.
Procedural Memory는 어떻게 행동하는가를 담당한다.
Meta-Memory는 무엇을 어떻게 배우고 기억할 것인가를 담당한다.
RSI가 본격적으로 발전한다면 마지막 단계가 특히 중요해진다.
19. 다시 인간에게 돌아오면 이 구조가 더 명확해진다
인간이 성장하는 과정도 단순한 정보 축적 과정으로 설명하기 어렵다.
아이는 단순히 더 많은 사실을 외우기 때문에 성인이 되는 것이 아니다.
경험을 통해
무엇에 Attention을 줘야 하는지
어떤 경험이 중요한지
언제 기존 믿음을 수정해야 하는지
어떤 전략을 반복해야 하는지
무엇을 무시해도 되는지
를 함께 배운다.
즉 사람은 세상에 대한 지식뿐 아니라 세상을 배우는 방법도 학습한다.
초보자는 모든 정보를 중요하게 받아들인다.
전문가는 어떤 정보가 Signal이고 어떤 정보가 Noise인지 빠르게 구분한다.
초보자는 실패할 때마다 개별 사건으로 받아들인다.
전문가는 실패들 사이의 공통 구조를 발견한다.
초보자는 매 문제를 새롭게 해결한다.
전문가는 과거 경험에서 만들어진 Mental Model과 Skill을 재사용한다.
결국 전문성이란 단순한 Memory Volume의 증가가 아니다.
Memory Organization의 질적 변화라고 볼 수 있다.
이 점이 미래 Agent Architecture와 상당히 닮아 있다.
20. AGI에서 Memory가 중앙에 위치할 가능성이 높은 이유
이 관점에서 AGI를 하나의 시스템으로 보면 Memory는 매우 독특한 역할을 가진다.
Reasoning은 현재 문제를 해결한다.
Action은 외부세계와 상호작용한다.
Learning은 결과에서 변화한다.
그리고 Memory는 이 모든 과정을 시간적으로 연결한다.
이를 단순화하면
이라고 생각할 수 있다.
곱셈으로 보는 이유가 중요하다.
Reasoning이 아무리 뛰어나도 Memory가 없다면 경험이 누적되지 않는다.
Memory가 아무리 커도 Reasoning이 약하면 경험을 올바르게 일반화하지 못한다.
Reasoning과 Memory가 모두 뛰어나도 Action이 없다면 새로운 경험을 생성하기 어렵다.
그리고 Evaluation과 Learning이 없다면 어떤 경험이 성공이었는지 판단할 수 없다.
따라서 AGI를 Memory 하나로 환원할 수는 없다.
다만 Memory는 다른 요소들을 시간축에서 하나의 지속적인 지능으로 연결하는 핵심 인프라라고 볼 수 있다.
21. 지능의 정의 자체도 달라질 수 있다
초기 LLM 시대에는 지능을 상당 부분 다음 질문으로 평가했다.
이 모델은 지금 이 문제를 얼마나 잘 풀 수 있는가.
그래서 Benchmark가 중요했다.
하지만 장기 Agent 시대에는 다른 질문이 중요해질 수 있다.
같은 Agent에게 10만 개의 Task를 수행하게 했을 때 첫 번째 Task와 10만 번째 Task 사이에는 어떤 차이가 생겼는가.
이제 지능은 정적인 Capability만으로 설명하기 어려워진다.
개념적으로 세 단계로 나눌 수 있다.
Static Intelligence
= 지금 얼마나 잘하는가
Learning Intelligence
= 경험한 뒤 얼마나 좋아지는가
Recursive Intelligence
= 좋아지는 능력 자체가 얼마나 좋아지는가
이 정의를 받아들이면 Memory의 중요성이 더욱 명확해진다.
과거 상태를 기억하지 못하면 현재와 비교할 수 없다.
경험을 저장하지 못하면 학습할 수 없다.
학습 결과를 보존하지 못하면 Skill이 누적되지 않는다.
그리고 자신의 학습 과정에 대한 기록이 없다면 학습 방법 자체를 개선하기도 어렵다.
따라서 Recursive라는 개념 자체가 본질적으로 시간과 Memory를 요구한다.
22. AGI 시대에는 새로운 Scaling Axis가 추가될 수 있다
LLM 시대의 주요 Scaling Axis는 대략 다음과 같았다.
Parameters
↓
Training Data
↓
Training Compute
↓
Context Length
↓
Test-Time Compute
그러나 Agent와 AGI 시대로 갈수록 새로운 축이 추가될 가능성이 있다.
Persistent Experience
↓
Episodic Memory
↓
Semantic Compression
↓
Proceduralization
↓
Meta-Learning
지금까지 AI Scaling은 주로 공간적인 확대였다.
더 많은 Parameter.
더 많은 GPU.
더 많은 Token.
더 큰 Context.
앞으로는 여기에 시간적인 Scaling이 추가될 수 있다.
한 Agent가 얼마나 오랫동안 경험할 수 있는가.
얼마나 많은 Episode를 축적할 수 있는가.
그 Episode에서 얼마나 좋은 Semantic Knowledge를 만들어낼 수 있는가.
Semantic Knowledge를 얼마나 효율적인 Skill로 컴파일할 수 있는가.
그리고 그 경험을 통해 자신의 학습 방법까지 얼마나 개선할 수 있는가.
이것이 AGI의 새로운 Scaling Dimension이 될 가능성이 있다.
23. 하지만 Memory가 커질수록 새로운 위험도 생긴다
Memory Architecture가 강해진다고 모든 문제가 해결되는 것은 아니다.
잘못된 Episode를 잘못 일반화하면 잘못된 Semantic Memory가 생길 수 있다.
그 Semantic Memory가 Procedural Skill로 변환되면 Agent의 행동 자체가 잘못될 수 있다.
그리고 잘못된 행동이 다시 새로운 잘못된 경험을 생산하면 다음과 같은 Loop가 가능하다.
Wrong Experience
↓
Wrong Semantic Memory
↓
Wrong Skill
↓
Wrong Action
↓
More Wrong Experience
↓
Reinforcement
↺
즉 Self-Improvement Flywheel은 반대 방향으로도 돌 수 있다.
Self-Corruption Flywheel이다.
그래서 미래의 Agent에서는 Semantic Memory가 어떤 Episode에서 만들어졌는지 추적할 수 있는 Provenance가 중요해질 가능성이 높다.
필요하다면
Semantic Claim
↓
Supporting Episodes
↓
Raw Evidence
↓
Revalidation
이 가능해야 한다.
즉 Semantic Memory를 만든다고 Episodic Memory를 무조건 삭제해서는 안 된다.
고수준 지식과 저수준 Evidence가 함께 존재하는 계층적인 Memory System이 더 자연스러울 수 있다.
24. 결국 Memory는 저장장치에서 인지 인프라로 변하고 있다
AI 발전을 Memory 관점에서 다시 정리하면 흐름이 선명해진다.
초기에는 Model Weight 자체가 거의 유일한 장기 지식 저장소였다.
그다음 Context Window가 커졌다.
이후 Retrieval이 붙었다.
Agent가 등장하면서 Persistent Episodic Memory가 필요해졌다.
Long-term Agent에서는 Semantic Consolidation이 중요해지고 있다.
더 발전하면 Semantic Knowledge가 Skill과 Procedural Memory로 변한다.
Self-improving Agent에서는 자신의 Memory Policy를 수정하는 Meta-Memory까지 필요해질 수 있다.
Model Weights
↓
Context
↓
Retrieval
↓
Persistent Memory
↓
Episodic Memory
↓
Semantic Memory
↓
Procedural Skills
↓
Meta-Memory
↓
Self-Improving Learning Policy
Memory의 정의 자체가 계속 확장되고 있는 셈이다.
과거에는
무엇을 저장하고 있는가.
가 중요했다.
앞으로는
무엇을 기억하고,
무엇을 일반화하고,
언제 검색하고,
무엇을 버리고,
어떤 경험을 Skill로 변환하며,
이 모든 정책을 어떻게 개선할 것인가.
전체가 Memory Architecture가 될 수 있다.
마무리: AGI는 ‘더 잘 생각하는 AI’에서 ‘더 잘 배우는 AI’로
AI 발전의 초기 질문은 비교적 명확했다.
어떻게 더 잘 생각하게 만들 것인가.
더 큰 모델과 더 많은 데이터, 더 많은 Compute가 중심이었다.
Agent 시대의 질문은 조금 달라졌다.
어떻게 AI가 자신의 경험을 다음 행동에 활용하게 할 것인가.
여기에서 Episodic Memory와 Semantic Memory가 중요해진다.
그리고 RSI 단계에서는 질문이 다시 한 단계 올라간다.
어떻게 Agent가 자신의 경험뿐 아니라 경험을 학습하는 방법 자체를 개선하게 할 것인가.
이 단계에서 Memory는 더 이상 부가기능이라고 보기 어렵다.
RSI Flywheel이 작동하기 위해 필요한 핵심 상태변수에 가까워진다.
첫 번째 Loop는 다음과 같다.
그리고 그 위에 두 번째 Loop가 만들어진다.
인간의 지능도 비슷한 관점으로 생각해볼 수 있다.
인간은 단순히 뇌 안에 많은 정보를 저장하고 있기 때문에 지능적인 존재가 아니다.
경험을 남기고, 반복되는 경험에서 패턴을 발견하고, 이를 지식으로 일반화하며, 자주 사용하는 지식을 행동으로 자동화하고, 필요하지 않은 것은 잊는다.
그리고 더 중요한 것은 경험이 늘어날수록 무엇을 배워야 하고 어떻게 배워야 하는지 자체도 바뀐다는 점이다.
이것이 초보자와 전문가의 차이를 만든다.
따라서 AGI에 가까워질수록 우리가 다시 발견하고 있는 것은 어쩌면 인간 지능의 매우 기본적인 구조일 수 있다.
지능은 순간적인 추론능력만으로 완성되지 않는다.
과거의 경험을 남기고, 경험을 지식으로 압축하고, 필요한 순간에 다시 꺼내고, 잘못된 것은 수정하며, 중요하지 않은 것은 잊고, 궁극적으로는 이 학습 방법 자체를 개선할 수 있어야 한다.
그래서 앞으로 AI에서 중요한 질문은 단순히
얼마나 큰 모델인가.
에서 끝나지 않을 가능성이 높다.
오히려 다음 질문들이 점점 중요해질 것이다.
얼마나 오랫동안 경험할 수 있는가.
얼마나 많은 경험을 유효하게 보존할 수 있는가.
경험을 얼마나 좋은 Semantic Knowledge로 압축할 수 있는가.
그 Knowledge를 얼마나 효과적인 Skill로 변환할 수 있는가.
그리고 자신의 Formation → Consolidation → Retrieval → Forgetting 정책 자체를 얼마나 잘 개선할 수 있는가.
이 관점에서 Memory는 AI에 정보를 더 저장하는 기능을 넘어선다.
Memory는 지능에 시간이라는 축을 부여하고, 경험을 누적 가능한 변화로 바꾸는 인지 인프라다.
그리고 그 시간축 위에서
Experience → Memory → Knowledge → Skill → Better Learning
이라는 Flywheel이 돌기 시작할 때, 우리는 단순한 Agent를 넘어 Self-improving Agent와 RSI, 그리고 그 이후의 AGI를 논의할 수 있게 될 가능성이 높다.
